От экспертов «1С‑Рарус»: Зависимость скорости работы форм от структуры и объема данных, перехват трафика в экспертизе 1С

Введение

Все начиналось как обычно: пользователь обратился с проблемой длительного сохранения карточки элемента справочника. И первое, что мы сделали, попробовали воспроизвести ситуацию у себя. Так начнется же наше расследование!

Информационное окружение

Конфигурация написана на БСП. Подсистема, на объекте которой наблюдается замедление, в настоящий момент выделена в отдельный продукт «1С‑Рарус: Диаграммы» и мы её используем в нашем решении «1С‑Рарус: Мониторинг производительности».

Аппаратное обеспечение и ПО

Состав подсистемы «Диаграммы»

Атомарной единицей подсистемы является диаграмма. Каждый элемент справочника хранит настройку выводимой диаграммы:

Эти диаграммы объединяются в страницы. Страница — это то, что пользователь видит одномоментно на экране:

Страницы, в свою очередь, объединяются в доски. Доска формируется пользователем по области наблюдения. Например, финансовые показатели конкретного филиала:

Для удобства работы пользователя был разработан АРМ, который представлен на картинке ниже. В АРМе можно добавлять новые доски, на доски добавлять страницы и на страницы добавлять диаграммы. Диаграммы выводятся с помощью HTML-документа на форму.

Описание проблематики пользователем

Ну значит это,... Открываю вот страницу. Вот перемещаю вот так вот области, ага... Все. Вот теперь просто сохраняю и вот смотрите... Засекли... Ну вот, так вот может несколько минут длиться... Вот ... Во сохранилось. Может можно как-то ускорить это, а???

Пользователь открывает форму настройки страницы из АРМа. По окончании работы с ней (перестановка диаграмм на странице) пользователь нажимает «Записать и закрыть». После этого предсказать время, на которое зависнет система, невозможно. Это может быть и одна секунда, и 2 минуты. Причем одна и та же страница может сохраняться иногда минуту, а иногда 5 секунд.

Воспроизведение ошибки

Сначала мы взяли доску с изображения выше, но увидеть на ней какие-то значительные «тормоза» у нас не получилось. Поэтому мы выбрали другую доску для экспериментов — одну из тех, которую использует обратившийся пользователь, и стали пробовать воспроизводить зависание на ней. Доска состоит из 19 страниц, на каждой странице по 3–5 диаграмм. После нескольких подходов смогли воспроизвести «тормоза». В частности, для отладки мы выбрали 8‑ую страницу:

Первое нажатие «Записать и закрыть» заняло чуть больше минуты:

Второе же сохранение выполнилось гораздо быстрее:

Третий эксперимент был проведен с сохранением 6-й страницы:

А вот сохранив после этого страницу 8 снова получили чуть больше время, чем во второй раз:

Как видно из замеров, самое большое время занимает процедура «ОбработкаИзмененияСтраницы», выполняющаяся на форме «АРМ Доски». Внутри мы видим вызов 2‑х процедур «ОчиститьФорму» и «ДобавитьСтраницуНаСервере». Первая удаляет страницу с формы, вторая добавляет страницу на форму в конец:

Это сделано, т. к. математика расположения диаграмм на странице доски нетривиальная (об этом мы рассказавали в одном из докладов 1C‑RarusTechDay), и чтобы не усложнять математику перемещения и изменения состава групп и элементов было дешевле удалить и создать всё заново.

Причем стоит отметить, что для пользователя такое действие не заметно, т. к. стандартная панель страниц скрыта, а вместо неё используется нарисованная и упорядоченная панель.

Как видно на скриншоте после всех проделанных действий страницы 6 и 8 сместились в конец:

Смещение страниц в конец возможно и есть причина длительного сохранения? Мы решили это проверить. Для этого сохранили в файлы структуру элемнтов формы во время отладки до удаления страницы и после добавления обратно:

Но формы оказались совершенно идентичными:

Что-то мы упускаем, но что именно?

Поэтому мы решили ещё раз посмотреть замер производительности длительного сохранения. И тут мы заметили, что больше минуты длится вызов с клиента серверной процедуры «ОбработкаИзмененияСтраницы», в то время как «Суммарное серверное время» не превышает и секунды:

Получается, что где‑то между клиентом и сервером теряется целая минута! Значит надо её найти.

Перехват трафика

Мы решили поискать ответ в передаваемом с клиента на сервер 1С и обратно трафике. Для этого мы воспользовались одной из программ-перехватчиков.

Программы-перехватчики бывают 2 типов:

1. Sniffer — например, Wireshark.
2. Proxy — например, Fiddler или mitmproxy.

Они различаются по принципу работы. Сниферы не лезут в трафик, а просто его слушают, а прокси пропускают трафик через себя, в том числе давая возможность анализировать его содержимое:

Для нашей задачи подходят перехватчиики с типом Proxy, т. к. пакеты между клиентом и сервером 1С передаются в зашифрованном виде. Когда они передаются через прокси, мы можем увидеть их содержимое. Тут стоит уточнить, что перехватываться будут https-запросы, а это значит, что 1С мы должны запустить именно через веб-ссылку.

Мы воспользовались программой mitmproxy — она распространяется бесплатно и не подвержена санкциям:

Как настроить захват трафика?

Инструкция приводится для захвата на Windows, т. к. захват производится на клиентской машине, а чаще всего пользователи работают именно в этой операционной системе. На сайте так же можно найти дистрибутивы и для других ОС.

1. Скачать и установить программу:

   

2. Перед запуском необходимо установить сертификат. Скачать его можно по адресу mitm.it. Но для этого необходимо сначала настроить свойства браузера:

   

3. В разделе «Подключение» перейти к «Настройкам сети» и указать адрес прокси-сервера 127.0.0.1 и порт 8080:

   

4. Открыть Internet Explorer, перейти по адресу mitm.it и скачать сертификат:

   

5. После этого необходимо обязательно восстановить стандартные настройки прокси:

   

6. Установить сертификат в хранилище «Доверенные корневые центры сертификации»:

   

7. Запустить mitmweb — это mitmproxy в графическом интерфейсе:

   

8. Далее настроить 1С: открыть окно запуска и в нужной базе поменять настройки прокси:

   

9. Теперь все готово для захвата трафика выбранной базы.

   Результат захвата выглядит следующим образом:

   

Стоит отметить, что этих запросов и ответов платформа 1С порождает достаточно много, и для нахождения нужного требуются некоторые усилия и практика.

Продолжение расследования

Мы запустили захват трафика и снова выполнили операцию «Записать и закрыть» 2 раза. Поиск нужных запросов производили по ряду признаков:

• Временные промежутки, в которых выполнялись операции.
• Имя исполняемого метод.
• Размер передаваемого пакета больше обычного, а второй запрос уже по схожему размеру.

Из найденных пакетов скопировали тело ответа (Response) в формате xml в Kdiff3 и получили следующие различия:

Мы увидели, что в первом случае с сервера приходит информация об изменениях индексов страниц, идущих после удаляемых, а во втором случае такого нет. В этот момент мы сделали следующие предположения:

• Удаление страницы все же приводит к изменению структуры формы.
• В итоге удаляется не только элемент «Страница», с которым мы работали, а по сути все последующие элементы формы со своим наполнением.
• С учетом того, что на каждой странице расположены тяжелые поля HTML и множество служебных групп и элементов, то это действие занимает значительное время.

Исправление

Исходя из проблематики исправление было простым: мы переписали полное удаление страницы на удаление вложенных в неё элементов:

А далее вместо добавления страницы находим существующий зарезервированный под неё элемент формы «Страница» и наполняем его диаграммами.

В итоге задача была решена. Замеры стали стабильными и не превышали 1 секунды:

Выводы

• В первую очередь эта статья посвещена человеской лени разбираться в сложном коде и формировании технического долга в виде полного удаления страницы. Поэтому рекомендуем всегда задумываться о цене быстрых и не обдуманных решений.
• Эксперт должен владеть не только анализом лога ТЖ, но и уметь использовать нестандартные инструменты, уместные и эффективные в конкретной ситуации.

Бонус-исследование

Решив задачу пользователя мы задались вопрос: «А как влияет на время отрисовки содержимое формы?».

Мы провели исследование для ответа на этот вопрос. Заключается оно в открытии различных форм с разным набором элементов и данных. А чтобы показания были достаточно точными, то на них не должно быть ничего лишнего кроме исследуемых объектов. Поэтому мы создали формы специально для исследования. Но мы были бы не инженерами, если бы делали такие формы руками. Поэтому мы создали обработку, которая генерирует обработки для исследования.

Генератор обработок

Генератор позволяет создавать обработки с одной формой, на которой добавлены реквизиты и элементы формы с указанной типизацией и в указанном количестве:

Сгенерированные файлы XML сохраняются в специальную структуру папок:

После чего с помощью командной строки «склеивается» Обработка.epf:

И на выходе мы получаем простую форму без изысков типа групп элементов, страниц и декораций:

Тесты

Тесты проводились на одной и той же клиент-серверной базе. Сервер на ОС Linux, клиент — Windows. Замеры производились в миллисекундах. Для получения времени мы вычисляем разницу между временем в мс в процедуре «ПриОткрытии» и процедуре «ПриСозданииНаСервере». Стоит отметить, что замеры не претендуют на абсолютную истину и выполнялись на конкретной машине и в конкретной базе. Так же время указанное в таблице — это время открытия, но некоторые формы зависали и после открытия на некоторое время и были совершенно не поворотливы в работе:

Результаты замеров времени представлены в таблице ниже. Для удобства восприятия время представлено в секундах. Были сгенерированны формы с однотипными реквизитами и элементами в количестве 100, 1 000 и 10 000. Каждая форма открывалась несколько раз и из таблицы видно, что второе открытие подряд зачастую быстрее первого. Например из таблицы видно, что форма, на которой размещено 1 000 реквизитов и их элементов с типом «Строка неограниченной длины» с заполненными значениями в 500 знаков заняло 3,4 секунды. Там где стоят прочерки — замер, соответственно, не производился.

Можно сразу увидеть вес элементов при открытии — например самыми легкими, не считая невыводимых реквизитов на форму, оказались декорации формы. Среди реквизитов примитивных типов выиграли «Булево». Так же можно заметить, что разный объем данных в «Таблицах значений» также влияет на отрисовку формы.

Стоит очень внимательно изучить данную таблицу самостоятельно и сделать интересные выводы для себя:

Для более легкого прочтения представляем вашему вниманию несколько графиков по данной таблице.

Первый график полностью дублирует таблицу:

Второй график отражает данные для 1 000 элементов при первом открытии. Сюда не попали заполненные таблицы значенений, т. к. уже при 100 элементах время достигает 1 минуты, а для дерева значений превышает 4 минуты:

И последний график показывает кривую увеличения времени для каждого типа элементов от количества элементов на форме:

В качестве заключения снова хотим дать совет не лениться в разработке и не оставлять технические долги «на потом». Не стоит перегружать формы и по возможности некоторые вещи выносить в другие вспомогательные формы.