Если мы хотим анализировать истории замеров за несколько месяцев, то такой пропуск важных разладок может быть не очень приемлемым. Мне Ручное тестирование потребовалось перечитать статью раз 7, чтобы разобраться во всех тонкостях. Среднее значение и медиана остались на месте, а дисперсия увеличилась.
Непрерывные и дискретные распределения
В данном подходе мы строим график плотности распределения и идем по нему слева направо, считая размер всех восходящих и нисходящих сегментов графика. Самая высокая точка графика оценивается в единицу по высоте. Для идеального унимодального распределения у нас есть один восходящий сегмент, который мы оцениваем в единицу, и один нисходящий сегмент, который мы тоже оцениваем в единицу. Суммируя эти значения, мы получаем так называемое mvalue, которое в данном случае будет равно двум. Проведенное тестирование производительности нагрузочное тестирование и оптимизация производительности позволило Lotus Notes заработать на порядок быстрее. Иногда нам дают тестовый стенд, который тянет условный bolivar, и мы начинаем усиленно искать проблемы.
- Зачем тестировать производительность веб-ресурса, какие виды тестов существуют и как правильно выбрать инструменты performance testing?
- Мы знаем, как воссоздать нагрузку на тестовом стенде, точно эмулирующую текущую и будущую.
- Другиерекламодатели готовы вкладывать больше средств в тестирование, что открываетвозможности для более смелых экспериментов.
- Поэтому согласование SLA и других требований является критически важным шагом перед началом любого нагрузочного тестирования.
- Вполне можно написать простые проверки, которые ответят на наш вопрос без привлечения человеческих ресурсов.
Тестирование производительности
Дело в том, что это сложная дисциплина, которая сочетает множество других дисциплин. Поэтому я лишь могу порекомендовать разные хорошие книжки по смежным областям. Ни одна из них не сделает вас крутым перформанс-инженером, но комплексный взгляд на проблематику https://deveducation.com/ позволит вам выбрать верное направление и на собственном опыте всему научиться.
Многие наши клиенты обратились к нам именно после таких инцидентов:
Глядя на этот график, многие мои коллеги говорят мне, что нельзя анализировать замеры в такой ситуации. А я всегда отвечаю, что мне никто не может запретить анализировать замеры. Действительно, не очень просто находить настоящие продуктовые проблемы при таком разбросе значений. Но иметь большой разброс — это нормально в перформанс анализе, мы должны учиться работать с такими данными.
С этой статьи хорошо начать ознакомление с этим замечательным разделом математики. Но мы будем обсуждать только то, что хорошо работает на практике и быстро выдаёт надёжные результаты на перформанс-данных. Это математическаямодель, использующая большое количество параметров и исторических данных, наоснове которых рассчитывается эффективность канала и прогноз будущихрезультатов.
В одеялке же макбук быстро начинает перегреваться и скидывает частоту до базовых 2,5 ГГц. Даже если вы очень круто разбираетесь в матстатистике, вы не сможете обнаружить разницу между наборами данных только по метрикам. Набор ординат точек на всех картинках одинаковый, отличается только их порядок. При большом количестве тестов велика вероятность получить любую из этих картинок совершенно случайно. Однако у нашего мозга есть удивительная способность видеть структуру и взаимосвязи в случайных и бессмысленных данных.
Мы работаем с дубликатами систем на тестовом стенде, выполняя деперсонализацию и генерацию базы данных. Мы проверим все известные нам гипотезы и предложим рекомендации, выстроенные по степени влияния на итоговую производительность. В большинстве случаев внедрение 2-3 основных оптимизаций, позволяет повысить производительность более чем в 2 раза. Мы предоставляем специализированные услуги для отделов тестирования и разработки.
Это позволит починить данные проблемы до того, как пользователи начнут на них жаловаться. А потом наше распределение внезапно становится бимодальным. И тут уже сложно сказать деградация ли это или ускорение, но что-то важное определённо поменялось. А потом распределение и вовсе становится тримодальным. Представьте, что у нас есть бенчмарк с фиксированным распределением. В какой-то момент происходит небольшая деградация, но вместо со сдвигом всего распределения меняется его форма.
Например,однажды использовали один формат на стороннем сайте. Приэтом мы не разочаровались в формате и тестируем его на других сайтах». Помимо активного внешнего продвижения важно уделять внимание работе стекущей клиентской базой.
Для запуска таких тестов, как правило, не требуется много ресурсов. Я не беру случаи, когда нужно эмулировать действительно большие нагрузки. Под такие задачи выпускаются даже специальные девайсы для генерации сетевого трафика в десятки тысяч долларов стоимостью. Подобный девайс легко положит не только среднестатистический сайт, но и всю локалку, если железо в ней не будет рассчитано на соответствующую нагрузку. Современный IT-рынок представляет десятки инструментов для проведения тестов на бесплатной и коммерческой основе. Рассмотрим 11 популярных программ для нагрузочного тестирования.
Мы решили построить модель нагрузки и написали бенчмарк, который активно читал с диска и писал на диск большие объёмы данных. Далее мы подготовили окружение для запуска этого бенчмарка в параллель на нескольких агентах и начали следить за временем их исполнения. На ведёрко приходится 19 виртуальных агентов, каждый из которых получает два физических ядра. Вроде бы особых проблем с ресурсами процессора быть не должно. Внутри находится два Xeon-процессора, на каждом 22 физических ядра.
Сейчас я покажу вам один из способов, который можно эффективно использовать на практике. За ним скрывается бенчмарк, который мы запускали в течение десяти дней. С одной стороны, график выглядит так, будто на шестой день у нас произошла деградация. С другой стороны, мы могли получить такую картинку и без деградаций, просто из-за того, что нам не повезло. Нужно взять проблему, изучить её, придумать решение и реализовать его. Потом нужно взять следующую проблему, изучить её, придумать решение и реализовать его.
Давайте посмотрим как всё это работает в реальной жизни.Перенесёмся в 4 ноября 2019 года, понедельник. Мы только что развернули новый алгоритм поиска разладок и начали следить за графиками. Для начала мы начали смотреть за билд-конфигурациями с самыми обычными юнит-тестами, которые запускались на виртуальных агентах. Я вам рассказал про свои любимые метрики для сортировки, но вы можете придумать свои метрики, которые подходят под бизнес-требования в вашем конкретном проекте. На вашем CI-сервере или продакшн-сервере уже наверняка есть много полезных данных. Потратив немного усилий, можно добавить к ним очень мощную аналитику и бесплатно узнавать о важных перформанс-проблемах максимально оперативно.
У нас были настроены алерты на все точки разладки, поэтому мы сразу об этом узнали. Порадовались, что кто-то, видимо, что-то прооптимизировал, перформанс улучшился, мы об этом узнали — красота. В тестах с большим разбросом по перформанс-замерам зачастую можно встретить много продуктовых проблем. Система мониторинга уже развернута, у нас есть красивые графики и автоматические алерты. Графики показывают идеальные результаты, каждый тест проходит за две-три секунды.
За производительностью этих тестов мы методично следим. И в этом нам поможет структура данных под названием Range Quantile Queries или RQQ. Это может звучать не очень понятно, поэтому давайте быстренько посмотрим на то, как такие деревья строятся. Подход довольно интересный, но вот только он не учитывает форму распределения.Результат может быть легко испорчен наличием нескольких больших выбросов. После этого можно выписать непараметрическую функцию максимального правдоподобия.
Из всех представленных методов мне больше всего понравился алгоритм ED-PELT из статьи 2017 года. У него неплохая точность при адекватной скорости работы. Точную асимптотику оценить сложно, но она явно быстрее, чем O(n2). Я бы мог ещё несколько часов рассказывать про хитрые математические нюансы, но мне хотелось, чтобы вы просто запомнили одну вещь. Вместо поиска каких-то абстрактных деградаций неизвестного размера нужно концентрироваться на том, насколько большие деградации у нас имеются.