Быстродействие в синтетических тестах: Как расшифровывать и понимать результаты эталонных тестов процессора…

Как расшифровывать и понимать результаты эталонных тестов процессора…

Что означает статистика эталонного теста

Теперь когда вы знаете о различных видах эталонных тестов, давайте поговорим об интерпретации их оценок.

В синтетических тестах система оценки может меняться в зависимости от программы. Оценки часто измеряются в баллах (которые могут называться по-другому в разных программах). Процессор, чья оценка выше, обладает лучшей производительностью. Однако важном помнить о том, что разные процессоры предназначены для различных целей, а не только для игр. Поэтому следует использовать тест для конкретных задач, которые будет выполнять процессор.

Реальные тесты, напротив, измеряют производительность на основе нескольких факторов.

• Пропущенные кадры. В эталонных тестах с потоковой трансляцией пропущенные кадры означают количество кадров, потерянных при кодировании видео. В результате зритель может наблюдать прерывистую картинку. Чем ниже процент пропущенных кадров, тем лучше.
• Частота кадров (для видео). В тестах с кодированием видео частота кадров означает количество кадров, которое ваш процессор кодирует в секунду. Чем больше, тем лучше.
• Частота кадров (для игр). Во внутриигровых эталонных тестах частота кадров означает количество кадров, которые отображаются в секунду. Чем выше частота кадров, тем плавнее игровой процесс (однако следует также учитывать время смены кадра).
• Время смены кадра (1% и 0,1%). Во внутриигровых эталонных тестах время смены кадра (или темп смены кадра) означает количество миллисекунд между кадрами. В идеале этот значение этого фактора не должно меняться. В противном случае темп смены кадра будет неравномерным, и будет создаваться эффект заторможенного изображения. Чем меньше миллисекунд, тем лучше. В случае преобразования этого фактора в частоту кадров для отображения ее среднего значения, чем его значение выше, тем лучше.
• ГБ/с (гигабайты в секунду). В тестах с шифрованием ГБ/с означает пропускную способность. Чем больше, тем лучше.
• MIPS (количество миллионов инструкций в секунду). В тестах со сжатием данных MIPS означает количество низкоуровневых инструкций, выполняемых процессором каждую секунду. Чем это значение выше, тем лучше. Однако при сравнении процессоров разных поколений оценки рекомендуется воспринимать скептически, так как у них разные средства выполнения инструкций.
• Время рендеринга. В эталонных тестах с рендерингом время рендеринга означает скорость, с которой процессор отображает геометрию, освещение и текстуры в трехмерной сцене. Чем меньше время, тем лучше.

Поскольку некоторые процессоры лучше справляются с определенными видами эталонного тестирования, лучше всего опираться на результаты нескольких тестов, а не одного.

Синтетические и реальные эталонные тесты могут дополнять друг друга. Чтобы получить полное представление о сильных сторонах определенного процессора, изучите результаты синтетических эталонных тестов. Затем используйте реальные эталонные тесты, чтобы больше узнать о производительности процессора при выполнении повседневных задач. Объединив полученную информацию можно понять, какими возможностями обладает процессор.

Например, при покупке процессора для игр используйте оценки эталонных тестов, чтобы определить общий уровень производительности процессора. После того как вы отберете несколько кандидатов, посмотрите на их значение частота кадров и времени его смены в нескольких современных играх (если вы покупаете процессор в ожидании еще не вышедшей игры, можно посмотреть на результаты эталонных тестов в играх, созданных на том же игровом движке, а затем экстраполировать их).

8 способов тестирования производительности компьютера

Есть три вещи, на которые можно смотреть бесконечно: текущая вода, горящий огонь и… крутящийся курсор Windows. Да, если компьютер не отличается «умом» и производительностью, созерцать зеленое (или синее) колесо в ожидании запуска программ придется долго.

Производительность (быстродействие) ПК – понятие многоплановое и относительное. Чтобы помочь нам разобраться, достаточна ли она, придумано множество тестов и оценок. Но окончательные выводы может сделать только человек — пользователь.

Виды оценки быстродействия ПК

Чтобы проверить производительность компьютера и дать ей субъективную оценку, руководствуйтесь, прежде всего, собственными ощущениями.

Ваш ПК или ноутбук достаточно производителен, если:

• Он быстро загружается и завершает работу операционной системы.
• Установленные приложения и игры запускаются без долгого ожидания.
• Вы можете использовать одновременно столько программ, сколько требуется (в рамках разумного), работать с файлами любого объема и не испытывать дискомфорта от задержек. Замедления из-за периферийных устройств или низкой скорости Интернета не в счет.

Невыполнение хотя бы одного из этих условий указывает на недостаточную мощность компьютера для конкретных задач. Но это не всегда означает, что аппарат слабый. В сравнении с другими он может быть гораздо мощнее и быстрее.

Производительность компьютерной техники оценивают двумя различными подходами:

• По соответствию возможностей железа и софта задачам, для которых используется или предназначается устройство.
• По сравнению с эталоном (бенчмаркинг). За эталон берется девайс с условно «идеальным» быстродействием при выполнении лабораторных операций (синтетических и полусинтетических тестов), приближенных к реальной работе на ПК. Бенчмарк-тестирование показывает, насколько проверяемый компьютер шустрее или, наоборот, медленнее эталонного. В качестве бенчмарков используются специально предназначенные для этого программы, а также обычные приложения и игры, нагруженные тестовой работой (воспроизведением роликов, скриптов и т. п.). Результаты проверки оцениваются по количеству набранных баллов или реальным значениям, например, скорости обмена данными между процессором и памятью в Mb/s.

Оценка производительности может проводиться как для отдельных устройств, например, только процессоров или жестких дисков, так и комплексно для всей системы. При комплексной оценке уровнем быстродействия ПК принято считать средний показатель всех его комплектующих, а в некоторых случаях — самого слабого звена.

Как оценить скорость компьютера «на лету»

В эпоху Windows 7 узнать, насколько производителен аппарат, стоящий перед вами на столе или прилавке магазина, было проще простого. Достаточно было открыть его Панель Управления, перейти в раздел «Свойства системы» – и вот они, заветные цифры.

В Windows 10 такой функции нет, но есть сторонние приложения, которые успешно ее заменяют. Это бесплатные WSAT и Winaero WEI Tool.

Обе утилиты работают без установки на компьютер и выдают одинаковые результаты. Чтобы узнать индекс производительности по расчетам Windows, достаточно просто их запустить.

Проверка быстродействия онлайн

Чтобы протестировать скорость работы ПК и отдельных его комплектующих с помощью следующих инструментов, вам не понадобится ничего, кроме браузера и доступа в Интернет.

Во время проверки рекомендуется завершить все программы и закрыть вкладки браузера, кроме рабочей, которую следует развернуть во весь экран. Это позволит получить максимально достоверные показатели.

CPU Expert

Сервис CPU Expert предназначен для измерения скорости процессоров десктопных систем, серверов, ноутбуков и мобильных гаджетов в режиме онлайн. В его набор входит два теста: CPU Benchmark и CPU Stress.

• Тест CPU Benchmark позволяет бесплатно провести анализ производительности вашего процессора и узнать, насколько он быстр по сравнению с другими. После завершения тестирования, которое длится 5 минут, вы получите постоянную ссылку на результат и сможете поделиться ею с другими людьми.
• Тест CPU Stress дает возможность посмотреть, как шустро способен работать ваш процессор в условиях стресса. Насколько сильно его нагрузить, вы определяете самостоятельно, длительность тестирования – тоже. Для контроля результатов на экране отображается 5 шкал: скорость, количество потоков, уровень нагрузки (power), баллы (количество вычисленных хэшей) и FPS (количество кадров в секунду, которое может отобразить браузер). Более детальная инструкция по проведению замеров при стресс-тестировании приведена на его странице на английском языке.

SilverBench

SilverBench – еще один бесплатный онлайн-сервис, позволяющий определить и сравнить производительность процессора вашего ПК с эталонными. В его состав входит 3 набора тестов:

• Benchmark – быстрая проверка с базовым уровнем нагрузки.
• Extreme test – усиленная проверка, длящаяся примерно в 10 раз дольше, чем базовая.
• Stress test – стрессовая проверка без автоматической остановки. Она определяет FPS в соотношении с количеством воспроизведенных кадров.

Ниже на странице выводятся результаты последних проверок и лучшие показатели, полученные у разных пользователей.

BrowserBench.org

Сервис BrowserBench.org предназначен для оценки общего быстродействия компьютеров и мобильных устройств по скорости выполнения определенных операций в браузере.

В составе BrowserBench также 3 набора тестов:

• JetStream 2 – набор алгоритмов JavaScript и WebAssembly для диагностики работы браузеров при выполнении современных веб-приложений. Он отражает совокупное быстродействие процессора, графики и оперативной памяти.
• MotionMark – бенчмарк-тест графической системы, позволяющий измерить производительность браузера при анимации сложных сцен с заданной частотой кадров.
• Speedometer – работа этого теста заключается в том, чтобы измерять скорость отклика веб-приложений путем имитации действий пользователя. Он служит для оценки быстродействия всех основных систем компьютера.

Speed-Battle

Speed-Battle — другой популярный онлайн-инструмент для оценивания производительности ПК по работе браузера. С его помощью можно определить:

• Какой из установленных веб-обозревателей самый быстрый.
• Какая операционная система работает быстрее при использовании одного и того же компьютера и браузера.
• Какой компьютер работает быстрее при использовании той же операционной системы и браузера.

Набор тестов здесь всего один. Его результат отображается без особой детализации в небольшой сводной таблице. Под ней приведены средний, максимальный и минимальный показатели среди всех пользователей сервиса.

Лучшие приложения для проверки производительности ПК

Проверка с помощью онлайн-сервисов удобна тем, что проста и не требуют дополнительных действий по скачиванию, инсталляции и т. п. Однако, по утверждениям бывалых, она не особенно точна и сильно ограничена в наборе инструментов.

Специализированные программы, которые устанавливаются на диск или запускаются с флешки, позволяют проводить точное узконаправленное тестирование отдельных подсистем и устройств компьютера. Помимо измерения производительности, они дают возможность получать сведения о характеристиках железа, его состоянии, работоспособности, исправности и даже выявлять некоторые неполадки.

Aida64: многоплановая оценка параметров и стабильности системы

Aida64 – пожалуй, одна из самых, если не самая популярная программа сбора сведений об аппаратном обеспечении ПК с функциями тестирования (бенчмаркинг, стабильность). Она выпускается в нескольких платных редакциях, две из которых – Engineer и Extreme, содержат интересующий нас функционал.

В набор тестов Aida64 входят:

• Disk Benchmark – сборник алгоритмов оценочной проверки жестких дисков, SSD, RAID.
• Cache & Memory Benchmark – алгоритмы оценки скорости кэша и памяти.
• GPGPU Benchmark – бенчмарк графической системы.
• Monitor Diagnostics – диагностический тест монитора.
• Чтение из памяти.
• Запись в память.
• Копирование в памяти.
• Задержки в памяти.
• CPU Queen, CPU ZLib, CPU AES, CPU PhotoWorxx, FPU Julia, FPU Mandel и ряд других тестов скорости процессора. Пояснения к ним приведены в главном окне Aida64 в разделе «Тест».

Maxon Cinebench – комплексная проверка работы процессора

Maxon Cinebench – бесплатный бенчмарк для оценки производительности процессоров последних поколений (с поддержкой SSE3). В отличие от аналогов, эта программа дает возможность протестировать полный функционал ЦП в процессе рендеринга трехмерных сцен, сгенерированных движком Cinema 4D. Для сравнения: основная масса бенчмарков использует абстрактные синтетические тесты, которые позволяют оценить лишь отдельные функции процессора.

Актуальная версия бенчмарка — Cinebench R23, тестирует производительность как всех, так и одного ядра. Минимальную продолжительность теста можно установить вручную в настройках программы.

Maxon Cinebench имеет англоязычный, но довольно простой интерфейс: для запуска проверки достаточно нажать кнопку «Start», для остановки – «Stop». Поскольку рендеринг 3D-изображений создает значительную нагрузку на процессор, рекомендуется контролировать его нагрев.

Чтобы максимально снизить влияние фоновых процессов на результаты теста, разработчики бенчмарка советуют запускать его в режиме командной строки. Параметры запуска приведены на официальной странице продукта.

Несмотря на то, что в тестировании используется графическая сцена, Maxon Cinebench не оценивает производительность видеокарт. Для этого существуют другие, не менее достойные бенчмарки — 3D Mark, Furmark и т. д. Что это за программы и как с их помощью оценить работу видео, рассказано в статье о тесте видеокарты на стабильность и производительность.

CrystalDiskMark – популярный бенчмарк для оценки скорости накопителей

Быстродействие компьютера зависит от слаженной работы всей системы. Даже самый быстрый процессор и новейшая видеокарта не раскроют свой потенциал, если в системе установлен медленный жесткий диск. Для выявления подобных казусов существуют приложения-бенчмарки запоминающих устройств, такие, как CrystalDiskMark.

Однооконная мультиязычная утилита CrystalDiskMark позволяет оценивать скорость чтения и записи жестких дисков (HDD), SSD, USB-флешек и карт памяти. В ее наборе 4 разновидности тестов:

• Seq1M Q8T1 (Mb/s) — последовательные (Seq) чтение и запись блоков информации размером в 1 MiB с глубиной очереди 8 и количеством потоков 1.
• Seq1M Q8T1 (Mb/s) — последовательные чтение и запись блоков 1 MiB с глубиной очереди 1 и количеством потоков 1.
• RND4k Q32T1 (Mb/s) – случайные (рандомные) чтение и запись блоков размером в 4 KiB с глубиной очереди 32 и количеством потоков 1.
• RND4k Q1T1 (Mb/s) – случайные чтение и запись блоков 4 KiB с глубиной очереди 1 и количеством потоков 1.

Результат определяется по величине полученных значений: чем они больше, тем быстрее работает накопитель. Особенно информативны показатели RND4k Q32T1 и RND4k Q1T1, так как более 80% дискового времени приходится на рандомные процессы считывания и записи.

Настройки тестирования, которым отведено верхнее поле CrystalDiskMark, довольно просты:

• Первый выпадающий список – количество проходов. Чем их больше, тем достовернее результат. По умолчанию выбрано 5.
• Второй список – размер тестового файла. Лучше выбрать такой, какие вы используете чаще всего.
• Третий – выбор запоминающего устройства для проверки.
• Четвертый – единицы измерения.

Кнопка «All» в правой колонке запускает поочередно все тесты. Остальные кнопки запускают только выбранный.

Самое нижнее поле окна в виде пустой строки предназначено для вписывания названия накопителя.

Результат тестирования можно сохранить в файл через одноименный раздел меню в виде текста и картинки.

Бенчмаркинг. Виды тестов и их использование в разработке приложений

Бенчмарки (тесты) являются мощным инструментом разработки проекта. При корректном использовании тесты позволяют сократить время проектирования системы, снизить риски и облегчить принятие важных решений. В статье приведен обзор различных видов тестов, рассмотрены их достоинства и недостатки, а также рекомендации по их использованию. Подробно освещены наиболее известные методологии тестирования, предлагаемые такими организациями, как BDTI и EEMBC. Статья представляет собой сокращенный перевод [1-2].

Зачем нужны тесты?

Выделяют две основные задачи бенчмаркинга (тестирования).
– Выбор оптимального решения. Искомое решение может быть связано с аппаратным или программным обеспечением, инструментами разработки (например, компиляторами) или с любой их комбинацией. Разработчики обычно используют тестирование при выборе центрального процессора, однако оно может принести пользу и в других случаях.

– Определение технических требований к приложению. Для иллюстрации рассмотрим следующий случай. У вас есть готовый продукт, и вы хотите добавить к нему функции. Требуется ли для этого модернизировать процессор? Если да, то насколько мощнее должен быть новый процессор? Нужно ли перейти на его новую архитектуру или добавить в систему сопроцессор? И т.д.
Как было сказано, тестирование выполняется для выбора оптимального решения. Эти решения могут быть связаны с тремя областями.
– Оборудование. Это может быть процессор (микроконтроллер, DSP, FPGA, многоядерный процессор и т.д.), подсистема (например, печатная плата или IP-блок) или целая система. Наиболее часто проводят тестирование процессора. Однако тесты, разработанные для оценки производительности процессора, могут включать в анализ и другие системные компоненты. Так, например, производительность процессора часто зависит от работы системы памяти.
– Программное обеспечение (ПО). ПО может включать операционную систему (ОС), программные средства промежуточного уровня (middleware) и прикладные программы. Очевидно, что программные средства должны выполняться на аппаратуре, поэтому результаты тестирования программного обеспечения по определению зависят от производительности оборудования.
– Инструменты разработки. Эти программные средства включают компиляторы, инструменты синтеза аппаратных средств и т.д. Инструменты разработки создают устройства или программные продукты, которые работают на оборудовании, поэтому его производительность также необходимо учитывать при анализе результатов тестирования.
Тесты измеряют ряд параметров, среди которых основными являются следующие.
– Производительность (быстродействие). Это наиболее широко рас­пространенный параметр и его обычно легче всего измерить. Произ­во­ди­тельность измеряется в количестве циклов в секунду или времени выполнения задания.
– Стоимость. Стоимость можно оценить в абсолютных или относительных (например, в расчете на канал) единицах. При оценке стоимости следует учитывать некоторые важные детали. Например, если два чипа имеют встроенную память разной емкости, различные интерфейсы ввода/вывода и т.д., то сравнивать их стоимость не совсем корректно.
– Потребляемая мощность. По­доб­но стоимости, этот параметр можно оценить в абсолютных единицах или посредством определения эффективности потребления мощности. Мощность обычно весьма трудно точно измерить. Кроме того, в общем случае сложно отделить мощность, потребляемую тестируемым компонентом (например, процессором) от мощности, потребляемой остальной частью системы (например, платой с установленным на ней процессором).
– Другие системные параметры. С помощью тестов можно провести также оценку таких параметров как ресурсы памяти и физические размеры, однако эти показатели менее распространены.
– Качественные показатели. С помощью тестов можно оценить различные качественные показатели, например качество предоставляемого сервиса, восприятия звука и видео. Такие тесты становятся все более специализированными.
– Объем затраченной работы. Тесты помогают определить объем работы, необходимой для реализации определенного решения. Например, с помощью тестов оценивается количество человеко-часов, которое затрачивается на программирование теста для ЦП. Этот показатель чрезвычайно сложно оценить корректно — например, трудно определить типовую команду программистов для выполнения конкретной задачи, поэтому такие тесты используются редко.

Виды тестов

Существует много разновидностей тестов. Рассмотрим некоторые из них.

Синтетические тесты

Синтетические тесты (synthetic bench­marks) представляют собой наборы программ, с помощью которых воспроизводится типовая рабочая загрузка процессора. Основными тестами данного типа являются Whetstone и Dhrystone. Тест Whetstone оценивает производительность операций с плавающей запятой в MWIPS (миллион Whetstone-инструкций в секунду), а Dhrystone производит оценку производительности целочисленных операций в DMIPS (миллион операций в секунду по тесту Dhrystone). В области персональных компьютеров на смену тесту Dhrystone приходит тест SPECint, однако среди встраиваемых систем Dhrystone еще доминирует.
Тест Dhrystone имеет следующий ряд положительных свойств:
– он хорошо известен и широко применяется;
– он компактен и удобен в реализации;
– он универсален (в отличие от тестов для специфических приложений) и, следовательно, широко применя­ется;
– это тест с открытым кодом, который доступен бесплатно.
Однако тест Dhrystone также имеет и серьезные недостатки.
– Из-за своей простоты и компактности он не обеспечивает полную проверку системы памяти и интерфейса ввода/вывода. Это серьезно ограничивает возможности теста.
– Тест не подходит для проверки компиляторов, т.к. предоставляет ограниченные возможности для оптимизации.
– Тест подходит в основном для одноядерных процессоров. Он не работает удовлетворительно (или совсем не работает) при проверке многоядерных процессоров, FPGA и т.д.
– Поскольку тест универсален, с его помощью сложно оценить производительность специфического приложения.

Базовые алгоритмы

Базовые алгоритмы (kernel bench­marks) представляют собой небольшие программы, взятые из реального приложения или набора приложений. Базовые алгоритмы отвечают принципу 80/20, который утверждает, что 20% данного кода обеспечивает 80-% загрузку процессора, связанную с этим кодом.
Базовые алгоритмы имеют следующие важные преимущества.
– Они сравнительно небольшие по объему и, следовательно, в них легко разобраться и затем реализовать.
– Базовые алгоритмы применимы для довольно широкого спектра приложений. Например, во многих DSP-приложениях используются КИХ-фильтры, поэтому тест реализации КИХ-фильтра является хорошим показателем общей производительности DSP-системы.
– Поскольку базовые алгоритмы представляют собой существенную часть реального кода, эти тесты можно использовать для прогнозирования реальной производительности приложения.
К числу недостатков базовых алгоритмов относятся следующие.
– Они являются более специализированными, чем синтетические тесты. Следовательно, эти тесты применимы к меньшему числу приложений.
– Иногда сложно связать базовые алгоритмы с производительностью приложения. Например, может потребоваться десяток базовых алгоритмов для того, чтобы обеспечить рабочую загрузку для конкретного приложения. Основной проблемой при этом станет объединение результатов всех этих тестов.
– Базовые алгоритмы обычно не обеспечивают полную проверку системы памяти и интерфейса ввода/вывода, что серьезно ограничивает возможности теста.
– Из-за своей простоты базовые алгоритмы не подходят для проверки компиляторов.
– Базовые алгоритмы подходят в основном для оценки одноядерных процессоров. Они работают неудовлетворительно (или совсем не работают) при проверке многоядерных процессоров, FPGA и т.д.
– В большинстве случаев базовые алгоритмы и условия тестирования (например, данные для тестирования) не являются широко доступными для пользователей, что затрудняет определение достоверности и надежности результатов тестов.

Прикладные алгоритмы

Вместо того, чтобы создавать искусственный тест, можно использовать реальное приложение (application benchmarks). Такой подход исключает необходимость создания специального тестового кода, однако требует определенных усилий. Для получения существенных результатов необходимо определить условия тестирования, например используемые для теста исходные данные.
В данном разделе понятие «прикладной алгоритм» используется по отношению к тесту, реализуемому поставщиком какого-либо решения или независимой фирмой. Использование прикладного алгоритма в качестве теста, реализуемого конечным пользователем, будет обсуждаться ниже.
Преимущества прикладных алгоритмов включают следующие.
– Поскольку используются реальные программные коды, с помощью прикладных алгоритмов можно в полной мере оценить производительность разрабатываемой системы. Требуется лишь несложная обработка результатов теста для представления данных в реальных рабочих параметрах системы.
– Прикладные алгоритмы обычно позволяют проверить различные компоненты системы, такие как подсистема памяти и интерфейс ввода/вывода.
– Прикладные алгоритмы применимы для тестирования компиляторов.
– Прикладные алгоритмы применимы для любых видов аппаратных средств, включая многоядерные процессоры, FPGA и т.д.
Недостатки прикладных алгоритмов включают следующие.
– Прикладные алгоритмы могут быть недоступны для всех тестируемых решений. Разработка специального прикладного алгоритма лишь с целью тестирования обычно бывает нецелесообразна.
– Результаты тестирования с помощью прикладного алгоритма применимы к довольно узкому спектру приложений. Например, тест реализации видеокодека H.264 может быть полезным средством для оценки подобного ему видеокодека, например VC-1. Однако тест H.264 даст лишь очень поверхностное представление о работе приложения при реализации совершенно другого кодека, например MPEG-2, и будет совершенно бесполезным для оценки производительности других приложений, не имеющих отношения к системам обработки видео.
– В большинстве случаев тестовые условия (данные для теста) недоступны для широкого доступа, что затрудняет получение качественных и достоверных данных.

Гибридные методы тестирования

Перечисленные типы тестов не являются единственно возможными. Например, имеется возможность построения теста, сочетающего базовые и прикладные алгоритмы. Примером такого подхода могут служить тесты реализации видеокодирования компании BDTI (BDTI Video Encoder and Decoder Benchmarks). Однако часто такой тип тестов обладает не самыми лучшими качествами базовых и прикладных алгоритмов: он довольно объемен, его сложно реализовать и, кроме того, возникают трудности при представлении его результатов в виде реальных рабочих показателей системы.
И лишь одно свойство гибридных тестов является ценным — их можно применять ко многим типам процессоров, а не только к микроконтроллерам и DSP. Например, контрольный тест для оборудования связи компании BDTI — BDTI Communications Bench­mark (OFDM) — применим к двум типам DSP, двум FPGA и одному многоядерному процессору.

Тесты пользователя

Выше обсуждались тесты, реализуемые поставщиками или независимыми компаниями по тестированию. Конечно, пользователь может создать собственный тест. Преимущества такого подхода очевидны: используя собственный код и данные для теста, можно получить данные о производительности конкретного проекта. Однако тесты, разрабатываемые пользователем, имеют три существенных недостатка.
– Разработка и реализация теста может занять много времени.
– Пользователь может испытывать недостаток специальных знаний для разработки эффективного теста. Например, предположим, что производительность проектируемого приложения в значительной степени зависит от конфигурации кэш-памяти. Если разработчик не знает об этом, он может так ее сконфигурировать, что это приведет к искусственному увеличению или, наоборот, ограничению производительности системы.
– Пользователь может не иметь достаточных знаний для разработки приложения. Например, инженер-программист может не иметь опыта реализации приложения на FPGA.
В целях поддержки разработчиков пользовательских тестов компания TechInsights запустила сайт
www. benchlab.com, на котором предлагается множество возможностей для отладки тестов. Используя интерфейс сайта, пользователь запускает код своего теста на различных платах разработчика, что позволяет проверить алгоритм теста на нескольких платах без необходимости их приобретения и установки.
Наиболее широко известны тесты для встраиваемых систем компании BDTI и консорциума EEMBC. Рассмотрим их подробно.

Тесты компании BDTI

BDTI (Berkeley Design Technology, Inc.) — частная консультационная компания, которая известна тестами DSP, а также рекомендациями по выбору процессоров. Компания BDTI предлагает ряд специализированных тестов для оценки параметров систем обработки сигналов.

Тесты для DSP-приложений

Компания BDTI наиболее известна базовыми контрольными тестами для DSP-приложений (BDTI DSP Kernel Benchmarks), которые охватывают такие широко распространенные алгоритмы как КИХ-фильтры и БПФ. Результаты тестирования приводятся в отчете BDTImark2000, который доступен на сайте www. bdti.com.
С тем чтобы детально ознакомиться с результатами теста, можно приобрести соответствующий отчет BDTI или подписаться на платную рассылку.
Эти тесты оптимизированы (обычно ручным способом) и выполняются в изолированной среде, т.е. без запуска ОС или параллельного процесса. Такой подход хорош тем, что он отражает уровень оптимизации, применяемый в DSP-приложениях, и дает ясное представление о реальной производительности. С другой стороны, такие тесты могут оценить лишь производительность ядра центрального процессора и не измеряют производительность подсистемы памяти, интерфейса ввода/вывода и т.д.

Наибольшим преимуществом таких тестов является их широкий охват типов тестируемых компонентов. Компания BDTI протестировала десятки DSP, микроконтроллеров и лицензируемых ядер. Эти тесты способны оценить широкий спектр параметров, например быстродействие, стоимость, эффективность потребления энергии и использования памяти. Другим их преимуществом является достоверность результатов из-за весьма строгого процесса сертификации, реализованного компанией BDTI. Кроме того, эти тесты сравнительно легко реализовать, т.к. в большинстве тестов применяются простые алгоритмы.

Основным недостатком тестов является их ограниченное применение. Все они реализуют традиционные 1-D DSP-алгоритмы, которые в основном применимы для телекоммуникационных приложений. Кроме того, их применение ограничено лишь одноядерными процессорами; их нельзя использовать для тестирования многоядерных процессоров, FPGA и т.д.
К тому же следует учитывать фактор стоимости. Если краткий отчет о тесте предоставляется бесплатно, за получение детальной информации необходимо заплатить. Кроме того, исходный код теста распространяется также на платной основе, что является серьезным недостатком по двум причинам.

1. Краткий отчет содержит только данные по относительной производительности процессоров и ничего не сообщает об абсолютных значениях.
2. Краткий отчет дает информацию лишь об общей производительности DSP-приложения и не позволяет оценить производительность процессора, реализующего специфическое приложение.
Наконец, BDTI не открывает свою методику сертификации, что затрудняет правильную интерпретацию результатов тестирования.
Таким образом, тесты для DSP-приложений компании BDTI являются наилучшим средством для оценки DSP-систем, однако у них имеется несколько недостатков, о которых не следует забывать.

Базовые тесты для видеоприложений

Базовые тесты для видеоприложений (BDTI Video Kernel Benchmarks) концептуально подобны DSP-тестам. Основное отличие в том, что тесты для видеоприложений включают алгоритмы обработки видео (например, компенсация движения) вместо обычных DSP-алгоритмов (например, БПФ).
Преимущества и недостатки тестов для видеоприложений BDTI в основном те же, что и тестов для DSP-приложений. Основная разница между ними состоит в следующем.
– Тесты для видеоприложений наилучшим образом подходят для оценки системы обработки видео и изображений и имеют ограничения при их применении в тестировании других систем.
– В настоящее время нет опубликованных данных по результатам тестирования. Однако компания BDTI утверждает, что доступны некоторые результаты как для DSP, так и для процессоров общего назначения.

Тесты прикладной задачи видеокоди­рования
Кроме базовых тестов для видеоприложений, BDTI предлагает тесты реализации видеокодеков. Вместо тестирования отдельных алгоритмов тесты реализации видеокодеков моделируют целую систему видеообработки. (Следует учитывать, что это именно модель кодека, а не стандартный кодек). Таким образом, данный тест позволяет реально оценить производительность всей системы видеокодирования. По сравнению с базовыми тестами для видеоприложений, преимущества и недостатки этого вида тестов следующие.
– Преимущество: поскольку этот тест сложнее, он в большей степени учитывает производительность системных компонентов, например производительность системы памяти.
– Преимущество: этот тест применим к гораздо более широкому спектру приборов, включая FPGA и многоядерные процессоры.
– Преимущество/недостаток: данный тест наилучшим образом подходит для видеоприложений и имеет ограничения для других применений.
– Недостаток: в настоящее время данный тест был использован для оценки лишь двух процессоров.
– Недостаток: самостоятельное тестирование требует больших затрат ресурсов.

Тест для оборудования связи OFDM

Компания BDTI предлагает также тест для оборудования связи OFDM (BDTI Communications Benchmark). Как следует из названия, тест ориентирован на приложения, в которых используется метод OFDM-модуляции (Orthogonal Frequency Division Multi­plex­ing — мультиплексирование с ортогональным частотным разделением). Этот тест концептуально подобен тесту реализации видеокодеков и во многом имеет те же самые преимущества и недостатки. Основная разница состоит в следующем.

– Преимущество/недостаток: тест наилучшим образом подходит для OFDM-приложений и имеет ограничения для других применений.
– Преимущество: тест был использован для тестирования двух типов DSP, двух FPGA и одного многоядерного процессора, что вполне достаточно для сравнения и анализа полученных результатов. BDTI в ближайшее время планирует получить данные о тестировании еще нескольких типов приборов.

Тесты, учитывающие аппаратную и про­грам­мную реализацию

В то время как в большинстве тестов BDTI используется искусственная загрузка процессора, тесты, учитывающие аппаратную и программную реализацию (BDTI Solution Benchmarks) в качестве загрузки процессора используют приложения. Эти тесты проверяют существующие решения с помощью стандартных параметров, данных для тестирования и показателей производительности. На сегодняшний день в данной категории представлен только тест реализации декодирования стандарта H.264. Такой подход имеет много общего с тестами реализации видеокодеков BDTI. Основными отличиями являются следующие.
– Преимущество. Этот подход позволяет оценить реальную производительность конкретного решения, а не использовать для этого искусственные алгоритмы.
– Преимущество. Данные, полученные в результате тестирования, весьма подробные, что обеспечивает детальный анализ результатов тестирования.
– Недостаток. Тест применим лишь к двум решениям.
– Недостаток. При создании собственного теста разработчику потребуются существенные затраты ресурсов — необходимо создать полный алгоритм реализации декодера H.264.

Тесты EEMBC

EEMBC (Embedded Microprocessor Bench­mark Consortium) — некоммерческий консорциум производителей встраиваемых систем и инструментов разработки. EEMBC предлагает базовые алгоритмы для тестирования микропроцессоров для различных областей применения:
– автомобильная электроника;
– потребительская электроника;
– цифровые устройства индустрии развлечений;
– Java/CLDC-приложения;
– информационные сети;
– автоматизация управленческих работ;
– телекоммуникации.
Тесты EEMBC имеют в основном те же свойства, что и базовые алгоритмы для DSP- и видеоприложений компании BDTI. Разницей является то, что EEMBC предлагает более широкий выбор тестов. С точки зрения применяемости тестов, BDTI опережает EEMBC в отношении процессоров для DSP-приложений (например, DSP компании TI), а EEMBC предлагает больше тестов для оценки процессоров других приложений (например, микроконтроллеров Freescale).
Следует заметить, что тесты EEMBC не обеспечивают такой же уровень алгоритмов, что тесты BDTI. EEMBC распространяет результаты тестирования в двух видах: данные по результатам тестов без настроек (out-of-the-box), которые не оптимизированы на языке C, и данные тестов с оптимизированным кодом. Тесты out-of-the-box могут не отражать реальную картину, однако, по крайней мере, позволяют сравнивать результаты тестирования разных компонентов. Разные поставщики используют различные методы оптимизации, поэтому сравнивать результаты оптимизированного тестирования сколько-нибудь достоверно невозможно.
Это проблема не только тестов EEMBC. Похоже, часто тесты выбирают, руководствуясь удобством их использования, а не с точки зрения достоверности результатов. Например, тесты по цифровым устройствам индустрии развлечений содержат алгоритм реализации декодера MPEG-2 с плавающей точкой. Насколько известно, ни в одном потребительском устройстве декодирование видео не реализовано с помощью вычислений с плавающей точкой, поэтому не совсем ясно, имеет ли данный тест какое-либо практическое значение.
EEMBC использует две методологии, которые дополняют тесты:
– EnergyBench — для оценки потребляемой мощности во время тестирования;
– MultiBench — для запуск теста на многоядерной платформе.
Многие пользователи являются поклонниками EnergyBench. Весьма трудно выбрать те значения мощности, потребляемой системой, на основе которых можно сделать сравнение компонентов. Данная методология позволяет это сделать. Однако существуют два ограничения. Во-первых, эта технология основана на алгоритмах, которые не позволяют полностью учитывать вклад мощности, потребляемой системой памяти, интерфейсом ввода/вывода и т.д. Во-вторых, методология EnergyBench оценивает энергопотребление лишь при полной загрузке процессора. Мощность, потребляемая в режиме холостого хода или при частичной загрузке, не измеряется, что является основной проблемой, т.к. большинство систем не функционирует постоянно в режиме максимальной загрузки. Это особенно верно для мобильных приложений, которые большую часть времени проводят в режиме ожидания.
Технология MultiBench обеспечивает запуск некоторых тестов для сетевого оборудования и обработки изображений на многоядерной платформе. Несмотря на очевидные преимущества, MultiBench имеет существенные ограничения. Во-первых, данная методология основана на алгоритмах, которые по своей сути не подходят для тестирования многоядерных приложений. Например, работа реальных приложений часто зависит от данных, которые могут ограничить реализацию параллельных процессов обработки. Методология MultiBench может не учитывать это.
Во-вторых, базовые алгоритмы, которые были выбраны EEMBC для своих тестов, изначально были предназначены для многоядерной реализации. Например, методика MultiBench предлагает тест реализации поворота изображения на 90 градусов. При повороте на 90 градусов каждый пиксель изображения движется независимо от других. Таким образом, довольно просто разбить такое задание на независимые части, которые могут выполняться на отдельных процессорах. На практике, однако, редко удается сравнительно легко разделить загрузку между процессорами.
Наконец, методология MultiBench применима только для симметричной архитектуры процессоров (symmetric multiprocessors — SMP). Она не предназначена для тестирования процессоров с ассимметричной архитектурой (asymmetric multiprocessors — AMP), процессоров с массовым параллелизмом (massively-parallel processors — MPP) или FPGA.
Кроме перечисленных методик, EEMBC работает над пакетом тестов HyperBench, который ориентирован на тестирование т.н. менеджеров виртуальных машин (virtual machine managers).

Рекомендации по использованию тестов

Разные виды тестов предназначены для различных целей и предоставляют разную информацию. По этой причине при выборе тестов необходимо рассмотреть возможность применения всех видов тестов для разрабатываемого приложения. Из синтетических тестов рекомендуется пользоваться Dhrystone. Несмотря на определенные недостатки, он широко распространен, и его код свободно доступен.
Среди базовых алгоритмов наиболее технически совершенны тесты BDTI, поэтому предпочтительнее использовать их. Однако тесты EEMBC применимы для более широкого спектра приложений и обеспечивают более детальные результаты, чем BDTI. По этой причине полезно учитывать также результаты тестов EEMBC.
Прикладные алгоритмы в настоящее время немногочисленны. BDTI предлагает тест реализации кодека H.264. Компания FutureMark предагает 3D-тесты для мобильных телефонов. Кроме них в настоящее время нет сколько-нибудь известных тестов для встраиваемых приложе-ний.
При самостоятельной разработке теста следует использовать ресурс www.benchlab.com. Как отмечалось, этот сайт обеспечивает запуск теста, разработанного пользователем, и снижает затраты на тестирование.

Заключение

Хотя тесты являются мощным инструментом, ни одна из предлагаемых в настоящее время методик не совершенна. Чтобы получить максимальное преимущество от тестирования, необходимо учитывать их ограничения. Разработчики предпочитают пользоваться тестами различных организаций, однако и BDTI, и EEMBC предоставляют полезные ресурсы, которые позволяют выбрать тип процессора и определить технические требования к приложению.

Литература

1. Benchmarking basics, part 1: Choosing and using benchmarks, Kenton Williston//www.dspdesignline.com.
2. Benchmarking basics, part 2: BDTI and EEMBC reviewed, Kenton Williston//www.videsignline.com.

Методика тестирования компьютерных систем образца 2020 года

Процесс смены методик тестирования компьютерных систем сильно затянулся, однако дошел до логического завершения — почти на год позже, чем планировалось. В процессе доработки тестовых задач и адаптации их для новых версий программного обеспечения, возникли определенные трудности. Затем некоторые программы обновились в очередной раз — и снова я на Дерибасовской… В конечном итоге было принято волюнтаристское решение остановиться на достигнутом на некоторое время — благо состояние, в котором «всё работает» и пригодно для практических целей, было достигнуто.

Почему вообще приходится регулярно проделывать такую работу? Потому что, вообще говоря, освоение новых аппаратных возможностей программистами происходит с заметным лагом относительно их внедрения. У большинства пользователей сначала «нового железа» нет вообще, а потом оно начинает появляться, но на фоне общего количества используемых компьютеров погоды не делает. Даже серверы принято заменять лишь раз в пять лет, а настольные системы иногда работают и дольше. Но чем дальше, тем больше увеличивается превосходство «новейших» систем — поскольку все большее количество ПО «обучается» правильной работе с ними. А вот результаты «устаревших» компьютеров при смене программного обеспечения не улучшаются — бывает, даже и наоборот. Однако тестировать приходится и те, и другие: новые — потому что они новые, а старые — чтобы понимать, чем они хуже новых. Слишком «частить» со сменами тестовой методики тоже плохо — ведь целью-то являются не абстрактные результаты в вакууме, а сравнение разных компьютерных систем. Как минимум — их компонентов. В первую очередь — центральных процессоров. И чтобы не перетестировать их раз за разом, тестовую методику приходится фиксировать на продолжительный срок — как минимум, на год-два. Что мы и делаем.

Текущая версия методики в основном была разработана в 2019 году. Использовать мы ее тоже начали до Нового года — однако основная работа придется на 2020-й и, возможно, первую половину 2021 года. Данный материал является описанием новой методики, причем в первую очередь посвящен не способам измерения производительности и других параметров (это тоже довольно объемные вопросы, заслуживающие отдельных статей — часть из которых уже написана), а тому, как они будут использоваться непосредственно в серии обзоров. Иными словами, основной темой для нас сегодня будет не «как», а «почему так — и не иначе». Соответственно, теоретическая часть в очередной раз практически не изменилась и будет повторена почти дословно — можно было бы ограничиться ссылками на описания предыдущих тестовых методик, но, как показала практика, те, кому это в наибольшей степени нужно, по ссылкам не ходят, а информация на деле крайне важна для понимания процесса, да и результатов тоже. Чтобы в будущем не возвращаться к подобным вопросам, сегодня мы постараемся дать на них полные ответы. Во всяком случае, в той части, которая традиционно относится к тестированию центральных процессоров. Начнем прямо с названия.

Как измерить то, чего не существует?

Этот провокационный заголовок полностью раскрывает проблему. Действительно: что такое «производительность»? Количественная характеристика скорости выполнения определенных операций. Из чего сразу же следует основной вывод: никакой «производительности процессора» не существует. В отличие от, например, производительности компьютера. Просто потому, что последний является законченным устройством, на практике способным выполнять какие-либо вычисления и все, что к ним сводится. Разумеется, многое зависит от операций, скорость которых измеряется, т. е. программного обеспечения. Которое еще и работает только под управлением определенных операционных систем, что дополнительно сужает предметную область. Однако выбрав ОС и программы, мы можем получить для аппаратной системы какой-то более или менее осмысленный результат. И даже сравнить разные системы по производительности на выбранном наборе программного обеспечения.

Но если спуститься на уровень ниже, т. е. перейти от законченных устройств к компонентам, понятие производительности очевидным образом просто исчезает, поскольку ни к какому отдельному использованию компоненты не пригодны. Во всяком случае, не к целевому. Винчестер можно использовать как гнет при закваске капусты, а процессор — чтобы пускать «блинчики» по воде, однако их «производительность» при выполнении подобного рода «операций» никого не интересует. А та, которая интересует, может быть измерена лишь в рамках законченной системы и потому будет испытывать влияние других компонентов, а зачастую именно они окажутся определяющими. Например, при недостаточном для решения какой-то задачи количестве оперативной памяти любые процессоры «тормозить» будут одинаково — узким местом станет работа с виртуальной памятью. Иногда в таких ситуациях дело доходит до смешного: ограничение количества активных процессорных ядер увеличивает производительность, поскольку памяти в таком случае начинает «хватать».

А уж какое влияние на итоговую производительность компьютера в современных условиях могут оказывать видеокарты — вообще отдельный разговор. Речь даже не об играх — с ними-то все просто: как правило, именно в видеосистему все и «упирается», а остальные компоненты как-то сказываются лишь тогда, когда ее мощность избыточна для выбранного режима. Однако задействовать в работе GPU за последнее время научились и программы общего назначения. Причем задействовать по-разному: кто-то «крутит» OpenCL-код на всех графических процессорах, а кто-то ограничивается выделенными блоками для декодирования или кодирования видео. Или даже для обратной трассировки лучей — есть уже и такие примеры. И тут важнейшим фактором может оказаться совместимость конкретной программы с конкретной линейкой GPU (как на уровне железа, так и в плане возможностей видеодрайвера). В итоге нередки парадоксальные ситуации, когда установка мощной дискретной видеокарты снижает производительность относительно использования простенького встроенного графического ядра — как раз потому, что последнее в конкретной программе использовалось, а дискретка для тех же операций «не подцепилась». Иногда это исправимо настройками, иногда (в особенности если говорить о программах бытового назначения) — нет. В последнем случае имеет смысл сначала подобрать видеокарту, а потом уже к ней подходящий процессор. Почти как в игровом ПК — с той лишь разницей, что все игры «совместимы» с любыми видеокартами, а вот неигровое ПО — не обязательно со всеми и не обязательно одинаково.

Почему же в таком случае все равно можно говорить о «производительности процессоров»? Потому что тестовые конфигурации можно привести к более-менее одинаковому состоянию (во всяком случае, это верно для модульных систем — типа настольных). В идеале — добиться того, что различаться они будут исключительно процессорами. Такое возможно, например, если тестируются два устройства для одной и той же платформы: будучи установлены на одну и ту же системную плату и снабжены одной и той же «периферией» (от оперативной памяти до накопителей), работать они будут со скоростью, зависящей только от них самих и/или ограниченной прочими компонентами одинаковым образом. Последняя проблема не является неразрешимой при наличии гибкости в конфигурировании, поскольку «вредные» факторы при обнаружении можно исключить. Однако и в этом случае мы измеряем не производительность процессора, а производительность всей системы.

В определенных условиях этим можно пренебречь. Например, можно утверждать, что в рамках одной платформы один процессор быстрее другого в полтора раза, если скорость выполнения набора тестовых заданий при замене одного на другой меняется в указанные полтора раза. Вот с другими характеристиками (зачастую не менее интересными) нужно быть уже очень осторожным. Например, не имеют никакого смысла попытки посчитать «соотношение цены и производительности», ориентируясь только на цену процессоров. Действительно: если модель X работает в полтора раза быстрее, чем модель Y, а стоит вдвое дороже, то, казалось бы, по пресловутому соотношению она заметно хуже. Но если вспомнить, что на деле мы можем получить только производительность системы, то приходим к выводу, что учитывать нужно цену именно системы. И если, к примеру, X стоит $50, Y — $100, а все остальное оборудование, которое использовалось в тестах — $450, значит, увеличение производительности на 50% происходит при увеличении цены всего лишь на 10%, так что более дорогой процессор на самом деле является более выгодной покупкой. А что будет при сравнении этих же двух процессоров, когда на «окружение» потрачено $250 или $750? Строго говоря, мы не знаем. Одно тестирование в конкретных условиях не дает ответа на вопрос, как изменится производительность в общем случае. Может выйти так, что слишком дешевая система приведет к одинаковым результатам для обоих процессоров, а в более дорогой разница увеличится (при этом разница в реальной цене систем сократится), может — наоборот (на самом деле нет), а может — ничего не изменится. Информации недостаточно.

Так что, как видим, даже в рамках одной и той же платформы при возможности полностью уравнять условия тестирования все не так уж просто. А ведь как раз такие сравнения наименее интересны, поскольку их результаты слишком предсказуемы. Куда больше пользы — от сравнения процессоров для разных платформ одного производителя (благо таковые регулярно обновляются) или вообще разных платформ разных разработчиков для разных сфер применения. В этом случае добиться одинаковых условий тестирования просто невозможно, как ни старайся. Скажем, системные платы в таком случае будут разными по определению, и хотя их влияние на производительность системы обычно (давно уже) отсутствует, мы сталкивались с обратными ситуациями. Да и цены материнских плат будут влиять на общую картину: например, более дешевый, на первый взгляд, процессор окажется более дорогим с учетом стоимости всей системы, поскольку в паре с ним придется использовать более дорогую плату, а то еще и дискретную видеокарту в обязательном порядке.

В итоге нет смысла пытаться всегда привести всё к «общему знаменателю». А в некоторых случаях это не нужно, даже когда возможно, поскольку такое «рафинированное» тестирование «в вакууме» будет слабо соотноситься с реальными условиями. Все, что требуется — постараться обеспечить сравнимые характеристики тестовых платформ, не без учета их особенностей. И, соответственно, все это надо прямо оговорить в условиях тестирования. Можно сравнивать даже результаты заметно различающихся по конфигурации систем — если нет другого выхода. Основной смысл, собственно, как раз в сравнении, которое тем точнее, чем тестовые условия ближе, но определенный смысл имеет и тогда, когда это не получается (что особенно часто встречается в компактных высокоинтегрированных системах, «выдрать» из которых процессор и переставить его в другую платформу просто невозможно). И все же мы продолжим называть подобные тестирования «процессорными» (не забывая о нюансах) — ведь никаких других «тестирований процессоров» на данный момент нет и быть не может.

Конфигурация тестовых стендов

Как уже было сказано выше, этот вопрос важен, поскольку тем или иным образом может повлиять на результаты, с чем можно бороться, стараясь сделать окружение как можно более одинаковым. Для тестирования готовых систем это не всегда возможно, но для «настольных» процессоров — не так уж и сложно.

Для начала, операционная система и тестовые приложения жестко определены нашей методикой тестирования, даже если системы разные, не говоря уже о платформах одинакового назначения. О приложениях и их версиях мы поговорим чуть позже, а работать в рамках текущей методики они будут под управлением Windows 10 версии 1909 с всеми обновлениями на 1 декабря 2019 года. Одно это уже может изменить результаты по сравнению с предыдущими сборками «десятки» или устаревшими версиями ОС типа Windows 7/8.1 (с которыми, впрочем, мы все равно несколько лет как не работаем — хотя на компьютерах многих пользователей они все еще в строю), благодаря улучшенным оптимизациям под многоядерные процессоры (коих ныне в продаже большинство). Кроме того, планировщик Windows 10 версии 1909 уже «понимает» особенности новых турбо-режимов AMD и Intel, типа «предпочтительных» (т. е. способных работать на максимальных частотах) ядер. Возможно, в будущем Microsoft еще что-нибудь улучшит, но с новыми оптимизациями мы познакомимся только при обновлении методики, поскольку для сопоставимости результатов приходится фиксировать и версию (а также конкретную сборку) системы.

Системный накопитель мы также можем жестко зафиксировать. Как и ранее, мы пока используем твердотельный накопитель с SATA-интерфейсом: на данный момент это наиболее массовые и универсальные решения. Конкретно взят Silicon Power Velox V85 480 ГБ на базе контроллера Phison S10 и MLC-памяти Toshiba. Модель уже далеко не новая, однако по скоростным характеристикам (а главное — их стабильности) она не уступает современным устройствам среднего класса. Впрочем, предыдущие исследования показали, что более быстрый SSD может немного увеличить общую производительность системы, а винчестер — снизить ее (и иногда заметно). Как дела обстоят сейчас — проверим. Конечно, гибкости при изучении готовых систем у нас нет — их придется тестировать «как есть». Поэтому иногда будут использоваться и другие накопители — но это всегда будет оговариваться особо. При стандартных же наших тестированиях «процессоров» будет применяться один и тот же системный SSD, причем «жестко упирающиеся» в накопитель тесты участвовать в оценке общей производительности не будут (а вот энергопотребление во время их исполнения мы учитывать будем).

Что касается оперативной памяти, то мы решили сохранить старый подход: 8 ГБ на канал, т. е. 16 ГБ для процессоров с двухканальным контроллером памяти и 32 ГБ — при наличии четырехканального. На самом деле все наши тесты «нормально чувствуют себя» и на 8 ГБ памяти — мы их специально сделали такими. Это не значит, что мы считаем такой объем памяти абсолютно достаточным на практике для всех используемых программ — на самом деле нет. Во многих из них требования к емкости ОЗУ существенным образом зависят от количества обрабатываемых данных, их типа и применяемых алгоритмов. Но это самое количество данных мы для нужд тестирования подбирали таким, чтобы время исполнения и требования к прочим ресурсам укладывались в разумные рамки. Так что в наших тестах объем оперативной памяти всегда будет «достаточным» (за исключением, возможно, некоторых компактных и/или старых систем, где придется как-то управляться с меньшим объемом памяти), а для практической работы с теми же программами… Тут всё зависит от самой работы 🙂 В принципе, в продающихся сейчас системах меньше 8 ГБ обычно и не встречается, но и больше ставят лишь в далеко не массовые продукты. Опять же, все случаи, когда нам придется ограничиваться меньшим количеством памяти и/или отступать от формулы «один модуль памяти на канал контроллера», будут оговариваться в явной форме.

Что касается видеокарты, то с 2014-го по 2017-й мы делали основной упор на использование интегрированного видеоядра. Причин тому было несколько. Во-первых, слабое влияние GPU (в реальности, а не в бравурных отчетах производителей) на скорость работы большинства прикладных программ делало этот вопрос маловажным. Во-вторых, видеокарты постоянно дорожали: это 20 лет назад самый дорогой видеоадаптер стоил примерно столько же, сколько и самый дешевый процессор, но сейчас разброс цен между этими позициями составляет примерно 25 раз. Соответственно, для многих пользователей дискретная видеокарта стала просто нежелательным элементом компьютера: деньги тратить приходится, место занимает, электричество жрет, шумит, но ничего не дает. В итоге интегрированное видео распространялось все шире и шире, не затрагивая только геймеров. В большинстве массовых процессоров видеоядро было — и большинство массовых процессоров с ним и использовалось. Однако большинство интересных новинок последних двух-трех лет (и ожидающихся в ближайшее время) лишено интегрированной графики. В частности, у AMD все APU (так компания уже много лет называет процессоры с интегрированным GPU) пока еще ограничены двумя-четырьмя ядрами — больше есть только в процессорах без графики. HEDT-решения обеих компаний принципиально не имеют встроенного GPU. Да и в части массовых Core для LGA1151 «Second Edition» видеоядро заблокировано — для борьбы с дефицитом Intel (впервые за много лет) пришлось пойти на этот шаг.

Поэтому для тестирования настольных процессоров в подавляющем большинстве случаев мы будем использовать дискретную видеокарту на базе AMD Radeon RX Vega 56. В том числе — и в «базовых тестах» бюджетных процессоров, но их регулярно будем изучать и совместно с более дешевыми видеоадаптерами, а также с интегрированной графикой (что для разнообразных Athlon/Celeron/Pentium, разумеется, как раз самый частый случай). «Небюджетные» процессоры мы тоже будем иногда «спаривать» с другими видеоадаптерами, но поскольку производительность многих программ ныне зависит и от видеокарты, а не только от процессора, их мы в обязательном порядке будем стараться тестировать и с AMD Radeon RX Vega 56 — просто для унификации и для более корректного сравнения «процессорных составляющих».

iXBT Application Benchmark 2020

Наиболее существенные изменения тестовых нагрузок произошли при разработке Методики измерения производительности iXBT.com на основе реальных приложений образца 2018 года, описание которой приведено в отдельной статье — где можно ознакомиться и с ее принципиальным устройством, и с используемыми программами, и с конкретными тестовыми сценариями. Фактически в процессе доработки изменились лишь версии ПО, их соответствие можно посмотреть в таблице ниже (названия используемых программ, как правило, являются гиперссылками на посвященные им подробные статьи):

Радикально изменилась лишь группа рендеринга, где место LuxRender занял Cinebench R20: первая программа много лет не обновлялась, зато вторая (несмотря на ее синтетическую природу) была приведена программистами Maxon в соответствие с нынешними версиями Cinema 4D. По этой причине мы и пошли на подобную замену.

В остальном можно считать, что мы используем методику 2018 года с доработками 2019 года as is. Это же касается и представления результатов: они разбиваются по группам и приводятся с нормированием относительно референсной системы. Такой подход мы практикуем уже почти 15 лет, он имеет свои плюсы и минусы и нравится не всем, но нам — скорее нравится. Желающие же ознакомиться с точными результатами всех процессоров в конкретных тестах (традиционно выраженными во времени исполнения) могут воспользоваться «бесплатным приложением» к материалам раздела в виде полной таблицы (в формате Microsoft Excel). В ближайшее время мы планируем миграцию результатов из такой формы представления в базу данных и добавление туда же точных значений энергопотребления во время каждого теста, а не только усредненных. Будет разработан интерфейс онлайн-доступа к этой базе (с возможностью вывести на экран что угодно и сравнить с чем угодно), что повысит удобство для интересующихся «сухой цифирью», а не статьями. В самих же статьях подход не изменится.

Также (как и ранее) при тестировании процессоров мы не будем использовать группу «Скорость файловых операций», поскольку в этих тестах смена процессора при сохранении окружения практически не изменяет результаты. Соответственно, в статьях не будет «Интегрального результата Storage», а в качестве общего результата будет использоваться то, что в терминах методики называется «Интегральный результат CPU». Отходить от этой практики мы будем только при тестировании готовых систем и/или в специализированных материалах, посвященных как раз накопителям.

Что же касается референсной системы, то сейчас и в ближайшей перспективе она будет такой:

Процессор	Intel Core i5-9600K
Материнская плата	Asus Maximus X Hero
Чипсет	Intel Z370 Express
Память	16 ГБ DDR4-2666
Графическая подсистема	AMD Radeon RX Vega 56
Накопитель	SSD Silicon Power Velox V85 (480 ГБ, SATA)
Операционная система	Windows 10 Pro 1909 x64

Результаты тестирования данной конфигурации и будут приняты за 100 баллов в каждой группе — и в целом. Все остальные результаты будут нормироваться относительно нее. Соответственно, интерпретация результатов проста: «больше» — всегда «лучше». 150 баллов — это в полтора раза быстрее нашей системы на Core i5-9600K с Radeon RX Vega 56, а 50 баллов — вдвое медленнее.

Энергопотребление и энергоэффективность

Несколько лет назад мы разработали технологию измерения не только затрат времени на решение каждой задачи, но и того, сколько на это уходит электроэнергии. За прошедшее время никаких проблем в используемом подходе выявлено не было, а полученные результаты не менее полезны, чем абстрактные скорости, так что мы продолжим практиковать его и дальше. Мини-ПК и подобные платформы требуют отдельного (и немного более ограниченного) подхода, но для настольных процессоров было бы неправильно не воспользоваться такими измерениями.

Методика измерения энергопотребления при тестировании процессоров iXBT.com

Что касается собственно Методики измерения энергопотребления, то она, традиционно, описана в отдельной статье. Все, что менялось за прошедшие годы — конкретный набор программ, но подход остался прежним. Сейчас же мы займемся немного другим вопросом — как весь этот набор результатов будет использоваться в статьях, посвященных тестированию процессоров.

Понятно, что получаемый массив данных слишком обширен для включения его в статьи — особенно с учетом того, что в каждой из них представлено более одного участника. Поэтому поступим мы с ним как обычно: применим методы выборки и усреднения. Из всех полученных при тестировании мощностей мы выберем максимальную и минимальную, а также среднюю по всем тестам. Эти данные, как нам кажется, имеют наибольший практический смысл, поскольку позволяют непосредственно сравнивать разные платформы. При этом основной будет не «процессорная» (т. е. измеренная по линии 12 В разъема ATX12V/EPS12V), а «общая» мощность, потому что распределение схемы питания разных блоков по линиям может быть разным. Если у Intel начиная с LGA1150 можно утверждать, что процессор питается только от «своего» разъема (ранее было не так — и не факт, что это не изменится в новых платформах), то AMD и в АМ4 практикует «забор электричества» с платы, а в системах на базе Ryzen Threadripper (и старых, и новых) основная нагрузка зачастую ложится именно на 24-контактный разъем (ATX). Кроме того, для определения требований к системе охлаждения всего компьютера (а не только процессорного кулера) надо учитывать и потребление энергии памятью или чипсетом, да и рассеивание тепла на преобразователе напряжения процессора, поскольку из корпуса надо выводить все выделенное тепло, а не только то, за которое «ответственен» процессор. В этом плане как раз очень важна максимальная мощность (не пиковая теоретическая, а усредненная по каким-то «тяжелым» задачам): столько «нагруженная» платформа и потребит/выделит, причем в реальных приложениях, а не в специально оптимизированных для максимального «прогрева» (что, кстати, не всегда достигается при максимальном энергопотреблении) стресс-тестах, еще и работающих на разных платформах с разной «эффективностью». Минимальные же значения интересны больше для сравнений разных платформ в режимах «легкой» нагрузки — опять же, не в простое (которого в современных условиях может и не быть из-за фоновой активности самой системы и интернет-приложений), а при решении практически полезных задач. Мы в качестве таковых используем «дисковые» тесты, и не сказать, что это редкий случай.

Что же касается средней мощности, причем изначально получаемой как среднее из средних, то это во многом параметр синтетический, хотя и интересный. И поскольку многих интересует не экономичность сама по себе, а в приложении к решению практических задач, мы ввели еще более синтетическую характеристику платформы — «энергоэффективность». Определяется она просто: сколько баллов нашего интегрального индекса производительности та или иная система способна выдавать в расчете на ватт потребляемой мощности (соответственно, мы просто делим итоговую производительность на среднюю по тестам мощность). Можно, конечно, усложнить подход и работать с мощностями применительно к сферам применения компьютерной системы (благо используемые нами приложения удачно разбиваются по группам), но пока мы решили не увеличивать детализацию сверх меры 🙂 А накопленные в процессе тестирований результаты со временем позволят понять, в каком направлении лучше двигаться дальше.

Стоит учесть, что текущая версия измерительного стенда не позволяет получить полных данных при применении дискретной видеокарты, как правило использующей отдельные линии питания. С другой стороны, сравнивать мы будем стараться (как уже было сказано выше) системы одного типа, т. е. интегрированное с интегрированным, а дискретное — с дискретным, причем одинаковым. Таким образом, влиянием видеокарты в последнем случае можно будет пренебречь: одна и та же карта даст одинаковую «прибавку» всем системам, и это как раз та константа, которую можно спокойно «выносить за скобки» (как и, например, одинаковый SSD, энергопотребление которого мы тоже не измеряем — если, конечно, не говорить о спецтестированиях с участием устройств, устанавливаемых непосредственно на плату).

«Процессорную» мощность мы ранее не использовали вообще, хотя и измеряли. Причина указана выше: для многих платформ (хоть устаревшей Intel LGA1155, хоть вполне современной AMD AM4) это лишь часть потребления процессора. Поэтому и в дальнейшем мы будем использовать ее лишь изредка — только по необходимости и только в рамках сравнения устройств для одной платформы.

Методика мониторинга мощности, температуры и загрузки процессора в процессе тестирования

С модульными системами все ясно. А что делать с мини-ПК, где подключение к измерительному стенду затруднено или вовсе невозможно? Для этих целей у нас есть Методика мониторинга мощности, температуры и загрузки, в которой мы целиком и полностью полагаемся на встроенные датчики процессоров. В принципе, для процессоров Intel со времен Haswell до как минимум Coffee Lake Refresh или Cascade Lake им вполне «можно верить», что не раз показывало практическое сравнение двух методов измерений. Но продукция AMD, к сожалению, в этом случае останется «за бортом» исследования: компания добавила в Ryzen большое число датчиков, но все они традиционно показывают погоду на Марсе.

Кроме того, даже когда этот метод вообще применим, нам придется ограничиться только процессором, а не платформой, что нежелательно. Да и регулярный опрос датчиков — нежелательная фоновая нагрузка, незаметная для топовых систем, но способная сказаться на производительности каких-нибудь суррогатных процессоров. Поэтому данная методика будет применяться в основном тогда, когда другие варианты невозможны. И использовать в тестах «процессоров» мы будем только мощность: опять же, минимальную, максимальную и среднюю по тестам. Также (и тем же образом) мы будем определять «энергоэффективность» — только уже не платформы, а процессора.

…И частичное прощание с игровыми тестами

Практика использования игр для тестирования процессоров восходит еще к тем временам, когда понятия «игровой ПК» не существовало. Более того, сама по себе идея, что унылый IBM PC можно купить специально для игрового применения, казалась кому революционной, а кому и кощунственной. А игры уже были, причем постепенно становящиеся все более требовательными. .. к процессору, благо специализированных 3D-ускорителей еще не было. Потом те появились. Потом начали бодро дорожать — в то время как процессоры как раз сильно подешевели. Повторим: 20 лет назад самый дорогой видеоадаптер стоил примерно столько же, сколько и самый дешевый процессор, но сейчас разброс цен между этими позициями составляет примерно 25 раз — и уже не в пользу процессора. Впрочем, процессоры тоже бывают дорогими, а видеокарты — дешевыми. Но в игровом компьютере перекос всегда в одну сторону: поскольку производительность в первую очередь определяется именно видеокартой, а процессор в худшем случае может «помешать» ей (если слишком слаб), но не помочь, то вопросов, как распределять бюджет, не возникает.

Нет, можно продолжать делать вид, что ничего не изменилось — и гнать вал по плану. Например, обзавестись мощной видеокартой и использовать ее со всеми процессорами — результаты получатся не слишком осмысленными, зато красивыми и наглядными. Некоторое время мы этим занимались, но пора прекращать, поскольку изменились и сами игры. «Выход в сеть», во-первых, снял все ограничения на размеры, ранее привязанные к физическим носителям — в итоге одна современная игра может занимать столько же места, сколько целый набор приложений вместе с данными. В таких условиях делать игровые тесты частью общих как-то странно: непонятно, что на что намазано. Во-вторых же, в таких условиях просто невозможно зафиксировать версии используемых игр так же, как мы поступаем с другими программами. Последние тоже, конечно, обновляются — но в явной форме и изредка. А в игровые приложения изменения вносятся всегда — вплоть до того, что может взять и поменяться встроенный бенчмарк (при его наличии). Плюс к тому постоянно дорабатываются видеодрайверы — в том числе, и в плане исправления ошибок работы в актуальных игровых приложениях. В совокупности это иногда делает результаты, полученные с интервалом в несколько месяцев, несопоставимыми. Да и длинный их жизненный цикл тоже перестает быть нужным. Тем более, что «горячие» новинки быстро перестают быть таковыми — и иногда еще до выхода новой («совсем новой») версии игры. Долго «живут» различные сетевые продукты — однако у них и требования сильно отличаются от «ААА»-проектов, и измерения производительности в рафинированном виде затруднены или бесполезны.

В общем, мы считаем, что в наступившем году пора сказать «Хватит!» старой практике — она себя полностью исчерпала и утратила смысл. Специальные исследования каких-либо новых проектов — да, это интересно. Изучение комфортности игрового процесса на разных бюджетных системах — тоже. А «гонять» десяток игр на разных процессорах при одинаковой видеокарте, чтобы сделать глубокомысленный вывод «у всех все нормально» — уже нет. Поэтому новую «специальную» унифицированную игровую методику мы даже разрабатывать не стали, хотя в некоторых случаях продолжим использовать Методику измерения производительности в играх iXBT.com образца 2018 года. В частности — когда нужно будет протестировать какую-либо законченную систему или интегрированный GPU каких-либо процессоров. Подобные тесты имеют смысл, раз уж до сих пор ни один процессор со встроенной графикой не справился со всем нашим набором хотя бы в минимальном качестве в Full HD.

Впрочем, пару тестов мы будем использовать и для общей процессорной линейки (с дискретной графикой): World of Tanks enCore и F1 2017. Причем в режиме «среднего» качества в Full HD: в таком виде оба теста достаточно «процессорозависимы», чтобы предоставить некоторую полезную информацию. Пусть этот вариант настроек и является синтетическим для Radeon RX Vega 56 — но «нормальные» для сравнения процессоров вообще бесполезны: стоит повысить качество картинки и/или разрешение, как все упирается в видеокарту.

Повторимся: такой подход будет применяться ко всем процессорам регулярно. Специализированные тестирования — тема отдельная и плохо формализуемая (на то они и специализированные). В любом случае, «плясать» в игровом ПК следует от видеокарты — уже давно, и вряд ли что-то изменится в обозримой перспективе. Большинство же реально продающихся компьютеров — совсем не игровые. Собственно, хоть какая-то дискретная видеокарта встречается лишь в каждом третьем десктопе и хорошо если в одном из пяти ноутбуков. Причем эта статистика включает в себя и решения, зачастую более слабые, чем некоторые интегрированные GPU — их иногда приходится применять как затычку для слота. Ну а без них речь будет идти лишь где-то о каждом десятом ПК — что явно непропорционально шуму, издаваемому сообществом геймеров, зато хорошо показывает настоящую актуальность игровых тестов. Так что хватит пичкать ими всех 🙂

Кстати, наши постоянные читатели наверняка заметили, что подобный подход к тестированию процессоров мы, в общем-то, начали практиковать уже давно — просто не декларировали его в явной форме. Настало время сделать и этот шаг.

Итого

Итак, именно таким образом мы будем тестировать настольные платформы и примкнувшие к ним решения в 2020 году. Вполне возможно, что захватим и часть 2021-го — пока не назреет необходимость очередного обновления программного обеспечения, причем всего. Принципиальных изменений по сравнению с предыдущими годами в этот раз немного: игровые тесты уже давно стали опциональными, так что последним радикальным обновлением было добавление тестов реального энергопотребления, ввести которые нас давно просили. В остальном же обновленная тестовая методика использует прежние принципы, что позволяет сравнивать результаты разных лет (приблизительно и осторожно), пересчитав их относительно референсных систем. Поэтому в ближайшее время мы планируем не только тестировать новинки рынка, но и обеспечить достаточное количество «опорных точек» для интересующихся сопоставимостью результатов разных методик.

Intel манипулирует тестами, пытаясь доказать свое превосходство над AMD

26 Августа 2019 14:5826 Авг 2019 14:58 | Поделиться

Компания Intel объявила, что бенчмарк для тестирования процессоров Cinebench не дает представления о реальной производительности чипов. Поэтому она использовала для сравнения своих процессоров с продукцией AMD другие бенчмарки, включая Sysmark, который известен тем, что завышает результаты чипов Intel. Опираясь на эти данные, Intel заявила, что ее процессоры лучше.

Тестирование в «реальном мире»

Intel пытается доказать, что в «реальном мире» ее процессоры девятого поколения работают лучше, чем AMD Ryzen 3000. Компания пообещала провести соответствующие тесты еще в конце мая на выставке Computex 2019, и вот наконец представила первые результаты.

Под тестированием в «реальном мире» Intel понимает использование тех бенчмарков, которые симулируют работу популярных ежедневных приложений и применяются самими потребителями. Обычно Intel и AMD используют бенчмарк Cinebench, который широко применяется обозревателями и критиками в сфере ИТ. Но среди потребителей использование Cinebench составляет всего 0,54%, отмечает Intel.

Компания пытается убедить пользователей, что Cinebench — это нишевая программа, использующая для тестирования рендеринг графики и поэтому лучше всего подходящая для проверки высокопроизводительных десктопов и рабочих станций. А рутинную каждодневную работу процессоров следует измерять другими инструментами.

Результаты тестирования

С помощью нескольких бенчмарков Intel сравнила свои топовые процессоры девятого поколения Core i9 и Core i7 с самым быстрым чипом AMD — Ryzen 9 3900X. Задействованный в тестировании Intel Core i9-9900K насчитывает 8 ядер и 16 потоков, его конкурент Ryzen 9 3900X может похвастать 12 ядрами и 24 потоками.

На бенчмарке Sysmark 2018, предназначенном для тестирования десктопов под управлением Windows, Core i9-9900K оказался на 7% быстрее, а Core i7-9700K — на 3% быстрее, чем AMD Ryzen 9 3900X. При запуске игр класса AAA, Core i9 был на 6%, а Core i7 — на 2% впереди чипа AMD.

Сравнительные результаты тестирования процессоров Intel и AMD на различных бенчмарках

По показателю высокоинтенсивных нагрузок SPECrate2017_int_base 1T одноядерная работа Core i9 была на 9% лучше, а Core i7 — на 6% лучше, чем у чипа AMD. На бенчмарке для оценки работы в вебе WebXPRT 3 — Edge процессор Core i9 оказался на 3% быстрее Ryzen 9 3900X, а Core i7 работал на том же уровне, что и конкурент.

Единственным бенчмарком, который подтвердил превосходство процессора AMD, стал многопоточный Cinebench R20. На нем Core i9 показал всего 65%, а Core i7 — 49% производительности Ryzen 9 3900X.

Если говорить об отдельных играх, то процессор AMD работал лучше только при запуске Assassins Creed: Odyssey и Ashes of the Singularity, в то время как в остальных играх Core i7-9700K либо побеждал его, либо работал на таком же уровне, плюс-минус 3%.

Тест памяти

Intel также использовала бенчмарк симулятора поведения жидкости, чтобы оценить работу контроллера памяти IMC. В ходе тестирования Core i7-9700K завершил симуляцию за 15 минут, в то время как AMD Ryzen 9 3900X понадобилось 17 минут.

Как дать сотрудникам возможность работать над интересными задачами, двигаясь в цифровую трансформацию

Бизнес

Этот специфический тест очень зависит от памяти, отмечает Intel. По его результатам, внутреннее соединение Infinity Fabric, которое используется в процессорах AMD, показывает задержку в 75 наносекунд между ядром и памятью DRAM, а также задержку в 78 наносекунд между ядром и ядром. В то время как Core i7-9700K показывает задержку между ядром и DRAM всего в 62 наносекунды, а между ядрами — в 44 наносекунды.

Реакция экспертов

Несмотря на представленные Intel результаты, англоязычные технические СМИ сходятся во мнении, что это исследование — маркетинговый ход, и на самом деле продукция AMD имеет ряд преимуществ. Именно AMD смогла реализовать в популярных моделях ПК производительность самого высокого уровня, не увеличивая при этом цену. Эксперты также отмечают, что Ryzen 9 3900X гораздо лучше чипов Intel работает в многопоточном режиме.

Кроме того, различные издания указывают, что в этих тестах акцентирована традиционно сильная сторона чипов Intel — производительность при прохождении игр. Выпущенный год назад Intel Core i9-9900K преподносился потребителю как самый быстрый игровой процессор в мире. Однако игры — это ведь тоже ниша, но Intel включает ее в тестирование производительности в «реальном мире».

Кроме того, Intel использует в своем исследовании бенчмарк Sysmark, на котором результаты ее процессоров выглядят лучше, чем у конкурентов от AMD. Напомним, что в 2016 г. AMD заявила по результатам собственного сравнения бенчмарков, что Sysmark завышает показатели процессоров Intel. Даже Федеральная торговая комиссия (FTC) США предупреждала, что Sysmark может быть специально оптимизирован под процессоры Intel.

Валерия Шмырова

Тесты производительности процессора | PARALLEL.RU

Название	FTP	Краткое описание
C LINPACK		Тест LINPACK, переписанный на языке С.
CPU2		Набор из 34 фортрановских программ, интенсивно работающих с вещественной арифметикой. Производительность измеряется в единицах, эквивалентных производительности MicroVAX II.
Dhrystone		Тест целочисленной арифметики, показателен в системном программировании. Не учитывает производительности кэш-памяти.
Flops		Вычисляет производительность в MFLOPS на определенных последовательностях инструкций FADD, FSUB, FMUL и FDIV. Работает как на скалярных, так и на векторных машинах.
Heapsort		Целочисленная программа, сортирующая 2MB-массив из целых чисел.
LFK (Livermore Loops)		Состоит из 24 циклов, представляющих собой характерные вычисления из различных областей прикладной физики. Вычисляет эффективность соответствующих фрагментов в MFLOPS с тремя наборами длин векторов.
LINPACK		Тест состоит в решении системы линейных уравнений с помощью LU-факторизации. Основное время затрачивается на векторные операции типа FMA (умножение и сложение). Производительность определяется как количество «полезных» вычислительных операций над числами с плавающей точкой в расчете на 1 секунду, и выражается в Мфлоп/сек (миллионах операций в секунду). Число выполненных операций с плавающей точкой оценивается по формуле 2n3/3 + 2n2 (здесь n — размер задачи, т.е. матрица имеет размеры n x n). Таким образом, при увеличении размера матрицы в 2 раза, объем используемой памяти увеличивается примерно в 4 раза, а объем вычислений — примерно в 8 раз. Есть версии, работающие с матрицами 100х100 и 1000х1000, а также с варьируемым размером матрицы (LINPACK HPC). Автор теста — Jack Dongarra. Результаты теста используются при составлении рейтинга Top500. HPL — реализация на языке Си, причем обмены между процессорами выполняются через процедуры интерфейса MPI, а вычисления на каждом процессоре — с помощью вызовов процедур BLAS. В качестве BLAS можно использовать библиотеку ATLAS. SLbench (1.2MB) — параллельная версия LINPACK, использующая ScaLAPACK и BLACS (необходимо наличие реализации MPI). Доступна Java-версия.
Matrix Multiply (MM)		Тест содержит 9 различных программ умножения матриц (размером 500х500). Оценивается работа кэш-памяти и уровень оптимизации компилятора.
NAS Kernels		Последовательная версия NAS CFD (computational fluid dynamics)
NPB (NAS Parallel Benchmarks)		Состоит из 8 различных программ для определения производительности параллельных компьютеров. Программы взяты из реальных аэро-космических расчетных пакетов.
PERFECT		Представляет собой комплект из 13 прикладных Fortran-программ, представляющих четыре типа вычислительных задач — аэро- и гидродинамики, моделирования химических и физических процессов, инженерного проектирования, а также обработки сигналов. Выполняется дважды — до и после оптимизации исходных текстов.
SLALOM		Масштабируемый тест производительности для супер-компьютеров. Оценивает объем вычислений, который может произвести компьютер за одну минуту.
Stanford		Тестовый набор, состоящий из 8 целочисленных тестов (умножение матриц, сортировка 3 методами, перестановки, ханойская башня, растановка 8 ферзей, головоломка ) и 2 тестов на вещественные вычисления (быстрое преобразование Фурье, перемножение матриц)
STREAM		Синтетический тест*, оценивающий скорость работы с памятью с простой арифметикой и без. Основан на измерении времени выполнения больших векторных операций: копирование по памяти, умножение на константу, сложение, умножение и сложение. Доступны версии на Фортране и Си. Результатами теста пользуются все ведущие разработчики высокопроизводительной техники.
Whetstone		Синтетический тест*, ориентированный на численное программирование (с плавающей запятой). Не учитывает кэш. Компилятор легко можно оптимизировать под Whetstone.

Сравнение процессоров AMD Ryzen 5 или Intel Core i5. Выбираем лучшего

Лучшие процессоры для игровых ноутбуков

Современные игры — локомотив прогресса компьютерных систем. Чтобы создать виртуальную реальность, 3D-движки генерируют миллионы полигонов, накладывают тени и отражения, повторяя это десятки раз в секунду. Расчеты требуют огромной вычислительной мощности, как следствие, выделяется много тепла.

Современные мобильные процессоры научились держать баланс между теплоотдачей и скоростью, сделав недействительным оксюморон «игровой ноутбук». И если недавно на этом рынке безраздельно правили Intel со своими Core 5-7-9, то в 2021 году производительные системы на чипах AMD Ryzen 7 показывают, как минимум, не худшую скорость. Далее — топ лучших процессоров для игровых ноутбуков.

4Core i9-8950HK

Стоимость 7 Производительность 10 Энергопотребление 7

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.0Оценка

Плюсы

• Топовая производительность
• Многопоточность ядер
• Возможности разгона

Минусы

• Высокое выделение тепла
• Слабая встроенная графика
• Высокая цена чипа

Самый крутой процессор Intel 2021 года построен по новейшей схеме Coffee Lake, в нем трудятся целых 6 ядер, каждое параллельно обрабатывает по 2 вычислительных потока (Hyper-threading).

Базовая частота — 2,91 ГГц, множитель разблокирован, оверклокеры могут нагнать ее до 4,3 ГГц на всех ядрах или до 4,8 ГГц на одном. Неудивительно, что i9 горяч, как утренний кофе — тепловыделение достигает 45 Вт — нужен просторный корпус, толстая тепловая трубка и оборотистый пропеллер. Гигагерцы побеждают — 14 тысяч единиц по тесту PassMark дают отношение производительности на Ватт равным 319.

Встроенный графический чип Intel UHD Graphics 630 слабый, в одиночку современные игры не тянет. В паре с мощной дискретной картой, например, GeForce GTX 1080, CPU развернется в полную силу, подняв FPS почти до сотни.

3Core i7-7820HK

Стоимость 8 Производительность 9 Энергопотребление 7

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.0Оценка

Плюсы

• Высокое быстродействие
• Восемь виртуальных ядер
• Открыт оверклокинг

Минусы

• Высокое выделение тепла
• Слабая встроенная графика
• Высокая цена чипа

Процессор седьмого поколения на базе микроархитектуры Kaby Lake, по-прежнему, в строю. Квадрига ядер тянет одновременные вычисления — по 2 потока на каждый модуль, технология Speed Shift балансирует частоту и энергозатраты. Для ускорения работы с оперативной памятью реализованы три уровня кэширования: 256 Кб, 1 Мб и огромный L3 на 8 Мб.

Intel официально разрешает разгон, частоты меняются от 2,9 ГГц до 3,9 ГГц, в тепло уходит до 45 Вт мощности — без охлаждения чип просто испарится. Тест PassMark оценивает чип в 10 тысяч попугаев, приведенные к Ваттам затраты равны 223, что для такого кипятильника неплохо.

Видеочип Intel HD Graphics 630 поставлен для галочки, так как не сможет раскрыть потенциал процессора. В игровых ноутбуках с флагманскими видюхами свежий «Ассасин» выдает до 90 кадров/сек.

2Core i5-8300H

Стоимость 9 Производительность 9 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.7Оценка

Плюсы

• Хорошая скорость работы
• Цена вдвое ниже флагмана
• Динамическая настройка частоты

Минусы

• Греется, как чайник
• Недоступен ручной разгон
• Медленный GPU

Процессор 8300H принадлежит к упрощенному семейству Core i5, в 2019 году выпускается на базе новой структуры Coffee Lake. На пластине интегрированы 4 ядра с поддержкой многопоточности, фактически, еще по 2 виртуальных вычислителя в каждом.

CPU умеет динамически изменять частоту ядер от 2,3 до 4 ГГц, однако множитель заблокирован — любителям «поддать газу» следует выбрать другую модель. Теплопакет не изменился, те же 45 Вт отдаваемой на обогрев мощности — кулер обязателен.

К счастью, большой кэш остался, как у i7: 256 Кб / 1 Мб / 8 Мб, поэтому общее быстродействие снизилось не сильно. По PassMark индекс упал до 9,5 тысяч, или 210 единиц на Ватт. Зато цена камня — в два раза меньше, чем у флагмана i9. Встроенную графику Intel UHD 630 в расчет можно не брать, для игр она крайне слабая.

1Ryzen 7 2700U

Стоимость 8 Производительность 9 Энергопотребление 10

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

9.0Оценка

Плюсы

• Конкурентная с i5 скорость работы
• Цена на треть меньше i5
• Пониженная теплоотдача

Минусы

• Топовый CPU AMD медленнее i7
• Залочен множитель разгона
• Небыстрая встроенная графика

Команда AMD в 2021 году выступает с процессором Ryzen, организованном по архитектуре Zen (Raven Ridge), новинку заметили все игроки, а синий конкурент занервничал. Квартет ядер обеспечивает обработку до 8 параллельных потоков, при этом частота плавает от 2,2 до 3,8 ГГц (фича Precision Boost), но без ручного разгона — множитель залочен.

Термопакет оптимизирован для ноутбуков и составляет всего 15 Вт. При такой скромной теплоотдаче приведенная производительность достигает 490 единиц на Ватт. Греется камень несильно, при этом выдает по PassMark вполне конкурентные 7342 очка. И все это по цене, не превышающей Core i5.

Дополнительно на кремнии имплантирована небыстрая карта AMD Radeon RX Vega 10, но вместе с GeForce GTX 1050 ноутбук в Battlefield 1 показывает на высоких настройках до 40 FPS.

Intel Core i5 – краткий обзор

Как уже было сказано выше, есть смысл сравнивать только схожие поколения «камней». В частности, речь идёт о семействах Kaby Lake и Coffee Lake, и моделях 7600K и 8600K соответственно.

Ни один из них не поддерживает многопоточность. Core i5 7600K – четырёхъядерный, а 8600K – шестиядерный. Тактовая частота первого – 3. 8 ГГц, а второго 3.6 ГГц. В режиме «турбо» они способны разгоняться до 4.2-4.3 ГГц. У 7600K объём кэша уровня L3 составляет 6 МБ, а у 8600K – уже 9 МБ.

Оба чипа в любом случае оснащаются встроенной видеокартой – Intel UHD Graphics 620 у более старого и UHD 630 у более нового. Правда, производительность у неё довольно средняя. Также обе модели поддерживают оперативную память стандарта DDR4.

В общем и целом выглядит так, будто Core i5 проигрывает Ryzen 5. У конкурента от AMD и ядер побольше будет, и многопоточность есть, и кэш-памяти целых 16 мегабайт. Но не всё так однозначно.

Лучшие процессоры для мощного ультрабука

Спасибо фирме Apple, открывшей для нас ультрабуки. На смену трехкилограммовым ящикам пришли тонкие книжки, работающие часами и справляющиеся с кодированием HD видео — лучший выбор для журналиста, блогера или системного администратора. Такие жесткие требования обеспечивают особые вычислители — мощные, но при этом экономичные.

CPU c буквой U в кодовом названии работают на пониженном напряжении питания (ULV) и жестко контролируют тепловыделение, обычно — на уровне 15 Вт. Разработчик может дополнительно регулировать этот параметр, добиваясь идеального баланса.

Самые лучшие процессоры для мощных ультрабуков выпускает Intel, но и AMD c новым Ryzen от них не особо отстает. Подробности — далее.

4Core i7-8550U

Стоимость 7 Производительность 10 Энергопотребление 10

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

9.0Оценка

Плюсы

• Достойная производительность
• Уникальная энергоэффективность
• Настройка частоты по нагрузке

Минусы

• Нельзя разогнать вручную
• Графический сопроцессор не для игр
• Высокая цена процессора

Процессор i7 восьмого поколения основан на микроархитектуре Kaby Lake Refresh. В отличие от седьмой генерации, явно с оглядкой на AMD, в нем запроектированы 4 ядра с двойным вычислительным потоком.

Технология Turbo Boost позволяет менять тактовую частоту в зависимости от нагрузки в пределах 1,8 — 4,0 ГГц, но возможности для экспериментального оверклокинга отключены.

Улучшенный технологический процесс называется «14 нм+», тепловой режим сделан щадящим — всего 15 Вт на кристалл. В синтетическом тесте PassMark вычислитель показывает результат 8313 звездочек, что обеспечивает выдающуюся производительность на Ватт — 554.

В чип встроена карта Intel UHD Graphics 620 — если не играть в игры, скорости достаточно для любых офисных задач, включая работу с графикой и кодирование видео.

Читайте на сайтеРейтинг лучших процессоров для смартфонов

3Core i5-8250U

Стоимость 10 Производительность 8 Энергопотребление 9

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

9.0Оценка

Плюсы

• Хорошее соотношение цены и производительности
• Высокая энергоэффективность
• Широкие пределы подстройки частоты

Минусы

• Нет поля для экспериментов с оверклокингом
• Простая интегрированная графика

Главный вычислитель средней категории в восьмом поколении использует структурную схему Kaby Lake-R. В нем количество ядер с параллельными расчетами Hyper-threading увеличено до четырех.

Частоты работы изменяются почти в два раза — от 1,6 до 3,4 ГГц, но настройку выполняет только автоматический алгоритм Turbo Boost — любознательным энтузиастам доступ к множителю закрыт.

Кристалл сформирован по технологии 14 нм с пониженным потреблением энергии, тепловыделение ограничено 15 Вт — идеально для мобильных устройств. Лимиты немного снизили производительность — PassMark показывает 7686 точек, однако приведенные показатели впечатляют — 512 единиц на Ватт.

Встроенный графический сопроцессор UHD Graphics 620 не актуален для игр, но хорошо справляется с офисной работой.

2Core i3-8130U

Стоимость 9 Производительность 8 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.3Оценка

Плюсы

• Хорошая цена микропроцессора
• Приличная энергоэффективность
• Автоподстройка частоты

Минусы

• Заблокированы множители
• Медленный графический чип

На базе бюджетных i3 также можно выпускать мощные ноутбуки, в этом инженерам помогает восьмое поколение процессоров Intel, созданных по микроархитектуре Kaby Lake. В нем впервые для i3 примерена технология Turbo Boost, автоматически изменяющая тактовую частоту от 2,2 до 3,4 ГГц.

Парочка ядер получила режим параллельных вычислений Hyper-threading — если считать по виртуальным ядрам их получается четыре. Вместе с объемным кэшом L3 на 4 Мб они показывают хорошую скорость — 5069 фишек по PassMark — лишь в 1,5 раза меньше, чем у i7.

Специально для ультрабуков термопакет зажат в пределах 15 Вт, поэтому энергоэффективность также приличная — 338.

Графический чип такой же, как и во всей восьмой серии — UHD Graphics 620 — хорош для «Фотошопа» и «Премьера», но медленный для модных 3D игр.

1Ryzen 5 2500U

Стоимость 7 Производительность 9 Энергопотребление 9

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.3Оценка

Плюсы

• Настройка частоты по нагрузке
• Отличная энергоэффективность
• Хорошая встроенная графика

Минусы

• Нет ручного разгона
• Высокая цена

Современная серия AMD Ryzen подходит для построения ультрабуков — в этом уверены Lenovo, Acer и HP. Процессор средней категории основан на иерархии Zen и оснащен четырьмя ядрами, обрабатывающими по два потока одновременно (всего восемь логических ядер).

Тактовый генератор управляется логикой Precision Boost, которая плавно изменяет частоту от 2,0 до 3,6 ГГц. К сожалению, фанатам разгона здесь ловить нечего, множители руками не устанавливаются.

Оптимальный энергопакет кристалла установлен на 15 Вт, несмотря на это CPU показывает отличную производительность, сравнимую с i5, — 7311 флажков или 487 единиц на Ватт.

Интересно, что внутренний видеочип Radeon Vega Mobile Gfx вдвое опережает интеловскую графику — на этой платформе можно собирать не только офисные, но и недорогие игровые машины.

AMD Ryzen 5 – краткий обзор

AMD Ryzen 5, если говорить только о топовых моделях – шестиядерные чипы с поддержкой многопоточности. То есть они способны обрабатывать до 12 вычислительных потоков одновременно. Базовая тактовая частота в обоих поколениях составляет 3.6 ГГц, а максимальная – 4.2 ГГц у более свежего.

Кроме того, они оснащаются 16 МБ L3-кэша и имеют TPD 95 Вт. Ориентированы чипы на работу с оперативной память DDR4. В общем, обычные такие конфигурации высокого класса, но не топового.

Некоторые модели оснащаются также интегрированной видеокарты серии Radeon Vega, которая, в принципе, довольно производительная – но только в случае использования высокочастотной оперативной памяти. Встроенная «графика» обоих моделей может сравниться с дискретной NVIDIA GeForce GT 1030, обеспечивая достаточный фреймрейт для множества игр.

Лучшие процессоры для ноутбуков средней ценовой категории

Чтобы уместиться в средний диапазон цен, производители ноутбуков вынуждены искать компромиссы, например, выбирать не такие горячие процессоры или брать кристаллы предыдущих генераций.

Инженеры Intel и AMD подготовились к этому, доработав уже известные линейки мобильных процессоров с буквой U с ограниченным 15 Вт теплопакетом. Экономия на чипах проявляется в разных формах — снижается количество ядер, отключаются схемы автоподстройки частоты, уменьшается объем кэш-памяти.

Все это снижает общую производительность, поэтому средние ноутбуки уже не сильны в новых играх, но и приобретают их не для забавы, а для текстов, верстки или расчетов. Ниже — подборка лучших процессоров для средних ноутбуков.

4Core i7-7500U

Стоимость 7 Производительность 10 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.3Оценка

Плюсы

• Отличная производительность в сегменте
• Есть активная подстройка генератора
• Завышенная цена камня

Минусы

• Всего два физических ядра
• Нет ручной установки множителей
• Вялый графический чип

Вычислитель седьмого поколения структурирован согласно архитектуре Kaby Lake. Это не премиальный сегмент, поэтому внутри всего пара физических ядер, но по два потока на каждое — четыре виртуальных ядра.

Техпроцесс вполне современный — 14 нм, рабочая частота меняется динамически от 2,7 до 3,5 ГГц, мануальная настройка недоступна.

Буква U в названии говорит о сниженном тепловыделении, которое по спецификации не превышает 15 Вт. Вычислительная мощность, ожидаемо, средняя, но кэш Кэш L3 хороший — 4 Мб. Тест PassMark накручивает 5163 токенов, что в два раза меньше топовых камней Intel. Если привести к Ваттам, выходит неплохо — 344 единицы.

Интегрированное видеоядро — Intel HD Graphics 620, не подходит для тяжелых игр, но вполне достаточно для Photoshop или Premier.

3Core i5-6200U

Стоимость 8 Производительность 9 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.3Оценка

Плюсы

• Ядра с мультипоточностью
• Низкое тепловыделение
• Неплохая скорость вычислений

Минусы

• Малые пределы регулировки частоты
• Нет ручной настройки
• Средняя приведенная эффективность

Процессор Intel среднего класса принадлежит к шестому релизу, построен на эталонной архитектуре последних лет Skylake. Вычисления поручены двум ядрам с парой виртуальных потоков в каждом.

Задающий генератор меняет частоту в небольших пределах 2,3 — 2,8 ГГц, ни о какой ручной настройке речь не идет.

Тепловая мощность зажата на уровне 15 Вт, из решетки вентиляции будет выходить чуть теплый воздух. Инженеры Intel решили оставить L3-кэш 3 Мб, поэтому общая производительность неплохая — 4016 палочек по PassMark — в 3,5 раза медленнее флагмана. Приведенное к Ваттам значение выходит средним — 268.

Сопроцессор для обработки графики — Intel HD Graphics 520, если играть в 3D-игры, то только в старые. MS Office не тормозит, «Фотошоп» работает с несложными картинками.

2Core i3-6100U

Стоимость 9 Производительность 8 Энергопотребление 7

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.0Оценка

Плюсы

• Средняя цена чипа
• Многопоточность вычислений в бюджете
• Кристалл почти не греется

Минусы

• Тактовая частота жестко прибита
• Средняя приведенная эффективность
• Устаревшая и слабая видеоподсистема

Чип эконом класса i3 в шестом поколении базируется на схеме Skylake — искусственные ограничения в нем проявились в количестве ядер — их всего два, а также в фиксированной на 2,3 ГГц тактовой частоте — технологию Turbo Boost Intel сознательно не использует.

Немного улучшает ситуацию Hyper-threading, каждое ядро умеет выполнять по два потока команд, процессор — квазичетырехядерный.

Схема — ULV-класса с пониженным напряжением и ограниченным 15 Вт теплопакетом — жесткий диск греется сильнее, чем чип. К счастью, 3 Мб кэш L3 оставили, кристалл молотит числа в 4 раза медленнее, чем i9 — 3603 по PassMark или 240 единиц на Ватт.

На той же пластине разведен привычный блок Intel HD Graphics 520, ноутбуки на платформе с офисными программами и 3D-моделями справляются, но сложные игры — не для них.

1Ryzen 3 2200U

Стоимость 8 Производительность 9 Энергопотребление 9

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.7Оценка

Плюсы

• Хорошая скорость вычислений в сегменте
• Параллельные вычисления в ядрах
• Хороший встроенный графический чип

Минусы

• Цена процессора выше, чем у i5

Новейший чип AMD пользуется популярностью в 2021 году. Он сконструирован на основе современной архитектуры Zen, литографирован по 14-нм процессу, содержит 2 ядра с двумя параллельными расчетами.

Тактовый генератор автоматически подстраивает частоту от 2,5 до 3,4 ГГц по нагрузке, вмешательство пользователя не разрешается.

AMD позиционирует изделие Ryzen 3 в нижнем сегменте, но по характеристикам он немного превосходит i5. Теплопакет оптимизирован для компактных компьютеров — 15 Вт, на месте солидный L3-кэш 4 Мб, поэтому по калькуляции PassMark получается 4459 меток, что в переводе на Ватты дает неплохие 298 единиц.

Графический процессор AMD Radeon RX Vega 8 превосходит аналоги Intel, игры на средних настройках идут нормально. Формулы в MatLab считаются быстро, WinRar шустро пакует файлы.

Лучшие процессоры для недорогих ноутбуков

С появлением дешевых ноутбуков стационарные компьютеры стали не так нужны, но чтобы обеспечить лэптопами всех желающих, цены не должны быть разорительными. В этом направлении работают заводы и КБ, а также повелители кремния — Intel вместе с AMD.

Идею нетбуков, для которых был придуман Atom, свернули внезапно появившиеся планшеты, поэтому данный процессор рассматривать нет смысла. К прочим экономным микросхемам относится Celeron, Pentium, младшие версии Core i3, а также A-серия AMD.

Для снижения потребления теплопакеты зажаты вплоть до 6 Вт — можно охлаждать без кулера, количество ядер небольшое, частоты не топовые. Какие процессоры лучше выбрать для недорогих ноутбуков — читайте ниже.

4Celeron N4000

Стоимость 9 Производительность 7 Энергопотребление 9

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.3Оценка

Плюсы

• Отличный энергопакет
• Дешевый процессор
• Есть кэш второго уровня

Минусы

• Низкая производительность
• Не подойдет для серьезных игр

Бюджетный чип Celeron имеет архитектуру Gemini Lake, у него два ядра без многопоточности. Фотолитография применена современная — 14 нм.

Задающий генератор подстраивается в пределах 1,1 — 2,6 ГГц, руками частоту подкрутить нельзя. Для ускорения работы предусмотрен кэш второго уровня на 4 Мб.

Впечатляет тепловыделение — всего 6 Вт, ноутбук с таким холодным процессором способен продержаться до 10 часов. Производительность, конечно, не рекордная — PassMark присваивает 1460 звездочек, при этом пересчет на Ватты дает 243 единицы, зато чип дешевый.

Встроенный сопроцессор UHD Graphics 600 позволяет играть лишь в «Тетрис» или первых «Героев». Легкие ноутбуки и нетбуки на платформе пригодны для Интернет и написания статей в поездках.

3Pentium N4200

Стоимость 8 Производительность 8 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.0Оценка

Плюсы

• Неплохая производительность
• Недорогой процессор
• Автоподстройка частоты

Минусы

• Маленький кэш L2
• Не запускаются 3D-игры

В основе недорогого «пня» — платформа Apollo Lake с квартетом ядер, каждое работает только с одним потоком. Разрешение литографии — 14 нм, для ускорения предусмотрен небольшой кэш L2 на 2 Мб.

Ритм работы системы определяет генератор с подстраиваемой частотой 1,2 — 2,5 ГГц, никаких ручных множителей не предусмотрено.

Зато теплопакет 6 Вт позволяет создавать тихие субноуты вообще без кулеров. Все-таки две пары ядер дают о себе знать — тесты PassMark начисляют недурные 2021 баллов, а пересчет на Ватты удивляет — целых 336 единиц, как у i7.

Впрочем, карта HD Graphics 505 не позволит даже запустить крутые игры, а старые пойдут на низких настройках. Комфорт работы на ноуте будет зависеть от объема памяти и скорости накопителя.

2Core i3-6006U

Стоимость 7 Производительность 10 Энергопотребление 9

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

8.7Оценка

Плюсы

• Есть многопоточность
• Есть нормальный кэш L3
• Отличная скорость работы

Минусы

• Фиксированная частота генератора
• Повышенная цена на кристалл
• Не для суровых игр

Для простых ноутбуков предназначен процессор третьей категории, построенный по базовой структуре Skylake. В отличие от Pentium, Intel решили добавить многопоточность, таким образом, 2 физических ядра работают как четыре виртуальных — положительно влияет на скорость работы. Техпроцесс — отработанный, 14 нм.

Задающие частоты жестко залочены на 2,0 ГГц, не меняются ни автоматом, ни руками. Хорошо, что оставлен кэш L3, составляет неплохие 3 Мб.

Тепловая мощность у i3 — средняя для ULV-процессоров — 15 Вт, воздух из вентиляции не обжигает. Hyper-threading вместе с кэш-памятью дает существенные преимущества — PassMark оценивает производительность в 5412 крышечек, что лишь в 2,6 раза меньше флагмана i9, красиво выглядят и приведенные цифры — 361 единица.

Графический сопроцессор Intel HD Graphics 520 не позволит играть в сложные игры. Ноутбуки на это основе предназначены для MS Office, Chrome и Skype — с этими задачами справляются отлично.

1A9-9420

Стоимость 8 Производительность 7 Энергопотребление 8

Общая оценка, рассчитывается как среднее значение от суммы основных параметров.

7.7Оценка

Плюсы

• Есть автоподстройка частоты
• Неплохой графический сопроцессор
• Есть небольшой кэш L2

Минусы

• Нет мнопототочности
• Не самая лучшая производительность
• Устаревший техпроцесс

Незатейливый камень AMD для скромных ноутбуков принадлежит к седьмому поколению и имеет архитектуру Stoney Ridge. Вычислениями внутри занята пара ядер без многопоточности. Технологический процесс — слегка устаревший — 28 нм.

Автоматическая схема изменяет задающие импульсы в небольших пределах — от 3,0 до 3,6 ГГц, ручные установки коэффициентов заблокированы. Для оптимизации работы с памятью предусмотрен небольшой кэш L2 на 1 Мб.

Тепловыделение ограничено 10 Вт, это существенно влияет на производительность — 2308 крошек по PassMark — в 6 раз меньше лидера, в приведенных единицах оценивается средне — 230.

На одной пластине с CPU находится модуль графики Radeon R5. В целом ноутбуки на этой платформе предназначены для работы — «Лайтрум», «Фотошоп» или «Сони Вегас». WoW пойдет на средних настройках.

Вывод

При выборе нотбука основные параметры, как правило, известны — игровой, портативный или бюджетный, понятны желаемые размеры экрана и объем жесткого диска. А вот с главным вычислительным модулем (CPU) не все очевидно. Маркетологи приучили покупателей, что условный Core i7 круче, чем Core i3, но это не совсем верно.
Важная информация скрыта в буквенной маркировке процессора, определяющей производительность и потребление энергии, а также конечную стоимость машины. Например, для ультрабуков выпускаются сверхэкономные вычислители с буквой Y, для средних ноутов — с символом U. Их производительность ниже, чем у HQ, разгон ядер запрещен, но и компьютер не будет греть воздух и дольше проработает от батареи.

Сравнение производительности процессоров Intel разных поколений

Почти каждый год на рынок выходит новое поколение центральных процессоров Intel Xeon E5. В каждом поколении попеременно меняются сокет и технологический процесс. Ядер становится всё больше и больше, а тепловыделение понемногу снижается. Но возникает естественный вопрос: «Что даёт новая архитектура конечному пользователю?» Для этого я решил протестировать производительность аналогичных процессоров разных поколений. Сравнивать решил модели массового сегмента: 8-ядерные процессоры 2660, 2670, 2640V2, 2650V2, 2630V3 и 2620V4. Тестирование с подобным разбросом поколений является не совсем справедливым, т.к. между V2 и V3 стоит разный чипсет, память нового поколения с большей частотой, а самое главное — нет прямых ровесников по частоте среди моделей всех 4-х поколений. Но, в любом случае, это исследование поможет понять в какой степени выросла производительность новых процессоров в реальных приложениях и синтетических тестах. Выбранная линейка процессоров имеет много схожих параметров: одинаковое количество ядер и потоков, 20 MB SmartCache, 8 GT/s QPI (кроме 2640V2) и количество линий PCI-E равное 40.

Для оценки целесообразности тестирования всех процессоров, я обратился к результатам тестов PassMark.

Ниже привожу сводный график результатов:

Так как частота существенно отличается, сравнивать результаты не совсем корректно. Но несмотря на это, с ходу напрашиваются выводы:

1. 2660 эквивалентен по производительности 2620V4 2. 2670 превосходит по производительности 2620V4 (очевидно, что за счёт частоты) 3. 2640V2 проседает, а 2650V2 бьёт всех (также из-за частоты)

Я поделил результат на частоту и получил некое значение производительности на 1 ГГц:

Вот тут уже результаты получились более интересные и наглядные:

1. 2660 и 2670 — неожиданный для меня разбег в рамках одного поколения, 2670 оправдывает только то, что общая производительность у него весьма высока 2. 2640V2 и 2650V2 — весьма странный низкий результат, который хуже чем у 2660 3. 2630V3 и 2620V4 — единственный логический рост (видимо как раз за счёт новой архитектуры…)

Проанализировав результат я решил отсеять часть неинтересных моделей, которые не имеют ценности для дальнейшего тестирования:

1. 2640V2 и 2650V2 — промежуточное поколение, и не очень удачное, на мой взгляд — убираю из кандидатов 2. 2630V3 — отличный результат, но стоит необоснованно дороже 2620V4, учитывая аналогичную производительность и, к тому же — это уже уходящее поколение процессоров 3. 2620V4 — адекватная цена (сравнивая с 2630V3), высокая производительность и, самое главное — это единственная модель 8-ядерного процессора последнего поколения с Hyper-threading в нашем списке, поэтому однозначно оставляем для дальнейших тестов 4. 2660 и 2670 — отличный результат в сравнении с 2620V4. На мой взгляд, именно сравнение первого и последнего (на данный момент) поколения в линейке Intel Xeon E5 представляет особый интерес. К тому же у нас на складе остались достаточные запасы процессоров первого поколения, поэтому для нас это сравнение весьма актуально.

Стоимость серверов на базе процессоров 2660 и 2620V4 может отличаться почти до 2 крат не в пользу последних, поэтому сравнив их производительность и выбрав сервер на процессорах V1 — можно существенно сократить бюджет на покупку нового сервера. Но об этом предложении я расскажу после результатов тестирования.

Для тестирования было собрано 3 стенда:

1. 2 x Xeon E5-2660, 8 x 8Gb DDR3 ECC REG 1333, SSD Intel Enterprise 150Gb 2. 2 x Xeon E5-2670, 8 x 8Gb DDR3 ECC REG 1333, SSD Intel Enterprise 150Gb 3. 2 x Xeon E5-2620V4, 8 x 8Gb DDR4 ECC REG 2133, SSD Intel Enterprise 150Gb

PassMark PerformanceTest 9.0

При отборе процессоров на тесты я уже пользовался результатами синтетических тестов, но сейчас интересно сравнить эти модели более детально. Сравнение сделал группами: 1-ое поколение против 4-го.

Более подробный отчёт о тестировании позволяет сделать некоторые выводы:

1. Математика, в т.ч. и с плавающей точкой, в основном зависит от частоты. Разница в 100 МГц позволила 2660 опередить 2620V4 в расчётных операциях, в шифровании и компрессии (и это не смотря на существенную разницу в частоте памяти) 2. Физика и вычисления с использованием расширенных инструкций на новой архитектуре выполняются лучше, не смотря на низкую частоту 3. Ну и, разумеется, тест с использованием памяти прошёл в пользу процессоров V4, так как в данном случае соревновались уже разные поколения памяти — DDR4 и DDR3.

Это была синтетика. Посмотрим что покажут специализированные бенчмарки и реальные приложения.

Архиватор 7ZIP

Тут результаты перекликаются с предыдущим тестом — прямая привязка к частоте процессора. При этом не важно, что установлена более медленная память — процессоры V1 уверенно берут первенство частотой.

CINEBENCH R15

CINEBENCH — это бенчмарк для оценки рабочих характеристик компьютера для работы с профессиональной программой для создания анимации MAXON Cinema 4D.
Xeon E5-2670 вытянул по частоте и побил 2620V4. А вот E5-2660, имеющий не столь видимое преимущество по частоте, проиграл процессору 4-го поколения. Отсюда вывод — этот софт использует полезные дополнения новой архитектуры (хотя возможно всё дело в памяти…), но не на столько, чтобы это было решающим фактором.

3DS MAX + V-Ray

Для оценки производительности процессоров при рендеринге в реальном приложении я взял связку: 3ds Max 2021 + V-ray 3.4 + реальная сцена с несколькими источниками света, зеркальными и прозрачными материалами, и картой окружения.
Результаты получились схожи с CINEBENCH: Xeon E5-2670 показал самое низкое время рендеринга, а 2660 не смог обойти 2620V4.

1С: SQL/File

В заключение тестирования прилагаю результаты тестов gilev для 1С.
При тестировании базы с файловым доступом уверенно лидирует процессор E5-2620V4. В таблице приведены средние значения 20 прогонов одного и того же теста. Разница между результатами каждого стенда в случае с файловой базой была не больше 2%.

Однопоточный тест базы SQL показал весьма странные результаты. Разница получилась незначительной, учитывая разную частоту у 2660 и 2670, и разную частоту у DDR3 и DDR4. Была попытка оптимизировать настройки SQL, но результаты оказались хуже, чем было, поэтому я решил тестировать все стенды на базовых настройках.

Результаты многопоточного теста SQL оказались ещё куда более странными и противоречивыми. Максимальная скорость 1 потока в МБ/с была эквивалентна индексу производительности в предыдущем однопоточном тесте.

Следующим параметром была максимальная скорость (всех потоков) — результат получился практически идентичным у всех стендов. Так как результаты разных прогонов сильно колебались (+-5%) — иногда они были у разных стендов с существенным отрывом как в одну так и в другую сторону. Одинаковые средние результаты многопоточного теста SQL наводят меня на 3 мысли:

1. Такая ситуация вызвана неоптимизированной конфигурацией SQL 2. SSD стал узким местом системы и не позволил процессорам разогнаться 3. Разницы между частотой памяти и процессоров под эти задачи почти нет (что крайне маловероятно)

Если у Вас есть достоверные объяснения подобных результатов — прошу Вас поделиться ими в комментариях.

Также оказался необъяснимым результат по параметру «Рекомендуемое кол-во пользователей». Средний результат у 2660 оказался выше всех — и это при низких результатах всех тестов. По этому вопросу также буду рад увидеть Ваши комментарии.

Выводы

Результаты нескольких разносторонних вычислительных тестов показали, что частота процессора в большинстве случаев оказалась важней поколения, архитектуры и даже частоты памяти. Безусловно есть современный софт, который использует все улучшения новой архитектуры. Например, транскодирование видео иногда производится в т.ч. с использованием инструкций AVX2.0, но это специализированное ПО — а большинство серверных приложений по прежнему привязаны к количеству и частоте ядер.
Разумеется я не заявляю, что разницы между процессорами нет совсем никакой, я лишь хочу отметить, что для определённых приложений нет смысла в «плановом» переходе на новое поколение.

Если Вы со мной не согласны или у Вас есть предложения для тестирования — стенды пока не разобраны, и я буду рад произвести тестирование Ваших задач.

Экономическая выгода

Как я уже писал в начале статьи — мы предлагаем линейку серверов на базе процессоров Xeon E5 первого поколения, которые по стоимости существенно бюджетней серверов на E5-2620V4. Это такие же новые серверы (не путать с б/у) с гарантией 3 года.
Ниже привожу ориентировочный расчет:

Сервер STSS Flagman RX227.4-008LH

в конфигурации
2 х Intel Xeon E5-2620V4
+ 8 x 8Gb DDR4 ECC REG в розницу стоит на сегодняшний день
265065р.
Аналогичная конфигурация STSS Flagman EX227.3-008LH

на базе
2 х Intel Xeon E5-2660
+ 8 x 8Gb DDR3 ECC REG по акции доступна за
175275р.
Читатели Хабра могут получить при заказе дополнительную скидку 5%

. Для этого необходимо выбрать нужный форм-фактор корпуса из
списка моделей на нашем сайте
. Модель
EX217.3-004LH
выполнена в 1U-корпусе,
EX227.3-008LH
— 2U, а
EX240.3-008LH
построена на базе корпуса Tower/4U. В конфигураторе модели можно подобрать необходимые параметры памяти, дисковой подсистемы и дополнительных устройств. При отправке заявки на расчет необходимо указать промокод
HABRAHABR
.

Спасибо за внимание! Буду ждать Ваших комментариев и пожеланий по тестам.

Написание статьи и тестирование: Usikoff Тестирование 1C: sarge74

Синтетическое тестирование: что это и как работает

Что такое синтетическое тестирование?

Синтетическое тестирование, также известное как синтетический мониторинг или упреждающий мониторинг, — это способ выявления проблем с производительностью с ключевыми пользовательскими циклами и конечными точками приложений до того, как они ухудшат взаимодействие с пользователем. Компании могут использовать синтетическое тестирование для упреждающего мониторинга доступности своих услуг, времени отклика приложений и функциональности клиентских транзакций. В этом руководстве мы обсудим, как работают синтетические тесты, рассмотрим некоторые из наиболее важных вариантов использования и определим основные функции, на которые следует обратить внимание при выборе платформы для синтетического тестирования.

Как работает синтетическое тестирование?

Синтетические тесты имитируют реальный пользовательский трафик, отправляя имитированные запросы вашим приложениям и службам из разных браузеров, устройств и мест по всему миру. Синтетические тесты могут использоваться для мониторинга транзакций веб-сайтов и конечных точек приложений на различных сетевых уровнях, и результаты этих тестов могут предоставить ценную информацию о времени безотказной работы, времени отклика и региональных проблемах производительности.

Синтетические тесты могут отслеживать различные пути пользователя и конечные точки приложений.

Инженеры могут развертывать синтетические тесты вручную или использовать синтетическую платформу мониторинга для автоматического запуска тестов с заранее заданными интервалами.Команды могут запускать синтетические тесты в производственной среде или в тестовых средах, чтобы убедиться, что новые функции работают должным образом, перед их развертыванием. Как правило, синтетические тесты не несут больших накладных расходов, поэтому они могут выполняться непрерывно, независимо от того, какой объем трафика обрабатывает приложение.

Синтетическое тестирование устанавливает базовый уровень производительности приложений в разное время дня и в разных местах, но есть некоторые проблемы, которые оно не решит самостоятельно. Например, ваши приложения могут генерировать непредвиденные ошибки, если поведение реального пользователя не охвачено условиями тестирования.Вы можете устранить это несоответствие, объединив синтетическое тестирование с реальным мониторингом пользователей, что сократит разрыв между реальной и моделируемой активностью и обеспечит полный охват. Кроме того, одни только синтетические тесты не могут отличить задержку, вызванную архитектурными проблемами, такими как узкие места на уровне обслуживания, и проблемами оборудования, такими как низкий уровень ЦП на уровне устройства. Чтобы различать эти типы проблем, вам нужно будет просматривать результаты тестов вместе с данными о производительности приложений и инфраструктуры.

Почему так важны синтетические тесты?

Инженеры по обеспечению качества, разработчики, инженеры по обеспечению надежности сайтов и инженеры WebOps полагаются на синтетическое тестирование для:

• Упреждающего определения проблем с производительностью

  С помощью синтетического тестирования вы можете постоянно отслеживать, реагируют ли ваши службы на запросы и встречи. любые условия, которые вы определяете, например время отклика. Вы также можете убедиться, что ключевые бизнес-транзакции работают должным образом, а также обнаруживать и устранять проблемы с производительностью до того, как конечные пользователи столкнутся с ними.

• Сокращение среднего времени до разрешения (MTTR)

  В случае сбоя синтетического теста эффективная платформа синтетического мониторинга также предоставит доступ к связанным данным, таким как внутренние запросы, журналы ошибок и сетевое время. Эти корреляции дают вам контекст, необходимый для быстрого устранения неполадок.

• Запуск на новом рынке

  Если вы хотите запустить свой продукт на новом географическом рынке, где у вас еще нет реального пользовательского трафика, вы можете использовать синтетическое тестирование, чтобы проверить ожидаемую производительность продукта на этом рынке. место нахождения.

• Достижение целей производительности

  У большинства организаций есть целевые уровни обслуживания (SLO) или другие контрольные показатели, которым, как они ожидают, будут соответствовать их приложения. Синтетические тесты позволяют постоянно отслеживать, достигаете ли вы этих целей, где происходят отклонения и какая часть бюджета ошибок остается для каждого SLO.

• Регулярное развертывание кода

  Многие быстрорастущие организации используют конвейеры непрерывной интеграции (CI) и непрерывной доставки (CD), что позволяет им ежедневно вносить множество небольших изменений в производственную среду.Выполнение синтетических тестов в конвейерах CI / CD позволяет этим организациям оставаться гибкими, сводя к минимуму риск регресса.

Выполнение синтетических тестов в ваших конвейерах CI / CD снижает вероятность снижения производительности

Чем дольше проблемы, с которыми сталкиваются пользователи, остаются без внимания, тем сложнее и труднее их исправлять. Эти проблемы также могут привести к потере дохода, поскольку клиенты покидают ваш сайт в пользу более удобного цифрового взаимодействия с другими пользователями. Синтетическое тестирование помогает подтвердить, что ваши приложения соответствуют ожиданиям пользователей.Если возникает проблема, вы можете исправить ее быстро, прежде чем она станет очевидной для клиентов и закрепится в вашей кодовой базе.

Типы синтетического тестирования

Два основных класса синтетических тестов — это тесты браузера, которые проверяют, могут ли пользователи выполнять важные транзакции, такие как регистрация и оформление учетной записи, и тесты API, которые позволяют отслеживать ключевые конечные точки в каждой сети. слой.

Тесты API могут попадать в одну из следующих подкатегорий:

• HTTP-тесты

  Проверьте, доступны ли ваши приложения и отвечают ли они на запросы других служб.Эти тесты также могут оценивать время загрузки страницы, коды состояния и содержимое заголовка / тела.

• Тесты SSL

  Убедитесь, что пользователи могут безопасно получить доступ к веб-сайту, проверив его сертификаты SSL.

• Тесты TCP

  Проверьте доступность критических служебных портов, таких как SSH (22) и DNS (53).

• Тесты DNS

  Отслеживайте разрешение и время поиска ваших записей DNS, а также обнаруживайте потенциальные ошибки конфигурации или атаки DNS.

• Тесты ICMP

  Задержка в наземной сети и проблемы с подключением.

• Многоступенчатые тесты API

  Объедините несколько HTTP-тестов в один тест, чтобы отслеживать последовательные рабочие процессы, в которых данные должны передаваться от одной конечной точки к другой.

Различные типы синтетических тестов подходят для широкого диапазона сценариев использования. Например, компания, у которой есть финансовый веб-сайт, может реализовать многоступенчатый тест API для проверки рабочего процесса аутентификации пользователя.Кроме того, организации, хранящие конфиденциальную информацию, например данные кредитных карт, могут запускать тесты SSL в целях безопасности. А компания, занимающаяся электронной коммерцией, может запускать тесты браузера, чтобы убедиться, что процесс оформления заказа проходит гладко.

Контролируйте свои рабочие процессы с помощью Datadog SSL, TCP и многоступенчатых тестов API

Проблемы синтетического тестирования

Современные приложения состоят из многочисленных служб, зависимостей и компонентов инфраструктуры, и клиенты могут получить к ним доступ из нескольких точек входа и типов устройств.Эта сложность приводит к высокому риску ошибки, которую разработчики устраняют, тестируя свои приложения раньше и чаще в процессе разработки. Такой подход к тестированию, известный как «тестирование с сдвигом влево», помогает разработчикам выявлять проблемы до того, как они усугубятся, что, в свою очередь, снижает затраты и время, связанные с их устранением. Однако традиционные инструменты синтетического мониторинга не были разработаны с учетом этих потребностей и представляют следующие проблемы:

• Сложная настройка

  Создание традиционных синтетических тестов требует навыков программирования и знания специализированных языков сценариев, что создает высокий барьер. для входа для нетехнических членов команды.Разработчикам, обладающим необходимыми навыками, часто приходится часами писать тестовые сценарии для сложных приложений.

• Хрупкие тесты

  Небольшие изменения пользовательского интерфейса, такие как перемещение или переименование кнопки, могут привести к сбою скриптовых тестов, что приведет к потоку ложных тревог и ненужных уведомлений.

• Отсутствие контекста

  Многие инструменты синтетического тестирования будут предупреждать вас о сбоях тестирования без объяснения причин сбоя или масштабов его влияния на бизнес.

Индустрия синтетического тестирования решает эти проблемы, упрощая создание тестов, увеличивая автоматизацию и повышая устойчивость тестов.

При оценке платформ синтетического тестирования подумайте о выборе той, которая включает в себя следующие функции:

• Тесты без кода

  Веб-рекордеры и другие инструменты создания тестов на основе графического интерфейса позволяют любому члену группы независимо создавать и запускать тесты.

• Управляемые и частные местоположения

  Выполнение тестов из разных мест помогает гарантировать, что все ваши пользователи могут получить доступ к вашему приложению, независимо от того, где они находятся.Большинство платформ предлагают несколько тестовых местоположений по умолчанию, но вы также получите выгоду от возможности запускать тесты из частных местоположений, чтобы отслеживать закрытые URL-адреса и внутренние приложения.

• Оповещения

  Синтетические платформы тестирования обычно интегрируются с электронной почтой и другими средствами связи, поэтому вы можете направлять уведомления нужным группам в случае сбоя теста.

• Контекст устранения неполадок

  Платформа синтетического тестирования может позволить вам перейти от ошибок тестирования к соответствующим трассировкам, журналам, метрикам уровня хоста и сетевым данным, что упрощает устранение неполадок.

• Интеграция CI / CD

  Когда в конвейере CI / CD происходит сбой теста, платформа тестирования может предоставить вам возможность заблокировать развертывание или запустить откат.

• Инструменты визуализации

  Эффективные платформы синтетического тестирования позволяют отслеживать результаты синтетических тестов с помощью панелей мониторинга, графиков и других визуализаций. Это позволяет выявлять тенденции и сравнивать текущую и историческую производительность ваших приложений.

• Самостоятельное обслуживание

  На некоторых платформах синтетические тесты браузера автоматически адаптируются к поверхностным изменениям пользовательского интерфейса, чтобы уменьшить количество ложных срабатываний.

Синтетические тесты Datadog демонстрируют точку зрения конечного пользователя со снимками экрана каждого записанного шага.

Datadog Synthetic Monitoring включает в себя все эти функции, позволяя любому члену вашей команды запускать тесты API и браузера без кода из любой точки мира. Вы можете запустить тесты в производственной среде или на любом этапе вашего конвейера CI / CD для более раннего обнаружения проблем.Datadog Synthetic Monitoring предоставляет четкую визуализацию и контекстную информацию для каждого сбоя теста, включая внутренний запрос, журналы ошибок, метрики на уровне хоста и сетевые данные, чтобы группы могли быстро и эффективно устранять проблемы.

Начните работу с синтетическим мониторингом сегодня и создайте свой первый синтетический тест за считанные минуты.

Что такое синтетическое тестирование? Определение и его сравнение с мониторингом реального пользователя · Raygun Blog

Мониторинг производительности критически важен для работоспособного программного обеспечения.если ты нет ничего лучше синтетического тестирования или реального мониторинга пользователей, возможности для оптимизации производительности могут быть упущены из-за трещины.

Однако, если у вас есть инструмент мониторинга в качестве руководства, вы можете исправить проблемы вроде медленной загрузки страниц в течение часа.

Двумя основными типами мониторинга приложений являются Мониторинг реального пользователя (RUM), и синтетическое тестирование (или синтетический мониторинг). Если вы изучаете инструмент мониторинга приложений, важно знать различия.

Что такое синтетическое тестирование?

Синтетическое тестирование — это метод понимания того, как пользователи воспринимают ваши приложение, прогнозируя поведение.

Википедия говорит:

«Синтетический мониторинг (также известный как активный мониторинг или упреждающий мониторинг) — это мониторинг веб-сайта, который выполняется с помощью эмуляции веб-браузера. или записи сценариев веб-транзакций. Поведенческие сценарии (или пути) создан для имитации действия или пути, который предпримет заказчик или конечный пользователь. на сайте.”

Инструменты синтетического тестирования используют моделируемых пользователей для предоставления информации о времени безотказной работы, выполнение критически важных бизнес-транзакций и наиболее распространенная навигация пути. По этой причине синтетический мониторинг часто используется для предупреждения команд о необходимости сбои и проблемы с производительностью. Синтетическое тестирование также может помочь, когда вы иметь небольшой трафик или вообще не иметь его, используя легкие агенты, которые используют сценарии для моделировать поведение пользователя и оценивать производительность.

• Сообщает, когда ваше приложение не работает
• Создание основы для тенденций эффективности в разных странах
• Мониторинг производительности в периоды низкой посещаемости
• Обнаружение проблем, вызванных сторонними скриптами
• Мониторинг критических запросов к базе данных на предмет доступности

Проблема синтетического тестирования в том, что оно не сообщает вам о действиях реальных пользователей .

Поскольку в нем используются моделируемые действия, синтетическое тестирование не может предсказывать сложные поведение. Это просто предполагает путей, по которым пользователи могут пройти через ваши приложения. Тесты могут пройти нормально, но ваши настоящие пользователи испытывают проблемы. Так, одно только синтетическое тестирование оставило бы значительный пробел в вашем мониторинге стратегия.

Чем отличается мониторинг реального пользователя?

Мониторинг реального пользователя (RUM), с другой стороны, использует данные реальных пользователей. поиск узких мест в приложении, таких как медленная загрузка страниц и плохой UX.

RUM обычно выполняется с использованием нескольких строк кода на веб-страницах, которые собирает соответствующие данные и доставляет их вам. Это никак не повлияет на ваши производительность веб-сайта, потому что RUM обычно работает без агентов и асинхронно.

Обратной стороной RUM является то, что это пассивная форма мониторинга. Это может только предоставлять данные для приложений с активированным трафиком, поэтому в этом случае синтетический мониторинг должен быть вашим выбором.

Вы можете понять, почему синтетическое тестирование так полезно, и, на первый взгляд, синтетическое тестирование и мониторинг реального пользователя кажутся очень похожими.Мониторинг реального пользователя предлагает гораздо более точное представление о вашем конечном пользователе. Если у вас есть сайт трафик, мониторинг реального пользователя должен быть предпочтительным инструментом.

Пример, когда реальные данные лучше

Это помогает объяснить в контексте.

Допустим, вы создаете веб-сайт, на котором рассчитываются пенсионные накопления. У вас есть несколько онлайн-калькуляторов, которые помогают клиентам рассчитать, сколько денег нужно спасти. Вы, , думаете, что ваша целевая аудитория — технически подкованные люди 20-40 лет, поэтому вы настроить синтетический мониторинг для проверки проблем с производительностью на мобильных устройствах и в последних версиях браузеров.Тесты убеждают, что все в порядке. работает плавно. Пора запускать!

Через несколько месяцев вы добавляете инструмент RUM, чтобы привлечь вторую пару глаз. представление. Тогда вы замечаете, что некоторым страницам требуется более двух минут, чтобы нагрузка! Что происходит?

RUM замечает, что большинство ваших пользователей используют IE6, и только 5% просматривают мобильные устройства — то, чего не обнаружили синтетические тесты. Ваши калькуляторы вызывают большие проблемы с производительностью в этих старых версиях, и вам нужно выделить значительное количество времени на повторную разработку. Некоторое время не годится- плохой запуск.

Мониторинг браузера для обнаружения проблем в определенных браузерах

Наблюдение за браузером имеет значение. RUM отслеживает и сообщает о ваших самых популярных браузерах и как они работают в реальном времени, что упрощает создание улучшения. Это полезно и при отказе от поддержки — бессмысленно иметь исправления для IE 6, когда никто не просматривает ваши веб-сайты в версиях ниже IE9.

Raygun Мониторинг реального пользователя собирает все данные браузера, чтобы помочь вам понять, какие браузеры наиболее популярны в вашем приложении.Вы можете увидеть, какие именно версии популярных браузеры уже используются, или вы можете сгруппировать их по типу браузера. Это может помочь дать ответы на вопросы о производительности, с которыми сталкиваются многие команды разработчиков day, например: «Следует ли нам удалить поддержку IE6? »и « Какой браузер больше всего популярный? Что нас подводит с точки зрения производительности? »

Страница «Браузеры» Raygun, показывающая производительность каждого популярного браузера.

Информация трассировки сеанса для отслеживания пути пользователя

Еще одно ключевое отличие состоит в том, что мониторинг реального пользователя позволяет увидеть каждого пользователя и путь, который они прошли через ваше приложение.Это Это важно, когда разработчикам нужно знать, как VIP-клиент столкнулся с ошибкой. Например, это была программная ошибка или медленно загружающийся сторонний скрипт?

Трассировка сеанса позволяет разработчикам видеть, какие страницы или представления загружаются медленно, и который не загрузился или вызвал ошибку.

Страница трассировки сеанса Raygun, показывающая подробную информацию о сеансе пользователя

Мониторинг реального пользователя Сравните, чтобы увидеть производительность одновременно

При улучшении производительности приложения не существует универсального решения. решение.То, что считается критически важным для одной компании, может быть второстепенным. край случай для другого. Следовательно, возможность настраивать представления данных — это основная особенность любого продукта RUM. Сравнение данных о производительности, таких как браузер, страна, устройство и операционная система помогают разработчикам понять, как эти размеры влияют на производительность.

Сравните производительность браузера с помощью Raygun

Вы также можете сравнить производительность двух параллельных развертываний. Это важно, поскольку и разработчики, и менеджеры по продуктам понимают, какое влияние выпуски влияют на общий пользовательский опыт.

Сводка

Мониторинг реального пользователя и синтетическое тестирование — дополнительные инструменты. Вместе, они создают убедительную картину мониторинга. Хотя синтетический мониторинг может в некоторых областях не справляются, реальный мониторинг пользователей восполнит пробелы.

Реальный мониторинг пользователей

Raygun предлагает подробную информацию о конечных пользователях и даже еженедельный дайджест производительности вашего веб-приложения и мобильного приложения. Разработчики могут исправить проблемы с производительностью быстро, поскольку они могут с полной ясностью увидеть, что пошло неправильно, и первопричина.

Synthetic Testing — Performance Lab

Синтетическое тестирование — это способ проверить производительность ИТ-системы с точки зрения показателей производительности инфраструктуры и приложений, таких как скорость чтения или записи диска, скорость передачи страниц памяти и использование сети.

Проблемы, которые он решит

• Оптимизация затрат на инфраструктуру за счет выбора наиболее эффективной конфигурации с учетом работы пользователя и возможностей масштабирования системы, а также предоставление заказчику информации о параметрах загрузки ресурсов сервера (ЦП, память, ввод-вывод ) и производительность ИТ-системы.
• Сведение к минимуму рисков, связанных с низкой производительностью системы из-за несоответствия между реальной производительностью конфигурации и производительностью, указанной поставщиком, путем обнаружения любых проблем производительности во время синтетического теста.

Отчет о тестировании производительности включает (Результаты)

• Информация о том, какая аппаратная инфраструктура является наиболее эффективной, а также ее характерные особенности при масштабировании системы или увеличении нагрузки с учетом специфики ИТ-системы
• Информация о соответствие производительности системы заданным производителем параметрам
• Скрипты нагрузочного тестирования

Объем работ

1. Создание методологии синтетического тестирования
   • Сбор и анализ статистики использования инструментальных ресурсов для производственной среды
   • Согласование требований к производительности
   • Определение сценариев тестирования
   • Определение компонентов синтетического тестирования
   • Создание плана тестирования
2. Создание тестовой модели
   • Установка инструментов для синтетического тестирования
   • Создание синтетического теста сценарии
   • Подготовка данных теста
   • Описание инструкции по проведению теста
3. Подготовка к тесту
   • Проверка работоспособности тестовой среды
   • Настройка средств мониторинга
   • Проведение пробных тестов
4. Проведение тестов
   • Запуск синтетических тестов системы по согласованным сценариям
5. Системный анализ
   • Анализ результатов синтетического тестирования
   • Рекомендации по совершенствованию архитектуры и инфраструктуры системы

Инструменты и лицензии

• ioZone
• ioMeter
• MS Visual Studio
• IBM Rational Performance Tester
• Silk Performer

СВЯЗАННЫЕ УСЛУГИ:

Что такое синтетическое тестирование?: Определение и его сравнение с мониторингом реального пользователя

Per Мониторинг формальности имеет решающее значение для работоспособного программного приложения.Если у вас нет ничего похожего на синтетическое тестирование или реальный мониторинг пользователей, возможности для оптимизации производительности могут быть упущены.

Однако, если у вас есть инструмент мониторинга в качестве руководства, вы можете решить такие проблемы, как медленная загрузка страниц в течение часа.

Два основных типа мониторинга приложений: мониторинг реального пользователя, и синтетическое тестирование , (или синтетический мониторинг). Если вы изучаете инструмент для мониторинга приложений, важно знать различия.

Что такое синтетическое тестирование?

Синтетическое тестирование — это метод понимания пользовательского опыта вашего приложения путем прогнозирования поведения.

Википедия говорит:

«Синтетический мониторинг (также известный как активный мониторинг или упреждающий мониторинг) — это мониторинг веб-сайтов, который выполняется с помощью эмуляции веб-браузера или записи веб-транзакций по сценарию. Поведенческие сценарии (или пути) создаются для имитации действия или пути, которые клиент или конечный пользователь предпримет на сайте.”

В инструментах синтетического тестирования

используются моделируемые пользователи для предоставления информации о времени безотказной работы, производительности критически важных бизнес-транзакций и наиболее распространенных путях навигации. По этой причине синтетический мониторинг часто используется для предупреждения групп о сбоях и проблемах с производительностью. Синтетическое тестирование также может помочь при небольшом трафике или его отсутствии за счет использования легких агентов, которые используют сценарии для имитации поведения пользователя и оценки производительности.

Некоторые виды использования синтетических инструментов мониторинга:

• Сообщает, когда ваше приложение не работает
• Создание основы для тенденций эффективности в разных странах
• Мониторинг производительности в периоды низкой посещаемости
• Обнаружение проблем, вызванных сторонними скриптами
• Мониторинг критических запросов к базе данных на предмет доступности

Проблема с синтетическим тестированием заключается в том, что оно не сообщает вам действия реальных пользователей .

Синтетическое тестирование не может предсказать сложное поведение, поскольку в нем используются смоделированные действия. Это просто предполагает путей, по которым пользователи могут пройти через ваши приложения. Тесты могут пройти нормально, но ваши настоящие пользователи испытывают проблемы. Таким образом, одно синтетическое тестирование оставило бы значительный пробел в вашей стратегии мониторинга.

Чем отличается мониторинг реального пользователя?

Мониторинг реального пользователя (RUM), с другой стороны, использует данные реальных пользователей, перемещающихся по вашему приложению, для выявления узких мест, таких как медленная загрузка страниц и плохой пользовательский интерфейс.

RUM обычно выполняется с использованием нескольких строк кода на веб-страницах, которые собирают соответствующие данные и доставляют их вам. Это не повлияет на производительность вашего веб-сайта, поскольку RUM обычно работает без агентов и асинхронно.

Обратной стороной RUM является то, что это пассивная форма мониторинга. Он может предоставлять данные только для приложений с активированным трафиком, поэтому в этом случае вам следует выбрать синтетический мониторинг.

Вы можете понять, почему синтетическое тестирование так полезно, и на первый взгляд синтетическое тестирование и мониторинг реального пользователя кажутся очень похожими.Мониторинг реального пользователя предлагает гораздо более точное представление о вашем конечном пользователе. Если у вас есть посещаемость веб-сайта, предпочтительным инструментом должен быть реальный мониторинг пользователей.

Пример того, когда реальные данные лучше

Это помогает объяснить в контексте.

Допустим, вы создаете веб-сайт, на котором рассчитываются пенсионные накопления. У вас есть несколько онлайн-калькуляторов, которые помогают клиентам определить, сколько денег им сэкономить. Вы, , думаете, что ваша целевая аудитория — технически подкованные люди в возрасте от 20 до 40 лет, поэтому вы настраиваете синтетический мониторинг для проверки проблем с производительностью на мобильных устройствах и в последних версиях браузеров.Тесты убеждают вас, что все идет гладко. Пора запускать!

Через несколько месяцев вы добавляете инструмент RUM, чтобы еще раз оценить производительность. Именно тогда вы замечаете, что некоторые страницы загружаются более двух минут! Что происходит?

RUM замечает, что большинство ваших пользователей используют IE6, и только 5% просматривают веб-страницы на мобильных устройствах, что не показало синтетическое тестирование. Ваши калькуляторы вызывают большие проблемы с производительностью в этих старых версиях, и вам нужно выделить значительное количество времени на повторную разработку. Не лучший вариант для стартапа с нехваткой времени.

Мониторинг браузера для обнаружения проблем в определенных браузерах

Контроль браузера имеет значение. RUM отслеживает и сообщает о ваших самых популярных браузерах и их работе в режиме реального времени, что упрощает внесение улучшений. Это полезно и при отказе от поддержки — бессмысленно исправлять IE 6, когда никто не просматривает ваши веб-сайты на версиях ниже IE9.

Raygun Real User Monitoring собирает все данные браузера, чтобы помочь вам понять, какие браузеры наиболее популярны в вашем приложении.Вы можете точно узнать, какие версии популярных браузеров используются, или сгруппировать их по типу браузера. Это может помочь найти ответы на вопросы о производительности, с которыми многие команды разработчиков сталкиваются каждый день, например: «Следует ли нам удалить поддержку IE6? »и « Какой браузер самый популярный? Что нас подводит с точки зрения производительности? »

Страница «Браузеры» Raygun, показывающая производительность каждого популярного браузера

Информация трассировки сеанса для отслеживания перехода пользователя

Еще одно ключевое отличие заключается в том, что реальный мониторинг пользователей позволяет увидеть каждого пользователя и его путь к вашему приложению.Это важно, когда разработчикам нужно знать, как VIP-клиент столкнулся с ошибкой. Например, это была программная ошибка или медленно загружающийся сторонний скрипт?

Трассировка сеанса позволяет разработчикам видеть, какие страницы или представления загружаются медленно, а какие не загружаются или вызывают ошибку.

Страница трассировки сеанса Raygun, показывающая подробную информацию о сеансе пользователя

Сравнение мониторинга реального пользователя для параллельной оценки производительности

При улучшении производительности вашего приложения не существует универсального решения.То, что считается критически важным для одной компании, для другой может оказаться второстепенным. Следовательно, возможность настраивать представления данных — ключевая особенность любого продукта RUM. Сравнение данных о производительности, таких как браузер, страна, устройство и операционная система, помогает разработчикам понять, как эти параметры влияют на производительность.

Сравните производительность браузера с помощью Raygun

Вы также можете сравнить производительность двух параллельных развертываний. Это важно, поскольку и разработчики, и менеджеры по продуктам понимают, какое влияние их выпуски оказывают на общий пользовательский интерфейс.

Сводка

Мониторинг реальных пользователей и синтетическое тестирование — дополнительные инструменты. Вместе они создают убедительную картину мониторинга. В то время как синтетический мониторинг может не дать результатов в некоторых областях, реальный пользовательский мониторинг восполнит пробелы.

Реальный мониторинг пользователей

Raygun предлагает подробную информацию о конечных пользователях и даже еженедельный обзор производительности вашего веб-приложения и мобильного приложения. Разработчики могут быстро устранять проблемы с производительностью, поскольку они могут с полной ясностью увидеть, что пошло не так, и их первопричину.

Дополнительные ресурсы

Экономия клиентов на 75 часов с мониторингом реальных пользователей

Использование синтетического мониторинга для измерения доступности и мониторинга производительности реального пользователя

Мониторинг производительности

: RUM против синтетического мониторинга — производительность сети

Синтетический мониторинг и мониторинг реального пользователя (RUM) — это два подхода к мониторингу и анализу производительности сети. RUM и синтетический мониторинг обеспечивают разные представления о производительности и имеют преимущества, хорошие варианты использования и недостатки.RUM обычно лучше всего подходит для понимания долгосрочных тенденций, тогда как синтетический мониторинг очень хорошо подходит для регрессионного тестирования и устранения краткосрочных проблем с производительностью во время разработки. В этой статье мы определяем и сравниваем эти два подхода к мониторингу производительности.

Синтетический мониторинг включает мониторинг производительности страницы в «лабораторной» среде, обычно с помощью средств автоматизации в максимально согласованной среде. Синтетический мониторинг включает в себя развертывание сценариев для имитации пути, который конечный пользователь может пройти через веб-приложение, с получением отчетов о производительности симулятора.Измеряется трафик не ваших реальных пользователей, а скорее синтетически сгенерированный трафик, собирающий данные о производительности страницы.

Примером синтетического мониторинга является WebPageTest.org. Это делается в контролируемой среде, где заранее определены такие переменные, как география, сеть, устройство, браузер и состояние кеширования. Он предоставляет водопадные диаграммы для каждого актива, обслуживаемого хостом и CDN, а также для каждого стороннего актива и запросов активов, генерируемых всеми сторонними скриптами, такими как рекламные и аналитические сервисы.

Контроль переменных среды помогает понять, где возникают узкие места производительности, и определить источник любых проблем с производительностью. Например, но это не отражает реальный опыт пользователей, особенно длинный хвост.

Синтетический мониторинг может быть важным компонентом регрессионного тестирования и мониторинга производственной площадки. Тестируйте сайт на каждом этапе разработки и регулярно в работе. Отклонения от базовой производительности в рамках непрерывной интеграции не должны иметь успеха.Если проблема возникает в производственной среде, синтетический мониторинг может обеспечить понимание, помогая выявлять, изолировать и решать проблемы до того, как они негативно повлияют на восприятие пользователем.

Мониторинг реального пользователя или RUM измеряет производительность страницы с компьютеров реальных пользователей. Как правило, сторонний сценарий внедряет сценарий на каждую страницу для измерения и представления данных о загрузке страницы для каждого сделанного запроса. Этот метод отслеживает фактическое взаимодействие пользователя с приложением. При реальном мониторинге пользователей браузеры реальных пользователей сообщают о полученных метриках производительности.RUM помогает определить, как используется приложение, включая географическое распределение пользователей и влияние этого распределения на взаимодействие с конечным пользователем.

В отличие от синтетического мониторинга, RUM фиксирует эффективность реальных пользователей независимо от устройства, браузера, сети или географического местоположения. Когда пользователи взаимодействуют с приложением, фиксируются все временные характеристики производительности, независимо от того, какие действия были предприняты или какие страницы были просмотрены. RUM отслеживает фактические варианты использования, а не синтетические предполагаемые варианты использования, заранее определенные инженером, менеджером по маркетингу или командой маркетинга.Это особенно важно для больших сайтов или сложных приложений, где функциональность или контент постоянно меняется и где люди, получающие доступ к приложению, могут сильно отличаться по жизненному опыту от тех, кто его создает.

Используя RUM, компания может лучше понимать своих пользователей и определять области на своем сайте, которые требуют наибольшего внимания. Более того, RUM может помочь понять географические тенденции или тенденции распределения каналов ваших пользователей. Знание ваших пользовательских тенденций помогает вам лучше определить свой бизнес-план и, с точки зрения мониторинга, позволяет определить ключевые области, на которые следует ориентироваться для оптимизации и повышения производительности.

Synthetic хорошо подходит для выявления регрессий во время жизненных циклов разработки, особенно при регулировании скорости сети. Это довольно просто, недорого и отлично подходит для выборочной проверки производительности во время разработки как эффективный способ измерения эффекта от изменений кода, но он не отражает того, что испытывают реальные пользователи, и дает лишь узкое представление о производительности.

RUM, с другой стороны, предоставляет реальные показатели реальных пользователей, использующих сайт или приложение. Хотя это дороже и, вероятно, менее удобно, он предоставляет важные данные о пользовательском опыте.

Что такое синтетический мониторинг | SmartBear

Что такое синтетический мониторинг?

Синтетический или направленный мониторинг — это метод мониторинга ваших приложений путем имитации пользователей — направление пути, пройденного через приложение. Этот направленный мониторинг предоставляет информацию о времени безотказной работы и производительности ваших критически важных бизнес-транзакций, а также о наиболее распространенных путях в приложении. Простая реальность такова, что нет простого способа объединить доступность, согласованность и управляемость, предлагаемые централизованной системой, с преимуществами совместного использования, роста, стоимости и автономности распределенной системы.Именно здесь, на этом пересечении, компании обращаются за советом к командам ИТ-разработчиков и эксплуатации — инструменты APM позволяют им преодолевать эти пробелы.

Как работает синтетический мониторинг?

Синтетический мониторинг работает путем передачи автоматизированных, смоделированных транзакций от клиента-робота к вашему приложению, чтобы имитировать действия обычного пользователя. Синтетический мониторинг может применяться внутри брандмауэра — в центре обработки данных, чтобы гарантировать, что все машины работают должным образом, или за пределами брандмауэра, чтобы предоставлять информацию о доступности и производительности с глобальной точки зрения.Эти серверные вызовы и сценарии тестирования становятся инструментами «мониторинга», выполняясь через заданные регулярные промежутки времени — скажем, каждые 15 минут — и могут быть запущены из одного назначенного браузера клиента синтетического мониторинга или из нескольких браузеров в разных местах сервера, чтобы лучше оценить доступность сайта. и отзывчивость во всем мире.

Таким образом, вы получаете стабильную, прочную основу для круглосуточного мониторинга производительности серверов и приложений, даже в периоды низкой активности пользователей. Более того, поскольку он состоит из тестовых сценариев, имитирующих поток кликов конечного пользователя посредством базовой навигации, отправки форм, транзакций корзины покупок или даже онлайн-игр, синтетический мониторинг может выполняться в частных тестовых средах перед развертыванием новых функций или во время регулярного автономного обслуживания. выявление потенциальных препятствий до того, как реальные пользователи смогут с ними столкнуться.Действие может имитировать браузер или управлять реальным браузером.

Симуляция браузера проста и требует мало ресурсов, но не дает точной картины взаимодействия с пользователем. Смоделированные браузеры не могут следить за динамическими, насыщенными веб-сайтами и, следовательно, могут не предоставлять точные данные о пользовательском опыте. Хотя синтетические тесты обеспечивают основу и контролируют ваши приложения независимо от времени суток или трафика на веб-сайте, они не охватывают все, что происходит на сайте.Тесты могут работать нормально, но у конечных пользователей могут быть проблемы. Это связано с тем, что тесты не моделируют сеть, географическое положение, полосу пропускания с помощью браузера или устройства должным образом, или пользователи выполняют действия на сайте, который вы не тестируете. В целом синтетические тесты указывают на пользовательский опыт, но не являются окончательными.

Синтетический мониторинг отвечает на ключевые вопросы

• Мой сайт работает?
• Насколько быстро мой сайт в это время?
• Транзакции работают?
• Компоненты третьей части все еще работают?
• Насколько рентабельна моя работа?
• Если есть замедление или сбой: где это?

Природа модульного программного обеспечения

Первый шаг к пониманию проблемы — понять природу того, как все эти приложения создаются и доставляются конечному пользователю.

Архитектура и доставка приложений раньше были достаточно контролируемыми упражнениями: создавайте приложение самостоятельно с использованием собственного кода, а затем доставляйте его из центра обработки данных пользователю дома или на настольном компьютере. В настоящее время приложения создаются с использованием множества компонентов, которые хранятся вместе с API и распределяются по нескольким серверам, базам данных и службам, которые объединяются только тогда, когда они достигают браузера / устройства пользователя. Учения больше не являются контролируемыми, но широко распространены, в них участвуют третьи стороны и много движущихся частей.

Это означает несколько вещей при попытке контролировать приложение. Это сложно, и вам нужно уметь видеть каждую часть. Важно сначала посмотреть на конечный результат — посмотреть на производительность с точки зрения конечного пользователя, потому что это единственный раз, когда приложение собирается.

Поскольку это такая важная и сложная проблема, существует большое количество поставщиков, которые заявляют, что предлагают решение по разным ценам. Если вы не понимаете, что представляют собой различные методы и какую часть проблемы они решают, может оказаться непосильной задачей пробираться через предложения, чтобы найти правильное решение.

Контролируйте свой веб-сайт сегодня с помощью

AlertSite

Для мониторинга приложений используются два основных метода: синтетический и мониторинг реального пользователя.

Синтетический мониторинг, также называемый направленным или активным мониторингом, и мониторинг реального пользователя, также называемый пассивным мониторингом; у каждого метода могут быть вариации в специфике выполнения задачи. Синтетический мониторинг означает, что сценарий используется для создания отслеживаемой активности — активность может быть чем угодно, от простого пинга для определения, работает ли сервер, до эмулированной пользовательской транзакции, которая использует настоящий браузер.

Реальный мониторинг — это метод сбора данных, поступающих от реальных пользовательских транзакций, поэтому отслеживается только то, что делают реальные пользователи. Простой синтетический мониторинг, такой как мониторинг вверх / вниз или частичный мониторинг транзакций, не может дать представление о влиянии на пользователей или производительности системы. Настоящий мониторинг может показать вам, что происходит с пользователями, но проблема в том, что если пользователь не использует систему, то вы не контролируете его.

Предложения варьируются от инструментов, которые просто проверяют связь с сервером, до решений, управляющих браузерами, и заканчивая инструментами, которые отслеживают полные сквозные транзакции.Цены варьируются от бесплатных до многих тысяч долларов.

Так что же синтетический мониторинг может сделать для вас?

Синтетический мониторинг позволяет вам находить проблемы раньше, чем это сделают ваши клиенты. Если используются правильные методы, синтетический мониторинг может предоставить представление с той же точки зрения, что и конечные пользователи, чтобы сказать вам, какова производительность — и будут ли клиенты удовлетворены этим опытом.

Это означает, что вы можете видеть производительность своих приложений и API перед их запуском или в 3 часа ночи после применения изменений, а также в часы пик.Полнофункциональная синтетическая система мониторинга будет предоставлять измерения производительности из браузера, такие как время первой отрисовки, время загрузки выше сгиба и время загрузки конкретного объекта.

Эти детальные измерения — это то, что конкретно скажет вам, что будут видеть пользователи и сколько времени до этого они увидят, то есть какова производительность ваших приложений. Правильная система будет запускать тесты, которые настолько точно имитируют пользователей, что единственная разница между реальным живым клиентом и тестом состоит в том, что путь навигации по тесту не меняется.Использование этого метода обеспечивает основу для производительности и, следовательно, основу для понимания проблемы.

Анализ проблемы производительности при синтетическом мониторинге означает сокращение MTTR. Это потому, что вы понимаете, какой тест выполняется, и, следовательно, можете легче воспроизводить проблемы и изучать их.

7 основных причин, почему вам нужен синтетический мониторинг?

Находите и устраняйте проблемы до того, как они повлияют на ваших конечных пользователей

Синтетический мониторинг помогает имитировать действия пользователя и запускать их в качестве тестов из мест глобального мониторинга или из-за вашего брандмауэра.Синтетический мониторинг проактивно наблюдает за вашими API-интерфейсами, веб-сайтами, веб-приложениями, мобильными приложениями и SaaS даже в периоды низкого трафика и предупреждает вашу операционную группу в случае снижения производительности или проблем с доступностью. Таким образом, вы получаете достаточную пропускную способность, чтобы выявить проблему, привлечь экспертов в данной области, найти первопричину и устранить проблемы, прежде чем они повлияют на конечных пользователей.

Базовый анализ и сравнительный анализ

Синтетический мониторинг дает вам возможность в любое время отслеживать ваши API и приложения с частотой и в любом месте (ах) по вашему выбору.Со временем эти данные мониторинга можно использовать для определения базовых показателей производительности вашего приложения, определения областей улучшения и разработки стратегий повышения производительности. Вы также можете использовать синтетический мониторинг для сравнения доступности и производительности ваших приложений с вашими историческими данными или с конкурентами.

Подготовьтесь к сезону пикового трафика или к выходу на новый рынок

Синтетический мониторинг дает вам уникальную возможность отслеживать область вашего веб-сайта или приложения, которая еще не имеет реального пользовательского трафика.Представьте, что новая маркетинговая кампания направляет трафик в новую область приложения. Синтетический мониторинг позволяет вам проактивно моделировать трафик в эту область и помочь вам обеспечить доступность и производительность. Другой вариант использования — когда вы запускаете свои сервисы в новой географии. Синтетический мониторинг позволяет вам проверять производительность ваших приложений из этого региона и решать проблемы с производительностью, если таковые имеются, до того, как ваши реальные конечные пользователи столкнутся с ними

Мониторинг сложных транзакций и бизнес-процессов

Одной только проверки доступности и времени безотказной работы ваших API и приложений недостаточно, если вы стремитесь обеспечить высокое качество производительности приложений.Синтетический мониторинг позволяет имитировать бизнес-процессы или пользовательские транзакции, такие как вход в систему, поиск, заполнение формы, добавление товаров в корзину и оформление заказа и т. Д. Из разных географических регионов, а также отслеживать их производительность. Затем вы можете сравнить статистику производительности между географическими регионами и этапами транзакций и сформулировать свои планы повышения производительности.

Измеряйте и соблюдайте SLA

Соглашения об уровне обслуживания имеют решающее значение для современного бизнеса. Независимо от того, на какой стороне SLA вы находитесь, измерение и соблюдение согласованного уровня обслуживания выгодно как для клиентов, так и для поставщиков.Для поставщиков синтетический мониторинг помогает лучше понять ограничения доступности и производительности приложения. Вооружившись этими данными, поставщики могут установить реалистичные цели уровня обслуживания и избежать непредвиденных штрафов.

Привлекайте к ответственности своих сторонних поставщиков

Функциональность и данные современных приложений зависят от множества сторонних компонентов. Наиболее распространенными сторонними интеграциями являются CDN, решения для обработки платежей, плагины для поиска и рекомендаций по сайту, решения для бизнес-аналитики и аналитики и т. Д.Синтетический мониторинг позволяет потребителям таких сторонних сервисов отслеживать цели уровня обслуживания, снижение производительности и инциденты недоступности, чтобы привлекать поставщиков к ответственности.

Тест с точки зрения конечных пользователей

Путем мониторинга вашего веб-сайта или приложений на уровне реального браузера, где объединяются все динамические компоненты ваших приложений, синтетический мониторинг позволяет вам измерить истинный опыт конечного пользователя. Мониторы запускаются из разных географических точек, разные браузеры работают на реальных интернет-провайдерах и устройствах.Такой реалистичный мониторинг дает представление о компонентах времени отклика и показателях взаимодействия с конечным пользователем, таких как загрузка страницы, загрузка DOM, первая отрисовка и верхняя часть сгиба. Тестируя свои веб-сайты и приложения с точки зрения конечных пользователей, вы можете быть готовы ко всем разнообразным пользовательским сценариям.

Дополнительная литература

Что такое синтетический мониторинг: 101 Учебное пособие для разработчиков

Производительность веб-сайта — ключевой компонент успеха вашего веб-сайта или приложения. Наличие веб-сайта, который хорошо работает независимо от местоположения, нагрузки или типа подключения, больше не является лучшей практикой, а, скорее, требованием.

Мониторинг веб-транзакций может выполняться разными способами, но одним из самых популярных способов является синтетический мониторинг. Чтобы помочь вам начать работу, в этом руководстве мы расскажем вам обо всем, что вам нужно знать об этом, от того, что такое синтетический мониторинг и зачем он нам нужен, до того, как он работает, вариантов использования и различных типов, которые вы можете использовать для улучшить производительность веб-сайтов и приложений.

Определение: что такое синтетический мониторинг

Синтетический мониторинг, также известный как синтетическое тестирование, активный или упреждающий мониторинг, представляет собой практику мониторинга производительности приложений, которая использует записанные сценарии записи серии запросов и имитирует их для имитации взаимодействия пользователя с вашим веб-сайтом. или приложение.Вкратце, это помогает вам понять опыт пользователей и повысить производительность веб-сайта с помощью прогнозирующего поведения.

Синтетический мониторинг производительности включает в себя выполнение постоянных тестов для получения информации о критически важных бизнес-транзакциях, доступности приложений, скорости веб-сайта и многом другом.

Синтетические инструменты мониторинга помогают ответить на такие вопросы, как:

• Работает ли сайт или приложение?
• Насколько быстро мой сайт сейчас?
• API третьей части все еще работают?
• Как выглядит загрузка процессора / памяти?
• Есть ли неисправности в аппаратных компонентах Сервера?

Популярные темы синтетического мониторинга

В чем разница между синтетическим мониторингом и RUM

Существует два способа мониторинга производительности приложений и веб-сайтов: мониторинг реального пользователя и синтетический мониторинг.

Синтетический мониторинг, или искусственный мониторинг транзакций, использует серию сценариев, которые будут моделировать взаимодействие между пользователем и сервером, отслеживая время ответа, коды ответа и т. Д.

Для сравнения, мониторинг реального пользователя (RUM) является пассивной формой мониторинга, который отслеживает взаимодействия между сайтом и реальными пользователями, а не имитирует их. На сайт добавляется небольшой код javascript, который будет записывать каждую транзакцию и взаимодействие между конечным пользователем и сервером.

Обычно нет реальной причины, по которой вам следует выбирать либо синтетический мониторинг, либо мониторинг реального пользователя, поскольку оба они имеют свои достоинства. В то время как синтетические решения для мониторинга помогают отслеживать краткосрочные проблемы, реальные инструменты мониторинга пользователей, такие как Sematext Experience, могут показать вам долгосрочные тенденции производительности; Решения синтетического мониторинга позволят вам узнать и понять, чего ожидать с точки зрения взаимодействия с пользователем, но реальный мониторинг пользователей покажет вам, что именно произошло.

Для целей отладки RUM и Synthetic решают совершенно разные проблемы, но многие люди используют их вместе, поскольку это надежный способ обеспечить максимальную производительность приложения и веб-сайта. Например, проблема, которая была впервые обнаружена в RUM в результате взаимодействия с пользователем, может быть дополнительно исследована в Synthetics путем мониторинга отдельных конечных точек и служб.

Если вам интересно узнать больше о различиях между этими двумя вариантами, ознакомьтесь с нашим сообщением о мониторинге реальных пользователей иСинтетический мониторинг, где мы также подробно рассказываем о том, как их совместное использование обеспечит безупречный пользовательский интерфейс.

Как работает синтетический мониторинг

Синтетический мониторинг работает, моделируя веб-транзакцию между виртуальным клиентом и вашим приложением или веб-сайтом, чтобы имитировать то, как может выглядеть типичное взаимодействие с пользователем. Эти эмулируемые транзакции запускаются различными операционными системами и местоположениями по всему миру для тестирования и сбора данных о доступности, времени отклика, времени простоя и ошибках.

Каждая транзакция запускается с определенным интервалом и запускает предопределенный тест, целью которого является как можно точнее воспроизвести взаимодействие пользователя с веб-сайтом. Это поможет вам создать прочную основу для вашего приложения и лучше понять любые слабые места или ограничения, которые вам, возможно, придется устранить.

Поскольку они занимают мало ресурсов, синтетические инструменты мониторинга производительности могут работать круглосуточно и без выходных в часы пик, когда веб-сайт сканируется пользователями и работает тихо.Это особенно важно, поскольку моделирование взаимодействий конечного пользователя с помощью базовой навигации и действий может помочь вам протестировать новые функции и модули, которые вы разрабатываете, в различных сценариях и в разное время в течение дня.

Зачем вам синтетический мониторинг: сценарии использования синтетического тестирования

Синтетический мониторинг позволяет вам увидеть и протестировать свой веб-сайт и приложения с точки зрения конечных пользователей. Кроме того, вы будете знать, где и когда производительность упадет или возникнут какие-либо проблемы, влияющие на их работу.

Но давайте углубимся и посмотрим, каковы преимущества использования синтетического мониторинга производительности.

Устранение проблем с производительностью до того, как они повлияют на ваших конечных пользователей

С синтетическим мониторингом вы имитируете взаимодействие пользователей и запускаете набор тестов из разных мест по всему миру. Он будет следить за всеми вашими API, веб-приложениями и мобильными приложениями, а также за всеми вашими веб-сайтами, независимо от того, есть ли у вас на сайте реальные пользователи. Цель синтетического мониторинга производительности — найти проблемы до того, как это сделают ваши пользователи.Sematext поставляется со специальными панелями мониторинга и предупреждениями, которые можно настроить для начала мониторинга ключевых аспектов вашей инфраструктуры и срабатывания, когда что-то пойдет не так.

Прочтите наше руководство по предупреждению и мониторингу, чтобы узнать больше о том, зачем вам вообще нужно отслеживать и настраивать предупреждения.

Выполните сравнительный анализ своего веб-сайта

Вы можете настроить свои синтетические решения для мониторинга, чтобы просматривать ваши API из разных мест в разное время в течение дня.Затем используйте эти данные в качестве основы для ваших тестов, поскольку они помогают вам определить части системы, которые требуют дальнейшей работы, а также служат средством для сравнения ваших услуг с вашими конкурентами. У нас есть пошаговое руководство по тестированию производительности веб-сайта, если вы хотите узнать больше.

Проверьте свои возможности масштабирования

Вы создаете свой веб-сайт и приложения для быстрого реагирования на запросы пользователей, но когда трафик неожиданно растет, ваш сервер должен иметь возможность отвечать тем же.Синтетический мониторинг производительности позволяет запускать искусственные тесты, которые показывают, как ваш сервер будет реагировать под нагрузкой. Получив эти данные, вы можете подумать о необходимых шагах, которые необходимо предпринять, чтобы обеспечить плавное масштабирование вашего сайта и приложений.

Протестируйте новые функции продукта перед запуском.

Синтетический мониторинг — отличный инструмент, который можно использовать при запуске новых функций, поскольку он позволяет запускать полный набор тестов, прежде чем они будут запущены в часы пик. Вы сможете увидеть, как остальная часть приложения реагирует под нагрузкой, и повлияет ли какое-либо из недавних изменений на сторонний API, который вы можете использовать.

Мониторинг сторонних API и критических бизнес-процессов

Довольно сложно не использовать какие-либо сторонние инструменты в своем бизнесе, но это подвергает вас ряду проблем, связанных с их доступностью. Вам нужно внимательно следить за ними и осознавать, что вторая вещь начинает замедляться. Однако мониторинга показателей API недостаточно, чтобы гарантировать, что вы предоставляете своим пользователям первоклассный опыт. Вы должны убедиться, что критически важные компоненты вашего приложения, такие как вход в систему, поиск или оформление заказа, работают должным образом.

Обеспечьте соблюдение SLA

Неважно, на какой стороне SLA вы сидите — обеспечение того, чтобы все участники контракта соблюдали соглашение, имеет решающее значение для обеих сторон. Если вы являетесь поставщиком услуг, вы захотите использовать инструменты синтетического мониторинга, чтобы убедиться, что вы понимаете ограничения производительности вашего приложения и устанавливаете реалистичные ожидания. Если вы являетесь покупателем, вам нужно убедиться, что продавец может выполнить свою часть сделки.

Уменьшите MTTR

Используя программное обеспечение для синтетического мониторинга, такое как Sematext Synthetics, вы можете значительно сократить время MTTR, отправив уведомление соответствующим людям еще до того, как проблема начнет влиять на ваших пользователей. Вы не только получите уведомление раньше, но и получите более четкое представление о том, что вызывает проблему и как ее воспроизвести.

Другие популярные темы синтетического мониторинга

Различные типы синтетического мониторинга

Существует длинный список типов синтетического мониторинга, которые могут помочь вам достичь этих преимуществ, но вот основные из них.

Мониторинг безотказной работы

Мониторинг безотказной работы — это наиболее распространенный тип мониторинга и, возможно, самый простой из существующих. Он описывает общую доступность веб-сайта и обычно измеряется в процентах. Для сравнения: доступность 99,999% — это то, что считается хорошим, и даже это приведет к тому, что ваш веб-сайт будет отключаться примерно на 5 минут каждый год.

Мониторы времени бесперебойной работы работают, отправляя простой запрос на желаемую конечную точку с заранее определенным интервалом и сообщая о результате.Вы используете эту метрику, чтобы выяснить, доступен ли ваш веб-сайт для ваших пользователей.

Здесь вы захотите использовать программное обеспечение для мониторинга времени безотказной работы, такое как Sematext Synthetics, для настройки предупреждений для различных сценариев, когда либо веб-сайт полностью не работает, либо ресурсы загружаются слишком долго.

Мониторинг веб-производительности

При таком большом количестве доступных опций вашим пользователям требуется, чтобы их любимый веб-сайт или приложение работали максимально эффективно, поэтому наличие неэффективной службы негативно отразится на вашем бизнесе.Здесь в игру вступает мониторинг веб-сайтов.

Выделенные инструменты мониторинга производительности веб-сайтов позволяют создавать сложные сети мониторов для всех ваших ресурсов и ключевых показателей веб-сайта, чтобы гарантировать, что ваши пользователи получают наилучший опыт.

Мониторинг API

Как внутренние, так и внешние API-интерфейсы играют решающую роль в успехе вашего веб-сайта или приложения, поэтому мониторинг API-интерфейсов, чтобы убедиться, что они работают должным образом, станет обязательным для вашего бизнеса.

Используя синтетический подход к мониторингу, вы сможете выявлять неэффективные API-интерфейсы до того, как они повлияют на работу ваших пользователей. Он предоставляет все, что вам нужно знать об узком месте, позволяя быстро разобраться в нем.

Мониторинг синтетических транзакций

Мониторинг синтетических транзакций — это упреждающий метод мониторинга веб-сайтов, который обычно предполагает наличие сценария, имитирующего взаимодействие пользователя через веб-сайт.

Имитация щелчков и смахиваний может помочь вам оптимизировать вашу стратегию и действовать как система раннего предупреждения, которая предупредит вас, когда часть процесса не работает должным образом.

Мониторинг транзакций чрезвычайно эффективен в интернет-магазинах и аналогичных веб-сайтах, где пользователи следуют обычным путем, и каждое отклонение, задержка или ошибка может заставить их отказаться от покупки.

Мониторинг HTTP

Мониторы HTTP будут пинговать ваши веб-страницы с разных контрольных точек, расположенных по всему миру, и сообщать об их доступности. Помимо проверки, вы также получите информацию о скорости загрузки и кодах состояния HTTP, но если вы решите использовать более продвинутые инструменты, такие как Sematext Synthetics, вы также сможете настраивать сложные HTTP-запросы и отслеживать их ответы.

Мониторинг браузера

Мониторинг браузера — это метод, используемый для имитации производительности различных браузеров при загрузке вашего веб-сайта и приложения, чтобы обеспечить идеальное взаимодействие с пользователем.

Поскольку веб-сайты и приложения используют большое количество фреймворков и сторонних API, вы должны убедиться, что все они работают в идеальной гармонии, независимо от операционной системы или браузера, которые используют ваши пользователи. Мы запускаем эти проверки с разных компьютеров в разных уголках мира и сообщаем о скорости загрузки, доступности, кодах HTTP, и если что-то сломается, вы немедленно получите уведомление.

Как Sematext может помочь в мониторинге и тестировании синтетической производительности

Начать работу с Sematext Synthetics очень легко и не требует внесения каких-либо изменений в код на вашем веб-сайте. Он позволяет вам создавать мониторы для каждого отдельного ресурса, который вы хотите отслеживать, и, когда у вас есть базовый уровень, вы можете создавать определенные предупреждения, которые будут запускаться при соблюдении критериев для них.

Наш инструмент синтетического мониторинга поможет вам собрать данные об общем времени ответа, увидеть подробное разделение времени ответа по DNS-поиску, время подключения и время до первого байта, коды ответа HTTP, время простоя, доступность и многие другие показатели производительности веб-сайта.Все эти данные затем отображаются на легко читаемых информационных панелях, которые дают вам четкое представление о производительности всего вашего веб-сайта с высоты птичьего полета. Кроме того, они предоставляют вам достаточно данных, чтобы можно было быстро отладить и определить основную причину ваших проблем.

Каждая искусственная транзакция запускается из нескольких мест, которые мы установили по всему миру с переменным интервалом, который может быть настроен на 1, 5, 10 или 15 минут. Это дает вам детальный контроль над тем, как часто запускаются эти тесты, и, при необходимости, их можно вообще приостановить.

Узнайте больше о Sematext Synthetics и о том, как это работает.

Начало работы с синтетическим мониторингом

Стоит отметить, что, хотя тесты синтетического мониторинга помогают моделировать взаимодействие пользователя в различных сценариях, опыт конечного пользователя может отражать совершенно другую историю. В отчетах не будут отражены факторы, влияющие на взаимодействие пользователей с веб-сайтом, например распределение геолокации, устройство и операционная система, скорость соединения и т. Д.Чтобы получить данные по ним, вам нужно будет использовать настоящий инструмент мониторинга пользователей.

Sematext имеет два очень хороших варианта как для синтетического, так и для реального мониторинга пользователей, которые помогут вам нарисовать четкую картину того, как выглядит общая производительность вашего веб-сайта и насколько ваши пользователи удовлетворены использованием вашего сервиса. Изучите весь спектр инструментов мониторинга веб-сайтов или воспользуйтесь комплексным решением, чтобы получить полную видимость ваших приложений и сервисов, таких как Sematext Cloud, наш инструмент облачного мониторинга, который предоставляет журналы, метрики, события и следы под одной крышей.