Что такое бенчмаркинг и зачем он нужен? Все, что Вам нужно знать

Тест производительности GeekBench

Если вы когда-либо читали обзор продукта здесь, на Управление Android или в другом месте, возможно, вы слышали термин бенчмаркинг разбросаны. Но что это значит? Проще говоря, эталонные тесты позволяют нам измерить, насколько хорошо тот или иной продукт или услуга работают в реальном мире. Это почти противоположно заявлениям и спецификациям производителей, которые основаны на их собственных внутренних испытаниях. Контрольные показатели помогают вам принять обоснованное решение о покупке, поэтому важно понимать, как они работают.

С этой целью давайте рассмотрим концепцию и поймем, на какие факторы следует обращать внимание при чтении или выполнении собственных тестов.

Что такое бенчмаркинг и как он работает?

Тест Snapdragon 8 Plus Gen 1

Бенчмаркинг относится к тестированию скорости устройства, энергопотребления, времени автономной работы и других факторов. Но сбор данных представляет собой только один аспект сравнительного анализа. Другой включает сравнение результатов между конкурентами, что позволяет вам лучше понять, как один чип работает по сравнению с остальными.

Термин бенчмаркинг происходит из мира бизнеса, где он относится к процессу сравнения результатов одного бизнеса с другим. За последние несколько десятилетий этот термин был адаптирован для использования в технологической отрасли и теперь используется всякий раз, когда мы измеряем производительность как аппаратного, так и программного обеспечения.

Бенчмаркинг включает в себя тестирование устройства и сравнение его результатов с результатами конкурентов.

Вы обнаружите, что практически любой технический продукт можно протестировать, часто несколькими способами. Одним из наиболее распространенных типов является тест процессора, который напрямую влияет на скорость устройства. Есть несколько способов выполнить этот тест: от теоретических измерений, таких как тактовая частота, до реальных тестов, таких как редактирование видео и производительность в играх.

Для смартфонов мы обычно сравниваем процессор, графический пакет, время автономной работы, дисплей и практически любой другой фактор, отличающий модели. Как потребитель, чтение этих результатов может помочь вам сравнить разные телефоны, прежде чем принимать решение. Например, взгляните на результаты нашего теста Google Tensor G2.

Обзоры также охватывают несколько других областей бытовой электроники, поэтому вы найдете десятки различных типов тестов. Например, в мире телевизоров тесты позволяют нам измерять цветовую гамму, яркость, контрастность и производительность HDR.

Что тесты говорят нам о наших компьютерах и смартфонах?

Тест Samsung Galaxy S22 Ultra 3DMark

В ходе нашего тестирования мы часто обнаруживаем, что устройства с одинаковым оборудованием не обязательно работают одинаково. У одного может быть более мощная система охлаждения, дополняющая энергоемкий процессор, а другой может сломаться под нагрузкой. Точно так же некоторые производители могут настраивать свои устройства, чтобы они работали лучше после тщательного тестирования. Вот один из таких примеров:

На приведенных выше диаграммах показаны наши тесты Galaxy S23 Ultra и его чипа Snapdragon 8 Gen 2 для Galaxy. Два других смартфона на графике — OnePlus 11 и REDMAGIC 8 Pro — оснащены одним и тем же SoC. Однако последние два телефона настроены на работу с немного отличающейся от заводской скоростью.

Результаты показывают, что каждый телефон в семействе Snapdragon 8 Gen 2 ведет себя немного по-разному. Если вам нужен самый мощный телефон, результаты ясно показывают, что Galaxy S23 Ultra выходит на первое место. Мы также использовали несколько тестов, а именно GeekBench 5, PCMark и 3DMark, чтобы обеспечить согласованность. Третий специально тестирует графическую производительность, что дает вам представление об игровой производительности.

Тесты могут помочь вам выявить проблемы с устройством или просто сравнить его с отраслевым стандартом.

В прошлом бенчмаркинг позволял нам точно определять проблемы с устройствами. Например, устройство с более низкими оценками, чем другие, может указывать на перегрев или проблемы с охлаждением. Точно так же тест батареи может помочь вам понять, как долго устройство будет работать при повседневном использовании.

Стоит отметить, что контрольные показатели важны не только для рецензентов. Если вы когда-нибудь покупаете бывшее в употреблении оборудование, вы можете запустить свои собственные тесты и сравнить их с результатами в Интернете. Таким образом, вы можете быть уверены, что оборудование работает должным образом и в нем нет проблем и дефектов.

Типы бенчмарков

Стресс-тест Snapdragon 7 Plus Gen 2 Эталонный дизайн Qualcomm

Мы рассмотрим некоторые способы выполнения собственных тестов, но сначала стоит поговорить о различных видах. Вот список наиболее распространенных тестов, которые мы проводим здесь, в Управление Android:

  1. Тесты процессора: Мы уже видели один пример теста ЦП, и он обычно довольно прост. Более высокий балл указывает на лучшую производительность. Большинство тестов выполняют фиксированную задачу, например, сжимают большой файл или обрабатывают большие числа в электронной таблице.
  2. Тесты графического процессора: существует несколько различных способов тестирования графического процессора, начиная от производительности в играх и заканчивая кодированием видео. Последние тестируют аппаратное ускорение или возможность быстрого рендеринга больших видео. Между тем, в играх тест будет измерять количество кадров, генерируемых графическим процессором в секунду — более высокий результат указывает на более плавную работу.
  3. Тесты батареи: в портативных устройствах, таких как смартфоны, наличие большой ячейки не приводит автоматически к увеличению времени автономной работы. Это связано с тем, что неэффективный процессор или дисплей могут привести к более быстрому разряду и снижению выносливости в реальном мире.
  4. Тесты зарядки: мы сравнили множество различных технологий быстрой зарядки, представленных на рынке, в том числе несколько проприетарных, таких как протокол Oppo SuperVOOC. Тесты зарядки помогают нам находить аномалии, такие как смартфоны Google Pixel, потребляющие всего 23 Вт энергии от официального адаптера на 30 Вт.
  5. Сравнительные показатели отображения: В настоящее время большинство смартфонов на рынке используют OLED-дисплеи, но это еще не все. В новейших флагманских смартфонах используются новые материалы, которые могут стать ярче, а также потреблять меньше энергии. Тесты с использованием внешних инструментов помогают нам измерить точность цветопередачи дисплея, эффективность и даже тепловыделение.
  6. Контрольные показатели АНК: рынок Bluetooth-аудио стал высококонкурентным, но более дорогой продукт не всегда обеспечивает лучшую производительность. Одной из областей, в которой лидируют лишь несколько крупных производителей, является активное шумоподавление (ANC). Мы измеряем ANC с помощью внешних инструментов, чтобы понять способность конкретной гарнитуры блокировать окружающие шумы.
  7. Тесты скорости модема: у вас может быть самое быстрое соединение 5G в вашем районе, но это не имеет большого значения, если ваши устройства не поспевают за ним. Тесты скорости могут проверить возможности модема вашего устройства, а также прием сигнала. Например, наше тестирование показало, что серия Pixel 6 демонстрирует худшую сетевую производительность, чем конкуренты.

Насколько надежны бенчмарки?

Смартфон для инсайдеров Snapdragon Меню настроек режима производительности

Бенчмарки занимают престижное место среди производителей, поскольку они могут объективно доказать, что одно устройство лучше другого. Однако, к сожалению, мы видели некоторые попытки обмануть систему и выйти вперед. В последние годы это вызвало немало споров, и даже крупные производители смартфонов, такие как Samsung и OnePlus, попали под перекрестный огонь.

Обычная тактика, которую мы наблюдали на протяжении многих лет, заключается в том, что определенные устройства определяют, когда запущено приложение для тестирования производительности, и временно повышают производительность для достижения более высоких результатов. Конечно, такой уровень производительности может быть достигнут за счет более высокого расхода заряда батареи или тепловыделения. И в реальном повседневном использовании вне приложений для тестирования производительность телефона может ограничиваться, чтобы обеспечить лучшее взаимодействие с пользователем.

В то время как некоторые бренды пытались обмануть систему, энтузиасты обычно быстро это замечают.

Хорошая новость заключается в том, что приложения для бенчмаркинга обычно довольно быстро обнаруживают манипуляции и другие гнусные методы. Независимые СМИ также могут придумать способы обойти вмешательство производителя. Например, изменение тестовых приложений для сообщения системе другого имени пакета может помочь избежать обнаружения. Таким образом, система воспринимает его как обычное приложение, и мы можем собирать точные результаты сравнительного анализа.

Так стоит ли доверять бенчмаркам? Для большей части, да. Мы рекомендуем прочитать более одного обзора любого продукта, чтобы убедиться, что результаты совпадают. И, конечно же, обратите внимание на фактические бенчмарки. Например, если вы геймер, обратите внимание на тесты графического процессора, которые специально измеряют производительность устройства в играх, в которые вы играете. Тест редактирования видео может также измерять возможности графического процессора, но он мало что говорит вам о производительности в играх.

Какие есть популярные инструменты бенчмаркинга?

galaxy s21 fe exynos дросселирование

Теперь, когда мы разобрались с основами бенчмаркинга, вы, вероятно, захотите узнать, какие инструменты вы можете использовать для тестирования собственного оборудования. К счастью, большинство программ для бенчмаркинга предлагают бесплатную версию для личного использования, так что начать работу довольно просто. Давайте рассмотрим некоторые из самых популярных инструментов для тестирования смартфонов и компьютеров.

Инструменты для тестирования смартфонов

Когда дело доходит до сравнительного анализа смартфонов, вот ваши лучшие варианты:

  • Geekbench 6: мы используем Geekbench 6 на Android и iOS в основном для измерения производительности процессора смартфонов. В конце теста вы получаете две оценки: одну за одноядерную и другую за многоядерную производительность.
  • PCMark и 3DMark: PCMark и 3DMark позволяют сравнить производительность процессора и графического процессора вашего устройства с другими смартфонами. Он тестирует множество реальных приложений, от просмотра веб-страниц до редактирования фотографий. Он также оценивает скорость хранения, время автономной работы и игровую производительность. А поскольку он поддерживает базу данных оценок, вы можете увидеть, не уступает ли ваше конкретное устройство производительности по сравнению с другими телефонами.
  • Тест троттлинга процессора: Многие производители SoC для смартфонов упускают из виду тот факт, что их чипы не могут поддерживать максимальную производительность в течение очень долгого времени. CPU Throttling Test поможет вам провести стресс-тест вашего телефона и довести его до температурных пределов. Вы можете записывать относительный уровень производительности с течением времени. Если через минуту или две оценка значительно падает, как на картинке выше, вы можете увидеть заикания или другие замедления в более тяжелых задачах, таких как игры и навигация.
  • Ампер: С таким количеством настенных зарядных устройств и кабелей трудно оценить, сколько энергии ваш смартфон потребляет от розетки. Ampere может предоставить вам эту информацию, сообщив, используете ли вы неоптимальное зарядное оборудование.

Помимо этих программных инструментов, мы также можем использовать специальное оборудование, но оно часто намного дороже. Например, мы использовали X-Rite i1Display Pro для тестирования дисплеев.

Инструменты для сравнительного анализа компьютеров

Список инструментов для тестирования компьютеров не сильно отличается, поскольку мы также можем использовать Geekbench и PCMark в настольных операционных системах, таких как Windows и macOS. Но энтузиасты обычно также предпочитают следующее программное обеспечение:

  • Cinebench: Когда дело доходит до тестирования ЦП, Cinebench является одним из самых надежных инструментов для тестирования производительности. Как и Geekbench, он может предоставлять одно- и многоядерные результаты.
  • КристаллДискМарк: Независимо от того, хотите ли вы протестировать жесткий диск, карту microSD или твердотельный накопитель, CrystalDiskMark поможет вам измерить производительность диска. Помимо скорости последовательного чтения и записи, он также тестирует случайный ввод-вывод, который влияет на время загрузки приложений в реальном мире.
  • Unigine Heaven: если вам нужно знать, насколько хорошо тот или иной компьютер работает для игр, вам следует выбрать Unigine Heaven. Это популярный тест для графических процессоров, который многие используют для определения
  • Фурмарк и Прайм95: Если вы ищете бенчмарк, который доводит ваш компьютер до температурных пределов, Prime95 и FurMark сделают именно это для вашего процессора и графического процессора соответственно. Если вы покупаете подержанную видеокарту, запуск FurMark может помочь вам понять ее охлаждение и стабильную производительность.

Итак, в заключение, бенчмаркинг — один из важнейших аспектов тестирования любого гаджета — от смартфонов до телевизоров. Мы видели, как инструменты бенчмаркинга прошли долгий путь за эти годы, поэтому почти всегда стоит прочитать объективное тестирование и обзоры, прежде чем совершать покупку.

Гиды

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *