Google представила новый бенчмарк — Octane

    Сегодня корпорация Google в своём блоге проекта Chromium представила новый JavaScript-бенчмарк — Octane. Суть этого нового теста состоит не только в оценке синтетической мощности движка, но и в боевых условиях. Для этого замеряется производительность движка в реально использующихся js-библиотеках, не считая стандартных для Google V8 Benchmark тестов, таких как Richards или Delta Blue. Далее краткое описание новых тестов и несколько замеров.


    • Box2DWeb — JavaScript-порт популярного физического 2D-движка, использующегося в некоторых онлайновых игрушках
    • Mandreel — на этот раз 3D-движок, использующийся для переноса игр на Android и iOS в Интернет.
    • pdf.js — JavaScript-реализация PDF-читалки, интегрированной в Firefox.
    • GB Emulatorэмулятор Game Boy.
    • CodeLoad — проверяет, как быстро JS-движок способен подгружать частоиспользуемые библиотеки и начинать их исполнение. Разработан как производная от проектов Closure и jQuery.


    Тесты


    К сожалению, из-за нехватки устройств под рукой протестирую только находившихся при мне ноутбук и смартфон:

    Ноутбук


    Конфигурация:
    CPU: Intel Core i5-2410M (2.3 ГГц на ядро (2 физических, 2 виртуальных))
    RAM: 4 Гб (1333 МГц)
    GPU: интегрированная в Intel Sandy
    OS: Ubuntu Linux 12.04
    Браузеры: Google Chrome 22.0.1229.8 dev и Firefox 14.01

    Google Chrome
    image
    Mozilla Firefox
    image

    Смартфон

    Конфигурация:
    CPU: ARM Cortex-A9@1ГГц (2 ядра)
    RAM:1 Гб (частота неведома)
    GPU: Интегрированная в NVIDIA Tegra 2 (GeForce ULP 2)
    OS: Android 2.3.7 (CyanogenMod 7.2)
    Браузеры: Dolphin Engine Beta, Opera Mobile (свежайшие версии из Google Play)

    Dolphin Beta
    image
    Dolphin просто не смог пройти тесты Mandreel и pdf.js, получив 0.

    Opera Mobile
    image
    Не забудьте отписать о результатах своих устройств (с указанием железа), а также пишите, если что в сорцах теста нароете.

    Ссылки


    Исходники теста для ковыряния
    F.A.Q.
    Запустить тест
    Поделиться публикацией
    Похожие публикации
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 61
    • –1
      Извиняюсь… Объясните пожалуйста числа и названия в маленьких прямоугольниках.

      Там есть на первых картинках-

      RayTracing и NavierStokes.
      Ну трассировка лучшей в играх 3d я еще понимаю, но решения дифференциальных уравнений в частных производных то с каких пор стало в js библиотеках использвоать?
      • 0
        Это компоненты синтетического V8 Benchmark. Никакого отношения к 3D-играм эти подтесты не имеют: банальный подсчёт сферических попугаев, если рассматривать под углом применения в играх.
        • –1
          Выглядит это странно. Взяли синтетику, которая хорошо масштабируется перемешали с чем-то чуть более реальным и назвали это новым тестом.
          Идея конечно благая улучшить тесты, но синтетические тесты наверное лучше вообще убрать. Хотя ребятам в google наверное виднее
          • +1
            если игра использует много чисел с плавающей точкой, то результат NavierStokes все-таки имеет отношение к качеству оптимизации такого кода.
          • +1
            Тесты в V8 Benchmark Suite могут со стороны выглядеть совершенно случайными, но на самом деле они тестируют фундаментальные вещи. NavierStokes, например, тестирует качество оптимизаций операций над числами с плавающей точкой и скорость работы массивов содержащих числа с плавающей точкой.

            Проблема с большим реальным кодом состоит в том, что в нем сразу множество факторов влияющих на производительность смешиваются, поэтому V8 Benchmark Suite пытался разложить, так сказать, различные факторы по полочкам и каждый бенчмарк был достаточно сфокусирован на фичах языка, которые V8 хотела ускорить: DeltaBlue — полиморфный объектно-ориентированный код, Crypto — побитовые операции и т.д.

            Хорошее описание фокуса каждого бенчмарка: developers.google.com/octane/benchmark
          • +5
            Хотел посмеяться и запустить в IE6, а оно там не работает…
            • +4
              Грешно смеяться над убогими.
              • +1
                А результат теста Google Chrome на домашнем компьютере — over 9000 (серьезно)
                • 0
                  Оно и в 9 у меня не завертелось.
                  • +1
                    Хотел посмеяться и запустить в IE6, а оно там работает…
                  • 0
                    Samsung Galaxy Nexus i9250 в хроме 1257
                    • 0
                      На таком же аппарате с андроидом 4.0.4 в Хроме — 1349. Странный разброс результатов.
                    • 0
                      IPhone 4S, Safari — 357
                      MacBook Pro Core2Duo 2,66 / 8Gb
                      Safari 6 — 6180
                      Chrome 21 — 9272
                      • 0
                        Интересно. Core i3 3,07 / 4Gb
                        Safari 5.1.7 дало только 4357. Похоже пора обновляться))
                        Chrome 21 дал 7882. Ощущение, что тест в хроме работает лучше всего)
                        • 0
                          Да, забыл написать это в OS X 10.8
                          • 0
                            iMac 3.4 Ghz i7
                            MacOS X 10.7
                            Safari 6

                            Octane Score: 10128

                            Осталось понять, что эти цифры значат, и что онии дают
                        • 0
                          Ноутбук автора поста оказался круче моего. О горе мне, горе…
                          • 0
                            Странно, MBP 2011 (i7 8GB RAM) в хроме 11128
                            на 4S iOS 6 Beta Safari вылетает…
                          • 0
                            Mac air 11`(core i5 / 2ram) в хроме под вин7 — 7531
                            • –1
                              <старыйворчун>
                              Win под Mac? О боже, кто вас пустил на хабр?
                              </старыйворчун>

                              <тролль левел=80>
                              На макбук надо линукс ставить!
                              </тролль>
                              • 0
                                Как только vmware сделает vmware vsphere client for mac, поставлю ее назад. Ubunta была на рабочем компе, не прижилась…
                                • +1
                                  Я не фанатею от мака, такой же рабочий инструмент для выполнения задач как и любая железяка. Выбирал по ТТХ
                                  • +1
                                    (подливая масла в огонь) так есть же консольный тулкит (:
                              • 0
                                Старый eee pc 1000 с ubuntu 12.04, chrome 21.0.1180.79, с 32-битным intel atom 800 Mhz и 2 Gb RAM:
                                1507 :))
                                Пора менять?

                                Nexus S:
                                516
                                • +3
                                  Вы специально подбирали железо, чтобы получить «круглый» результат 12345?
                                  • +1
                                    на i2600k, 16gb ram результаты следующие

                                    на FF 10.0.2 — Octane Score: 10507
                                    на Chrome 21.0.1180.83 — Octane Score: 18634
                                    на IE9 все не работает, но — Octane Score (incomplete): 1180
                                    • 0
                                      На galaxy tab 7.7 валится с 404:

                                      octane-benchmark.googlecode.com/svn/latest/[object%20Object]
                                      • 0
                                        Всмысле, на встроенном браузере и со стоковой прошивкой.
                                      • 0
                                        Эх… на моём Core2 Quad Q8200 / G31 / DDR2 667 Mhz / Gentoo Base System release 2.1
                                        Firefox: 4622
                                        Chromium: 7785
                                        • 0
                                          MBP (core i7 + 4GB RAM)
                                          Chrome 21 12639
                                          • 0
                                            Core i5-3450, 8GB RAMM
                                            Octane Score: 14816
                                          • 0
                                            странный бенчмарк (или странный chrome 21.0.1180.79), последовательный запуск в одинаковых условиях в той же закладке дает результаты с разницей до 1000 пунктов, от 12300 до 13400.
                                            • 0
                                              причем (речь идет о ubuntu linux 12.04), частоту процессора (Core i7-2620M @ 2.7GHz) залочил на максимум.
                                            • 0
                                              На LG Optimus 4X через браузер Google Chrome: 1573
                                              Android 4.0.3, 1.5 GHz, Nvidia Tegra 3, 1 Гб оперативной памяти
                                              • +4
                                                Загадочный бенчмарк:
                                                — Chrome 21 — over 13 000
                                                — Opera 12.01 — 4 866
                                                — FF 14.01 — 7 244
                                                — IE 9 — вообще не проходит
                                                — Motorola Droid Razr 4.0.4 Chrome — 1 400

                                                В сухом остатке:
                                                1) Opera на i5 760 RAM 8Gb — всего в два с половиной раза обгоняет телефончик с браузером от самой доброй корпорации
                                                2) Ближайший по распространенности конкурент IE9 — вообще не проходит тест
                                                3) После двух запусков разница в Chrome 21 ± 1 500, т.е. 10% — зависит от горячих и холодных запусков

                                                Вывод, если где-то будут мелькать данные из этого бенчмарка — на них можно смело закрывать глаза. Скорее бенчмарк для измерения разницы между релизами Google Chrome, чем между браузерами различных вендоров.
                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                  • +2
                                                    Это да, но как-то последние Opera и IE слились, хотя визуально работают как минимум не медленнее Chrome. Да и вообще странен тест, который ближайший конкурент не проходит.
                                                • 0
                                                  Пожалуйста, простите за тупизну комментария, но номер поста магический.

                                                  И да, на моем ноуте 11873 :)
                                                • 0
                                                  Нда, шестиядерный Phenom II 1055T c кучей оперативы в свежезапущенных FF 14 и Chrome 21 выдаёт лишь 5816 и 9562 соответственно. Вывод совершенно банален: не гнаться за ядрами )
                                                  • 0
                                                    это не совсем правильный вывод: бенчмарк фокусируется на производительности чистого javascript, который однопоточен по своей природе. (workerы не являются частью ECMAScript стандарта и потому в тестах не используются). поэтому основной поток исполнения бенчмарка просто не может загрузить больше одного ядра.

                                                    некоторые JavaScript рантаймы, впрочем, испольуют потоки для различных внутренних целей: например, конкурентная сборка мусора и компиляция в Chakra, параллельная фаза разметки (marking) в JavaScriptCore, фаза sweeping в SpiderMonkey. так что наличие нескольких дополнительных ядер только на пользу.
                                                    • 0
                                                      Спасибо за пояснение. Это я к тому, что в повседневных задачах два более шустрых ядра предпочтительнее.
                                                  • 0
                                                    Геометрическое среднее. Хм.Первый раз вижу.
                                                    • 0
                                                      Core2 Q8400 Firefox 17 — 6255
                                                      Nokia 701 ARM11, встроенный браузер Belle FP1 — завис на третьем тесте (Crypto). Opera Mobile 12 дошла до Mandreel, после чего система выдала сообщение о недостатке памяти.
                                                      • 0
                                                        Core i5-2320, 8gb ram, Linux (kernel 3.1.10)
                                                        Chromium 22.0.1226.0 — 15113
                                                        Firefox 14.0.1 — 7824
                                                        • 0
                                                          Core i5 8gb ram, Win8 RTM x64.
                                                          Chrome 21 — 12964
                                                          IE10 — 3224
                                                          FF14 — 8026
                                                          Opera 12.01 — 5382
                                                          • 0
                                                            Core i3-560, 4gb, win 7
                                                            Opera 12.01: 5164
                                                            Chrome 21: 12650
                                                            IE9: 2949 (насильно включил в дебагере режим документа — ие9)
                                                            • 0
                                                              Samsung Galaxy Tab 10.1 Original 4.0.4
                                                              Android Chrome: 1120
                                                              • 0
                                                                iCore i7 960 3.20Ghz, RAM 6Gb, Win7 64bit:

                                                                — Chrome 21.01180.83 m — 13.403
                                                                — Firefox 14.0.1 — 8.027
                                                                — Opera 12.01 (1532) — 5.463
                                                                — Safari 5.1.7 (7534.57.2) — 3.751
                                                                — IE 9 — не проходит
                                                                • 0
                                                                  AMD Phenom x4 DDR2 4GB Win8 RP x64
                                                                  Firefox aurora 16.0a2 5929
                                                                  • 0
                                                                    Оперу задвинули. Видимо акцент в последнем тесте на SPDY который в ФФ и Хроме только и имеется. Читеры.
                                                                    • 0
                                                                      Под последним имелся ввиду CodeLoad, естественно.
                                                                      • 0
                                                                        Firefox:
                                                                        SPDY ON: Octane Score: 7043
                                                                        SPDY OFF: Octane Score: 6987

                                                                        Впрочем, мои догадки не оправдались.
                                                                      • 0
                                                                        Почему я не удивлен, что тесты гугла работают лучше всего в браузере гугла?
                                                                        • 0
                                                                          Мне кажется, так с любыми тестами. Вспоминая тесты SVG для IE — тестили только то, что поддерживал обновлённый «самый лучший» браузер.
                                                                        • 0
                                                                          i7 2600K 4800 MHz, 16 GB, Win7x64

                                                                          Chrome 23.0.1244.1 (canary):
                                                                          21 058

                                                                          Firefox 14.0.1:
                                                                          12 113

                                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.