25 августа 2013 в 19:12

Браузеры и частота их падения

С помощью собственного инструмента для проведения автоматизированных тестирований веб-приложений в различных окружениях Selenium компания Sauce Labs получает большие объёмы статистических данных о множестве ошибок. Часто ошибки возникают не из-за плохого кода, не плохого соединения и не из-за заряженных микрочастиц из открытого космоса, а из-за «падения» браузера. Разумеется, в этом случае браузер будет перезапущен, но нам интересна ведомая компанией статистика аварийных завершений, по которой можно судить о надёжности тех или иных браузеров.



Два года назад, в августе 2011 года, Sauce Labs уже публиковала подобную, пусть и менее детальную статистику на основании миллионов тестов, которые провели клиенты компании. Результаты оказались несколько предсказуемыми, но было несколько удивительных моментов.

Конечно же, Internet Explorer 6 оказался среди худших браузеров, и даже его более новые версии не блистали надёжностью. «Непадающим» в 2011 году оказался Firefox, хотя не хуже был и Google Chrome с его постоянными обновлениями, не оставляющими пользователя с нестабильной версией. По результатам тестов неплохо себя показал и Opera.

Шоком явились показатели Safari. Третья, наиболее старая из версий, демонстрировала высокую надёжность. Не слишком плохой была и четвёртая версия. Пятая же, самая новая на тот момент версия «падала» чуть ли не в два раза чаще, чем «старичок» IE 6. Возможно, это было вызвано тем, что тесты в Safari проходили под Windows, но это не объясняет нормальность поведения третьей и четвёртой версий в таком окружении.



Новые данные были составлены на основании 55 млн. тестов. Может показаться, что результаты неудивительны и ожидаемы: без распределения по версиям Internet Explorer падает с частотой в четверть процента.



На графике представлены наиболее часто «падающие» браузеры из более, чем 150 различных рабочих окружений, на которых производятся тесты. IE 6 и 7 проявляют себя нестабильно в 0.31% и 0.29% тестов, соответственно. За ними следуют старые версии Chrome и Firefox. Каждый из перечисленных браузеров был запущен для тестирования как минимум 1 тыс. раз.



Данные по самым «свежим» версиям браузеров, на которых было выполнено как минимум 1 тыс. тестов. Как видно, Chrome и Firefox практически не «падают». На удивление ненадёжным оказался Opera 12. По сравнению с Safari 5 (0.16%) шестая версия улучшила свои показатели (0.12%). В половине из проанализированных браузеров частота возникновения ошибок составила менее 0.07%, и это показывает, насколько надёжными стали современные браузеры.



Другой любопытной деталью является постепенное, от версии к версии улучшение показателей браузера Internet Explorer. Microsoft действительно оправдывает свой рекламный ролик, в котором компания признаёт былую отсталость и обещает, что вместе с пользователем повзрослел и IE. По результатам тестов Sauce Labs последняя (десятая) версия «падает» лишь в 0.05% случаев, что поднимает её конкурентоспособность на уровень Firefox и Chrome.
@atomlib
карма
277,7
рейтинг 52,9
Заместитель главного редактора
Похожие публикации
Самое читаемое Разработка

Комментарии (52)

  • +8
    Интересно было бы посмотреть на статистику причин падений.
    • +2
      А еще увидеть подписи к первому графику.
      • +1
        По ординатной оси везде проценты.
  • +13
    Chrome на много чаще стал падать. При том, Firefox не упал ни разу, за тот же период времени на разных компьютерах
  • +1
    У меня firefox стабильно падает раз-два за день. Судя по всему жуткий memory leak, хотя аддонов почти никаких не установлено. Началось все это версий эдак 5-7 назад. Так что все спорно, очень спорно. Единственное что может влиять на появление утечки памяти — профиль, он у меня кажется с 5 версии используется один и тот же.
    • +5
      Я уж не припомню когда у меня Firefox падал. А профиль у меня прошел перенос с windows на linux несколько лет назад.
    • +2
      Если установлен FireBug, то снесите его и переустановите. Я заметил, что иногда у него начинаются такие периоды «падучности». Переустанавливаешь и всё сново живёт и летает!
      • +1
        Увы, но про него я знаю и он у меня уже давно не установлен так что это не он.
  • +1
    IE часто падает при работе с веб версией почты, во время загрузки вложений. Opera 12 периодически падает во время закрытия, если бы не сообщение об отсылки баг репорта, даже не узнал бы что она падает. Все это на старом, слабом нетбуке. Хром там не использую так как тормозить все начинает, а FF не особо люблю.
  • +1
    На удивление ненадёжным оказался Opera 12.
    А для это ничуть не удивительно. Opera 12 под Linux'ом падает очень часто и вообще ведёт себя на порядок хуже Хромиума (тормозит, например).
  • +3
    Старый добрый Firefox впереди планеты всей:)
    • +2
      Когда-то мне он не нравился :-)
      Сейчас только им и пользуюсь.
      Также как когда-то жутко не любил HTML и JS )
      Все меняется.
  • +1
    частота возникновения ошибок составила менее 0.07%, и это показывает, насколько надёжными стали современные браузеры

    Один раз на миллион — это в следующий вторник via (перевод). 0.07% — это не слишком-то надёжно, особенно если учесть закон Мерфи.
  • +4
    Действительно, подтверждаю что Сафари — самый капризный из всех(хотя одновременно с этим, для меня и самый удобный) — ему не нравится когда при загружающейся странице мы пытаемся как-то с ней взаимодействовать — часто вылетает при таких ситуациях, на втором месте по вылетам — все возможные ситуации, связанные с Java или Flash, а на третьем — фильтрация данных в браузере при помощи JS.
    Причем самое обидное, иной раз если отказывает одна вкладка, он решает завершить и все остальные, о чем ставит в известность уже по факту свершившегося.
    Вот как-то так воюем мы с Сафари, ругаемся, но расстаться все равно не можем. Я связываю это со его своенравностью, эгоистичностью и нарциссизмом. Временами наказываю его отключением расширений или принудительным перезапуском.
    • +1
      Похоже, вы один из немногих, кто пользуется Сафари под Виндами. У меня та же ситуация, начиная с третьей версии. Даже сейчас, когда уже года два как прекратили поддержку, не могу от него отказаться, так как не вижу такой же удобной альтернативы с таким же крутим рендерингом шрифтов. И да, пятая падает постоянно, третья — не падала вообще.
      • +1
        Смею вас расстроить, больше трех лет винду в глаза не видел, работаю под Mac OS X 10.8.4.
        Уверяю, проблемы те же на последней версии 6.0.5 (8536.30.1)
        • +1
          У моих соседов по офису Сафари под Маками, всё отлично.
          • +1
            Ну не поверю что ни разу не падал у них сафари.
        • +1
          Полностью подтверждаю, особенно часто падает с Google Docs, фильтрация в таблице — вообще беда, или при попытке прокрутить ленту в ЖЖ пока она полностью не загрузилась. При этом 8 Гб RAM, из них Сафари умудряется выесть до 2 Гб, хотя всего 13 вкладок на 2 окна и все из них статичные. Прямо даже обидно.
  • +4
    Э-эх… Я помню, самой стабильной и надёжной, а так же очень удобной по интерфейсу была Opera 8.54. Потом произошёл мега апдейт (как с Windows XP на Windows Vista) и всё стало не очень хорошо не только выглядеть, но и работать. Но увы, привычка пользоваться Oper'ой трудно поддаётся исправлению, поэтому до сих пор сижу на ней, родимой. А ведь я её помню ещё платной, когда она активировалась ключом. А потом они запустили акцию в честь своего дня рождения, кажется 10 лет, и на один e-mail высылали один ключ. Вот я радостный был, думал вот, какой успех. А через некоторое время она стала бесплатной… Э-эх, ностальгия = ) А вообще она падает редко, и обычно из-за флеша (лично у меня), ну и из-за прожорливости относительно памяти. Но всё равно её не брошу, потому что… Я привык.
    • +2
      Лично мне кажется, что опера довольно скромна в своих аппетитах в сравнении с, например, хромом. При 50+ открытых вкладках в опере потребление памяти в системе было около 2гб, столько же уходит на систему с хромиумом и 20 вкладками.
    • +1
      Да, помню 8.54 — самый лучший и удобный браузер тех времен. Встроенная RSS-читалка клевая и заметки тоже.
  • +1
    Виндовый Safari действительно лагуч. Процесс Webkit вылетает по каждому чиху, особенно на XP, что влечёт к потере всех загруженных страниц. На медленном соединении он вообще неюзабелен, т. к. нередко не хочет отображать страницу до загрузки всех скриптов, да при этом ещё и может некоторые ресурсы вовсе отбросить (и вылечить это на каждом конкретном сайте трудно, если однажды выбросил, так это и кэширует и перекачивать не хочет). Но ведь удобный, сволочь. Я с горем пополма слез с него на Firefox, но всё равно скучаю по его лаконичности и функциональности.
    • +1
      Не холивара ради, просто интересно: какой такой магической функциональностью обладает Safari, чтобы быть столь любимым своими пользователями несмотря на капризы? Что в нём есть, чего нет в FF и чего нельзя было бы добавить к нему с помощью расширения?
      Просто моё знакомство с Safari было крайне мимолётным, чтобы составить о нём полноценное впечатление, но всё равно я с трудом могу себе представить, что в нём должно быть, чтобы даже с тормозами и вылетами можно было мириться.
      • +2
        Во-первых, он банально красив. Из незаменимого — Reader, например. Хоть альтернативы и есть, но они работают хуже и красотой вообще не блещут. Интерфейс прост, лаконичен и вместе с тем весь нужный функционал на виду (уж насколько минималистичен основной диалог настроек Firefox, а всё равно по сравнению с Safar'ским — свалка). Внутри WebKit-инспектор, хорошая панель активности из коробки, магазин расширений также не скуден. В общем, вещь в себе. Да, можно попытаться запилить аналог из Firefox, но результат будет не лучше, чем с имитацией Opera. А той же лаконичности и удобства добиться и подавно сложно.
        • +1
          Спасибо за развёрнутый ответ.

          Не знаю, красота — понятие относительное. Может, это как-то связано с моим неприятием Apple Way в принципе, ибо во время вынужденного использования iMac'а в качестве рабочей станции на предыдущем месте работы я не испытывал ничего кроме фрустрации и желания пересесть на что угодно — обратно на винду, на линукс — лишь бы снова получить свободу видеть систему такой, какой она мне нравится, и работать с ней так, как мне нравится — а не как решили за меня умные дизайнеры из Apple.

          Все технологические плюшки WebKit'а, я так понимаю, можно получить и в Хроме. Тамошние инструменты по работе с JavaScript мне тоже нравятся больше дефолтных из FF, и даже FireBug не решает эту проблему полностью (хотя, возможно, я не умею правильно им пользоваться). Но для потребления информации ничего милее FF я так и не нашёл, в том числе благодаря расширению Session Manager, хромовский тёзка которого даже рядом не стоял по функционалу.
          • +1
            Плюшки Webkit — да, есть и в Хроме (в той мере, в которой они в нём сохранены; после форка движка, чую, многое уберут, инспектор, например, они свой уже пилят).

            >больше дефолтных из FF

            Встроенные инструменты разработчика в Firefox, кстати, в последнее время заметно улучшились. По-моему, они уже местами даже превосходят Webkit-ные. Например, профайлер отображает не только проценты, но и время выполнения; тестирование адаптивной вёрстки есть (можно изменять размеры вьюпорта, в т. ч. по готовым и своим пресетам). Чего-то ещё нет (просмотр картинок, ещё, может, что, чего я не заметил), но в целом выглядят куда функциональнее. Firebug я, к сожалению, тоже не осилил, поэтому ничего плохого сказать не могу:)

            >лишь бы снова получить свободу видеть систему такой, какой она мне нравится

            Вообще, поддержка тем оформления в Mac OS X есть, просто поскольку большинству её пользователей дефолтный дизайн как раз нравится (в отличие от той же Windows), сторонние темы для неё малопопулярны. Но их можно ставить, например, с помощью Flavours.
        • +1
          если только Reader… Evernote Clearly его не заменяет? (да, чуть менее красиво)
          • +1
            Хорошая альтернатива, спасибо. И печать поддерживается (в Readability, ЕМНИП, её нет). Что касается красивостей — их при желании легко можно на CSS3 сделать. Исходники в аддоне не обфусцированы, т. ч. пилить можно свободно.
      • +1
        Всегда привожу этот аргумент:
        image

        Из-за тормозов, три раза заставлял себя пересесть на Хром, но ни разу не получилось. Очень крутая функция — Ридер. Я вообще не представляю, как раньше читал тексты без него — сейчас откидываюсь на спинку кресла и отдыхаю. Возле вкладок нет никаких иконок (т. е. информация не дублируется) и потому вкладки занимают совсем немного места на панели. Все закладки синхронизируются и моим Айфоном при каждом подключении. Отличные расширения. Но главное преимущество Сафари — рендеринг шрифтов. Аналогов просто нет.
        • +1
          А чем вам нравятся шрифты в исполнении Safari на вашей картинке? Лично мне читать их сложнее, чисто на глаз буквы кажутся более размазанными и мыльными, в то время как версия Хрома — как и FF, силами которого отображена текстовая часть вашего комментария — прорисована идеально резко.
          • +1
            Ну это вечная тема, которая, к тому же, не относится к теме топика. Мне больше по душе маковский рендеринг, так как он не искажает форму и контраст шрифта — по умолчанию читается он лучше, нужно только подобрать правильное расстояние от экрана (а его нужно подбирать обязательно, по гигиене труда). Виндовый же рендеринг делает шрифт ужасно «перешарпленым», с тонкими линиями и ужасно светлыми межбуквенными просветами. Если шрифт кажется вам слишком мыльным, вы сидите слишком близко к экрану — отодвиньтесь :-)
            • +1
              Боюсь, не всё так просто =). Читаю я где-то с метра, а пишу, находясь на расстоянии около 80 см от экрана — иначе руки не дотягиваются до клавиатуры. И при этом «перешарпленность», наоборот, делает буквы очень читабельными.
              Но я согласен, что к теме топика это не относится. Как и вся эта ветка =). Тем не менее, она полезна для формирования мотивации пробовать — ну или не пробовать — альтернативный браузер для тех, кто текущим решением не полностью доволен.
  • +1
    Internet Explorer вообще здорово прибавляет последнее время. В javascript-тесте sunspider 1.0.1 на текущий момент рвет всех остальных — на моем компьютере i7-3770K результат IE 10 составляет 99.1 ms (например, Chrome 29 — 166.3 ms). Но работаю я все равно пока в Chrome — удобней.
  • +2
    Опера точно падает чаще всего. При этом она очень любит зависать в процессах после закрытия, раньше для нового запуска приходилось убивать старый процесс вручную через диспетчер задач, потом появилось окошко с кнопкой «Force Start»… Пользуюсь IE в качестве основного браузера начиная с 9-ой версии и по личному опыту не сказал бы, что 9-ая и 10-ая версии часто падают. Как ни странно, с уже упомянутой 12-ой Оперой и ФФ в плане падений проблем гораздо больше. IE замечал за таким поведением всего пару раз. Возможно на это положительно влияет тот факт, что IE уже давно запускает каждую вкладку отдельным процессом и перезапуск одной вкладки в фоне не так заметен, как падение всего браузера со всеми вкладками разом.
  • +1
    Не то, чтобы особо по теме, но к слову:
    У меня на работе какая-то фигня — после апдейта с 21 на 22, а теперь и на 23 версию, Firefox стал падать периодами — то несколько раз чуть ли не подряд, то живет по дню-два. Дома такого нет и раньше такого не было. Причем падает на разных сайтах либо вовсе в состоянии покоя.
    • +2
      Выше уже упоминали Firebug — проверьте плагины, падает ли без них.
  • +1
    У IE самая лучшая динамика.
    • –7
      Ага, «работают» люди… Им прям лозунг надо — «Наше $#вно уже не такое #%вно как было 5 лет назад!!!»
      • +1
        Редкий разработчик будет хаять других без достаточных на то оснований.
        При этом «это не работает!» не может быть достаточным аргументом, если не знать детально всего процесса разработки продукта, ограничений, налагаемых на разработчиков, а также жесткости сроков и т.д.
  • НЛО прилетело и опубликовало эту надпись здесь
  • +6
    Два года назад, в августе 2011 года <...> Конечно же, Internet Explorer 6 оказался среди худших браузеров
    Да что, правда что ли? Это браузер-то 2001 года выпуска, и среди худших? ;)
  • +1
    Сижу на хроме. Перешел на него ради гугл аккаунта который сохраняет все и вся. Ну вот за пол года раза 3 краш ловил. Не более.
    Браузером пользуюсь собственно постоянно. Окон по 10 открыто все время + опц до 30ти. Что я делаю не так? )
  • +2
    У меня FF c открытыми вкладками их более 547 работает отлично, а вот хром уже при 150 начинает вылетать ))) так что как сидел на FF так и буду для меня он удобный и стабильный
    на IE работает пару вкладок )
    • +1
      В FF есть удобная опция: если вкладок стало слишком много — закрой браузер и открой заново: подгружаться будут только те вкладки, которые ты активируешь. У меня тоже мания наоткрывать миллион вкладок, и в условиях ограниченной памяти только такой метод спасает.
      Недавно, кстати, ловил падение FF, причём после неоднократных предупреждений ОС о недостаточном количестве памяти, так что скорее всего причина в этом. Но при этом Хром у меня падает при схожих условиях гораздо чаще, причём не только отдельными вкладками, но и целиком, «Whoa, Google Chrome has crashed. Relaunch now?».
      • +1
        у меня на машине 8 гб озу и -ff кушает при этих вкладках от 2 до 6 и более, но сообщений о нехватке памяти я не видел с 2006 года работая с ff. может пора добавить памяти ;)?
        • +1
          Скорее, надо включить обратно файл подкачки.
        • +1
          Четыре гига — максимум что можно установить в мой ноут. Предлагать купить новый ноут не стоит: за исключением памяти, текущим полностью доволен =). Да и найти ноут с адекватной цветопередачей, FullHD экраном и возможностью подключить внешний 5.1 звук без цифрового ресивера сейчас найти проблематично, если вообще возможно.

          Заодно отвечая на комментарий ниже: файл подкачки обратно включать не хочу, ибо тогда уже работа с диском становится узким местом, те же вкладки, ранее сохранённые на диск, извлекаются по полминуты, а закрытие браузера, до этого отожравшего два гига, превращается в процедуру на несколько минут, в течение которой тормозит теперь уже вся система. Плюс, от постоянной работы жёсткий диск сильно греется, и я боюсь что он таким макаром быстрее выйдет из строя.
  • +2
    Блин, за последние лет 6 не припоминаю, чтобы хоть раз браузер падал. Прямо какая-то альтернативная реальность на графиках.
  • +3
    Количество падений и количество глюков вообще, конечно, слегка коррелируют, но связь очень условная. А часто интерес представляет именно второе. По сути краш — это тот же глюк, только с автоматическим перезапуском и записью в логе. А что если, к примеру, на всех вкладках поехала верстка и без ручного перезапуска никак? Это относится к падениям? А если браузер просто начинает тормозить, и также намекает на перезапуск?

    Далее, мы уже живем в том времени, когда браузеры используют одинаковые компоненты. Так что уместно говорить не о стабильности самих браузеров, а о стабильности отдельных компонентов и их сочетаемости. Компоненты тоже имеют разные версии. А плагины? Тот же флеш может крашить браузеры, независимо от версии и бренда, а вина вся достается, как обычно, — крайнему, чье имя и логотип сверкают в заголовке окна.

    Приложить руку может и операционная система. То есть одна и та же версия браузера для разных ОС — это по сути разные версии в плане стабильности.

    Так что результаты исследования субъективны и очень условны. Только не подумайте, что я защищаю IE6. Просто по итогам тестов хотелось бы уверенных выводов типа «опера 10 ровно на 6% глюкавее оперы 9 при прочих равных». Но из-за большого количества переменных, какие-либо однозначные выводы вообще сложно сделать. А жаль.

    За статью спасибо.
  • +1
    Но из-за большого количества переменных, какие-либо однозначные выводы вообще сложно сделать.


    Побольше бы людей это учитывало, когда пишут гневные комменты :-)
  • +1
    > Opera 12
    Да, свежее не бывает))

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.