Заместитель главного редактора
3,5
рейтинг
7 июля 2012 в 17:31

Разработка → Насколько крупны порносайты?



Хорошо известна старая поговорка, гласящая, что Интернет был создан для порнографии. Увеличение скорости соединения по всему миру, онлайн-вещание видеороликов, видеочаты и живое общение, оптимизация трафика, огромные хранилища и безотказный хостинг — всё это лишь следствия запросов порноиндустрии.

Согласно отчету принадлежащей Google рекламной сети DoubleClick, которая отслеживает посетителей по cookies, в числе 500 самых посещаемых сайтов сети есть десятки порнографической направленности. Xvideos, самый крупный порносайт мира, получает 4,4 миллиарда просмотров страниц в месяц, что в три раза больше, чем CNN или ESPN, и в два раза больше, чем Reddit. LiveJasmin, YouPorn, Tube8 и Pornhub — огромные веб-сайты, посещаемость которых ниже лишь гигантов уровня Google или Facebook.

Конечно, следует отметить несколько отличий, которые нужно учитывать при сравнении посещаемости ресурсов порнографической направленности. Основное отличие порносайтов от обычных — это время, которое посетитель проводит на них. На обычном новостном сайте средний визит длится 3—6 минут, достаточные для чтения одной или нескольких статей, на порноресурсе посетитель задерживается на 15—20 минут. Контент обычного веб-сайта — это текст или изображения, которые не потребуют передачи сравнительно больших объемов данных, в то время как на порносайте с видеовещанием средний посетитель легко расходует 100 мегабайт трафика за один визит.

Но даже с учетом этих особенностей объем передаваемых данных поражает: один только Xvideos передает 29 петабайт в месяц или 50 гигабайт в секунду. В пике Xvideos испытывает нагрузку в 1 терабит в секунду. Для сравнения: интернет-канал между Нью-Йорком и Лондоном составляет всего 15 терабит в секунду.

YouPorn, второй по величине порносайт на планете, поделился данными о себе, отличающимися от статистики рекламной сети DoubleClick в большую сторону. YouPorn хранит более 100 терабайт порнографических материалов и получает более 100 миллионов просмотров страниц в сутки. За 24 часа передается 950 терабайт данных, в основном это — видеопоток. В месяц получается как минимум 28 петабайт переданного трафика, из-за пиков возможны скачки от 35 до 40 петабайт в месяц. В пике YouPorn формирует 4000 страниц в секунду и передает 100 гигабайт или 800 гигабит сетевого трафика в секунду. Это равносильно передаче 10 двухслойных DVD-дисков в секунду.

Для обслуживания подобных запросов используется СУБД Redis и MySQL для административных потребностей при управлении и добавлении данных в кластере Redis. Сайт использовал в основном Perl с MySQL, но в 2011 году всё было переписано на PHP с использованием Redis. Redis получает 300.000 запросов в секунду, в час сохраняется 8—15 гигабайт данных (логи посетителей, их поведение и т.д.). В качестве веб-сервера используется nginx с HAProxy и Varnish для балансировки нагрузки. Владельцы YouPorn говорят, что подобная система может принять в два раза большую нагрузку — до 200 миллионов просмотров страниц в сутки.

От YouPorn не поступало информации о их вычислительных мощностях, но судя по IP-адресам системы доставки контента сайта, они пользуются услугами облачного хостера с крупным дата-центром и пирингом от Level 3.

Чтобы понять, что означают 800 гигабит в секунду, вспомним, что посредством Интернета в сутки передается лишь пол-эксабайта трафика или около 50 терабит в секунду. Другими словами, обычный порносайт может получать в пике 2% всего мирового трафика. Существуют десятки сайтов, сопоставимого с YouPorn размера, и сотни, получающих аналогичные хабрахабровским объемы трафика. Не будет преувеличением оценка порнотрафика в 30% от всех передаваемых данных в сети.
via

upd: MechanisM привёл презентацию о внутренней инфраструктуре высоконагруженных сайтов компании Manwin, владеющей PornHub, YouPorn и рядом других порнографических ресурсов.
@atomlib
карма
268,7
рейтинг 3,5
Заместитель главного редактора
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Спецпроект

Самое читаемое Разработка

Комментарии (101)

  • +19
    Ну надо же!
  • +50
    Это они еще не считают порно вконтакте
    • +3
      В последнее время данный трафик становиться все меньше и меньше. Если раньше по любому запросу поиска по видео выдавалась первым делом порнуха, то теперь даже по запросу «порно» зачастую выдается ролики не порно содержания (да и та в своей массе фейковое порно).
      • +2
        Это вы искать не умеете. Ищите по группам, а потом в них уже ;)
        • +15
          Спасибо:) Приятно получить дельный совет от профессионала! :)
          • +1
            Тяжело быть линуксоидом. Пока найдешь информацию по редкому багу в high-load, выучишь пару языков на уровне чтения форумного флейма, узнаешь, что по запросу вида «ubuntu » на 10й странице гугла можно найти то самое, научишься искать что-то вконтактике, fb, твиттере и прочих недосоциалках.
            Вспоминается, как я читал про багу в ведре в районе таймеров tcp на какой-то страничке в оркуте.
            • 0
              Ох, хабрапарсер =(
              s/ubuntu /ubuntu some bug description/
        • 0
          Вконтакте есть отличный инструмент для поиска порно — рекомендуемые видео для конкретного пользователя. Достаточно найти одного у кого есть порно того жанра что тебе интересно, и дальше уже по его рекомендациям имеешь неплохой кластер. Забавно что в большинстве случаев это видео забаненных пользователей, но при этом видео доступно… Еще есть метод «друзья бота».
          Поскольку я порно не особо часто смотрю, то я просто запихнул чуток качественных роликов в видеозаписи моего клона (левая анкета для приколов), сделал их доступными только для клона… логин от клона я давно забыл (пароль помню)))
          А вот в рекомендациях всегда свежий порноконтент, и фиг мне эту анкету забанят — нового ничего не добавляется, в открытом виде порно нет… в общем ни одна эвристика не заподозрит его…
          Всех своих «подопечных» на эти рекомендации пересадил. Ибо чем меньше шляются по порносайтам, тем мне потом меньше вирусов им лечить......))))
      • +1
        Подождите-ка, я правильно понял, что вы не можете найти порно в интернете?! Вы мой герой.
        • +4
          Порно видео в контакте, а не вообще в интернете.
  • +4
    ChatRoulette или PornoLab
  • +44
    Выкладывайте уже списком с урлами. Неудобно текстовые ссылки копировать.
    • +31
    • +3
      Поддерживаю! Тогда вместо десяти закладок будет одна, на хабратопик.
    • –1
      Когда будет отчет по хаброэффекту на порносайтах мира?
    • +12
      habrahabr.ru/users/vyacheslav_ka/favorites/comments/
      жалко тема заблокирована, там следущий комментарий был, по памяти «если большинство ссылок фиолетового цвета, у меня для вас плохие новости»
    • +1
      Реально выложить списочек на 20-30 адресов? :) Это не будет спамом? :)
    • 0
      в Google Chrome в контекстном меню при выделении текста есть пункт искать в Google (выделенный текст), удобно!
      • 0
        У меня еще стоит расширение что можно на картинке правой кнопкой кликнуть и искать похожие в гугле.
      • 0
        В Опере кроме него есть ещё и «перейти по адресу» и «Искать в…►»
  • +12
    Порно двигает технологии,
    blue-ray, html5 video теперь ещё и key-value db
    • +1
      а блюрей разве не заявлял что этот носитель будь запрещен для xxx?
      • +1
        Может, человек с DVD перепутал. Или вообще с VHS :).
      • +1
        А разве получилось запретить?
  • +5
    Порно спасет мир!
  • +14
    Я доволен собой))))
    Для одного high-load сайта, который сейчас делаю, раскидал схему такую же, как у YouPorn)))
    Это самая лучшаягарантия качества xD
  • +19
    • +8
      >You do not want to see my histing bill
      I WANT!!!
      • –1
        Hes fisting bill?
  • +29
    Теперь при очередных холиварах PHP vs python/ruby/etc, кроме facebook и вконтакте, будет упоминаться YouPorn, как высоконагруженный проект.
    • +3
      Youtube на Python :)
      • +2
        и DropBox…
      • 0
        А статью прочитать религия не позволила?)
      • +1
        А, тьфу. Прочитал ваш комментарий как «YouPorn на Python») Извиняюсь)
  • +5
    Хотел бы увидеть разработчиков и администраторов этих сайтов :)
    Кстати, кроме всего прочего, они почему-то не пишут о проблемах масштабирования и распределения нагрузки в высоконагруженных системах. Хотя проекты более посещаемы.
  • +5
    Есть такая замечательная канадская компания MANWIN(владельцы Redtube итд), они частенько выступают на конференциях разработчиков с докладами о том как они справляются с высокими нагрузками, рассказывают о своей инфраструктуре итд. Я смотрел слайды есть очень интересные решения.
    • +3
      Спутал не Redtube а YouPorn(хотя они вроде и Redtube купили). По ссылке еще можно почитать чем они владеют.
    • +1
      Дабы не дезинформировать, еще добавлю что главный офис компании все-таки в Люксембурге(но в Канаде тоже есть офис). Скорее-всего я решил что компания канадская ибо на конференции были ребята именно из канадского отделения компании и скорее всего именно там и ведется разработка а в Люксембурге видимо только управление.
  • +5
    Как-то в топике про закрытие порнолаба уже выкладывали:
    тык
    www.megarotic.com
    www.pornotube.com
    www.xnxx.com
    www.youporn.com
    www.bangbros.com
    www.bangbros1.com
    www.lifeout.com
    www.xtube.com
    www.tube8.com
    rude.com
    www.xvideos.com
    boysfood.com
    www.pornhub.com
    www.pornhost.com
    www.badjojo.com
    kaktuz.com
    www.youjizz.com
    www.lubetube.com
    www.sexyandfunny.com
    redtube.com
    www.spankwire.com
    www.pokeherstars.com
    www.sexyclips.org
    kinxxx.com
    www.tnaflix.com
    yuvutu.com
    www.needbang.com
    www.slutload.com
    www.dachix.com
    www.maxporn.com
    www.camelstyle.net
    www.heaven666.org
    www.deviantclip.com
    www.watchhervideo.com
    www.humornsex.com
    www.pornhost.tv
    www.fuckaroo.org
    www.megaporndump.com
    www.extremefuse.com
    www.xvideohost.com
    www.efukt.com
    primecups.com
    www.sexmovies.hu
    www.twelvefifteen.net
    www.yourfilehost.com
    planetsuzy.com
    www.assdumper.com
    www.sockshots.com
    www.anyvids.com
    www.terror.to
    www.2adultflashgames.com
    www.myhomeclip.com
    www.freeadultmedia.com
    crazydumper.com
    www.funnyinside.com
    www.pornosphere.com
    www.dirtylittlewhore.com
    www.tehvids.com
    www.veqq.com
    www.likecrack.com
    Youporncocks.com
    www.rottensob.com
    www.wtfpeople.com
    www.areavids.com
    www.dudetubeonline.com
    www.greenshines.com
    www.timtube.com
    haporn.com
    zshare.net
    www.hotwildsluts.com
    www.amateurporndump.com
    shufuni.com
    www.justsexyvideos.com
    www.wank.net
    www.kataclizm.com
    www.freexxxvideoclip.com
    www.banggs.com
    www.muchosucko.com
    www.footfetishtube.com
    www.wunbuck.com
    quickfap.com
    xxxuploads.com
    www.fuckingmotherfucker.com
    www.skoopy.com
    www.jasonandalex.com
    www.snuffx.com
    www.boobfilter.com
    www.extape.com
    www.maxxx.to
    www.hardsextube.com
    www.pornbase.org
    www.porntower.com
    www.diablobabes.com
    www.wetstage.com
    www.youboob.it
    xtatoo.net
    Pornfo.com
    www.pinkbabes.net
    www.yourdailyvids.com
    www.pacoporn.com
    www.enwhore.com
    www.pinkslut.net
    www.digitalmpegs.com
    www.lexxxicon.com
    friendlyjerk.com
    pimpbus.com
    www.vidchicks.com
    www.aquickspank.com
    www.sexcess.net
    www.sextube.si
    www.daily.vg
    www.yourporntube.com
    quppy.com
    www.amateurvideoz.org
    www.lubeyourtube.com
    clip–search.com
    www.adumper.com
    ohslut.com
    www.phun.org
    girlsfromheaven.com
    fantasti.cc
    www.nsfwnews.com
    www.netporn.nl
    www.krazytube.com
    www.milfcabin.net
    www.sextube.com
    www.youaction.com
    www.pornoinside.com
    www.sexsube.com
    www.hairyboyz.com
    www.3xupload.com
    www.drunkendelight.com
    www.sexvidia.com
    www.live–porn.tv
    www.celebrityflavor.com
    www.bliss–babes.com
    www.grinvi.com
    www.nastylinkdump.com
    www.barely18xxx.com
    FlyShe.com
    kickazzvideos.com
    www.collegepartyhouse.com
    www.cootee.com
    pussism.com
    www.hornystyle.com
    www.dipvid.com
    suks.com
    www.sexhotvideos.net
    www.wanktube.com
    www.shareyoursexxx.com
    www.bizarsite.nl
    www.togetherinporn.com
    www.bitchdump.com
    www.nursexybabes.com
    www.dayshot.com
    www.sexyhotvideos.net
    www.deluxe1.net
    www.onlysexhere.com
    www.bang–fun.com
    bestxtube.com
    xxxstash.com
    www.youtuxxx.com
    www.babe.to
    videos–2–x.com
    www.likeshit.to
    Yournastyvideos.com
    www.sexytimez.net
    www.rawpalm.com
    www.drunkbabe.net
    www.superevilrobot.com
    www.justsexportal.com
    www.lustbang.com
    www.pontuvideox.com
    www.hotbabe.to
    www.18porno.net
    alphacocks.co.uk
    www.sexgoog.net
    www.deepworx.com
    www.sexy–movies.to
    www.pornwondervids.com
    www.spreadyourporn.com
    www.hardcoretube.net
    www.ilodejaneiro.com
    www.dumpyourvid.com
    www.sextube.fr
    www.diysexclips.com
    www.cowardlyescape.com
    valentinetrav.org
    www.contactoswingers.org
    www.mad–horny.com
    www.dadsbox.com
    www.hardsextgp.com
    www.damnbang.com
    www.facialSlam.com
    www.revenge–cams.com
    www.musclehunks.com
    www.virginoff.com
    www.pornoboard.co.uk
    • 0
      А теперь посчитайте, сколько у вас ссылок фиолетового цвета.
      • +17
        Incognito mode ;)
      • +2
        А что делать если у меня весь список фиолетовый?
        • +6
          Найдите себе девушку)
          • +15
            Не портите мне шутку, пожалуйста)
            • +3
              это шутка уж явно не ваша :)
        • +1
          На master-x.com, очевидно.
      • +2
        у меня одна.
      • +4
        ни одной
        • +11
          Пользуетесь чем-то, чего нету в списке?!
          • +9
            Девушкой?
          • +1
            xhamster.com
            вроде довольно популярный ресурс, а тут нету
    • +5
      Потом расскажете сколько людей добавило ваш комментарий в избранное ;)
  • +4
    стоит только подумать о великом и чистом, как тут же обязательно кто-нибудь тебя вернет такой статьей к обыденному и привычному 0_о
  • +43
    Мораль — если бы девчонки не динамили нас в реале, интернета не было бы.
    • +1
      Если бы парни были немного наглей и настойчивее, то девчонки бы не динамили, а были благодарны ;)
      • +4
        Если бы парни были немного наглей и настойчивее, то интернета бы не было.
  • +1
    Хороший обзор. :-)
  • –12
    Нда, в этом мире все делается через х*й )))))))))
    • +5
      Кажется вы израсходовали все свои закрывающие скобки держите я ещё принес "))))))))))))))))))))))))"
  • +34
    Самые добрые фильмы — это порно: все всех любят и все заканчивается хорошо. :)
    • +3
      Почти как у Михалкова.
  • –9
    Если вдруг кто еще не видел. Просто шедевр.

    www.youtube.com/watch?v=YRgNOyCnbqg
  • +15
    «На обычном новостном сайте средний визит длится 3—6 минут, достаточные для чтения одной или нескольких статей, на порноресурсе посетитель задерживается на 15—20 минут.»

    Чувствуется недосказанность второго простого в составе сложносочинённого.
  • +3
    В качестве веб-сервера используется nginx с HAProxy и Varnish

    В очередной раз берет гордость за наших разработчиков.
    • +4
      Хм, судя по отзывам, некоторой части хабравчан неизвестно то что nginx — разработка Игоря Сысоева? =)
  • +1
    Масштабы впечатляют.

    Если один только Xvideos генерирует аж 2% мирового интернет трафика то рискну предположить что весь порно трафик переваливает за 10% а то и больше.
    • +2
      >>>Не будет преувеличением оценка порнотрафика в 30% от всех передаваемых данных в сети.

      За порнографией будущее интернета =)
      • +8
        И прошлое, и настоящее…
      • +1
        Пропустил это предложение)

        Порнография воистину двигатель прогресса.
        • +1
          Кстати вы будете смеяться но именно так — широкие каналы в интернет развиваются именно под давлением Content Delivery служб. Главный и самый траффикообразующий контент в интернете — совсем не минимизированные css+js и png картинки. High-res, fullhd и все такое.
      • +3
        Я все жду когда порноиндустрия доберется до immersive virtual reality =))
  • +1
    А где картинки с примерами?
    • +1
      Так выше в комментариях же специально для этого целый длиннющий список запостили!
  • +1
    Слайды! Слайды! (С)
  • +1
    1) спасибо за некоторые наводки ;-)
    2) реквестирую держателей на highload конференции!!! с публикацией пдф/ппт докладов, можно без картинок, но можно и с графиками :-)
    • +1
      Без картинок, лучше видео.
    • +1
      Ох, ну да, наводок здесь уже достаточно понадовали.
  • +1
    >>За 24 часа передается 950 терабайт данных
    950*1024*8/24/3600 ~ 90 Гб/сек

    >>В пике YouPorn формирует 4000 страниц в секунду и передает 100 гигабайт или 800 гигабит сетевого трафика в секунду
    800 Гб/сек

    То 90, то 800. Что-то уж больно сильные скачки. Как-то обычно прокачка идет по синусоиде, с пиками на 150% от среднего. А ту почти в 9 раз разница.
    • +4
      Китайцы спать ложатся, фигли.
      • +1
        Да, видимо какой-то локальный всплеск по какому-то часовому поясу. Ну или данные в статье ошибочны.
      • +1
        Китай + Индия = почти 3 млрд
    • 0
      биты и байты. ага.
      • +1
        В обоих случаях у него получились биты
  • +6
    Мы выбираем Nginx, PHP, Mysql, Redis — авторитетное мнение экспертов порноиндустрии!

    Ну а что? Это своеобразный знак качества, все-таки значительная доля трафика.
    • +18
      А если кто будет советовать использовать похожую связку, то можно отвечать: «Нельзя. Боюсь, что порносайт получится».
  • +2
    Топик добра
  • 0
    Странно, alexa.com показывает немножко другие данные о первенстве сайтов, какая же система ошибается?
    • +3
      alexa, очевидно. Т.к. она считает по установленным тулбарам.
  • +2
    Такой трафик должен стоить соответствующих денег. Походу они торренты ненавидят больше звукозаписывающих компаний.
  • +1
    Почему в отчёт не добавили vk.com? Ещё несколько петабайт бы прибавилось.
  • +1
    username автора статьи как бы заставляет подумать
  • 0
    Как там было то?
    «Why you think the net was born? Porn, porn, porn!»
    Черт, никогда не рассматривал вариант, что порнуха — двигатель прогресса. :)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.