Исследование: сколько порнографии в Интернете

Можно по разному оценивать эту достаточно специфическую аудио-видео продукцию, но тем не менее - она есть. Это - факт. Это -статистика. К слову сказать доказано же, что скажем процент измен среди мужчин-владельцев Audi, BMW, Mercedesчуть ли не в 10 раз выше, чем процент измен мужчин-владельцев Peugeotи прочих Seat-ов.

Однако вернемся от машин к исследованию и статистике.

Не просто посчитать домены, чтобы можно было подсчитать суммарный объем. Между тем, мы знаем, что подобного рода сайты занимают существенный объем среди прочих сайтов Интернета. Согласно данным Google’s DoubleClick Ad Planner, который отслеживает пользователей через сеть посредством cookie, десятки сайтов для взрослых входят в топ 500 веб-сайтов мира!. Xvideos (самый большой порно-сайт в сети с 4.4 миллиардами просмотров в месяц) в три раза превосходит  CNN или ESPN, и вдвое превышает показатели Reddit. LiveJasmin не намного меньше. YouPorn, Tube8, и Pornhub — обширные, глобальные сайты, которые затмевают почти все в Интернет. Ну кроме Google и Facebook

Итак, количество просмотров страниц запрещенного контента - прекрасная начальная точка для развития исследования. Оно только говорит нам, что X сайтов более популярны, чем не Х-сайты. Четыре миллиарда просмотров это действительно очень много (особенно сравнивая с количеством жителей Земли, подключенных к сети интернет). 

Основное различие между порносайтами и непорносайтами - средняя продолжительность посещения: Для новостного сайта как RBC или CNN, среднее посещение обычно длится между тремя и шестью минутами; этого хватает чтобы считать одну или две статьи. Среднее время, проведенное на порносайте, однако, между 15 и 20 минутами. Не будем утверждать на что хватает этих минут J

Надо понимать, что большинство веб-сайтов – это прежде всего преобладающий текст и изображения, в то время как самые большие порно-сайты продвигают потоковое видео. Когда Вы загружаете домашнюю страницу lenta.ru, Вы загружаете себе на компьютер несколько мегабайтов, и затем (возможно) 500 килобайт, если Вы загружаете еще одну статью. Когда Вы передаете порно потоком, принимая низкое разрешение 480×200, Вы смотрите в пределах 100 килобайт в секунду — что за 15 минут дает приблизительно 90 скачанных мегабайт.

Затем Вы должны умножить 90 мегабайтов на число ежемесячных посещений — которое исчисляется приблизительно 350 миллионами для Xvideos. Это приблизительно оценивается в 29 петабайтов данных, передаваемых каждый месяц, или 50 гигабайт в секунду. Чтобы хоть как то понять этот объем, можно попытаться сравнить его  с вашим домашним Интернет-соединением, которое скорее всего способно к передаче нескольких мегабайт в секунду. Что приблизительно в 25 000 раз меньше.

Короче говоря, порно-сайты справляются с астрономическими объемами данных. Единственными сайтами, которые действительно приближаются к пропускной способности, является YouTube или Хулу, но даже тогда YouPorn - что-то как в шесть раз больший чем Hulu.

Инфраструктура

С точки зрения объемов хранения, вычислительной мощности процессоров, внутреннего ввода-вывода, и пропускной способности подавать видео требует гораздо большего количества ресурсов, чем простой вывод текста и изображения.

Между тем, большинство взрослых сайтов, вероятно, хранит в области 50 - 200 терабайт порно. Это довольно много для веб-сайта (хотя Google, Facebook, Blogger, или YouTube безусловно вне конкуренции), но в мире, где 2TB диски дешевы и многочисленны, это в конечном счете не очень большое количество. Скажем, сервер хранения данных Backblaze, который может хранить 135TB в 4U корпусе стоит всего-то 7400$.

Быстродействие процессоров и контроллеров будут основной величиной для оценки скорости передачи потокового видео и числа просмотров. Сначала порно-сайт должен подать динамическую, доступную для поиска базу данных тысяч видео, и затем, когда кто-то щелкает по видео, тот файл должен быть загружен из жесткого диска и передан потоком по Интернету. Если Вы когда-либо передавали много больших файлов по локальной сети (то есть записывали на Ваш жесткий диск посредством Ethernet), Вы будете знать, как это происходит.

Фактические требования к аппаратным средствам почти невозможно получить (они не разглашаются), но в случае большого порносайта мы, вероятно, говорим о стойках серверов с четырехядерными процессорами, гигабитными коммутаторами, и т.п.  Используется не самое простое программное обеспечение, и самые большие порно-сайты будут использовать базу данных со сверхвысокопроизводительными показателями, как, например  Redis, для хранения и обслуживания видео, и легкий сервер HTTP как Nginx, для создания веб-страниц.

Наконец, оценим пропускную способность. Вернувшись к нашему примеру Xvideos (основанный на оценке Ad Planner), у большого порно-сайта должна будет быть достаточная скорость передачи данных - канал, чтобы подать 50 гигабайт в секунду (или 400 Гбит/с). Примите во внимание, что это - средняя скорость передачи данных, в пиковое же время Xvideos скорость передачи данных может достигать 1 000 Гбит/с (1Tbps) или больше. Для сравнения, трафик между  Лондоном и Нью-Йорком составляет всего 15Tbps.

Существует много способов управления большим количеством трафика: Вы устанавливаете свой собственный центр обработки данных, арендуете несколько стоек в очень большом центре обработки данных, или используете поставщика "облачной" инфраструктуры как AW Amazon или Azure Microsoft.

Реальный пример

Второй по величине порно-сайт в сети, YouPorn, не скрывает реальные факты и цифры объема своей работы. Вы будете удивлены (или испуганны) когда узнаете, что предполагаемые ранее показатели, основанные на данных DoubleClick Ad Planner, фактически же значительно ниже, чем в действительности.

YouPorn хранит более 100TB порно, и имеет чем 100 миллионов просмотров страниц в день. Это приблизительно можно приравнять к 950 терабайт передачи данных в день, почти весь он является потоковым видео. В сумме это дает 28 петабайт в месяц. Показатели Xvideos несколько ниже, можно говорить о 35 – 40 PB в месяц.

Итак, в пиковое время YouPorn обслуживает запросы 4000 страниц в секунду, что равнозначно объему трафика в районе 100 гигабайт в секунду, или 800 Гбит/с. Это эквивалентно передаче более чем 10 DVD DoubleLayer каждую секунду.

Cточки зрения программного обеспечения система хранения данных YouPorn обеспечивается на 100 % Redis с MySQL, используемым в качестве администраторского инструмента, для управления и добавления данных к кластеру Redis. Система была написана в Perl с бэкэндом MySQL, но в 2011 Perl был исключен для PHP и MySQL, и была произведена замена на Redis. Nginx используется как сервер HTTP, наряду с HAProxy и с Varnish.

Данные Redis говорят о 300 000 запросах в секунду и  8-15GB данных регистрируются каждый час (судя по логам). И вся эта программно-аппаратная конструкция должна быть способной к увеличению до 200 миллионов просмотров в день.

К сожалению, YouPorn не раскрывает данные о своей аппаратной инфраструктуре. Судя IP-адресам сети доставки контента YouPorn (CDN), скорее всего, не размещено поставщиком "облачной" инфраструктуры типа Amazon, а находится где-нибудь в большом центре обработки данных, с пирингом обеспеченным Level 3.

Чтобы рассмотреть то число на 800 Гбит/с в истинном свете, посмотрим, с чем можно это число сравнить. Интернет обрабатывает приблизительно половину эксабайта трафика каждый день, который приравнивается к приблизительно 50Tbps — другими словами, отдельно взятый порно-сайт захватил почти 2 % полного трафика Интернета. Существуют десятки порно-сайтов масштаба YouPorn, и сотни, которые являются размером Xvideos или вашего любимого новостного сайта.

Отсюда вывод – можно считать доказанным тот факт, что порно составляет 30 % полных данных, переданных через Интернет. Или говоря кратко – треть интернета – это порнография.

Поделиться:

Оставьте свой комментарий!