Pull to refresh

Формула притяжения данных

Reading time 3 min
Views 3K
Сотрудник VMware Дэйв МакКрори, специалист по виртуализации и облачным вычислениям, создал необычную модель, описывающую поведение данных, сервисов и приложений в интернете. Он предложил ввести для данных понятия массы и гравитации, аналогичные тем, что используются в физике, и даже вывел формулу гравитационного взаимодействия между приложением и данными. Эта модель не так безумна и бессмысленна, как может показаться на первый взгляд — аналогичные гравитационные модели давно используются в экономике и социологии, успешно описывая товарооборот между странами и городами, миграцию и урбанизацию.

Подобно звездам или планетам, скопления данных притягивают друг друга и более легковесные объекты, такие как приложения и сервисы, причём сила этого притяжения прямо пропорциональна массе и обратно пропорциональна расстоянию, аналогом которого в сети служит комбинация полосы пропускания и пинга. Кроме того, каждая пара «данные — приложение» характеризуется индивидуальным коэффициентом, зависящим от того, насколько интенсивно приложение запрашивает или генерирует данные. Этот коэффициент аналогичен гравитационной постоянной. Так же как и для любого объекта в сильном гравитационном поле, необходимо приложить значительные усилия, чтобы «оторвать» приложение от данных, сообщить ему достаточную «скорость убегания». Приложения и сервисы, работающие с данными, стремятся уменьшить задержки и расширить канал, приближаясь к данным с ускорением, как падающий на землю камень.

Сейчас формула притяжения данных выглядит так:

F — сила притяжения в (Мб/сек)2,
md — масса данных (Мб),
ma — масса приложения (Мб),
n — число запросов в секунду,
l — задержка (сек),
r — средний размер запроса (Мб),
b — ширина канала (Мб/сек).

Это не окончательный вариант, автор надеется на помощь сообщества в её улучшении и проверке. Ключевые значения в этой формуле — массы данных и приложения. Они вычисляются следующим образом. Масса данных есть произведение их объёма в мегабайтах на плотность, в качестве которой взята степень сжатия. Например, база данных в сжатом виде занимает 5 гигабайт. Степень сжатия 2:1. Тогда масса этих данных равна 10 Гб.



Масса приложения вычисляется немного сложнее: в качестве объема берётся сумма используемой в процессе работы оперативной памяти и место, занимаемое программой на диске. Для вычисления плотности, кроме степени сжатия, которая в случае приложений обычно равна 1, используется степень загрузки процессора, измеренная в гигагерцах.



Из вычисленных таким образом масс и комбинации характеристик сети (задержки и ширина канала) и интенсивности взаимодействия между приложением и данными (число запросов в секунду и средний размер запроса), которые соответствуют расстоянию и гравитационной постоянной, можно вывести силу притяжения.

По мнению Дэйва МакКрори, эту формулу можно будет использовать для планирования развития приложений и дата-центров с учётом гравитации. Можно будет выразить в цифрах портативность приложения или степень привязки к определённому набору данных, вычислить оптимальное распределение данных между крупными дата-центрами и многое другое.

Ещё интереснее рассмотреть более сложные комбинации взаимодействующих масс, например, создание буферных масс данных на небольшом расстоянии от приложения, которые могут многократно снизить силу притяжения за счёт уменьшения «гравитационной постоянной» (кэширование). Кроме того, в реальном мире действуют силы юридического и экономического характера, способные значительно усилить или ослабить гравитационное взаимодействие масс данных. Например, высокая стоимость данных или результатов работы приложения многократно увеличивает силу притяжения. Биржевые автоматические торговые системы испытывают настолько сильное притяжение данных, что буквально «падают» на них, стремясь оказаться сначала в одном дата-центре с ними, а затем и в одной стойке.

Многие компании и облачные сервисы используют тарифную политику и юридические ограничения, чтобы манипулировать силой притяжения данных в свою пользу. Некоторые данные секретны, некоторые защищены авторским правом, некоторые приложения и устройства жёстко привязаны производителем к определённым наборам данных и каналам связи. Если удастся расширить формулу притяжения данных так, чтобы она описывала подобные ситуации, может получиться целая теория.

Идея притяжения данных уже вызвала некоторый резонанс. Всё началось с одного поста в блоге МакКрори. Ряд последующих постов, их обсуждение и несколько публикаций в интернет-СМИ (GigaOM, ReadWriteWeb, ZDnet) привели к тому, что Дэйв МакКрори решил создать сайт, целиком посвящённый притяжению данных.

Tags:
Hubs:
+21
Comments 4
Comments Comments 4

Articles