Совсем недавно, помогая коллеге в решении вопроса о неповторяемости работы ряда тестов, я в очередной раз натолкнулся на задачу симуляции устройства, генерирующего последовательности случайных чисел. В этой статье я расскажу о том, какие сложности были обнаружены, какой подход к их разрешению был выбран, и как я проверял, что новое решение лучше предыдущего. Сразу отмечу, что вопрос создания и верификации случайных последовательностей очень тонкий, и почти никакое решение не может считаться в нём окончательным. Буду признателен за комментарии и исправления.

Вначале я кратко расскажу о предметной области аппаратных и псевдослучайных генераторов, об их характеристиках и требованиях к ним. Затем перейду к своему частному случаю — области программной симуляции вычислительных систем, и к конкретной задаче, которую нужно было решить.


_{Иногда самый надёжный способ получить случайное число — взять его из справочника. Источник изображения: www.flickr.com/photos/nothingpersonal/337684768}

Всем привет! На основе нашего предыдущего поста решили продолжить распродажу книг.

Рады сообщить, что в издательстве «Питер» вышли вторые тиражи книг: «Битва при черной дыре. Мое сражение со Стивеном Хокингом за мир, безопасный для квантовой механики» — Сасскинд Л. и «Теория струн и скрытые измерения Вселенной» — Шинтан Яу.

В уже далёком 2003 году философ, профессор Оксфорда, Ник Бостром опубликовал пространную статью, в которой рассмотрел предположение, что все мы, на самом деле, живём внутри компьютерной модели. И с тех пор эта работа не даёт покоя многим учёным, которые периодически публикуют статьи в поддержку или в опровержение работы Бострома.

В его статье утверждается, что как минимум одно из утверждений верно:

1) Человеческая раса, скорее всего, исчезнет до того, как достигнет постчеловеческого уровня развития.
2) Крайне маловероятно, что любая постчеловеческая цивилизация создаст значимое количество моделей истории её эволюции (или возможных вариантов).
3) Мы почти наверняка живём внутри компьютерной модели.

Из этого следует, что вера в то, что наша цивилизация может достичь постчеловеческого уровня и создать прочие модели, является заблуждением.

Нам показались интересными идеи, предположения и доказательства, представленные учёным, и мы решили поделиться с вами его умозаключениями (с сокращениями).

Привет!
Меня зовут Вика, и я работаю сервисным IT-инженером в КРОК, занимаюсь телефонией и критичными колл-центровыми решениями.


Иногда тонкие пальцы – это плюс



Сейчас лето, поэтому в офис иногда доезжаю от метро на лонгборде. Правда, пока только учусь.

Когда знакомые узнают, кто я и что делаю, сразу возникает куча вопросов начиная от «как там работается в большой компании?» и заканчивая «а как ты сервера таскаешь?». Постараюсь ответить ниже.

К нам недавно пришел заказчик и сказал: нужно перевести работу всей компании в «облако». Желательно вчера. В общем, как и все авральные проекты — задача мечты, потому что работы много, а времени нет.

По сути, нужно было с нуля спроектировать архитектуру IT и перенести туда данные сотрудников. Со стороны заказчика — исполнительный-директор и его напарник, около 100 человек пользователей на 4 площадках, с нашей стороны — четыре небольшие рабочие группы. Одна занималась терминальным доступом, вторая — отвечала за почту. Третья занималась инфраструктурой (VPN, сетевое взаимодействие), и четвертая настройкой бэкапа.

Справились за пять календарных дней — за среду провели полный аудит ИТ-инфраструктуры компании Таврос, разработали основные архитектурные решения и выбрали технические средства для их реализации. Следующие 2 дня специалисты КРОК активно работали над развертыванием соответствующей требованиям заказчика инфраструктуры. В субботу и воскресенье допиливали мелочи и тестировали. В понедельник пользователи компании вышли на работу и ничего не заметили, но большинство ИТ-объектов уже были в нашем «облаке».

Сейчас на рынке есть огромное количество приложений, которые не приспособлены для работы offline, что создает неудобства для пользователей.
Некоторое время назад, для разработчиков на C# стал доступен новый Microsoft Azure Mobile Services SQLiteStore SDK 1.0 alpha, который предоставляет API для создания приложения, работающих в условиях отсутствия интернета и берущий на себя все заботы о синхронизации данных между локальной базой данных и базой данных Azure. В качестве локальной базы данных создается и используется SQLite.

callidus77: Помница в нашей сетке монтажники подключали абонента. Пришли, воткнули сетевуху, а у него Фря и дров нету. Почесали головы и ушли. Чел через три недели наконец-то коннектится.
Грят: «Долго ж ты искал дрова.»
Он: «Я не искал. Я их сам написал.» Баш

Наверное, каждый автор трепетно следит за судьбой своих статей, такому автору на хабре всегда чего-то не хватает. Мне всегда не хватало инструментов наблюдения за статьями — поэтому я и решил их написать.


Под катом мы разберемся с основными инструментами ресурса и потенциальной возможностью применения. Весь инструментарий доступен по адресу http://www.habr-analytics.com, исходный код (основные функции) на github. За примерами и деталями — добро пожаловать под кат!

Структура статьи

1. Пульс Хабра
2. Монитор статей
3. Анализ пользователей
4. Пересечение хабов — диаграммы Венна
5. Аудитория хабов
6. Исходный код и структура проекта
7. Заключение

*Осторожно трафик*

В этой статье хочу рассказать, а также показать настройку полезного инструмента для удаленной разработки от компании JetBrains встроенное в IDE Pycharm. Такой инструмент есть уже давно, но многие разработчики относятся к этому не серьезно, и для внесения изменений в проект предпочитают разворачивать его локально. Когда намного легче на том-же сервере, сделать копию части проекта и изменять или тестировать на другом порту с помощью встроенных средств удаленного интерпретатора Pycharm. Конечно не во всех ситуациях это хороший вариант, но для правки, и доработки небольших проектов очень даже подходит. А если проект с нуля, то создавая его на удаленном сервере, исчезает потребность в переносе и адаптации его под сервер(хостинг), которые неизбежно ведут к появлению множества багов и несовместимостей.

К тому же такой подход нас избавляет от таких проблем:

• на разных серверах свой Unix и свои приколы, разворачивать локально и подгонять среду под особенности того или иного сервера может занять приличное количество времени;
• разные версии python;
• И если в файле req.txt для Django не указаны все зависимости;
и т.д.

Накопилось несколько маленьких заметок/советов про python и django, которые на отдельные топики не тянут, поэтому публикую все сразу.

Под катом:

• как упростить код вьюх ровно в 2 раза
• легкий способ рисования графиков
• почему Ian Bicking воскликнул «Cool!»
• приложения для ВКонтакте на django за 5 минут
• хорош ли pymorphy?
• пара фишек насчет выкладки пакетов на pypi
• что общего между декораторами и with-контекст-менеджерами
• принимаем оплату на django-сайтах
• показываем Яндекс.Карту для заданного адреса

По работе пришлось столкнуться с задачей обработки xls файлов средствами python. Немного по гуглив, я натолкнулся на несколько библиотек, с помощью которых можно работать с файлами excel.

В связи с недавней серией постов на тему визуализации данных в вебе меня попросили посоветовать библиотеки для рисования диаграмм Ганта, что с удовольствием и делаю.

Диаграмма Ганта (англ. Gantt chart, также ленточная диаграмма, график Ганта) — это популярный тип столбчатых диаграмм, который используется для иллюстрации плана, графика работ по какому-либо проекту. Является одним из методов планирования проектов.

Доброго времени суток, уважаемые Хабровчане!

Хочу поделится с вами реализацией алгоритма «Метод рекурсивного спуска» на примере написания парсера формул с поддержкой переменных и функций на языке Java

Эта статья в (скорее всего, во всяком случае я надеюсь :) ) будет интересна для новичков, или кому-то применить как фундамент для своего решения данной задачи.
Кому интересно — прошу под кат

Введение

Недавно я осознал, что на Хабре нет ни одной статьи, посвящённой прекрасному фреймворку Bottle, которым, кстати говоря, пользуется не мало людей, поэтому в этой статье я попытаюсь рассказать вам о нем.

^{Вот как-то так это хитро работает}

Про вашего будущего ребёнка – это, конечно, утрировано, но все может быть. На практике мы помогаем рознице бороться за каждый рубль с помощью математического аппарата. Вот, например, у вас в бумажнике есть карта лояльности, либо вы расплачиваетесь кредиткой. Это значит, что в целом магазин знает, сколько и каких продуктов вам надо. Дальше можно построить оптимальную модель вашего путешествия по магазину и понять, в какой ситуации вы купите больше. Что где должно стоять, какое молоко вы предпочитаете (вдруг вы готовы брать дорогое и натуральное без колебаний?) и так далее. Смоделировать вас по совокупности данных легко.

Такую же аналитику можно применять ко всем аспектам работы розницы.

Из смешного — один раз система просчитала, что будет выгодно уничтожить примерно полтонны бумаги. Сначала думали, что баг — но начали копать и выяснили, что поставщик даёт скидку за определённый порог закупки. А сеть может не успевать продавать нужное количество бумаги. С учётом стоимости склада, поставки и уровня скидки начиная с порога — проще взять и уничтожить кучу товара, чтобы получать его по цене ниже. Скидка минимум вдвое компенсирует убытки от его потери.

Если вы знаете, что один из ваших клиентов завтра проснётся с мыслью о покупке нового планшета — можно уже сегодня прислать ему письмо с кодом на скидку. Если вы понимаете, что по всем признакам клиент собирается перейти к другому провайдеру, можно повысить ему скорость, снизить цену или предложить что-то ещё. Это клиентская аналитика.

Если вы не знаете, какой тарифный план из трёх предложенных стоит запустить по всей стране, надо воспользоваться клиентской аналитикой, которая возьмёт каждого отдельного человека из базы, оценит эмоциональные и практические мотивы перехода – и позволит понять, сколько людей будут пользоваться этим тарифом.

Именно так выглядит Data Mining в клиентской аналитике. И именно так это уже работает на практике в сотнях крупных компаний по всему миру и в нашей стране.

Часть 1. Вступление.
Часть 2. Сбор данных.
Часть 3. Базовые метрики.
Часть 4. От статистики к аналитике
Часть 5. Разделяй и думай
Часть 6. Action!
Счетчики посещаемости знакомы всем пользователям интернета уже много лет. Многие владельцы сайтов ставят сразу несколько иконок разных счетчиков, и день за днём цифры на них растут и всё больше радуют хозяина.



Далеко не все знают, какую информацию можно извлечь из статистики сайта, кроме цифр посещаемости и, иногда, источников посетителей. Однако, современные системы статистики предоставляют куда больше возможностей для подсчета, обработки и анализа данных посещаемости. Их даже стали по-другому называть: «инструменты веб-аналитики»!

Сейчас большинство успешных коммерческих сайтов уделяет огромное внимание сбору и анализу статистических данных. В частности, крупнейший международный онлайн-магазин Amazon.com создал целый культ аналитики.

Приступая к этим заметкам, пересмотрел хрестоматийный ролик «1984», которым компания Apple в свое время ярко противопоставила себя миру серости и занудства, под которым тогда подразумевались персональные компьютеры IBM.
Именно такие ассоциации порождает стартап Webvisor (Вебвизор). Он предлагает не просто принципиально новый подход к интернет-аналитике. Среди всех подобных систем он выделяется яркостью и наглядностью, противопоставляющими себя определенному занудству отчетов интернет-счетчиков, хотя бы и не похожих на Большого Брата. Подход WebVisor основан на детальном визуальном анализе поведения каждого посетителя.

К нам пришел крупный проект по созданию ERP-системы для компании производителя. В качестве сервера выбор пал на tryton. Однако у них с документацией достаточно плохо. На просторах интернета удалось найти официальную документацию, куски кода с описанием и логи irc канала tryton. Данной информации очень мало для разработки какой-либо системы на tryton. Что б закрыть этот пробел, было решено документировать весь процесс разработки, в особенности подводные камни, с которыми пришлось столкнуться. Итак приступим.

Когда компании-производителю нужно снижать стоимость новой модели мобильника? Какой оптимальный промежуток времени между выпуском новых моделей HDD? Если раньше менеджеры полагались только на свою интуицию, то теперь им на помощь приходит моделирование экономических процессов.

Вот уже 15 лет экономист Кэй-Ют Чен (Kay-Yut Chen) проводит экономические эксперименты для компании HP. С помощью своих опытов он пытается прогнозировать спрос на технику HP, тестирует маркетинговые программы ещё до их запуска и определяет наиболее выгодную ценовую политику для тех или иных товаров. Хотя опыты д-ра Чена сэкономили работодателю миллионы долларов, но до последнего времени он оставался чуть ли не единственным учёным, который работал в этой уникальной области.

Всё изменилось после 2002 года, когда Нобелевскую премию получил другой специалист по экспериментальной экономике Вернон Смит «за лабораторные эксперименты как средство в эмпирическом экономическом анализе, в особенности в анализе альтернативных рыночных механизмов». Это был настоящий прорыв. После этого события многие крупные компании, в том числе из IT-индустрии, открыли собственные отделы по моделированию экономических процессов. Например, команды экономистов и компьютерщиков в Google и Yahoo оптимизируют аукционы по ключевым словам. В компании eBay экспериментальные экономисты помогли разработать новую систему обратной связи для сервиса аукционов, что позволило на 25% увеличить оборот сайта.

«Когда вещи становятся более сложными, становятся трудно управлять бизнесом только с помощью лозунгов, — говорит стенфордский профессор Озалп Озер (Özalp Özer), который недавно по заказу Hitachi запустил эксперимент по определению оптимального промежутка времени между выпуском новых моделей HDD с точки зрения компромисса между НИОКР, производством и маркетингом.