Django Framework → Django + Sphinx = django-sphinx (?)

Когда мы подготавливали для Хабра свою последнюю статью о Django-батарейках, выяснилось, что про django-sphinx мы таки имеем что рассказать и наш рассказ тянет на отдельный пост. Собственно, вот он, как и обещали.
На сегодняшний день, существует несколько хороших решений для организации поиска в Django. Несколько — это два: Haystack и django-sphinx. Haystack работает с бэкендами-движками solr, whoosh и хapian и, увы, не работает со Sphinx`ом по каким-то абстрактным лицензионным причинам. django-sphinx же, как можно догадаться, работает со Sphinx`ом и только. Haystack это качественный, хорошо документированный и активно развиваемый продукт и мы, вне всяких сомнений, использовали бы именно его, если бы он хоть в какой-нибудь форме поддерживал Sphinx. Но этого, увы, пока не произошло. А Sphinx — наше всё, благодаря его скорости, гибкости и, что очень важно в наших географических широтах, способности учитывать особенности русской морфологии, чего не скажешь о его ближайших конкурентах. «Большие, но по 5… или маленькие, но по 3?» ©
Sphinx → Sphinx: увеличиваем максимальный размер MVA из песочницы
Добрый день всем.
Недавно столкнулся с интересной проблемой, связанной с апдейтом MVA (multi value attributes).
Начальные условия:
В рамках поставленной задачи мне нужно было реализовать on-a-fly апдейты mva аттрибутов. С начала всё показалось достаточно просто – берём функцию UpdateAttributes() из php-шной API и пишем нужные апдейты. Написал нужную обёртку, стал тестить – все отлично работает. Даже как то не поверилось что так быстро получилось – значит где то есть подвох. Начал тестить, так сказать, с фанатизмом – и подвох всплыл практически сразу.
Недавно столкнулся с интересной проблемой, связанной с апдейтом MVA (multi value attributes).
Начальные условия:
- sphinx-1.10-beta
- sphinx php api
В рамках поставленной задачи мне нужно было реализовать on-a-fly апдейты mva аттрибутов. С начала всё показалось достаточно просто – берём функцию UpdateAttributes() из php-шной API и пишем нужные апдейты. Написал нужную обёртку, стал тестить – все отлично работает. Даже как то не поверилось что так быстро получилось – значит где то есть подвох. Начал тестить, так сказать, с фанатизмом – и подвох всплыл практически сразу.
Sphinx → Вышел 2.0.2, скоро слет пользователей и 2.0.3
Мы тут дотестировали, собрали бинарные пакеты и выложили версию Sphinx 2.0.2-beta (это такой опен-сорсный поисковой сервер, использующийся на куче вебсайтов), запланировали на середину декабря (революционное изменение!) к выпуску Sphinx 2.0.3-release, а также усердно готовимся к (бесплатному) слету пользователей Сфинкса 04 декабря в Санкт-Петербурге. Зарегистрироваться на слет нужно по ссылке чуть выше, подать крутой доклад через нашу контактную форму, а ряд подробностей про те ~30 новых фичей и планы/сроки по ближайшим релизам и их циклу можно прочитать под катом.
Блог компании ДубльГИС (2ГИС) → Open Source-расширения для yii от команд 2ГИС
В прошлый раз мы рассказали о слоистой архитектуре во фреймворке yii, а сейчас хотим поделиться кодом. В своей работе мы активно используем open source-решения и поэтому решили поделиться собственными разработками, которые могут быть полезны сообществу. Сегодня это расширения для, наверное, лучшего в мире PHP-фреймворка yii:
- DGSphinxSearch
- AMQP(RabbitMQ)
- MQLogRouter
- DGPinbaLogRoute
- DGApiClient
Персональные блоги → Встреча пользователей Sphinx search '11
Учитывая количество народа пришедшего на прошлогоднюю сфинксоводческую конференцию в Москве, командование Sphinx'а приняло решение о проведении второй, теперь уже ежегодной, встречи пользователей Sphinx search. В этот раз вся команда Сфинкса соберется в Питере, чтобы в воскресенье четвертого декабря встретиться с теми, кто придет по адресу Московский проспект д. 143 к 11-ти утра в конференц-зал Ленгипротранса.
Зачем приходить?
Прежде всего для того, чтобы послушать как shodan (основатель, главный разработчик и идеолог поисковой системы Sphinx) будет рассказывать про свое детище так, как он один это умеет. Уже одно его выступление мне кажется достаточным поводом для того, чтобы доехать до метро «Электросила» в воскресный день, а оно там будет не одно. Парни из avito.ru будут рассказывать о том, как жить с высокими нагрузками, наши товарищи из Ivinco поделятся про свой опыт использования Sphinx в их работе.
Зачем приходить?
Прежде всего для того, чтобы послушать как shodan (основатель, главный разработчик и идеолог поисковой системы Sphinx) будет рассказывать про свое детище так, как он один это умеет. Уже одно его выступление мне кажется достаточным поводом для того, чтобы доехать до метро «Электросила» в воскресный день, а оно там будет не одно. Парни из avito.ru будут рассказывать о том, как жить с высокими нагрузками, наши товарищи из Ivinco поделятся про свой опыт использования Sphinx в их работе.
Sphinx → Поиск по PDF, DOC, DOCX файлам с помощью Sphinx и PHP из песочницы
Доброе время суток.
Хочу поделиться своим опытом написания скрипта на PHP для поиска по файлам форматов PDF, DOC и DOCX, используя Sphinx. Все ниже изложенное написано для людей, которые уже имели опыт работы с связкой Sphinx и PHP. Если нет, то в свое время мне очень помогла статья Мартина Стрейчера «Создание собственной поисковой системы с помощью PHP», опубликованная на сайте IBM.
Совсем недавно на одном из проектов, который является веб-интерфейсом для базы пользователей, я получил задание организовать поиск по документам. Проект был написан до меня и уже использовал Sphinx.
Задача вроде тривиальная, но погуглив немного, я не смог найти внятную инструкцию с конкретным примером поиска по файлам форматов PDF, DOC и DOCX, что и стало причиной написания этой статьи.
Хочу поделиться своим опытом написания скрипта на PHP для поиска по файлам форматов PDF, DOC и DOCX, используя Sphinx. Все ниже изложенное написано для людей, которые уже имели опыт работы с связкой Sphinx и PHP. Если нет, то в свое время мне очень помогла статья Мартина Стрейчера «Создание собственной поисковой системы с помощью PHP», опубликованная на сайте IBM.
Совсем недавно на одном из проектов, который является веб-интерфейсом для базы пользователей, я получил задание организовать поиск по документам. Проект был написан до меня и уже использовал Sphinx.
Задача вроде тривиальная, но погуглив немного, я не смог найти внятную инструкцию с конкретным примером поиска по файлам форматов PDF, DOC и DOCX, что и стало причиной написания этой статьи.
Электронное правительство → Новинки на сайте Государственной Думы: выступления депутатов стали доступнее
Обновленный поиск в информационных системах, мобильные версии сайтов и поддержка «Маши» — утилиты для выделения фрагментов текста, недавно внедренной на kremlin.ru.
В январе этого года был запущена новая версия сайта Государственной Думы, в которую вошло огромное количество изменений и улучшений. Не далее как вчера он возглавил независимый рейтинг государственных сайтов, подготовленный активистами «Пиратской партии России», что не может не радовать.
Этот пост является началом серии статей, освещающих нововведения на сайте Госдумы, результаты совместных усилий Аппарата Государственной Думы и Интаро Софт.
В январе этого года был запущена новая версия сайта Государственной Думы, в которую вошло огромное количество изменений и улучшений. Не далее как вчера он возглавил независимый рейтинг государственных сайтов, подготовленный активистами «Пиратской партии России», что не может не радовать.
Этот пост является началом серии статей, освещающих нововведения на сайте Госдумы, результаты совместных усилий Аппарата Государственной Думы и Интаро Софт.
NoSQL → 16 практических советов по работе с CouchDB
Где-то год назад при разработке нашего проекта мы дошли до некой точки развития, когда или начинается кропотливая настройка и оптимизация MySQL-сервера, или начинается опять же кропотливое изучение запросов, которые идут в БД. Так получилось, что именно тогда был бум статей про MongoDB, CouchDB и прочие NoSQL базы данных и соблазн попробовать их на живом проекте был крайне велик.
При выборе главную роль сыграла фраза «CouchDB предназначен именно для веба», а также то, что для доступа не требовались никакие прослойки — доступ осуществляется по любимому мной REST, а API выглядит очень простым и изящным. Вдобавок к этому CouchDB имеет крайне удобный веб-интерфейс для администрирования Futon, чего на тот момент не было у MongoDB, а также железную устойчивость к падениям.
Забегая вперед скажу, что выбор полностью себя оправдал — мы избавились от огромного количества проблем при разработке и проектировании БД, код проекта сильно упростился и стал гораздо лучше структурирован, но самое главное — тот самый поворот в сознании, который нам дал CouchDB. За это время я лично набил множество шишек при разработке и хотел бы поделиться опытом с Хабрасообществом. Эти советы не для начинающих — это советы по использованию CouchDB на живом production.
При выборе главную роль сыграла фраза «CouchDB предназначен именно для веба», а также то, что для доступа не требовались никакие прослойки — доступ осуществляется по любимому мной REST, а API выглядит очень простым и изящным. Вдобавок к этому CouchDB имеет крайне удобный веб-интерфейс для администрирования Futon, чего на тот момент не было у MongoDB, а также железную устойчивость к падениям.
Забегая вперед скажу, что выбор полностью себя оправдал — мы избавились от огромного количества проблем при разработке и проектировании БД, код проекта сильно упростился и стал гораздо лучше структурирован, но самое главное — тот самый поворот в сознании, который нам дал CouchDB. За это время я лично набил множество шишек при разработке и хотел бы поделиться опытом с Хабрасообществом. Эти советы не для начинающих — это советы по использованию CouchDB на живом production.
Sphinx → мастер-класс в Киеве, 18 июня (сб)
В следующую субботу, 18го июня, буду проводить в Киеве мастер-класс про Сфинкс, аналогичный проведенному на недавнем Devconf. Осталась неделя, самое время зарегистрироваться. Под катом пара-тройка ответов на стандартные вопросы.
Sphinx → Новости 2.0.1-beta

Как здесь уже заметили, недавно вышел Sphinx 2.0.1. Релиз случался в легкой спешке, тк. «совершенно неожиданно» (примерно как сессия или Новый год) еще вдобавок вышла книжка для начинающих, описывающая как раз новую версию. Книга «про транк» это таки слишком эксцентрично, поэтому пришлось оперативно публиковать версию. Хорошо, что мы месяц-другой именно к релизу и готовились: чинили баги, не сильно ломали фичи. В заметке расскажу про всякие нововведения в свежей версии 2.0.1 и планы на следующую версию, см. подкат.