Программирование
0,0
рейтинг
1 января в 23:55

Разработка → Разработка сайта на платформе Django-nonrel

В этой статье я хочу рассказать о разработке своего проекта — сайта egaxegax.appspot.com.

Поскольку являюсь большим поклонником языка Python, свой сайт я решил создать на популярном фреймворке Django. Чтобы использовать его на бесплатном хостинге appspot.com, адаптировал код для использования NoSQL версии django и платформы Google AppEngine.


Сайт существует уже больше 3 лет с 12-го года. Я использую его как платформу для изучения возможностей django и appengine «вживую». Также интересно изучать статистику по нему в Google Webmasters: поисковые индексы, запросы. Например, для себя я выяснил, что Google индексирует для поиска заголовки title, а не содержимое тегов meta.

Началось все с блога — небольших заметок на программные темы: скрипты, конфиги, примеры использования. Но статьи быстро закончились. А создавать новые в большом объеме не получается. Нужно было что-то большее.

Как-то где-то в Сети я скачал архив файлов с текстами и аккордами песен. Добавил к ним пару десятков своих подборов и решил выложить все на сайт. Всего получилось около 11500 файлов. Вручную столько не загрузить. Для этого я написал скрипт ptext.bat, который преобразует текстовые файлы в дампы для загрузки данных таблиц в GAE DataStore.

Загрузку данных пришлось разделить на несколько этапов из-за ограничений на количество операций записи в сутки в DataStore. В сутки получалось записывать около 700-800 записей (файлов).

После загрузки данных через некоторое время при открытии страницы сайта все чаще стала возникать ошибка 503 Server Error: Over Quota. Поизучав логи на сервере, я выяснил, что главными пользователями моего сайта были googlebot и yandexbot, которые обращаются к страницам с интервалом в 2-3 минуты. Ошибка возникает из-за превышения ограничения количества операций в сутки на чтение из DataStore.

Посмотрев документацию и примеры по appengine, я понял, что совсем не использовал модуль cache (а именно memcache). Каждое открытие страницы вызывало обращение к базе данных через QuerySet. В новой схеме результаты выборок из рекордсетов QuerySet я передаю в списки Dictionary, которые сохраняются в кэш и считываются оттуда при повторном обращении. Это решило проблему с быстрым исчерпанием лимита на чтение.

Позже я добавил раздел Фото и Новости. Разделы оформлены как отдельные приложения (apps). Данные хранятся в таблицах DataStore. Раздел Фото также использует хранилище файлов BlobStore. Все приложения используют кэш при выборке данных.

Сейчас по аналогии с разделом Аккорды я заполняю раздел Книги, куда выкладываю тексты электронных книг. Тексты книг я получаю, распаковывая файлы *.epub с помощью скрипта bconv.py из каталога media/scripts. В отличие от текстов песен они намного больше в объеме и не могут быть целиком отображены на странице. Кроме того, возникла проблема с тем, что книга целиком не может быть добавлена в кэш из-за превышения лимита памяти кэша. Для этого я считываю, помещаю в кэш и отображаю их по главам. Правда до конца проблема не решена. Поскольку сейчас в кэш помещается вся книга по главам целиком, при чтении нескольких книг подряд возникает ошибка превышения лимита на чтение. Выход — в чтении и кэшировании только текущей главы, а не всей книги целиком. Но это пока в проекте.

Кому интересно заходите на страницу проекта в репозитории GitHub django-egaxegax.
Григорий Еремин @egaxegax
карма
14,0
рейтинг 0,0
Программирование
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (6)

  • 0
    Почему просто не использовать webapp2 и ndb?
  • +1
    А зачем вы все зависимости копируете себе в проект? Это какое то ограничение бесплатного appspot?

    Еще у вас много повторяющегося кода. Например, def ZI(s): и def PageList(request, qst, per_page=5): во views каждого из приложений, плюс один и тот же templatetags в каждом приложении.
    • 0
      Да правильно заметили — в проекте все далеко не оптимально настроено. Просто первоначально я скопировал некоторые зависимости в проект, так они там и остались. Да и дублирование функций присутствует. При создании новых приложений (разделов) за основу я брал уже имеющееся guestbook. И часть кода осталась, например templatetags, и скорее всего не используется. В общем берем на заметку.
  • +2
    NoSQL версии django

    Первый раз о такой версии слышу)
    • –2
      Не слышу, а читаю. Я ничего не говорил. Только написал. Наверное, правильнее было бы написать NoSQL + Django или Django-nonrel.
  • 0
    в принципе, на вступлении можно было и закончить, статья ни о чем вообще.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.