Хабрахабр / Комментарии к посту «Организация уникальных процессов — scriptAlone спешит на помощь» в блоге «PHP»

10.02.2010 10:00:02 Novikov

Novikov — Wed, 10 Feb 2010 10:00:02 GMT

Не допер сразу :)

10.02.2010 09:57:27 liaren

liaren — Wed, 10 Feb 2010 09:57:27 GMT

В scriptAlone так и сделано :)

10.02.2010 07:31:38 Novikov

Novikov — Wed, 10 Feb 2010 07:31:38 GMT

Бывают сочетания шаред-хостингов и владельцев, при которых чудесным образом не получается записать сигнальный файл. Сам бы не подумал, если бы не бета-тестирование. Вариант с файлом работает гораздо быстрее, но БД — у всех (без БД не бывает блогов на «Вордпрессе»).

Чтобы не страдала БД, я скрипт заставил работать небольшими кусочками.

Была мысль получать значение таймлимита, затем определять, сколько уже прошло времени и, исходя из этого, брать размер задачи (проверка идет в то время, которое остается от таймлимита после окончания формирования основной части страницы блога для пользователя).

10.02.2010 06:05:19 liaren

liaren — Wed, 10 Feb 2010 06:05:19 GMT

Неплохо!

Но странно, что это за shared-хостинг такой, который прав на запись не даёт. Даже не знал, что такие бывают.

Перезапуск каждые 5-10 часов сделать несложно — при каждой итерации проверять, сколько натикало, да завершать скрипт. Но, поскольку они и так по таймлимиту завершались, то такой необходимости тоже не было.

На самом деле, лучше чтобы скрипт завершался в перерывах между итерациями, а не когда у него time_limit закончится. А то представьте если у вас не транзакционная БД и скрипт остановится в промежутке между выполнением двух запросов (UPDATE / INSERT) одного сценария. Целостность БД может пострадать и сайт перестанет работать.

10.02.2010 05:59:09 liaren

liaren — Wed, 10 Feb 2010 05:59:09 GMT

Слушайте, что вам от меня надо? :)

Я действительно только вчера узнал, что VDS и VPS это разные вещи. Думал, что VPS это virtual shared хостинг.

В конце концов VDS — virtual dedicated server — дэдик по нашему. А VPS я думал — противоположное ему т.к. нафига одно и то же двумя разными словами называть?))

10.02.2010 01:37:06 xtender

xtender — Wed, 10 Feb 2010 01:37:06 GMT

«библиотеку» вашу смотрят, и врядли хоть кто-нибудь будет ее использовать.--

10.02.2010 01:36:39 xtender

xtender — Wed, 10 Feb 2010 01:36:39 GMT

В общем вы так некрасиво признаете свою неправоту. С вами все ясно.

09.02.2010 20:35:19 liaren

liaren — Tue, 09 Feb 2010 20:35:19 GMT

habrahabr.ru/blogs/php/83506/#comment_2493086

09.02.2010 20:34:38 liaren

liaren — Tue, 09 Feb 2010 20:34:38 GMT

И правда)))

Я то думал, что VPS это сокращённое название virtual-shared хостинга! Ну, теперь увы комменты не подправить… так что просто учитывайте где я писал про VPS имелось в виду shared virtual хостинг.

Спасибо за поправку!

09.02.2010 20:16:40 bobermaniac

bobermaniac — Tue, 09 Feb 2010 20:16:40 GMT

Ммм… я посмотрел в википедии определение VPS и выяснил:

Каждый VPS имеет собственную копию системы, с правами доступа уровня root (UID: 0) для Unix или Administrator для Windows, что позволяет производить компиляцию, установку собственного программного обеспечения с изменённой конфигурацией.

09.02.2010 19:23:42 Novikov

Novikov — Tue, 09 Feb 2010 19:23:42 GMT

Принудительную остановку можно, кстати, сделать через создание стоп-сигнального файла :)

09.02.2010 19:22:18 Novikov

Novikov — Tue, 09 Feb 2010 19:22:18 GMT

У меня, кстати, в разработке еще решение смешанное было, чтобы параллельно запущенные копии скрипта проверяли разные куски БД.

09.02.2010 19:21:00 Novikov

Novikov — Tue, 09 Feb 2010 19:21:00 GMT

Да, у меня не был учтен перезапуск скрипта, там по таймлимиту все завершалось.

Перезапуск каждые 5-10 часов сделать несложно — при каждой итерации проверять, сколько натикало, да завершать скрипт. Но, поскольку они и так по таймлимиту завершались, то такой необходимости тоже не было.

Принудительно остановить — да, не делал такого, тоже не было необходимости.

Из требований к моему скрипту: работа на шаред-хостингах, где не всегда есть права на запись (разные хостинги, разные юзеры), но есть мускуль (вордпрессовский плагин писал), а еще есть таймлимит.

Это версия плагина Parasie Eliminator, которую я сейчас переписываю. Та надо проверять базу каментов по базе спамерских урлов и сигнатур. Базы того и другого могут быть большими весьма, а хостинги — шареды. Вот базу надо проверять по кускам, при этом не допустить перерасхода ресурсов шареда.

Для этого и делал свой костыль :)

09.02.2010 19:19:06 xtender

xtender — Tue, 09 Feb 2010 19:19:06 GMT

И кстати на VPS это получится.

09.02.2010 19:11:13 xtender

xtender — Tue, 09 Feb 2010 19:11:13 GMT

Прочитайте, например, это habrahabr.ru/blogs/php/40432/
Затем, если вы все также упорны в своем желании дайте мне VPS, где я якобы могу плодить демоны и не могу их убивать и я напишу. И заодно напишите, чем отблагодарите кроме очередных малодушных претенциозных минусов.

09.02.2010 18:36:52 liaren

liaren — Tue, 09 Feb 2010 18:36:52 GMT

Но у вас я так понял не учитывались следующие моменты:

Если скрипт подвисает на выполнении одной из итераций, то он должен быть перезапущен как можно скорее.

Скрипт должен перезапускаться каждые 5-10 часов, чтобы предотвратить возможные утечки памяти. Остановка скрипта в этом случае должна производиться безопасным образом (когда задачи текущей итерации выполнены).

Необходимо наличие возможности принудительно остановить выполнение скрипта.

09.02.2010 18:27:40 Novikov

Novikov — Tue, 09 Feb 2010 18:27:40 GMT

А, да, забыл, я потом модифицировал этот способ для хостингов, на которых почему-то не удавалось создать файл (права какие-то и т.п.) — в базу данных записывал временную метку запуска скрипта.

09.02.2010 18:25:50 Novikov

Novikov — Tue, 09 Feb 2010 18:25:50 GMT

Я не программист, поэтому когда мне надо было решить аналогичную задачу, при помощи функции touch() создавал сигнальный файл, наличие которого служило индикатором того, что процесс был запущен.

Кроме того, у файла появлялись дата и время создания. И можно было видеть, что если файл существует дольше, чем таймлимит, то скрипт вылетел (при правильной работе в конце скрипта сигнальный файл удалялся).

09.02.2010 17:04:59 liaren

liaren — Tue, 09 Feb 2010 17:04:59 GMT

Читайте habrahabr.ru/blogs/php/83506/#comment_2491031'>этот коммент и не дурите голову.

Возможно не я один тут с вами не согласен.

Меня вообще честно говоря больше интересует статистика скачиваний библиотеки, чем ваши комментарии. Для меня эта статистика более показательный фактор того, что библиотека вполне адекватна.

09.02.2010 17:02:46 liaren

liaren — Tue, 09 Feb 2010 17:02:46 GMT

1) У меня на каждой итерации ставится лимит на процесс через set_time_limit равный максимальному лимиту отведённому на одну итерацию. Вы даже не разобрались как scriptAlone работает.

2) От хостинг-провайдера, и соотношения между VDS/Colocation аккаунтами и VPS.

3) Ага, а сам вызов kill вы каким местом будете делать, когда у вас даже на это прав нету?

4) Лично мне они не мешают, я по крайней мере могу хранить их в тех папках, на которые у меня права записи есть

09.02.2010 17:00:10 xtender

xtender — Tue, 09 Feb 2010 17:00:10 GMT

Ого, и за минус в карму отдельное спасибо… Ну что ж… от добра добра не ищут…

09.02.2010 16:59:06 liaren

liaren — Tue, 09 Feb 2010 16:59:06 GMT

Послушайте, я понимаю, что вам близки админские темы и хотели бы иметь подобное решение реализованное в другом виде. Но в другом виде нет и не будет, просто этот топик не для вас.

Я не хуже вашего понимаю и могу реализовать эту библиотеку на .pid & pcntl, но я не хочу этого делать, мне это не надо, это не даёт ничего кроме как дополнительного ограничение на использование её только под теми серверами, под которыми у меня есть root-доступ.

Вам хочется на .pid & pcntl всё переписать — перепишите :)
А вас потом попросят на VPS-хостинге что-нибудь аналогичное сделать и вы поднимете этот топик и скачаете scriptAlone))))

09.02.2010 16:57:58 xtender

xtender — Tue, 09 Feb 2010 16:57:58 GMT

1) «если демон подвис» он у вас бесконечно будет висеть, до тех пор пока rlimit'ы не превысит, если они установлены.
2) откуда такая замечательная статистика про 95%?
3) откуда такая уверенность, что нужны права root'а для kill'a? «Я тебя породил», значит я тебя могу и убить.
4) да хотя бы свои замечательные .works убрали бы.

09.02.2010 16:51:22 liaren

liaren — Tue, 09 Feb 2010 16:51:22 GMT

Принудительно в процессе выполнения нельзя ничего стопить.

И да, если демон подвис, тогда ждать когда он превысит лимиты времени на каждую итерацию, что в контексте «примера» — всего 16 секунд.

И если я реализовал бы всё на .pid файлах, то 95% разработчиков просто не смогли бы её использовать т.к. статистически root-доступом в наше время располагает крайне маленький процент.

09.02.2010 16:47:00 xtender

xtender — Tue, 09 Feb 2010 16:47:00 GMT

Кстати, спасибо за вознаграждение в виде минусов за информацию.

09.02.2010 16:45:49 xtender

xtender — Tue, 09 Feb 2010 16:45:49 GMT

Эхъ… оказывается все демоны грабли…

09.02.2010 16:44:21 xtender

xtender — Tue, 09 Feb 2010 16:44:21 GMT

Кстати, в windows есть kill. И под вашу задачу перезапуска скрипта обычно используют kill -HUP. И как же интересно вы будете принудительно стопить зависший демон без килла? Ждать когда лимиты ваш демон превысит?
Более того, даже бог с ним, оставляйте свой «стоп файл», но теперь-то прочитав про pid-файлы, уберите свои убогие .works файлы, и используйте нормальные pid-файлы. Информация в них все равно лишняя — время запуска скрипта определяется по дате создания pid-файла.

09.02.2010 16:33:08 liaren

liaren — Tue, 09 Feb 2010 16:33:08 GMT

Вы комментарии читали? Я уже много раз ответил на все такие вопросы.

Всё я понимаю. Вы мне что предлагаете экстеншены использовать, системные вызовы на уровне ОС? А представьте, что у меня нет такой возможности. Что у меня VPS хостинг и прав нет на такие выкрунтасы.

Вы напишите альтренативный вариант на pcntl и выложите, посмотрим какой процент людей его использовать возьмётся, когда у них прав доступа не хватит, даже чтобы example вашей библиотеки запустить.

09.02.2010 16:27:04 liaren

liaren — Tue, 09 Feb 2010 16:27:04 GMT

Да знаю я всё это, вот только что вы то не поймёте, что не актуально мне решение работающее только на серверах где root-доступ есть.

Не нужны мне .pid-файлы и pcntl т.к. не собираюсь я позволять прочим (не-php) процессам мои псевдо-демоны стопорить.

Ну короче не пристало мне грабли вместо расчёски использовать.

09.02.2010 16:26:14 xtender

xtender — Tue, 09 Feb 2010 16:26:14 GMT

А под виндовс кстати может хоть 10 процессов одной и той же программы быть запущено и у каждой будет свой pid

Угу, а под *nix'ами? У всех один? :D
Ну, ей-богу… Окститесь и почитайте… Каждый программер, имхо, хоть раз в жизни, да писал демоны, и вам тоже нужно пройти этот этап. Не воспринимайте все в штыки, просто поизучайте…

09.02.2010 16:21:25 liaren

liaren — Tue, 09 Feb 2010 16:21:25 GMT

Ребята из википедии с вами не согласны, читайте ещё раз, только внимательней: en.wikipedia.org/wiki/Process_identifier

pid есть просто идентификация процесса, ассоциативная связь между его названием и уникальным идентификатором под которым он в данный момент в системе запущен — понимаете?

Вы зациклены на линухе и всё прочем. А что если сервер под виндовс? А под виндовс кстати может хоть 10 процессов одной и той же программы быть запущено и у каждой будет свой pid.

В общем не надо понятия каверкать.
Класс написан в первую очередь как универсальное решения. Если бы это было что-то кастомное, заточенное под unix*, под разработчиков с опытом администрирования и root-правами, то это было бы уже совсем другая статья и возможно статья нафиг никому не нужная!

09.02.2010 16:21:00 chetzof

chetzof — Tue, 09 Feb 2010 16:21:00 GMT

По моему вы не совсем понимаете тему о которой пишете, вам люди объясняют что вы изобрели пятиколёсный велосипед, а вы упираетесь. Почитайте www.php.net/manual/en/refs.fileprocess.process.php, тут ведь сами разработчик, за вас, позаботились об этом…

09.02.2010 16:17:44 xtender

xtender — Tue, 09 Feb 2010 16:17:44 GMT

А если… А если… А если под виндой, то лучше уж сервисы использовать.

09.02.2010 16:12:15 xtender

xtender — Tue, 09 Feb 2010 16:12:15 GMT

Я удивляюсь… Вы таки удосужились хоть немножко прочитать что такое pid-file? Я вообще-то как раз и советую пользоваться pid-файлами! По-поводу именования же pid-файлов, вам стоит узнать как запускают по два и более экземпляров демонов. Вообще погуглите на слово daemonize.

09.02.2010 16:12:03 liaren

liaren — Tue, 09 Feb 2010 16:12:03 GMT

Ага, а если сервер под виндой, то что делать?
А если у php прав нет на обработку этих сигналов?

Ну вы напишите класс, который будет через pcntl работать и сравним какому проценту пользователей хабра хватит прав его хотя бы запустить на своих проектах.

09.02.2010 16:06:55 liaren

liaren — Tue, 09 Feb 2010 16:06:55 GMT

…

см. текст Примера в статье:

PID: 12656471471193231407
Started: 2010-02-08 19:39:07
Worked: 2010-02-08 19:39:10
Expire: 2010-02-08 19:39:26

И кстати, в /var/run сервера имена .pid файлов тоже не случайный хеш, а название процесса. Так вы уже и на линукс-разработчиков наезжаете, что они .pid файлы так соответственно называют?

09.02.2010 16:06:37 xtender

xtender — Tue, 09 Feb 2010 16:06:37 GMT

И блокирующий файл <кодовое имя>.pid, означает блокировку запуска дубликата!

09.02.2010 16:05:13 liaren

liaren — Tue, 09 Feb 2010 16:05:13 GMT

А если один скрипт с разными параметрами, то генерируйте соответствующие уникальные имена state-файлов, это в общем совсем не сложно.

А насчёт «идентификации процесса по имени скрипта» какие притензии? У моих процессов есть PID, см.

09.02.2010 16:05:12 xtender

xtender — Tue, 09 Feb 2010 16:05:12 GMT

Слать сигналы это правильное и стандартное решение.
ru.php.net/manual/en/function.posix-kill.php

09.02.2010 16:01:06 liaren

liaren — Tue, 09 Feb 2010 16:01:06 GMT

Эта ветка комментариев началась с предложения Teapot по поводу: «Обычно для каждого запущенного процесса делают блокирующий файл <кодовое имя>.pid» вот как раз несвязном словосочетании «блокирующий файл <кодовое имя>.pid» я все это время и писал.

А вы о чём?

И насчёт слать сигналы я вам уже объяснил, что это не универсальное решение т.к. актуально только на серверах к которым есть root-доступ.