Хабрахабр / Комментарии к посту «Потоки данных» в блоге «Linux для всех»

23.03.2009 16:48:25 vcache

vcache — Mon, 23 Mar 2009 16:48:25 GMT

Да, всё так. И кстати, не звененть, а шуршать :)

23.03.2009 00:59:37 tmp0000

tmp0000 — Mon, 23 Mar 2009 00:59:37 GMT

> rm -Rf `find. | grep -e '/.svn$'`

Мда…

Как насчет man find в районе exec?

Просто любопытно: вы программы как устанавливаете? ./configure; make; make install?

22.03.2009 20:57:37 IlVin

IlVin — Sun, 22 Mar 2009 20:57:37 GMT

Будет (собственно я не говорил, что Ваш код в корне не верен), но настоящий юниксоид напишет:
sleep 8h && cat /dev/urandom > /dev/dsp

Так как код:
sleep 8h; cat /dev/urandom > /dev/dsp
при отсутствии /bin/sleep сразу начнет звенеть…

Ваш пример довольно безобидный, но когда начинают писать
cd /dir1/dir2/dir3; rm *
становится страшно…

22.03.2009 19:10:06 andreyu

andreyu — Sun, 22 Mar 2009 19:10:06 GMT

> find. -type d -and -iname '.svn'.

"-and" в данном случае не нужен.

22.03.2009 12:43:38 vcache

vcache — Sun, 22 Mar 2009 12:43:38 GMT

Вы удивитесь, но мой код тоже будет работать.

22.03.2009 08:35:27 vstas

vstas — Sun, 22 Mar 2009 08:35:27 GMT

Большое спасибо за подробный ответ

22.03.2009 01:27:25 madhat

madhat — Sun, 22 Mar 2009 01:27:25 GMT

Что чревато, ясно. Поправлюсь: имелся ввиду xargs без find, где '\n' зачастую — самый безболезненный вариант.

22.03.2009 01:13:41 lost_shadow

lost_shadow — Sun, 22 Mar 2009 01:13:41 GMT

Вы меня опередили на минуту. Ещё замечу, что скобки здесь важны, без них условие -path '*/.svn/*' будет выполнено для файлов внутри директории .svn и в соответствии с правилами оптимизации логических выражений действие -delete уже не будет для них запущено.

22.03.2009 01:00:55 lost_shadow

lost_shadow — Sun, 22 Mar 2009 01:00:55 GMT

find ищет по каким-то условиям и выполняет определённое действие с результатом поиска. Дело в том, что по умолчанию find делает -print, то есть выводит результат на стандартный вывод, разделяя имена переводом строки.
xargs читает со стандартного ввода записи, разделяя, их, среди прочего, и пробелами. Таким образом, если find найдёт файл с именем «раз два», то xargs запустит указанную команду с аргументами «раз» и «два». Нам нужно, чтобы find разделял записи разделителем, который не может присутствовать в именах файлов. Среди ext2/3 таких символов два — это нулевой символ (не имеет печатаемого обозначения) и символ прямого слэша. Прямой слэш, кажется, в некоторых файловых системах может являться частью имени файла, потому нам остаётся только нулевой символ.
Как сказано в мануале в первых строках по find: «you should probably consider using ‘-print0’ instead».
Действие -print0 заставляет find вывести на стандартный вывод результаты, разделяемые нулевым символом, а опция -0 у xargs заставляет в качестве разделителя записей принимать только нулевой символ.

В моём мане (это не сарказм, маны на разных системах бывают очень разные) есть такой пример для этого дела:

find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f

Что касается возможности запуска без xargs — для скриптов я бы посоветовал такую конструкцию:

find -depth \( -type f -a -wholename '*/.svn/*' \) -delete -o \( -type d -a -name '.svn' \) -delete

Для применения вручную, после запуска без -delete и изучения списка:

find -depth -wholename '*/.svn*' -delete

При этом, файлы и директории типа .svnlalala тоже будут уничтожены, если присутствуют.

22.03.2009 00:59:39 madhat

madhat — Sun, 22 Mar 2009 00:59:39 GMT

Обычно пользуюсь find -print0 | xargs -0. А только средствами find… попробуйте

find . -depth $ -path '*/.svn/*' -or -iname '.svn' $ -delete

Хотя поздновато уже, не ручаюсь.

21.03.2009 23:34:01 vstas

vstas — Sat, 21 Mar 2009 23:34:01 GMT

Спасибо за дельный комментарий.
Но если все таки забыть про учебную составляющую и обратить внимание на саму задачу удаления каталогов .svn, то у меня возник вот какой вопрос: как же правильно написать команду?

У меня не получилось удалить каталоги .svn с использованием -delete, так как я создал там вложенные файлы (это часто бывает в реальной жизни в таком каталоге).

find. -type d -and -iname '.svn' -delete
find: cannot delete `./документы/.svn': Каталог не пуст

В конце концов появился вот такой вариант:

find. -type d -and -iname '.svn' -execdir rm -Rf .svn \; 2>/dev/null

Есть ли более оптимальный?

21.03.2009 22:35:08 megadoizer

megadoizer — Sat, 21 Mar 2009 22:35:08 GMT

мощнейшая штука потоки, вот только если в умелых руках… замена ">" на "

21.03.2009 22:04:34 TiGR

TiGR — Sat, 21 Mar 2009 22:04:34 GMT

Угу, этот пример тоже хорош:

rm -Rf `find . | grep -e '/.svn$'`

Такой же убийственный

21.03.2009 21:41:43 Bani

Bani — Sat, 21 Mar 2009 21:41:43 GMT

А по-моему, вполне понятно все написано в книжках. Разобраться совсем недолго… Примеры книг могу привести, если надо.

А так за статью(не считаем ошибки) респект. Немногие сейчас отваживаются их писать)

21.03.2009 21:31:43 lost_shadow

lost_shadow — Sat, 21 Mar 2009 21:31:43 GMT

Символ перевода строки разрешён в большинстве файловых систем для linux, потому, строго говоря, разделение результатов поиска этим символом чревато. Не думаю, что это имеет большое для практики значение (если, конечно, вы не пишите вдруг CGI-скрипты), но второй способ абсолютно корректен и ничем не хуже первого.

21.03.2009 21:01:41 lost_shadow

lost_shadow — Sat, 21 Mar 2009 21:01:41 GMT

У тебя есть такой пример:

find . | grep -e '/.svn$' | xargs rm -Rf

Извини, у меня нет цензурных слов. За такое я отрываю разработчикам руки. Такой код в скриптах — это бомба замедленного действия, она срабатывает редко, но неожиданно и разрушительно. О grep-е после find-а и xargs rm вместо -delete уже говорили, но это можно попытаться оправдать тем, что примеры учебные и искуственные. А вот опасность этого примера оправдать нельзя!

Автор, создай у себя, для эксперимента директорию где-нибудь в темпе:

$ mkdir -p 'документы'/'.svn' 'документы на удаление'/'.svn'

В «документы» положи очень важные и ценные тебе документы. В «документы на удаление» — ерунду. А теперь выполни эту команду и сожалей, что директория «документы» исчезла. Не .svn в этой директории, а «документы» целиком!

Писать так — опасно, учить других писать так — во сто крат опасней! Читать маны перед написанием учебной статьи — напротив, не только неопасно, но и крайне полезно.

21.03.2009 20:39:15 bolk

bolk — Sat, 21 Mar 2009 20:39:15 GMT

(grep 'key' file1 | tee file2 | grep 'subkey') && sort file2

21.03.2009 20:36:38 FilimoniC

FilimoniC — Sat, 21 Mar 2009 20:36:38 GMT

Спасибо, интересно для новичка

21.03.2009 20:30:25 IlVin

IlVin — Sat, 21 Mar 2009 20:30:25 GMT

Спасибо за совет, но, прочитав мануал, я понял эту команду как:

tee [-ai] [file ...]
The tee utility copies standard input to standard output, making a copy
in zero or more files. The output is unbuffered.

cat ./file.txt | grep 'key' | tee ./file2.txt | grep 'subkey' > ./file3.txt

Как ./file2.txt направить не в физический файл, а в пайп, где я еще хочу сделать sort?

21.03.2009 20:23:32 bolk

bolk — Sat, 21 Mar 2009 20:23:32 GMT

man tee

21.03.2009 20:22:52 IlVin

IlVin — Sat, 21 Mar 2009 20:22:52 GMT

Настоящий юниксоид напишет так:

sleep 8h && cat /dev/urandom > /dev/dsp

21.03.2009 20:16:39 IlVin

IlVin — Sat, 21 Mar 2009 20:16:39 GMT

Интересно, а как можно разветвить поток (нужно получить из одного потока два, с которыми потом нужно делать разные манипуляции) «стандартным» способом, а то использую для этого awk, как микроскоп для заколачивания гвоздей…
awk '{ print $0 > поток 1; print $0 > поток 2; }'

21.03.2009 20:15:42 vcache

vcache — Sat, 21 Mar 2009 20:15:42 GMT

Нельзя не вспомнить про будильник настоящего юниксоида:

sleep 8h; cat /dev/urandom > /dev/dsp

21.03.2009 18:47:08 bappoy

bappoy — Sat, 21 Mar 2009 18:47:08 GMT

почему бы вам самостоятельно не разобраться в вопросе (гугл + man xargs к вашим услугам) и не написать статью? а не ждать, пока кто-то разжуёт для вас?

21.03.2009 18:19:57 budda

budda — Sat, 21 Mar 2009 18:19:57 GMT

спасибо за статью, публикуйте и дальше, кому не нужно пусть не читают!
только не забывайте хорошенько все разжевывать :)
вот, например, про xargs узнать бы по подробнее с доходчивыми примерами

21.03.2009 18:05:57 Devgru

Devgru — Sat, 21 Mar 2009 18:05:57 GMT

Я думал я один это заметил :)

21.03.2009 18:01:30 madhat

madhat — Sat, 21 Mar 2009 18:01:30 GMT

Да find-то как раз по назначению. Просто не стоит к нему grep прибивать гвоздями, когда можно find . -type d -and -iname '.svn'.

21.03.2009 17:59:30 mdevils

mdevils — Sat, 21 Mar 2009 17:59:30 GMT

Окей, виноват, согласен :)

21.03.2009 17:55:52 nerezus

nerezus — Sat, 21 Mar 2009 17:55:52 GMT

Обожаю Diablo II =)

21.03.2009 17:52:09 zeroed

zeroed — Sat, 21 Mar 2009 17:52:09 GMT

Вот этот пример:

$ rm exmple.txt >1.txt 2>&1

Исправьте 1.txt на что-нибудь не содержащее 1, т.к. происходит путаница с потоками.

21.03.2009 17:45:53 bappoy

bappoy — Sat, 21 Mar 2009 17:45:53 GMT

неужели нельзя было придумать примеров получше, чем кривое использование find не по назначению? хотя бы «find /path |grep '/.svn'»

21.03.2009 17:44:14 Jekel

Jekel — Sat, 21 Mar 2009 17:44:14 GMT

Лично мне всегда казалось, что примеры должны как _правильно_ использовать приложения, а то, те кто не в теме, увидят find * | grep и будут везде пихать, пока им не откроют глаза на find ./ -name «блабла».
Так что соглашаюсь с предыдущим автором, за find *|grep — надо ругать.

21.03.2009 17:39:02 mdevils

mdevils — Sat, 21 Mar 2009 17:39:02 GMT

Это учебный пример, который полностью решает свою задачу: рассказывает о том, как можно управлять потоками. Дальше я оставляю за читателями право посмотреть man'ы всех описанных команд и глубже изучить вопрос.

21.03.2009 17:37:37 madhat

madhat — Sat, 21 Mar 2009 17:37:37 GMT

Кстати, чтобы не было проблем с xargs и другими спецсимволами, лучше всегда пользоваться xargs -d '\n'. В связке с find ещё есть find -print0 | xargs -0

21.03.2009 17:37:17 bappoy

bappoy — Sat, 21 Mar 2009 17:37:17 GMT

За «find *|grep ...» убить готов.
Автор, не пиши больше такое.

21.03.2009 17:19:39 leoneed

leoneed — Sat, 21 Mar 2009 17:19:39 GMT

Ещё спрашивают «зачем такое постить»…
Столько тонкостей в процессе общественного обсуждения и деления опытом узнаёшь, о которых даже не догадывался.
Аффтар, пиши истчё!!! (простите за эту фразу)

21.03.2009 17:18:52 CAJAX

CAJAX — Sat, 21 Mar 2009 17:18:52 GMT

Спасибо. Помогли разобрать разрозненные и сумбурные знания в моей голове :)

21.03.2009 16:53:35 madhat

madhat — Sat, 21 Mar 2009 16:53:35 GMT

Команда find с параметром * выводит в stdout все вложенные папки и файлы, которые находит в данной папке и во всех вложенных.

Неверно. Это сделает команда find .

Не забываем, что globbing (замена wildcards) происходит в шелле. И * по умолчанию не расширяется на dot entries в текущем каталоге.

21.03.2009 16:24:24 SCohan

SCohan — Sat, 21 Mar 2009 16:24:24 GMT

думаю все будут еще больше недовольны вашей статьей, не смотря на содержания, из-за того что вы не добавили хабркат…

21.03.2009 16:21:46 mdevils

mdevils — Sat, 21 Mar 2009 16:21:46 GMT

Прошу прощения, давно не писал на хабре :)