Linux Forum — Объединение команд и обработка выходных данных в shell

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Vascom) — Tue, 18 Apr 2017 06:23:21 +0000

DiabloPC пишет:

Olej пишет:
touch `uname -r`
Olej пишет:
xxx 2>home.txt
$ xxx 2>&1 >home.txt
Закинул наверх

На самом деле для отправки stdout и stderr в файл достаточно

Консоль:

$ xxx &>home.txt

Re: Объединение команд и обработка выходных данных в shell

null@example.com (DiabloPC) — Sat, 18 Mar 2017 16:28:42 +0000

Olej пишет:

touch `uname -r`

Olej пишет:

xxx 2>home.txt
$ xxx 2>&1 >home.txt

Закинул наверх

Re: Объединение команд и обработка выходных данных в shell

null@example.com (i2ks) — Wed, 15 Mar 2017 12:17:47 +0000

Olej пишет:

В теримнологии shell & UNIX такие вещи как process (программа, утилита, ...) и job - это принципиально разные вещи.

Да это и так понятно, одно следует из другого. это я про процессы и задания.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 12:05:33 +0000

i2ks пишет:

я к тому, то что можно посмотреть как там это реализованно.

Зачем? (посмотреть)
Мне, как и всякому, кто минимально знает программирование C, POSIX API, fork() и т.д. - это и так абсолютно прозрачно.
А тем, кто не знает C-программирование и POSIX ... остаётся только поверить на слово.

GNU parallel is a shell tool for executing jobs in parallel using one or more computers.

В теримнологии shell & UNIX такие вещи как process (программа, утилита, ...) и job - это принципиально разные вещи.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (i2ks) — Wed, 15 Mar 2017 11:49:40 +0000

Olej пишет:

Да нет - это совершенно о другом:

я к тому, то что можно посмотреть как там это реализованно.
Там же все на перле на скольо я вижу.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 11:36:09 +0000

i2ks пишет:

DiabloPC пишет:
Вот, придумал как сделать более наглядный пример параллельности:
http://www.gnu.org/software/parallel/ наглядней не бывает :-)

Да нет - это совершенно о другом:

GNU parallel is a shell tool for executing jobs in parallel ...

Это об отдельной частной утилите, никакого отношения к обсуждаемой теме не имеющей.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (i2ks) — Wed, 15 Mar 2017 11:00:33 +0000

DiabloPC пишет:

Вот, придумал как сделать более наглядный пример параллельности:

http://www.gnu.org/software/parallel/ наглядней не бывает :-)

Re: Объединение команд и обработка выходных данных в shell

null@example.com (DiabloPC) — Wed, 15 Mar 2017 09:41:40 +0000

Olej пишет:

Пример, по-моему, как-раз был хорош.

Неособо.... Там, если вдуматься в логику работы получается немного не то...

Консоль:

echo $i | grep -E [0-9] && sleep1

Здесь получается pipe, затем, после успешного выполнения одного прохода, он завершается и выполняется sleep, а затем создается новый конвеер....
...по идее так....
*** Добавлено: 15th Mar 2017 11:35:37 am ***

Olej пишет:

непонятно что писать в контекст поиска

вотЬ вотЬ, собственно из-за этого у меня минут 20 и занял поиск того что в шапке
*** Добавлено: 15th Mar 2017 11:41:40 am ***

Olej пишет:

Как легко видеть, это скопировано из выполняющихся терминалов ... а не пересказано от большого ума.

Вот, придумал как сделать более наглядный пример параллельности в цикле:

Консоль:

for i in 1 2 3 4 5; do $(echo echo $i; sleep 1) | grep -E [0-9]; done

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 09:27:45 +0000

DiabloPC пишет:

Походу прийдется =)

Зачем же вы удалили приводимый вами пример?
Пример, по-моему, как-раз был хорош.

P.S. Как-раз синтаксис командной строки shell/bash стоило бы упорядочить и свести в краткую внятную справку, потому что это вещь хуже всего описанная по учебникам, и по которой трудно найти справку в поисковиках ... потому что непонятно что писать в контекст поиска.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (DiabloPC) — Wed, 15 Mar 2017 09:09:06 +0000

Olej пишет:

Учи матчасть!

Походу прийдется =)

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 08:28:42 +0000

DiabloPC пишет:

В конвеере они выполняются последавательно, передавая STDOUT, на STDIN следующей програмы.

Ну как же так?
Вы таки сами себе так сильно противоречите (как сказали бы в Одессе):
- если бы процессы выполнялись последовательно...
- то при выполнении предыдущей - ещё нет никакого STDIN последующей ... некуда ничего передавать...
- а после завершения предыдущей - уже нет никакого STDOUT, он уже закрыт и ликвидирован ... откуда передавать.

Конвейеры в коде реализуются через POSIX API pipe, который может работать только между родственными параллельными процессами.
*** Добавлено: 15.03.2017 11:21:03 ***

DiabloPC пишет:

Olej,

Учи матчасть!

*** Добавлено: 15.03.2017 11:23:16 ***

DiabloPC пишет:

В конвеере они выполняются последавательно, передавая STDOUT, на STDIN следующей програмы.

А та глупость, которую вы имеете в виду, записывалась бы так:

Консоль:

$ prog1 >xxx ; prog2

DiabloPC пишет:

+ вот довольно наглядно показано выполнение конвеера. И где же здесь параллельность?

Консоль:

[olej@dell 14]$ cat | tee x | tee y
...

Консоль:

[olej@dell own_LSD2_12]$ ps -A | tail -n30
...
10150 pts/2 00:00:00 cat
10151 pts/2 00:00:00 tee
10152 pts/2 00:00:00 tee
10189 pts/11 00:00:00 ps
10190 pts/11 00:00:00 tail
...

Как легко видеть, это скопировано из выполняющихся терминалов ... а не пересказано от большого ума.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (DiabloPC) — Wed, 15 Mar 2017 08:18:33 +0000

Olej,

+ вот довольно наглядно показано выполнение конвеера. И где же здесь параллельность?

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 08:13:40 +0000

DiabloPC пишет:

Как они могут выполняться параллельно

Вот так

DiabloPC пишет:

если каждая последующая команда ждет результатов работы первой?

Никто никого не ждёт.

Re: Объединение команд и обработка выходных данных в shell

null@example.com (DiabloPC) — Wed, 15 Mar 2017 08:12:16 +0000

Olej пишет:

В конвейере программы выполняются параллельно.

Как они могут выполняться параллельно если каждая последующая команда ждет результатов работы предыдущей?

Re: Объединение команд и обработка выходных данных в shell

null@example.com (Olej) — Wed, 15 Mar 2017 08:11:04 +0000

DiabloPC пишет:

В конвеере они выполняются последавательно,

В конвейере программы выполняются параллельно.