Linux Forum — Объединение команд и обработка выходных данных в shell

Re: Объединение команд и обработка выходных данных в shell

2017-04-18T06:23:21Z

DiabloPC пишет:

Olej пишет:
touch `uname -r`
Olej пишет:
xxx 2>home.txt
$ xxx 2>&1 >home.txt
Закинул наверх

На самом деле для отправки stdout и stderr в файл достаточно

Консоль:

$ xxx &>home.txt

Re: Объединение команд и обработка выходных данных в shell

2017-03-18T16:28:42Z

Olej пишет:

touch `uname -r`

Olej пишет:

xxx 2>home.txt
$ xxx 2>&1 >home.txt

Закинул наверх

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T12:17:47Z

Olej пишет:

В теримнологии shell & UNIX такие вещи как process (программа, утилита, ...) и job - это принципиально разные вещи.

Да это и так понятно, одно следует из другого. это я про процессы и задания.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T12:05:33Z

i2ks пишет:

я к тому, то что можно посмотреть как там это реализованно.

Зачем? (посмотреть)
Мне, как и всякому, кто минимально знает программирование C, POSIX API, fork() и т.д. - это и так абсолютно прозрачно.
А тем, кто не знает C-программирование и POSIX ... остаётся только поверить на слово.

GNU parallel is a shell tool for executing jobs in parallel using one or more computers.

В теримнологии shell & UNIX такие вещи как process (программа, утилита, ...) и job - это принципиально разные вещи.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T11:49:40Z

Olej пишет:

Да нет - это совершенно о другом:

я к тому, то что можно посмотреть как там это реализованно.
Там же все на перле на скольо я вижу.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T11:36:09Z

i2ks пишет:

DiabloPC пишет:
Вот, придумал как сделать более наглядный пример параллельности:
http://www.gnu.org/software/parallel/ наглядней не бывает :-)

Да нет - это совершенно о другом:

GNU parallel is a shell tool for executing jobs in parallel ...

Это об отдельной частной утилите, никакого отношения к обсуждаемой теме не имеющей.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T11:00:33Z

DiabloPC пишет:

Вот, придумал как сделать более наглядный пример параллельности:

http://www.gnu.org/software/parallel/ наглядней не бывает :-)

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T09:41:40Z

Olej пишет:

Пример, по-моему, как-раз был хорош.

Неособо.... Там, если вдуматься в логику работы получается немного не то...

Консоль:

echo $i | grep -E [0-9] && sleep1

Здесь получается pipe, затем, после успешного выполнения одного прохода, он завершается и выполняется sleep, а затем создается новый конвеер....
...по идее так....
*** Добавлено: 15th Mar 2017 11:35:37 am ***

Olej пишет:

непонятно что писать в контекст поиска

вотЬ вотЬ, собственно из-за этого у меня минут 20 и занял поиск того что в шапке
*** Добавлено: 15th Mar 2017 11:41:40 am ***

Olej пишет:

Как легко видеть, это скопировано из выполняющихся терминалов ... а не пересказано от большого ума.

Вот, придумал как сделать более наглядный пример параллельности в цикле:

Консоль:

for i in 1 2 3 4 5; do $(echo echo $i; sleep 1) | grep -E [0-9]; done

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T09:27:45Z

DiabloPC пишет:

Походу прийдется =)

Зачем же вы удалили приводимый вами пример?
Пример, по-моему, как-раз был хорош.

P.S. Как-раз синтаксис командной строки shell/bash стоило бы упорядочить и свести в краткую внятную справку, потому что это вещь хуже всего описанная по учебникам, и по которой трудно найти справку в поисковиках ... потому что непонятно что писать в контекст поиска.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T09:09:06Z

Olej пишет:

Учи матчасть!

Походу прийдется =)

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T08:28:42Z

DiabloPC пишет:

В конвеере они выполняются последавательно, передавая STDOUT, на STDIN следующей програмы.

Ну как же так?
Вы таки сами себе так сильно противоречите (как сказали бы в Одессе):
- если бы процессы выполнялись последовательно...
- то при выполнении предыдущей - ещё нет никакого STDIN последующей ... некуда ничего передавать...
- а после завершения предыдущей - уже нет никакого STDOUT, он уже закрыт и ликвидирован ... откуда передавать.

Конвейеры в коде реализуются через POSIX API pipe, который может работать только между родственными параллельными процессами.
*** Добавлено: 15.03.2017 11:21:03 ***

DiabloPC пишет:

Olej,

Учи матчасть!

*** Добавлено: 15.03.2017 11:23:16 ***

DiabloPC пишет:

В конвеере они выполняются последавательно, передавая STDOUT, на STDIN следующей програмы.

А та глупость, которую вы имеете в виду, записывалась бы так:

Консоль:

$ prog1 >xxx ; prog2

DiabloPC пишет:

+ вот довольно наглядно показано выполнение конвеера. И где же здесь параллельность?

Консоль:

[olej@dell 14]$ cat | tee x | tee y
...

Консоль:

[olej@dell own_LSD2_12]$ ps -A | tail -n30
...
10150 pts/2 00:00:00 cat
10151 pts/2 00:00:00 tee
10152 pts/2 00:00:00 tee
10189 pts/11 00:00:00 ps
10190 pts/11 00:00:00 tail
...

Как легко видеть, это скопировано из выполняющихся терминалов ... а не пересказано от большого ума.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T08:18:33Z

Olej,

+ вот довольно наглядно показано выполнение конвеера. И где же здесь параллельность?

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T08:13:40Z

DiabloPC пишет:

Как они могут выполняться параллельно

Вот так

DiabloPC пишет:

если каждая последующая команда ждет результатов работы первой?

Никто никого не ждёт.

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T08:12:16Z

Olej пишет:

В конвейере программы выполняются параллельно.

Как они могут выполняться параллельно если каждая последующая команда ждет результатов работы предыдущей?

Re: Объединение команд и обработка выходных данных в shell

2017-03-15T08:11:04Z

DiabloPC пишет:

В конвеере они выполняются последавательно,

В конвейере программы выполняются параллельно.