Linux Forum — Объединить текстовые файлы из большого числа каталогов в один файл|cat

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Mon, 02 Jul 2012 14:51:33 +0000

я не понял. речь об чем шла?
о 100500 файлах или об чем?

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (bormant) — Sun, 01 Jul 2012 10:13:04 +0000

moshell,
а так (увеличим длину параметров после глобинга)

$ cat script 
#!/bin/bash
COUNTER=0
while [ $COUNTER -lt 100500 ]; do
        echo "The counter is $COUNTER" > digit/quite_long_name_$COUNTER.txt
        let COUNTER=COUNTER+1
done
exit 0

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Sat, 30 Jun 2012 21:11:38 +0000

gu@moshell:~$ cat /proc/cpuinfo | grep mips
bogomips        : 4585.45
bogomips        : 4584.94
bogomips        : 4584.95
bogomips        : 4584.95

gu@moshell:~$ uname -a
Linux moshell 3.2.0-2-amd64 #1 SMP Mon Jun 11 17:24:18 UTC 2012 x86_64 GNU/Linux
gu@moshell:~$

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Sat, 30 Jun 2012 21:05:27 +0000

ах да.
там же вложенные папки должны быть.
вот

gu@moshell:~$ cat script
#!/bin/bash
COUNTER=0
while [ $COUNTER -lt 100500 ]; do
mkdir digit/$COUNTER
echo "The counter is $COUNTER" > digit/$COUNTER/$COUNTER.txt
let COUNTER=COUNTER+1
done
exit 0
gu@moshell:~$ cd digit/
gu@moshell:~/digit$ ls | wc -l
100500
gu@moshell:~/digit$ cat */* > ~/all.txt
gu@moshell:~/digit$ cd
gu@moshell:~$ cat all.txt | wc -l
100500
gu@moshell:~$

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (Fat-Zer) — Sat, 30 Jun 2012 21:02:18 +0000

moshell пишет:

как это не будет работать?

Консоль:

alexander@goblin /tmp/1 $ for I in {1..100500}; do echo $I >"quite_long_name_$I"; done
alexander@goblin /tmp/1 $ cat *
bash: /bin/cat: Слишком длинный список аргументов

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Sat, 30 Jun 2012 20:54:23 +0000

как это не будет работать?

gu@moshell:~$ cat script
#!/bin/bash
COUNTER=0
while [ $COUNTER -lt 100500 ]; do
echo "The counter is $COUNTER" > digit/$COUNTER.txt
let COUNTER=COUNTER+1
done
exit 0
gu@moshell:~$ ls digit/* | wc -l
100500
gu@moshell:~$ cat digit/* > all.txt
gu@moshell:~$ cat all.txt | wc -l
100500
gu@moshell:~$

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (Fat-Zer) — Wed, 27 Jun 2012 11:37:25 +0000

bobr пишет:

Это если все 100500 каталогов находятся в одном. Если там еще и вложенность каталогов один в другой over9000, то да, надо усложнять жизнь.

если их там 100500, то просто работать не будет... скажет «больно много аргументов; я так не могу сынок; пшёл нафиг». уже не раз проходили...

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Wed, 27 Jun 2012 06:15:50 +0000

bobr пишет:

Да что ж вы жизнь-то усложняете? Все ж гораздо проще!
Консоль:

cat */* > all_text

Это если все 100500 каталогов находятся в одном. Если там еще и вложенность каталогов один в другой over9000, то да, надо усложнять жизнь.

ну да. глоббинг никто не отменял.
ваш метод годится в идеальном частном случае.
а если там чёрт ногу сломает?
и мухи и котлеты в одном флаконе?
потом разбирай, откуда в логах "Маша, яйца купить?"

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (bobr) — Tue, 26 Jun 2012 22:25:42 +0000

Да что ж вы жизнь-то усложняете? Все ж гораздо проще!

Консоль:

cat */* > all_text

Это если все 100500 каталогов находятся в одном. Если там еще и вложенность каталогов один в другой over9000, то да, надо усложнять жизнь.

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Tue, 26 Jun 2012 18:33:44 +0000

в командной строке оно конечно хорошо. но вы ведь часто сталкиваетесь с этим как писали.
поэтому лучше сделать скрипт, положить его в волшебную директорию, и уже в консоли набирать одно слово а не толпу слов.
под ваши желания можно и кастыль замутить
скопировать все эти файлики в одну директорию, и уже оттуда

valet пишет:

cat * > all_text

хД

//add почему я избыточный код написал? откуда я знаю что там еще помимо этих файлов в вашей директории?
вдруг там какая нибудь best_of_bash.org.ru/ находится?

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (valet) — Tue, 26 Jun 2012 18:27:31 +0000

moshell пишет:

for i in $( ls | grep ".*site.ru$" ); do
cat $i/* >> result.txt
done

Да, спасибо, ваш вариант работает.

Но я сделал даже проще:

for i in *; do cat $i/* >> result.txt; done

Все потому что все эти каталоги сами находятся в одном каталоге

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Tue, 26 Jun 2012 18:25:18 +0000

у меня работает

gu@moshell:~$ ls
123ddd 567ddd pictures playlist.m3u result.txt script
gu@moshell:~$ ls 123ddd/ 567ddd/
123ddd/:
123

567ddd/:
123
gu@moshell:~$ cat 123ddd/123 567ddd/123
lskdjfldjflskjfd
11111
gu@moshell:~$ cat script
#!/bin/bash
cd /home/gu
for i in $( ls | grep ".*dd$" ); do
cat $i/* >> /home/gu/result.txt
done
exit 0
gu@moshell:~$ ./script
gu@moshell:~$ cat result.txt
lskdjfldjflskjfd
11111
gu@moshell:~$

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (moshell) — Tue, 26 Jun 2012 18:10:54 +0000

for i in $( ls | grep ".*site.ru$" ); do
cat $i/* >> result.txt
done

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (valet) — Tue, 26 Jun 2012 18:00:55 +0000

moshell пишет:

судя по всему, из контекста, все они в одной директории, иначе нелогично как то получается разбрасывать однотипные файлы по всему дереву

да, все эти каталоги сами находятся в одном каталоге!

Re: Объединить текстовые файлы из большого числа каталогов в один файл|cat

null@example.com (valet) — Tue, 26 Jun 2012 18:00:20 +0000

yars пишет:

Эти каталоги по всей файловой системе разбросаны? Или все они внутри одного каталога?

в одном каталоге конечно, иначе вопрос не имел бы смысла получалось бы из разряда "сам не знаю, что хочу".