Linux Forum — grep или чем ещё можно выбрать все строки файла1 из файла2?

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Fri, 10 Aug 2018 05:12:27 +0000

Rizado пишет:

Если это plain text, то у Вас вполне может быть несколько сотен миллионов записей. Здесь уже выгоднее на базу данных переходить, MySQL/MariaDB или SQLite.
*** Добавлено: 09.08.2018 8:21:06 pm ***
pljlm8463qmw, смотрите, в чём проблема. Давайте оценим вместе объём вычислений.
Вы пишете, что файлы больше 10 гигабайт, давайте примем по 10 дял удобства расчёта, даже 10^10 байт, а не 10 * 2^30.
Если адреса почты считать в среднем по 20 символов, а с именами по 40 (в реальности так и будет или даже немного меньше), то адресов почты у Вас будет 500 миллионов, а с именами вдвое меньше - 250 миллионов. И Вы хотите взять каждый из 500 миллионов адресов (по очереди!) и сверить их (тоже по очереди) с 250 миллионами строк. То есть, сравнений будет 500 * 10^6 * 250 * 10^6 = 125 * 10^15. Впечатляет? Плюс ресурсы системы на дисковые операции (если только у вас не 32 гигабайта ОЗУ, чтобы файлы там разместить), что тоже будет тормозить процесс. Если в несколько суток закончите - считайте, Вам повезло ab .
Подумайте над оптимизацией задачи или разбивкой её на части.

с базой sqllite делал уже программу на делфи, достаточно долгий процесс добавления такого количества записей в базу
Хорошая мысль! загрузить второй файл с мылами в оперативку и сделать четырехмерный массив по буквам и потом сравнивать с файлом1 тут скорость должна быть намного больше, ограниченна только скоростью чтения с диска
*** Добавлено: 10.08.2018 13:11:42 ***

ormorph пишет:

А пардон, это не работает.
Как вариант одной строчкой:
Консоль
$ cat file3|dos2unix |xargs -i grep "{}" file2
или такой:
Консоль
$ cat file3|sed 's/\r//g' |xargs -i grep "{}" file2
Либо можно сделать скрипт bash:
#!/bin/bash
r1=$1
r2=$2
CR=$(echo -e "\r")
cat $r1|while read file
do
file=${file/$CR/}
grep "$file" $r2
done
И уже запускать скрипт для обработки файлов:
Консоль
$ script.sh file1 file2

Спасибо за совет

*** Добавлено: 10.08.2018 13:12:27 ***

Ребята всем спасибо, помогли

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (ormorph) — Thu, 09 Aug 2018 17:37:41 +0000

pljlm8463qmw пишет:

не пойму как это работает, не получается у меня правильно сделать ab

А пардон, это не работает.
Как вариант одной строчкой:

Консоль:

$ cat file3|dos2unix |xargs -i grep "{}" file2

или такой:

Консоль:

$ cat file3|sed 's/\r//g' |xargs -i grep "{}" file2

Либо можно сделать скрипт bash:

#!/bin/bash
r1=$1
r2=$2
CR=$(echo -e "\r")
cat $r1|while read file
do
   file=${file/$CR/}
   grep "$file" $r2
done

И уже запускать скрипт для обработки файлов:

Консоль:

$ script.sh file1 file2

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (Rizado) — Thu, 09 Aug 2018 17:21:06 +0000

pljlm8463qmw пишет:

файлы очень большие >10ГБ

Если это plain text, то у Вас вполне может быть несколько сотен миллионов записей. Здесь уже выгоднее на базу данных переходить, MySQL/MariaDB или SQLite.
*** Добавлено: 09.08.2018 8:21:06 pm ***

pljlm8463qmw, смотрите, в чём проблема. Давайте оценим вместе объём вычислений.

Вы пишете, что файлы больше 10 гигабайт, давайте примем по 10 дял удобства расчёта, даже 10^10 байт, а не 10 * 2^30.

Если адреса почты считать в среднем по 20 символов, а с именами по 40 (в реальности так и будет или даже немного меньше), то адресов почты у Вас будет 500 миллионов, а с именами вдвое меньше - 250 миллионов. И Вы хотите взять каждый из 500 миллионов адресов (по очереди!) и сверить их (тоже по очереди) с 250 миллионами строк. То есть, сравнений будет 500 * 10^6 * 250 * 10^6 = 125 * 10^15. Впечатляет? Плюс ресурсы системы на дисковые операции (если только у вас не 32 гигабайта ОЗУ, чтобы файлы там разместить), что тоже будет тормозить процесс. Если в несколько суток закончите - считайте, Вам повезло .

Подумайте над оптимизацией задачи или разбивкой её на части.

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 16:38:19 +0000

ormorph пишет:

Не это не экранирование а удаление символов CR как вариант тогда sed 's/\r//g'

так тоже работает спец символ \ в \r экранирует что sed 's/\r//g' что sed 's%\r%%' разницы нет

ormorph пишет:

Ну и проще просто для grep добавить ключик -u, что бы искал без учета символов CR.

не пойму как это работает, не получается у меня правильно сделать
*** Добавлено: 10.08.2018 00:38:19 ***

grep -u -f file2 file1 не работает)

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (ormorph) — Thu, 09 Aug 2018 16:14:28 +0000

pljlm8463qmw пишет:

экранирование с помощью "\" не помогло

Не это не экранирование а удаление символов CR как вариант тогда sed 's/\r//g'
Ну и проще просто для grep добавить ключик -u, что бы искал без учета символов CR.

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 16:09:42 +0000

ormorph пишет:

sed 's/\r//' или tr -d "\r".

экранирование с помощью "\" не помогло

sed 's%\r%%g' так работает

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (ormorph) — Thu, 09 Aug 2018 16:09:31 +0000

Одной строчкой, то смотрите пример Rizado, просто добавить по середине еще один конвейер с командой sed 's/\r//' или tr -d "\r".
*** Добавлено: 09.08.2018 19:09:31 ***

Глянул, grep может искать без учета CR, для этого есть ключик -u

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 15:25:50 +0000

ormorph пишет:

Ну а если на оборот?:

пробовал тоже пустой результат

инфа 100% он ищет точное совпадение походу строк и если кроме мыла другие символы в строке то пустой результат

не пойму как у Vascom работает
*** Добавлено: 09.08.2018 23:24:54 ***

Vascom пишет:

Может проблемы из-за символов окончания строки?

точно! спасибо

\r удалил в текстовом редакторе в файлах и всё получилось

а как бы это в одной команде сделать всё?) grep + sed ?

*** Добавлено: 09.08.2018 23:25:50 ***

файлы очень большие >10ГБ

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (Vascom) — Thu, 09 Aug 2018 15:16:27 +0000

Может проблемы из-за символов окончания строки?

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 15:14:22 +0000

на Kali linux попробовал тоже пустой вывод)))
какую кодировку надо у файла

Vascom пишет:

grep -f file2 file1

Rizado пишет:

pljlm8463qmw, я Вам написал готовый пример, который Вы подправили. Потому и не работает.
Комментирую по частям:
cat file2.txt - вывод содержимого файла в консоль.
| - вертикальная черта перенаправляет вывод, вместо экрана результат передаётся следующей команде.
grep -f file1.txt - искать строки, содержащиеся в файле (ключ -f) file1.txt
> results.txt - направить вывод в файл results.txt.

спасибо за развернутый ответ, я понимаю о чем речь
grep -f file2 file1 так тоже должно работать, но у меня не работает почему-то(((

пробовал на windows и cygwin и на Kalilinux и результат пустой!
всё работает если в файл1 только мыла без разделителя :
если в строке не только мыло а ещё другие символы то результат пустой

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (ormorph) — Thu, 09 Aug 2018 15:05:06 +0000

pljlm8463qmw пишет:

видимо он криво работает.... ничего не пойму

Ну а если на оборот?:

Консоль:

$ grep -f file1 file2

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (Rizado) — Thu, 09 Aug 2018 13:17:34 +0000

pljlm8463qmw, я Вам написал готовый пример, который Вы подправили. Потому и не работает.
Комментирую по частям:
cat file2.txt - вывод содержимого файла в консоль.
| - вертикальная черта перенаправляет вывод, вместо экрана результат передаётся следующей команде.
grep -f file1.txt - искать строки, содержащиеся в файле (ключ -f) file1.txt
> results.txt - направить вывод в файл results.txt.
Всё вместе:

Консоль:

cat file2.txt | grep -f file1.txt > results.txt

Так и вводите, одной командой и в одну строку. Только имена файлов свои подставьте.

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 13:12:57 +0000

Vascom пишет:

Я попробовал - всё работает:
$ grep -f file2 file1
vasya@mail.ru:Vasya
petya@list.ru:Petr Ivanov
sasha@bk.ru:Sasha S.

я пробую на windows в cygwin

видимо он криво работает.... ничего не пойму

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (Vascom) — Thu, 09 Aug 2018 12:56:55 +0000

Я попробовал - всё работает:

$ grep -f file2 file1
vasya@mail.ru:Vasya
petya@list.ru:Petr Ivanov
sasha@bk.ru:Sasha S.

Re: grep или чем ещё можно выбрать все строки файла1 из файла2?

null@example.com (pljlm8463qmw) — Thu, 09 Aug 2018 12:53:02 +0000

Rizado пишет:

pljlm8463qmw пишет:
вот сам попробуй
Для начала просьба повежливее. Я не давал согласия на "ты".

прошу прощения