Настоятельно просим вас при общении соблюдать Правила форума и законы РФ. Наша тематика вне политики, поэтому воздержитесь от обсуждения ситуации на Украине и связанных с ней событий, независимо от того, какую сторону вы поддерживаете.
Также напоминаем, что наш форум находится в доменной зоне .ru, физически расположен на российских серверах и мы соблюдаем действующее законодательство России. Любые сообщения о политике будут удаляться.
Linux Forum → Работа в командной строке → grep или чем ещё можно выбрать все строки файла1 из файла2?
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Задача
нужно выбрать из файла2 строки c email:fio из файла1
в файле2 строки с емэйлом и фио, а в файле1 только емэйлы
разделитель :
пример файлов
файл2 email:fio
vasya@mail.ru:Vasya
petya@list.ru:Petr Ivanov
sasha@bk.ru:Sasha S.
файл1 email
vasya@mail.ru
petya@list.ru
blabla@bla.ru
Да чем угодно. На PHP или Python можно скрипт написать быстро. То есть, как я понял, в первом файле, без имён, может быть почта, которой нет во втором и это выбирать не надо? Правильно?
Да чем угодно. На PHP или Python можно скрипт написать быстро. То есть, как я понял, в первом файле, без имён, может быть почта, которой нет во втором и это выбирать не надо? Правильно?
да
а можно без PHP или Python стандартными средствами unix grep sed awk или ещё как?)
а можно без PHP или Python стандартными средствами unix grep sed awk или ещё как?)
Тогда не ко мне вопрос.
*** Добавлено: 09.08.2018 1:39:53 pm ***
В общем, что Вам мешало сделать то же, что и я?
1. Набираем в консоли grep --help.
2. Смотрим на опцию -f.
В итоге получилось:
P.S. Исправил опечатку.
pljlm8463qmw, 
с grep нужно будет указывать где искать и что искать.
По сути это простой разгребатель хлама на диске.
pljlm8463qmw пишет:а можно без PHP или Python стандартными средствами unix grep sed awk или ещё как?)
Тогда не ко мне вопрос.
*** Добавлено: 09.08.2018 1:39:53 pm ***В общем, что Вам мешало сделать то же, что и я?
1. Набираем в консоли grep --help.
2. Смотрим на опцию -f.
В итоге получилось:Консоль:cat file2.txt | grep -f file1.txt
То, что надо?
При желании можно перенаправить вывод в файл:Консоль:cat file2.txt | grep -f file1.txt > results.txtP.S. Исправил опечатку.
я так пробовал уже не находит из-за спецсимвола наверно в строке или не знаю из-за чего
grep -w -f file2.txt file1.txt>result.txt
вот сам попробуй
пример файла1
vasya@mail.ru:Vasya
petya@list.ru:Petr Ivanov
sasha@bk.ru:Sasha S.
пример файла2
vasya@mail.ru
blabla@bla.ru
petya@list.ru
blabla1@bla.ru
blabla2@bla.ru
blabla@3bla.ru
blabla4@bla.ru
sasha@bk.ru
blabla7@bla.ru
result.txt пустой получается (
вот сам попробуй
Для начала просьба повежливее. Я не давал согласия на "ты".
pljlm8463qmw пишет:вот сам попробуй
Для начала просьба повежливее. Я не давал согласия на "ты".
прошу прощения
Я попробовал - всё работает:
$ grep -f file2 file1
vasya@mail.ru:Vasya
petya@list.ru:Petr Ivanov
sasha@bk.ru:Sasha S.Я попробовал - всё работает:
$ grep -f file2 file1 vasya@mail.ru:Vasya petya@list.ru:Petr Ivanov sasha@bk.ru:Sasha S.
я пробую на windows в cygwin
видимо он криво работает.... ничего не пойму
pljlm8463qmw, я Вам написал готовый пример, который Вы подправили. Потому и не работает.
Комментирую по частям:
cat file2.txt - вывод содержимого файла в консоль.
| - вертикальная черта перенаправляет вывод, вместо экрана результат передаётся следующей команде.
grep -f file1.txt - искать строки, содержащиеся в файле (ключ -f) file1.txt
> results.txt - направить вывод в файл results.txt.
Всё вместе:
видимо он криво работает.... ничего не пойму
Ну а если на оборот?:
на Kali linux попробовал тоже пустой вывод)))
какую кодировку надо у файла
grep -f file2 file1
pljlm8463qmw, я Вам написал готовый пример, который Вы подправили. Потому и не работает.
Комментирую по частям:
cat file2.txt - вывод содержимого файла в консоль.
| - вертикальная черта перенаправляет вывод, вместо экрана результат передаётся следующей команде.
grep -f file1.txt - искать строки, содержащиеся в файле (ключ -f) file1.txt
> results.txt - направить вывод в файл results.txt.
спасибо за развернутый ответ, я понимаю о чем речь
grep -f file2 file1 так тоже должно работать, но у меня не работает почему-то(((
пробовал на windows и cygwin и на Kalilinux и результат пустой!
всё работает если в файл1 только мыла без разделителя :
если в строке не только мыло а ещё другие символы то результат пустой
Может проблемы из-за символов окончания строки?
Ну а если на оборот?:
пробовал тоже пустой результат
инфа 100% он ищет точное совпадение походу строк и если кроме мыла другие символы в строке то пустой результат
не пойму как у Vascom работает
*** Добавлено: 09.08.2018 23:24:54 ***
Может проблемы из-за символов окончания строки?
точно! спасибо
\r удалил в текстовом редакторе в файлах и всё получилось
а как бы это в одной команде сделать всё?) grep + sed ?
*** Добавлено: 09.08.2018 23:25:50 ***
файлы очень большие >10ГБ
Одной строчкой, то смотрите пример Rizado, просто добавить по середине еще один конвейер с командой sed 's/\r//' или tr -d "\r".
*** Добавлено: 09.08.2018 19:09:31 ***
Глянул, grep может искать без учета CR, для этого есть ключик -u
sed 's/\r//' или tr -d "\r".
экранирование с помощью "\" не помогло
sed 's%\r%%g' так работает
экранирование с помощью "\" не помогло
Не это не экранирование а удаление символов CR как вариант тогда sed 's/\r//g'
Ну и проще просто для grep добавить ключик -u, что бы искал без учета символов CR.
Не это не экранирование а удаление символов CR как вариант тогда sed 's/\r//g'
так тоже работает спец символ \ в \r экранирует что sed 's/\r//g' что sed 's%\r%%' разницы нет
Ну и проще просто для grep добавить ключик -u, что бы искал без учета символов CR.
не пойму как это работает, не получается у меня правильно сделать
*** Добавлено: 10.08.2018 00:38:19 ***
grep -u -f file2 file1 не работает)
файлы очень большие >10ГБ
Если это plain text, то у Вас вполне может быть несколько сотен миллионов записей. Здесь уже выгоднее на базу данных переходить, MySQL/MariaDB или SQLite.
*** Добавлено: 09.08.2018 8:21:06 pm ***
pljlm8463qmw, смотрите, в чём проблема. Давайте оценим вместе объём вычислений.
Вы пишете, что файлы больше 10 гигабайт, давайте примем по 10 дял удобства расчёта, даже 10^10 байт, а не 10 * 2^30.
Если адреса почты считать в среднем по 20 символов, а с именами по 40 (в реальности так и будет или даже немного меньше), то адресов почты у Вас будет 500 миллионов, а с именами вдвое меньше - 250 миллионов. И Вы хотите взять каждый из 500 миллионов адресов (по очереди!) и сверить их (тоже по очереди) с 250 миллионами строк. То есть, сравнений будет 500 * 10^6 * 250 * 10^6 = 125 * 10^15. Впечатляет? Плюс ресурсы системы на дисковые операции (если только у вас не 32 гигабайта ОЗУ, чтобы файлы там разместить), что тоже будет тормозить процесс. Если в несколько суток закончите - считайте, Вам повезло .
Подумайте над оптимизацией задачи или разбивкой её на части.
не пойму как это работает, не получается у меня правильно сделать ab
А пардон, это не работает.
Как вариант одной строчкой:
#!/bin/bash
r1=$1
r2=$2
CR=$(echo -e "\r")
cat $r1|while read file
do
file=${file/$CR/}
grep "$file" $r2
doneИ уже запускать скрипт для обработки файлов:
Если это plain text, то у Вас вполне может быть несколько сотен миллионов записей. Здесь уже выгоднее на базу данных переходить, MySQL/MariaDB или SQLite.
*** Добавлено: 09.08.2018 8:21:06 pm ***pljlm8463qmw, смотрите, в чём проблема. Давайте оценим вместе объём вычислений.
Вы пишете, что файлы больше 10 гигабайт, давайте примем по 10 дял удобства расчёта, даже 10^10 байт, а не 10 * 2^30.
Если адреса почты считать в среднем по 20 символов, а с именами по 40 (в реальности так и будет или даже немного меньше), то адресов почты у Вас будет 500 миллионов, а с именами вдвое меньше - 250 миллионов. И Вы хотите взять каждый из 500 миллионов адресов (по очереди!) и сверить их (тоже по очереди) с 250 миллионами строк. То есть, сравнений будет 500 * 10^6 * 250 * 10^6 = 125 * 10^15. Впечатляет? Плюс ресурсы системы на дисковые операции (если только у вас не 32 гигабайта ОЗУ, чтобы файлы там разместить), что тоже будет тормозить процесс. Если в несколько суток закончите - считайте, Вам повезло ab .
Подумайте над оптимизацией задачи или разбивкой её на части.
с базой sqllite делал уже программу на делфи, достаточно долгий процесс добавления такого количества записей в базу
Хорошая мысль! загрузить второй файл с мылами в оперативку и сделать четырехмерный массив по буквам и потом сравнивать с файлом1 тут скорость должна быть намного больше, ограниченна только скоростью чтения с диска
*** Добавлено: 10.08.2018 13:11:42 ***
А пардон, это не работает.
Как вариант одной строчкой:
Консоль
$ cat file3|dos2unix |xargs -i grep "{}" file2или такой:
Консоль
$ cat file3|sed 's/\r//g' |xargs -i grep "{}" file2Либо можно сделать скрипт bash:
#!/bin/bash
r1=$1
r2=$2
CR=$(echo -e "\r")
cat $r1|while read file
do
file=${file/$CR/}
grep "$file" $r2
doneИ уже запускать скрипт для обработки файлов:
Консоль
$ script.sh file1 file2
Спасибо за совет 
*** Добавлено: 10.08.2018 13:12:27 ***
Ребята всем спасибо, помогли 
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Linux Forum → Работа в командной строке → grep или чем ещё можно выбрать все строки файла1 из файла2?
Форум работает на PunBB, при поддержке Informer Technologies, Inc
