Если это plain text, то у Вас вполне может быть несколько сотен миллионов записей. Здесь уже выгоднее на базу данных переходить, MySQL/MariaDB или SQLite.
*** Добавлено: 09.08.2018 8:21:06 pm ***pljlm8463qmw, смотрите, в чём проблема. Давайте оценим вместе объём вычислений.
Вы пишете, что файлы больше 10 гигабайт, давайте примем по 10 дял удобства расчёта, даже 10^10 байт, а не 10 * 2^30.
Если адреса почты считать в среднем по 20 символов, а с именами по 40 (в реальности так и будет или даже немного меньше), то адресов почты у Вас будет 500 миллионов, а с именами вдвое меньше - 250 миллионов. И Вы хотите взять каждый из 500 миллионов адресов (по очереди!) и сверить их (тоже по очереди) с 250 миллионами строк. То есть, сравнений будет 500 * 10^6 * 250 * 10^6 = 125 * 10^15. Впечатляет? Плюс ресурсы системы на дисковые операции (если только у вас не 32 гигабайта ОЗУ, чтобы файлы там разместить), что тоже будет тормозить процесс. Если в несколько суток закончите - считайте, Вам повезло ab .
Подумайте над оптимизацией задачи или разбивкой её на части.
с базой sqllite делал уже программу на делфи, достаточно долгий процесс добавления такого количества записей в базу
Хорошая мысль! загрузить второй файл с мылами в оперативку и сделать четырехмерный массив по буквам и потом сравнивать с файлом1 тут скорость должна быть намного больше, ограниченна только скоростью чтения с диска
*** Добавлено: 10.08.2018 13:11:42 ***
А пардон, это не работает.
Как вариант одной строчкой:
Консоль
$ cat file3|dos2unix |xargs -i grep "{}" file2или такой:
Консоль
$ cat file3|sed 's/\r//g' |xargs -i grep "{}" file2Либо можно сделать скрипт bash:
#!/bin/bash
r1=$1
r2=$2
CR=$(echo -e "\r")
cat $r1|while read file
do
file=${file/$CR/}
grep "$file" $r2
doneИ уже запускать скрипт для обработки файлов:
Консоль
$ script.sh file1 file2
Спасибо за совет 
*** Добавлено: 10.08.2018 13:12:27 ***
Ребята всем спасибо, помогли 
.