Linux Forum — Как удалить мусор из файла

Re: Как удалить мусор из файла

null@example.com (moshell) — Wed, 04 Jul 2012 11:04:46 +0000

дык тем более

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 11:03:42 +0000

moshell пишет:

пора уже отдельную ветку создавать для тем про обработку текста

Да их тысячи в разделе Программирование.

Re: Как удалить мусор из файла

null@example.com (moshell) — Wed, 04 Jul 2012 11:01:40 +0000

пора уже отдельную ветку создавать для тем про обработку текста

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 07:30:32 +0000

Vascom пишет:

Ну теперь-то можно?
 | egrep -v "\?\?"

Спасибо, отлично

Еще раз (может кому-то пригодится), полное решение вопроса:

cat file | while read STR; do
echo "$STR" | iconv -t KOI-8 && >/dev/null &&
echo "$STR" | iconv -t cp1251 >/dev/null &&
echo "$STR" | iconv -t ISO-8859-5 >/dev/null &&
echo "$STR">>out_file
done
cat out_file | egrep -v "\?\?" > result.txt

Всем спасибо за помощь, файл еще обрабатывается, потому что повторюсь - там 3 млн строк , но уже вижу, что вопрос решен.

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 07:25:17 +0000

Ну теперь-то можно?

 | egrep -v "\?\?"

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 07:22:21 +0000

Vascom пишет:

куча наших букв.

да, дайствительно, даже не обратил внимания.

Fat-Zer пишет:

cat file | while read STR; do echo "$STR" | iconv -t KOI-8 && >/dev/null && echo "$STR" | iconv -t cp1251 >/dev/null && echo "$STR" | iconv -t ISO-8859-5 >/dev/null && echo "$STR">>out_file done

Это способ действительно отлично работает. Из плохих остаются только запросы типа:

????????? (2012) (76,77 ?????)
?????????? (2012) (77,78 ?????)
??? ??????? ????? (2012) (7,8 ?????)
?????? (2012) (7,8 ?????)
?????????? ????? (2012) (7,8 ?????)
???????????? ??? ???? (2012) (7,8 ?????)
?????? ?? ?????? (2012) (7,8,9 ?????)
????????? (2012) (8 ?????)
?????????? (2012) (82,83 ?????)

Вот убрать бы еще и их. Тут принцип - если в строке более одного "?" - убираем.

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 07:15:41 +0000

Ну гляди, у тебя в строке

300 §С§в§Ъ§Ы§и§Ц§У §Я§С §Ф§а§Т§Э§Ъ§Я§г§Ь§а§Ю

куча наших букв.

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 07:14:25 +0000

Vascom пишет:

Ну а если наша буква или точка входит в плохую стоку, тогда как ты поступишь?

Да, точка действительно может входить, но не наша буква. В регулярку для хороших вариантов значит не надо включать всякие там скобки, запятые, точки т.д. -да и зачем, тут принцип должен быть - если в строке есть хотя бы одна нужная буква.

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 07:04:35 +0000

valet пишет:

Vascom пишет:
Если ты не можешь предвидеть все варианты, то ты не сможешь создать регулярное выражение!
Вот именно - поэтому не возможно создать регулярку для плохих вариантов, но я четко знаю что мне нужны варианты с нашими буквами, английскими и всякие там скобки, запятые, точки т.д. - поэтому для хороших вариантов как раз и надо строить регулярку и с этого надо выходить как мне кажется.

Ну а если наша буква или точка входит в плохую стоку, тогда как ты поступишь?

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 07:04:12 +0000

Fat-Zer пишет:

если текст в три кирилические кодировки конвертируется, то он скорей всего хороший...

скорее всего, спасибо, сейчас попробую.

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 07:03:05 +0000

Vascom пишет:

Если ты не можешь предвидеть все варианты, то ты не сможешь создать регулярное выражение!

Вот именно - поэтому не возможно создать регулярку для плохих вариантов, но я четко знаю что мне нужны варианты с нашими буквами, английскими и всякие там скобки, запятые, точки т.д. - поэтому для хороших вариантов как раз и надо строить регулярку и с этого надо выходить как мне кажется.

Re: Как удалить мусор из файла

null@example.com (Fat-Zer) — Wed, 04 Jul 2012 06:29:33 +0000

можно на костылях iconv'а как-то так сработать:

cat file | while read STR; do
  echo "$STR" | inconv -t KOI-8 && >/dev/null && 
    echo "$STR" | inconv -t cp1251 >/dev/null && 
    echo "$STR" | inconv -t ISO-8859-5 >/dev/null && 
      echo "$STR">>out_file
done

если текст в три кирилические кодировки конвертируется, то он скорей всего хороший...

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 06:17:55 +0000

Если ты не можешь предвидеть все варианты, то ты не сможешь создать регулярное выражение!

Re: Как удалить мусор из файла

null@example.com (valet) — Wed, 04 Jul 2012 05:59:20 +0000

Vascom пишет:

Ты же не привёл весь файл.

Там около 3 млн. строк
Задача - написать регулярку для взятия правильных вариантов - как мне кажется будет корректнее. Я точно знаю, что мне нужны все латинские и кириллические символы, знаки препинания и т.д. А мусора там всякого много, ну например типа такого:

������� �13

и я же не могу предвидеть все варианты.

Re: Как удалить мусор из файла

null@example.com (Vascom) — Wed, 04 Jul 2012 05:50:36 +0000

Конечно, добавь туда ещё несколько нужных символов, которые точно не встретятся в хороших строках. Ну и прогони - посмотри.
Ты же не привёл весь файл. А тот отрывок, что приведён отлично фильтруется и этой регуляркой. Телепатия уже на пределе