пора уже отдельную ветку создавать для тем про обработку текста
Да их тысячи в разделе Программирование.
]]>пора уже отдельную ветку создавать для тем про обработку текста
Да их тысячи в разделе Программирование.
]]>
]]>Ну теперь-то можно?
| egrep -v "\?\?"
Спасибо, отлично
Еще раз (может кому-то пригодится), полное решение вопроса:
cat file | while read STR; do
echo "$STR" | iconv -t KOI-8 && >/dev/null &&
echo "$STR" | iconv -t cp1251 >/dev/null &&
echo "$STR" | iconv -t ISO-8859-5 >/dev/null &&
echo "$STR">>out_file
done
cat out_file | egrep -v "\?\?" > result.txt
Всем спасибо за помощь, файл еще обрабатывается, потому что повторюсь - там 3 млн строк , но уже вижу, что вопрос решен.
| egrep -v "\?\?"куча наших букв.
да, дайствительно, даже не обратил внимания.
cat file | while read STR; do echo "$STR" | iconv -t KOI-8 && >/dev/null && echo "$STR" | iconv -t cp1251 >/dev/null && echo "$STR" | iconv -t ISO-8859-5 >/dev/null && echo "$STR">>out_file done
Это способ действительно отлично работает. Из плохих остаются только запросы типа:
????????? (2012) (76,77 ?????)
?????????? (2012) (77,78 ?????)
??? ??????? ????? (2012) (7,8 ?????)
?????? (2012) (7,8 ?????)
?????????? ????? (2012) (7,8 ?????)
???????????? ??? ???? (2012) (7,8 ?????)
?????? ?? ?????? (2012) (7,8,9 ?????)
????????? (2012) (8 ?????)
?????????? (2012) (82,83 ?????)Вот убрать бы еще и их. Тут принцип - если в строке более одного "?" - убираем.
]]>300 §С§в§Ъ§Ы§и§Ц§У §Я§С §Ф§а§Т§Э§Ъ§Я§г§Ь§а§Юкуча наших букв.
]]>Ну а если наша буква или точка входит в плохую стоку, тогда как ты поступишь?
Да, точка действительно может входить, но не наша буква. В регулярку для хороших вариантов значит не надо включать всякие там скобки, запятые, точки т.д. -да и зачем, тут принцип должен быть - если в строке есть хотя бы одна нужная буква.
]]>Vascom пишет:Если ты не можешь предвидеть все варианты, то ты не сможешь создать регулярное выражение!
Вот именно - поэтому не возможно создать регулярку для плохих вариантов, но я четко знаю что мне нужны варианты с нашими буквами, английскими и всякие там скобки, запятые, точки т.д. - поэтому для хороших вариантов как раз и надо строить регулярку и с этого надо выходить как мне кажется.
Ну а если наша буква или точка входит в плохую стоку, тогда как ты поступишь?
]]>если текст в три кирилические кодировки конвертируется, то он скорей всего хороший...
скорее всего, спасибо, сейчас попробую.
]]>Если ты не можешь предвидеть все варианты, то ты не сможешь создать регулярное выражение!
Вот именно - поэтому не возможно создать регулярку для плохих вариантов, но я четко знаю что мне нужны варианты с нашими буквами, английскими и всякие там скобки, запятые, точки т.д. - поэтому для хороших вариантов как раз и надо строить регулярку и с этого надо выходить как мне кажется.
]]>cat file | while read STR; do
echo "$STR" | inconv -t KOI-8 && >/dev/null &&
echo "$STR" | inconv -t cp1251 >/dev/null &&
echo "$STR" | inconv -t ISO-8859-5 >/dev/null &&
echo "$STR">>out_file
doneесли текст в три кирилические кодировки конвертируется, то он скорей всего хороший...
]]>Ты же не привёл весь файл.
Там около 3 млн. строк
Задача - написать регулярку для взятия правильных вариантов - как мне кажется будет корректнее. Я точно знаю, что мне нужны все латинские и кириллические символы, знаки препинания и т.д. А мусора там всякого много, ну например типа такого:
������� �13и я же не могу предвидеть все варианты.
]]>]]>