Настоятельно просим вас при общении соблюдать Правила форума и законы РФ. Наша тематика вне политики, поэтому воздержитесь от обсуждения ситуации на Украине и связанных с ней событий, независимо от того, какую сторону вы поддерживаете.
Также напоминаем, что наш форум находится в доменной зоне .ru, физически расположен на российских серверах и мы соблюдаем действующее законодательство России. Любые сообщения о политике будут удаляться.
Linux Forum → Работа в командной строке → Удаление дубликатов строк из файла
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Здравствуйте.
Существует небольшой текстовый файл в котором попадаются строки c одинаковым текстом но разным количеством пробелов в этих строках. То есть строго говоря они не одинаковые, но несут для пользователя одну и ту же информацию.
Можно ли удалить повторения оставив по одной (любой) строке ?
Сейчас для этого приходится удалять все пробелы и файл становится плохо читаемым.
Сейчас для этого приходится удалять все пробелы и файл становится плохо читаемым.
Замените подряд идущие пробелы одним.
sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt
Как-то так...
#!/usr/bin/env python
#_*_ coding: utf-8 _*_
with open('file.txt', 'r') as f:
lines = f.readlines()
l = []
with open('file.txt', 'w') as f:
for line in lines:
x = line.split()
if x not in l:
f.write(line)
l.append(x)ЗЫ. Не проверял, перед использованием сделать резервную копию.
Замените подряд идущие пробелы одним.
sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt
Спасибо, изящное решение. Почему я сам не догадался ?
Спасибо, изящное решение.
Увы, это не изящно...
-=Serj=-, Спасибо но чё-та я не готов сюда python вмешивать. Тут большой скрипт на баше и не стоит в середине скрипта python вызывать. Тогда уж изначально на питоне писать надо.
vovanvster⇓ пишет:Спасибо, изящное решение.
Увы, это не изящно...
Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.
Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.
Кстати, изящнее, чем sed с этой задачей врядли какая программа справится 
Кстати, изящнее, чем sed с этой задачей врядли какая программа справится
awk ?
awk ?
Не думаю, что получится «изящнее» — awk всё же предназначен для другого.
tr с опцией "-s" это делает:
tr -s " " " " <input_fileПётр.
Поясните мысль. Не делает.
Поясните мысль. Не делает.
Виноват, поспешил, эта команда только заменяет несколько пробелов одним.
Тогда строки с одинаковым текстом будут иметь также и одинаковое
количество пробелов, т.е. будут совпадать и их проще будет выявить.
Пётр.
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Linux Forum → Работа в командной строке → Удаление дубликатов строк из файла
Форум работает на PunBB, при поддержке Informer Technologies, Inc
