Поясните мысль. Не делает.

Виноват, поспешил, эта команда только заменяет несколько пробелов одним.
Тогда строки с одинаковым текстом будут иметь также и одинаковое
количество пробелов, т.е. будут совпадать и их проще будет выявить.

Пётр.

tr -s " " " " <input_file

Пётр.

awk ?

Не думаю, что получится «изящнее» — awk всё же предназначен для другого.

Кстати, изящнее, чем sed с этой задачей врядли какая программа справится

awk ?

Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.

Кстати, изящнее, чем sed с этой задачей врядли какая программа справится

vovanvster⇓ пишет:

Спасибо, изящное решение.

Увы, это не изящно...

Имел ввиду не sed а саму идею привести строки к подобному виду для облегчения обработки.

Спасибо, изящное решение.

Увы, это не изящно...

Замените подряд идущие пробелы одним.

sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt

Спасибо, изящное решение. Почему я сам не догадался ?

#!/usr/bin/env python
#_*_ coding: utf-8 _*_

with open('file.txt', 'r') as f:
    lines = f.readlines()
l = []
with open('file.txt', 'w') as f:
    for line in lines:
        x = line.split()
        if x not in l:
            f.write(line)
            l.append(x)

ЗЫ. Не проверял, перед использованием сделать резервную копию.

Сейчас для этого приходится удалять все пробелы и файл становится плохо читаемым.

Замените подряд идущие пробелы одним.

sed 's/[\ ][\ ]*/\ /g;s/[\ ]$//g' test.txt