Страница 1 из 1

Как найти повторяющиеся и не повторяющиеся строки в файлах

Добавлено: 02 фев 2023, 23:11
Padonak
Ищем НЕ ПОВТОРЯЮЩИЕСЯ строки (уникальные)
Допустим у нас есть два текстовых файла:

Содержимое файла file1.txt

Код: Выделить всё

aaa
bbb
ccc
ddd
eee
fff
ggg
Содержимое файла file2.txt

Код: Выделить всё

bbb
aaa
ccc
eee
111
222
ddd
xxx
Для того, чтобы найти все уникальные строки в файле file1.txt (т.е. те строки, которые не содержатся в файле file2.txt) можно воспользоваться следующей командой:

Код: Выделить всё

cat file1.txt | grep -v -f file2.txt
Результат выполнения данной команды будет таким: Как мы видим в результате выполнения данной команды выводятся только те строки, которые уникальны в файле file1.txt и которых нет в файле file2.txt

Для того, чтобы найти все уникальные строки в файле file2.txt (т.е. те строки, которые не содержатся в файле file1.txt) можно воспользоваться следующей командой:

Код: Выделить всё

cat file2.txt | grep -v -f file1.txt
Результат выполнения данной команды будет таким:

Код: Выделить всё

111
222
xxx
Ищем ПОВТОРЯЮЩИЕСЯ строки (дубликаты)

Допустим у нас есть два текстовых файла:
Содержимое файла file1.txt

Код: Выделить всё

aaa
bbb
ccc
ddd
eee
fff
ggg
Содержимое файла file2.txt

Код: Выделить всё

bbb
aaa
ccc
eee
111
222
ddd
xxx
Для того, чтобы найти все повторяющиеся строки (дубликаты) в файлах file1.txt и file2.txt можно воспользоваться следующей командой:

Код: Выделить всё

cat file1.txt | grep -f file2.txt
Результат выполнения данной команды будет таким:

Код: Выделить всё

aaa
bbb
ccc
ddd
eee