Linux uniq 去除連續重複用法與範例

本篇 ShengYu 介紹 Linux uniq 指令去除連續重複資料用法與範例。

Linux uniq 指令將檔案內容去除連續重複

以每一行為單位，相鄰兩行內容重複的話，uniq 將會去除重複的行，以數字為例，檔案內容如下，

input.txt
1
2
3
4
5
6
7
8
1
1
5
2
2
2
4
3

可以用 Linux uniq 的指令輕鬆達成去除連續重複資料，指令如下，會將結果輸出標準輸出，

1
2
3
4
5
6
$ uniq input.txt
1
5
2
4
3

Linux uniq 指令將檔案內容去除重複(非連續)

如果是非連續的重複資料直接用 uniq 是沒有效果的，可以先用 sort 指令將內容排序後，這樣重複的資料就會出現在相鄰的位置，
這時再用 uniq 指令去除這些連續重複資料即可，

input2.txt
1
2
3
4
5
6
7
8
4
1
4
3
5
4
2
3

先用 sort 指令再用 uniq 去除連續重複資料指令如下，

1
2
3
4
5
6
$ sort input2.txt | uniq
1
2
3
4
5

其它相關文章推薦
Linux 常用指令教學懶人包
Linux cut 字串處理用法與範例
Linux find 尋找檔案/尋找資料夾用法與範例
Linux grep/ack/ag 搜尋字串用法與範例
Linux tee 同時螢幕標準輸出和輸出到檔案用法與範例
Linux xargs 參數列表轉換用法與範例
Linux tail 持續監看檔案輸出用法與範例
Linux du 查詢硬碟剩餘空間/資料夾容量用法與範例
Linux wget 下載檔案用法與範例