Tìm dòng trùng lặp trong một tệp và đếm số lần mỗi dòng được sao chép?

Question

Giả sử tôi có một tập tin tương tự như sau:

123 
123 
234 
234 
123 
345 

Tôi muốn tìm bao nhiêu lần '123' được nhân đôi, bao nhiêu lần '234' được nhân đôi, vv Vì vậy, lý tưởng, sản lượng sẽ như thế nào:

123 3 
234 2 
345 1 

Answer 1

Giả sử có một số trên mỗi dòng:

sort <file> | uniq -c 

Bạn có thể sử dụng nhiều tiết --count cờ quá với phiên bản GNU, ví dụ, trên Linux:

sort <file> | uniq --count 

Answer 2

Giả sử bạn đã có quyền truy cập vào một vỏ Unix chuẩn và/hoặc môi trường Cygwin:

tr -s ' ' '\n' < yourfile | sort | uniq -d -c 
     ^--space char 

Về cơ bản: chuyển đổi tất cả các ký tự không gian để linebreaks, sau đó sắp xếp các đầu ra và nguồn cấp dữ liệu tranlsated để uniq và đếm dòng trùng lặp.

Answer 3

Để tìm và đếm dòng trùng lặp trong nhiều file, bạn có thể thử lệnh sau:

sort <files> | uniq -c | sort -nr 

hay:

cat <files> | sort | uniq -c | sort -nr 

Answer 4

này sẽ dòng in trùng lặp chỉ, với số lượng:

sort FILE | uniq -cd 

hoặc, với tùy chọn dài GNU (trên Linux):

sort FILE | uniq --count --repeated 

trên BSD and OSX you have to use grep để lọc ra các dòng duy nhất:

sort FILE | uniq -c | grep -v '^ *1 ' 

Đối với ví dụ được đưa ra, kết quả sẽ là:

3 123 
    2 234 

---

Nếu bạn muốn đếm in cho tất cả các dòng bao gồm những dòng chỉ xuất hiện một lần:

sort FILE | uniq -c 

hay, với các tùy chọn GNU dài (trên Linux):

sort FILE | uniq --count 

Đối với đầu vào nhất định, đầu ra là:

3 123 
    2 234 
    1 345 

---

Để loại đầu ra với các dòng thường xuyên nhất trên đầu trang, bạn có thể làm như sau (để có được tất cả kết quả):

sort FILE | uniq -c | sort -nr 

hay, để có được chỉ lặp lại đường nét, thường xuyên đầu tiên nhất:

sort FILE | uniq -cd | sort -nr 

trên OSX và BSD một trong những thức trở thành:

sort FILE | uniq -c | grep -v '^ *1 ' | sort -nr 

Answer 5

Via awk:

awk '{dups[$1]++} END{for (num in dups) {print num,dups[num]}}' data 

Trong lệnh awk 'dups[$1]++', biến số $1 giữ toàn bộ nội dung của cột1 và dấu ngoặc vuông là truy cập mảng. Vì vậy, đối với mỗi cột 1 của dòng trong tệp data, nút của mảng có tên là dups được tăng lên.

Và cuối cùng, chúng ta lặp qua dups mảng với num như biến và in lưu số đầu tiên sau đó số lượng của họ về giá trị trùng lặp bởi dups[num].

Lưu ý rằng tập tin đầu vào của bạn có không gian kết thúc của một số dòng, nếu bạn rõ ràng lên đó, bạn có thể sử dụng $0 ở vị trí của $1 trong lệnh trên :)

Answer 6

Trong cửa sổ sử dụng "Windows PowerShell" tôi sử dụng lệnh đề cập dưới đây để đạt được điều này

Get-Content .\file.txt | Group-Object | Select Name, Count 

Ngoài ra chúng tôi có thể sử dụng cmdlet nơi đối tượng để lọc kết quả

Get-Content .\file.txt | Group-Object | Where-Object { $_.Count -gt 1 } | Select Name, Count