Làm thế nào để đếm sự khác biệt giữa hai tập tin trên Linux?

Question

Tôi cần làm việc với các tệp lớn và phải tìm sự khác biệt giữa hai tệp. Và tôi không cần các bit khác nhau, nhưng số lượng khác biệt.

Để tìm số hàng khác nhau tôi đưa ra

diff --suppress-common-lines --speed-large-files -y File1 File2 | wc -l 

Và nó hoạt động, nhưng là có một cách tốt hơn để làm điều đó?

Và cách đếm số khác biệt chính xác (với các công cụ chuẩn như bash, diff, awk, sed một số phiên bản cũ của perl)?

Answer 1

diff -U 0 file1 file2 | grep -v ^@ | wc -l 

Điều đó trừ 2 cho hai tên tệp ở đầu danh sách diff. Định dạng hợp nhất có thể nhanh hơn một chút so với định dạng cạnh nhau.

Answer 2

Nếu sử dụng Linux/Unix, điều gì về comm -1 file1 file2 để in các dòng trong tệp1 không có trong tệp 2, comm -1 file1 file2 | wc -l để đếm chúng và tương tự cho comm -2 ...?

Answer 3

Nếu bạn muốn đếm số dòng được sử dụng khác nhau này:

diff -U 0 file1 file2 | grep ^@ | wc -l 

Liệu câu trả lời không John đôi đếm các dòng khác nhau?

Answer 4

Vì mỗi dòng đầu ra khác bắt đầu với < hoặc > nhân vật, tôi sẽ đề nghị này:

diff file1 file2 | grep ^[\>\<] | wc -l 

Bằng cách chỉ sử dụng \< hoặc \> trong dòng kịch bản bạn có thể đếm khác biệt duy nhất tại một trong các tập tin.

Answer 5

Nếu bạn đang xử lý các tệp có nội dung tương tự nên được sắp xếp cùng một dòng-cho-dòng (như tệp CSV mô tả những thứ tương tự) và bạn sẽ ví dụ: muốn tìm 2 sự khác biệt trong các tập tin sau đây:

File a: File b: 
min,max min,max 
1,5  2,5 
3,4  3,4 
-2,10  -1,1 

bạn có thể thực hiện nó bằng Python như thế này:

different_lines = 0 
with open(file1) as a, open(file2) as b: 
    for line in a: 
     other_line = b.readline() 
     if line != other_line: 
      different_lines += 1