Cách tìm các dòng trùng lặp trên 2 tệp khác nhau? Unix

Question

Từ thiết bị đầu cuối unix, chúng ta có thể sử dụng diff file1 file2 để tìm sự khác biệt giữa hai tệp. Có một lệnh tương tự để hiển thị sự giống nhau trên 2 tệp không? (Nhiều ống phép nếu cần thiết

Mỗi tập tin chứa một phù hợp với một câu chuỗi, họ đều được sắp xếp và lặp lại dòng loại bỏ bằng sort file1 | uniq

file1:.. http://pastebin.com/taRcegVn

file2: http://pastebin.com/2fXeMrHQ

Và đầu ra sẽ xuất ra các dòng xuất hiện trong cả hai tệp.

output: http://pastebin.com/FnjXFshs

tôi có thể sử dụng python để làm điều đó như thế nhưng tôi nghĩ rằng đó là một chút quá nhiều để đưa vào thiết bị đầu cuối:

x = set([i.strip() for i in open('wn-rb.dic')]) 
y = set([i.strip() for i in open('wn-s.dic')]) 
z = x.intersection(y) 
outfile = open('reverse-diff.out') 
for i in z: 
    print>>outfile, i 

Answer 1

Như @tjameson đề cập đến nó có thể được giải quyết trong thread khác. Chỉ muốn gửi một giải pháp: sort file1 file2 | awk 'dup[$0]++ == 1'

1. tham khảo awk guide để có được một số awk điều cơ bản, khi giá trị mô hình của một dòng là đúng dòng này sẽ được in

2. dup [ $ 0] là một bảng băm trong đó mỗi khóa là mỗi dòng của đầu vào, giá trị ban đầu là 0 và gia số khi dòng này xảy ra, khi nó xảy ra một lần nữa giá trị phải là 1, vì vậy dup[$0]++ == 1 là đúng. Sau đó, dòng này được in.

Lưu ý rằng điều này chỉ hoạt động khi không có trùng lặp trong một trong hai tệp, như được chỉ định trong câu hỏi.

Answer 2

Nếu bạn muốn có được một danh sách các dòng lặp đi lặp lại mà không cần đến AWK, bạn có thể sử dụng -d flag to uniq:

sort file1 file2 | uniq -d