Python - phát hiện bộ ký tự và chuyển đổi thành utf-8

Question

Có phương pháp phổ biến nào để phát hiện bộ mã chuỗi không? Tôi sử dụng thẻ IPTC và không có mã hóa đã biết. Tôi cần phải phát hiện nó và sau đó thay đổi chúng thành utf-8.

Bất kỳ ai cũng có thể trợ giúp?

Answer 1

Bạn muốn sử dụng chardet, một máy dò mã hóa

Answer 2

Đó là hơi muộn, nhưng đó cũng là một giải pháp: cố gắng sử dụng pyicu.

Một ví dụ:

import icu 
def convert_encoding(data, new_coding='UTF-8'): 
    coding = icu.CharsetDetector(data).detect().getName() 
    if new_coding.upper() != coding.upper(): 
     data = unicode(data, coding).encode(new_coding) 
    return data 

Answer 3

Có một module gọi là cchardet

Nó được cho là nhanh hơn so với chardet.

Lưu ý rằng nó đòi hỏi Cython

Answer 4

Nếu bạn muốn làm điều đó với cchardet, bạn có thể sử dụng chức năng này.

import cchardet 
def convert_encoding(data, new_coding = 'UTF-8'): 
    encoding = cchardet.detect(data)['encoding'] 

    if new_coding.upper() != encoding.upper(): 
    data = data.decode(encoding, data).encode(new_coding) 

    return data