Xóa các ký tự không phải UTF-8 khỏi tệp txt lớn

Question

Tôi đang làm việc trên tệp văn bản JSON 1 Gigabyte mà tôi đang cố gắng phân tích bằng cách sử dụng Java. Tuy nhiên, phân tích cú pháp ném một ngoại lệ vì nó chạy vào nhân vật 'n' tạo ra ngoại lệ này:

ngoại lệ không hợp lệ UTF-8 bắt đầu byte 0x96

tôi đã cố gắng để loại bỏ các nhân vật sử dụng sed và perl, nhưng có vẻ như họ không thể đọc được ký tự và do đó tập tin vẫn không thay đổi. Tôi muốn xóa ký tự khỏi toàn bộ tệp hoặc thay thế nó bằng bất kỳ ký tự hoặc chuỗi nào khác để phân tích cú pháp hoạt động.

Answer 1

Tệp của bạn không được mã hóa bằng UTF-8.

Bạn nên tìm mã hóa và sử dụng mã hóa này để đọc Tệp bằng cách sử dụng InputStreamReader. Và sau đó lưu nó nếu cần thiết trong UTF-8 (sử dụng cho exemple một OutputStreamWriter).

Nếu bạn không biết mã hóa, tôi khuyên bạn nên kiểm tra bằng một số mã hóa có thể xảy ra: xem Charsets.

Answer 2

Có nó có thể không được UTF-8 xem tại đây đối với một số thông tin về làm thế nào để kiểm tra những gì mã hóa đó là: Java : How to determine the correct charset encoding of a stream

với trả lời tốt nhất dường như chỉ về phía InputStreamReader#getEncoding()