Unicode đa nền tảng trong C/C++: Mã hóa nào sẽ sử dụng?

Question

Tôi hiện đang làm việc trên một dự án sở thích (C/C++) được cho là hoạt động trên cả Windows và Linux, với sự hỗ trợ đầy đủ cho Unicode. Đáng buồn thay, Windows và Linux sử dụng mã hóa khác nhau làm cho cuộc sống của chúng ta khó khăn hơn.

Trong mã của tôi, tôi đang cố gắng sử dụng dữ liệu phổ biến nhất có thể, giúp dễ dàng cho cả Windows và Linux. Trong Windows, wchar_t được mã hóa dưới dạng UTF-16 theo mặc định và UCS-4 trong Linux (đúng với tôi nếu tôi sai).

Phần mềm của tôi mở ({_wfopen, UTF-16, Windows}, {fopen, UTF-8, Linux}) và ghi dữ liệu vào tệp trong UTF-8. Cho đến nay tất cả đều có thể thực hiện được. Cho đến khi tôi quyết định sử dụng SQLite.

Giao diện C/C++ của SQLite cho phép các chuỗi được mã hóa một hoặc hai byte (click). Ofcourse này không hoạt động với wchar_t trong Linux, vì wchar_t trong Linux là 4 byte theo mặc định. Do đó, việc viết và đọc từ sqlite yêu cầu chuyển đổi cho Linux.

Hiện tại, mã đang lộn xộn với các ngoại lệ cho Windows/Linux. Tôi đã hy vọng gắn bó với ý tưởng tiêu chuẩn về lưu trữ dữ liệu trong wchar_t:

• wchar_t trong Windows: Filepaths không có vấn đề, đọc/ghi vào sqlite mà không gặp vấn đề gì. Việc ghi dữ liệu vào một tệp phải được thực hiện bằng UTF-8.
• wchar_t trong Linux: Ngoại lệ đối với filepaths do mã hóa UTF-8, chuyển đổi trước khi đọc/ghi thành sqlite (wchar_t) và giống với cửa sổ khi ghi dữ liệu vào tệp.

Sau khi đọc (here) Tôi đã thuyết phục rằng tôi nên dính vào wchar_t trong Windows. Nhưng sau khi nhận được tất cả những gì để làm việc, rắc rối bắt đầu với việc chuyển sang Linux.

Hiện tại tôi đang nghĩ đến việc làm lại tất cả để gắn với đơn giản char (UTF-8) vì nó hoạt động với cả Windows và Linux, lưu ý rằng tôi cần phải 'WideCharToMultiByte' mỗi chuỗi trong Windows để đạt được UTF-8. Sử dụng các chuỗi char * đơn giản sẽ làm giảm đáng kể số lượng ngoại lệ cho Linux/Windows.

Bạn có kinh nghiệm với unicode cho nền tảng chéo không? Bất kỳ suy nghĩ về ý tưởng chỉ đơn giản là lưu trữ dữ liệu trong UTF-8 thay vì sử dụng wchar_t?

Answer 1

UTF-8 trên tất cả các nền tảng, với chuyển đổi chỉ trong thời gian sang UTF-16 cho Windows là một chiến thuật chung cho Unicode đa nền tảng.

Answer 2

Phần mềm của chúng tôi là nền tảng đa năng và chúng tôi cũng gặp phải các sự cố tương tự. Chúng tôi quyết định rằng mục tiêu của chúng tôi là có số lượng chuyển đổi ít nhất có thể. Điều này có nghĩa là chúng tôi sử dụng wchar_t trên Windows và char trên Unix/Mac.

Chúng tôi thực hiện điều này bằng cách hỗ trợ _T và LPCTSTR và tương tự trên Unix và bằng cách có các chức năng chung dễ dàng chuyển đổi giữa std::string và std::wstring. Chúng tôi cũng có chung số std::basic_string<TCHAR> (tstring) mà chúng tôi sử dụng trong hầu hết các trường hợp.

Cho đến nay công trình này khá tốt. Các hàm cơ bản nhất lấy một số tstring hoặc LPCTSTR và những hàm không chuyển đổi thông số của chúng từ tstring. Điều đó có nghĩa rằng hầu hết thời gian chúng tôi không chuyển đổi chuỗi của chúng tôi và vượt qua hầu hết các thông số.