Độ dài chuỗi Delphi Unicode theo byte

Question

Tôi đang làm việc để chuyển một số mã Delphi 7 sang XE4, vì vậy, unicode là chủ đề ở đây.

Tôi có phương thức trong đó chuỗi được ghi vào TMemoryStream, vì vậy theo this embarcadero article, tôi nên nhân chiều dài của chuỗi (trong ký tự) với kích thước của loại Char để có độ dài bằng byte cần thiết cho tham số length (in bytes) cho WriteBuffer.

vì vậy trước khi:

rawHtml : string; //AnsiString 
... 
memorystream1.WriteBuffer(Pointer(rawHtml)^, Length(rawHtml); 

sau:

rawHtml : string; //UnicodeString 
... 
memorystream1.WriteBuffer(Pointer(rawHtml)^, Length(rawHtml)* SizeOf(Char)); 

sự hiểu biết của tôi về loại UnicodeString Delphi là nó UTF-16 trong nội bộ. Nhưng sự hiểu biết chung của tôi về Unicode là không phải tất cả các ký tự unicode đều có thể được biểu diễn ngay cả trong 2 byte, do đó một số ký tự ngoại ngữ trong trường hợp góc sẽ mất 4 byte. Another of embarcadero's articles dường như xác nhận rằng sự nghi ngờ của tôi, "Trên thực tế, thậm chí không đúng là một Char bằng hai byte!" Vì vậy ... điều đó khiến tôi băn khoăn liệu Length(rawHtml)* SizeOf(Char) có thực sự đủ mạnh để luôn chính xác hay không, hoặc liệu có cách nào tốt hơn để xác định kích thước của chuỗi sẽ chính xác hơn không? Có phải không?

Answer 1

Hiểu biết của tôi về loại UnicodeString của Delphi là UTF-16 nội bộ.

Bạn đúng về mã hóa UTF-16 của Delphi UnicodeString.Điều này có nghĩa là những gì một ký tự 16-bit là đủ rộng để đại diện cho tất cả code points từ các Basic Multilingual Plane chính xác như một yếu tố Char của string mảng.

Nhưng sự hiểu biết chung của tôi về Unicode là không phải tất cả các ký tự unicode thể được biểu diễn ngay cả trong 2 byte, rằng một số nhân vật trường hợp góc nước ngoài sẽ mất 4 byte.

Tuy nhiên, bạn có một chút quan niệm sai lầm ở đây. Length chức năng không thực hiện bất kỳ kiểm tra sâu sắc của các ký tự và chỉ cần trả về số 16-bit WideChar yếu tố, mà không tính đến bất kỳ thay thế trong chuỗi của bạn. Điều này có nghĩa gì nếu bạn gán một ký tự đơn từ bất kỳ Supplementary Planes đến UnicodeString, Length sẽ trở lại 2.

program Egyptian; 

{$APPTYPE CONSOLE} 

var 
    S: UnicodeString; 

begin 
    S := #$1304E; // single char 
    Writeln(Length(S)); 
    Readln; 
end. 

---

Kết luận: kích thước byte của dữ liệu chuỗi luôn luôn cố định và bằng Length(S) * SizeOf(Char), bất kể nếu S chứa bất kỳ ký tự có độ dài biến đổi nào.

Answer 2

Delphi của UnicodeString được mã hóa bằng UTF-16. UTF-16 là mã hóa độ dài biến, giống như UTF-8. Nói cách khác, một điểm mã Unicode duy nhất có thể yêu cầu nhiều yếu tố nhân vật để mã hóa nó. Là một điểm đáng chú ý, mã hóa Unicode có độ dài cố định duy nhất là UTF-32. Mã hóa UTF-16 sử dụng các phần tử ký tự 16 bit, do đó tên.

Trong Unicode Delphi, Char là bí danh cho WideChar là phần tử ký tự UTF-16. Và string là bí danh cho UnicodeString, là một mảng gồm các phần tử WideChar. Hàm Length() trả về số phần tử trong mảng.

Vì vậy, SizeOf(Char) luôn là 2 cho UnicodeString. Một số điểm mã Unicode được mã hóa với nhiều thành phần ký tự, hoặc Char s. Nhưng Length() trả lại số lượng thành phần ký tự và không phải số số điểm mã. Tất cả các yếu tố nhân vật đều có cùng kích thước. Vì vậy,

memorystream1.WriteBuffer(Pointer(rawHtml)^, Length(rawHtml)* SizeOf(Char)); 

là chính xác.

Answer 3

Những gì bạn đang làm là chính xác (với sizeof (Char)).

Điều bạn đề cập đến là không một ký tự nào đề cập đến một điểm mã (do cặp thay thế chẳng hạn). Nhưng các ký tự USC2 được mã hóa (KHÔNG UTF-16) trong chuỗi lấy chính xác số lượng byte với Length(Str) * sizeof(Char).

Lưu ý rằng mã hóa Unicode được sử dụng trong Delphi giống như tất cả các cuộc gọi Windows API mong đợi trong các biến thể .... W.

Answer 4

Những người khác đã giải thích cách mã hóa UnicodeString và cách tính độ dài byte của nó. Tôi chỉ muốn nhấn mạnh rằng, RTL đã có một chức năng như vậy - SysUtils.ByteLength():

memorystream1.WriteBuffer(PChar(rawHtml)^, ByteLength(rawHtml));