ANTLR4: xử lý Khoảng trắng

Question

Tôi đã thấy nhiều văn phạm tiếng ANTLR sử dụng xử lý khoảng trắng như thế này:

WS: [ \n\t\r]+ -> skip; 
// or 
WS: [ \n\t\r]+ -> channel(HIDDEN); 

Vì vậy, các khoảng trắng được vứt bỏ lần lượt gửi đến kênh ẩn.

Với ngữ pháp như thế này:

grammar Not; 

start:  expression; 
expression: NOT expression 
      | (TRUE | FALSE); 

NOT: 'not'; 
TRUE: 'true'; 
FALSE: 'false'; 
WS: [ \n\t\r]+ -> skip; 

đầu vào hợp lệ là 'không đúng' hoặc 'không sai' mà còn 'nottrue' mà không phải là một kết quả mong muốn. Thay đổi ngữ pháp để:

grammar Not; 

start:  expression; 

expression: NOT WS+ expression 
      | (TRUE | FALSE); 

NOT: 'not'; 

TRUE: 'true'; 
FALSE: 'false'; 

WS: [ \n\t\r]; 

sửa chữa vấn đề này, nhưng tôi không muốn để xử lý các khoảng trắng tay trong từng quy tắc.

Nói chung tôi muốn có khoảng trống giữa mỗi mã thông báo với một số ngoại lệ (ví dụ: '! True' không cần khoảng trắng ở giữa).

Có cách nào đơn giản để thực hiện việc này không?

Answer 1

Thêm quy tắc lexer IDENTIFIER để xử lý các từ không phải là từ khóa.

IDENTIFIER : [a-zA-Z]+; 

Bây giờ văn bản nottrue là một IDENTIFIER dấu hiệu duy nhất mà phân tích cú pháp của bạn sẽ không chấp nhận ở vị trí của các từ khóa riêng biệt trong not true.

Đảm bảo IDENTIFIER được xác định sau các từ khóa khác của bạn. Người lexer sẽ thấy rằng cả hai số NOT và IDENTIFIER đều khớp với văn bản not và sẽ chỉ định loại mã thông báo cho loại thẻ đầu tiên xuất hiện trong ngữ pháp.