"Định nghĩa mã thông báo ngụ ý trong quy tắc phân tích cú pháp" có phải là điều đáng lo ngại không?

Question

Tôi đang tạo ngữ pháp đầu tiên với ANTLR và ANTLRWorks 2. Tôi hầu như đã hoàn thành ngữ pháp (nó nhận ra mã được viết bằng ngôn ngữ được mô tả và xây dựng các cây phân tích chính xác), nhưng tôi chưa bắt đầu bất cứ điều gì ngoài đó. Điều gì khiến tôi lo ngại là mỗi lần xuất hiện đầu tiên của một mã thông báo trong quy tắc phân tích cú pháp được gạch chân bằng một vệt màu vàng có nghĩa là "Định nghĩa mã thông báo ngụ ý trong quy tắc phân tích cú pháp".

Ví dụ, trong quy tắc này, các 'var' có mà squiggle:

variableDeclaration: 'var' IDENTIFIER ('=' expression)?; 

Làm thế nào nó trông giống hệt:

Điều kỳ lạ là ANTLR bản thân dường như không nhớ những quy tắc này (khi thực hiện kiểm tra rig test, tôi không thể thấy bất kỳ cảnh báo nào trong đầu ra của trình phân tích cú pháp, chỉ cần một cái gì đó về phiên bản Java không chính xác đang được cài đặt trên máy của tôi), vì vậy nó chỉ là ANTLRWorks phàn nàn.

Có điều gì đó phải lo lắng hoặc tôi có nên bỏ qua những cảnh báo này không? Tôi có nên khai báo tất cả các mã thông báo một cách rõ ràng trong các quy tắc lexer không? Hầu hết các exaples trong kinh thánh chính thức The Defintive ANTLR Reference dường như được thực hiện chính xác cách tôi viết mã.

Answer 1

Tôi khuyên bạn nên sửa tất cả các trường hợp cảnh báo này trong mã có tầm quan trọng bất kỳ.

cảnh báo này đã được tạo ra (bởi tôi thực sự) để cảnh báo bạn về những tình huống như sau:

shiftExpr : ID (('<<' | '>>') ID)?; 

Kể từ ANTLR 4 khuyến khích mã hành động được ghi trong các tập tin riêng biệt trong ngôn ngữ mục tiêu thay vì nhúng chúng trực tiếp trong ngữ pháp, điều quan trọng là có thể phân biệt giữa << và >>. Nếu mã thông báo không được tạo rõ ràng cho các toán tử này, chúng sẽ được gán các kiểu tùy ý và không có hằng số được đặt tên nào sẽ có sẵn để tham chiếu chúng.

Cảnh báo này cũng giúp tránh được những tình huống có vấn đề sau:

• Một nguyên tắc phân tích cú pháp có chứa một tham chiếu thẻ sai chính tả. Không có cảnh báo, điều này có thể dẫn đến việc tạo ra một mã thông báo bổ sung im lặng mà không bao giờ có thể khớp với nhau.

• Một nguyên tắc phân tích cú pháp chứa một tham chiếu thẻ không chủ ý, chẳng hạn như sau:

  number : zero | INTEGER; 
  zero : '0'; // <-- this implicit definition causes 0 to get its own token 
  

Answer 2

Nếu bạn đang viết ngữ pháp lexer mà sẽ không được sử dụng trên nhiều ngữ pháp phân tích cú pháp, bạn có thể bỏ qua cảnh báo này được hiển thị bởi ANTLRWorks2.