Phân tích cú pháp Snort Nhật ký với PyParsing

Question

Có vấn đề với phân tích các bản ghi Snort bằng mô-đun pyparsing.

Vấn đề là tách nhật ký Snort (có nhiều mục nhập, được phân cách bằng một dòng trống) và nhận được pyparsing để phân tích từng mục nhập dưới dạng toàn bộ đoạn, thay vì đọc từng dòng và mong đợi ngữ pháp hoạt động với mỗi dòng (rõ ràng là không.)

Tôi đã thử chuyển đổi từng đoạn thành một chuỗi tạm thời, loại bỏ các dòng mới trong mỗi đoạn, nhưng từ chối xử lý chính xác. Tôi có thể hoàn toàn theo dõi sai, nhưng tôi không nghĩ như vậy (một biểu mẫu tương tự hoạt động hoàn hảo cho nhật ký kiểu nhật ký hệ thống, nhưng đó là các mục nhập một dòng và do đó bạn tự vay để xử lý dòng/xử lý tệp cơ bản của mình)

Dưới đây là một mẫu của các bản ghi và mã tôi có cho đến nay:

[**] [1:486:4] ICMP Destination Unreachable Communication with Destination Host is Administratively Prohibited [**] 
[Classification: Misc activity] [Priority: 3] 
08/03-07:30:02.233350 172.143.241.86 -> 63.44.2.33 
ICMP TTL:61 TOS:0xC0 ID:49461 IpLen:20 DgmLen:88 
Type:3 Code:10 DESTINATION UNREACHABLE: ADMINISTRATIVELY PROHIBITED HOST FILTERED 
** ORIGINAL DATAGRAM DUMP: 
63.44.2.33:41235 -> 172.143.241.86:4949 
TCP TTL:61 TOS:0x0 ID:36212 IpLen:20 DgmLen:60 DF 
Seq: 0xF74E606 
(32 more bytes of original packet) 
** END OF DUMP 

[**] ...more like this [**] 

và mã Cập nhật:

def snort_parse(logfile): 
    header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + Suppress("]") + Regex(".*") + Suppress("[**]") 
    cls = Optional(Suppress("[Classification:") + Regex(".*") + Suppress("]")) 
    pri = Suppress("[Priority:") + integer + Suppress("]") 
    date = integer + "/" + integer + "-" + integer + ":" + integer + "." + Suppress(integer) 
    src_ip = ip_addr + Suppress("->") 
    dest_ip = ip_addr 
    extra = Regex(".*") 

    bnf = header + cls + pri + date + src_ip + dest_ip + extra 

    def logreader(logfile): 
     chunk = [] 
     with open(logfile) as snort_logfile: 
      for line in snort_logfile: 
       if line !='\n': 
        line = line[:-1] 
        chunk.append(line) 
        continue 
       else: 
        print chunk 
        yield " ".join(chunk) 
        chunk = [] 

    string_to_parse = "".join(logreader(logfile).next()) 
    fields = bnf.parseString(string_to_parse) 
    print fields 

Bất kỳ sự giúp đỡ, gợi ý, RTFMs, bạn đang làm sai lầm, vv ., đánh giá cao.

Answer 1

import pyparsing as pyp 
import itertools 

integer = pyp.Word(pyp.nums) 
ip_addr = pyp.Combine(integer+'.'+integer+'.'+integer+'.'+integer) 

def snort_parse(logfile): 
    header = (pyp.Suppress("[**] [") 
       + pyp.Combine(integer + ":" + integer + ":" + integer) 
       + pyp.Suppress(pyp.SkipTo("[**]", include = True))) 
    cls = (
     pyp.Suppress(pyp.Optional(pyp.Literal("[Classification:"))) 
     + pyp.Regex("[^]]*") + pyp.Suppress(']')) 

    pri = pyp.Suppress("[Priority:") + integer + pyp.Suppress("]") 
    date = pyp.Combine(
     integer+"/"+integer+'-'+integer+':'+integer+':'+integer+'.'+integer) 
    src_ip = ip_addr + pyp.Suppress("->") 
    dest_ip = ip_addr 

    bnf = header+cls+pri+date+src_ip+dest_ip 

    with open(logfile) as snort_logfile: 
     for has_content, grp in itertools.groupby(
       snort_logfile, key = lambda x: bool(x.strip())): 
      if has_content: 
       tmpStr = ''.join(grp) 
       fields = bnf.searchString(tmpStr) 
       print(fields) 

snort_parse('snort_file') 

mang

[['1:486:4', 'Misc activity', '3', '08/03-07:30:02.233350', '172.143.241.86', '63.44.2.33']] 

Answer 2

Vâng, tôi không biết Snort hoặc pyparsing, vì vậy xin lỗi trước nếu tôi nói điều gì đó ngu ngốc. Tôi không rõ liệu sự cố có phải là pyparsing không thể xử lý các mục nhập hay không hoặc bạn không thể gửi chúng đến pyparsing ở đúng định dạng. Nếu sau này, tại sao không làm điều gì đó như thế này?

def logreader(path_to_file): 
    chunk = [ ] 
    with open(path_to_file) as theFile: 
     for line in theFile: 
      if line: 
       chunk.append(line) 
       continue 
      else: 
       yield "".join(*chunk) 
       chunk = [ ] 

Tất nhiên, nếu bạn cần phải sửa đổi từng đoạn trước khi gửi nó cho pyparsing, bạn có thể làm như vậy trước khi yield ing nó.

Answer 3

Bạn có một số không học hỏi regex để làm, nhưng hy vọng điều này sẽ không quá đau đớn. Thủ phạm lớn nhất trong suy nghĩ của bạn là việc sử dụng cấu trúc này:

some_stuff + Regex(".*") + 
       Suppress(string_representing_where_you_want_the_regex_to_stop) 

Mỗi thanh con trong trình phân tích cú pháp pyparsing khá độc lập và hoạt động liên tục qua văn bản đến. Vì vậy, thuật ngữ Regex không có cách nào để xem trước biểu thức tiếp theo để biết vị trí dừng lặp lại '*'. Nói cách khác, biểu thức Regex(".*") sẽ chỉ đọc cho đến cuối dòng, vì đó là nơi dừng ".*" mà không chỉ định đa dòng.

Trong pyparsing, khái niệm này được triển khai bằng SkipTo. Sau đây là cách dòng tiêu đề của bạn được viết:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
      Suppress("]") + Regex(".*") + Suppress("[**]") 

của bạn "*" Vấn đề được giải quyết bằng cách thay đổi nó để:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
      Suppress("]") + SkipTo("[**]") + Suppress("[**]") 

điều tương tự cho cls.

Một lỗi cuối cùng, định nghĩa của bạn của ngày là ngắn bởi một ':' + số nguyên:

date = integer + "/" + integer + "-" + integer + ":" + integer + "." + 
      Suppress(integer) 

nên là:

date = integer + "/" + integer + "-" + integer + ":" + integer + ":" + 
      integer + "." + Suppress(integer) 

Tôi nghĩ rằng những thay đổi này sẽ là đủ để bắt đầu phân tích của bạn dữ liệu nhật ký.

Dưới đây là một số gợi ý phong cách khác:

Bạn có rất nhiều lặp lại Suppress("]") biểu thức. Tôi đã bắt đầu xác định tất cả dấu chấm câu có thể ngăn chặn của tôi trong một tuyên bố rất nhỏ gọn và dễ bảo trì như sau:

LBRACK,RBRACK,LBRACE,RBRACE = map(Suppress,"[]{}") 

(mở rộng để thêm bất kỳ ký tự dấu câu nào bạn thích). Bây giờ tôi có thể sử dụng các ký tự này bằng tên biểu tượng của chúng và tôi tìm thấy mã kết quả dễ đọc hơn một chút.

Bạn bắt đầu tiêu đề với header = Suppress("[**] [") + .... Tôi không bao giờ thích nhìn thấy các không gian được nhúng trong các văn chương theo cách này, vì nó bỏ qua một số các pyparsing mạnh mẽ phân tích cú pháp cho phép bạn bỏ qua khoảng trắng tự động của nó. Nếu vì lý do nào đó, khoảng cách giữa "[**]" và "[" đã được thay đổi để sử dụng 2 hoặc 3 dấu cách hoặc một tab, thì chữ bị chặn của bạn sẽ không thành công. Kết hợp điều này với đề xuất trước đó và tiêu đề sẽ bắt đầu bằng

header = Suppress("[**]") + LBRACK + ... 

Tôi biết đây là văn bản được tạo nên không thể thay đổi định dạng này, nhưng phát lại tốt hơn với điểm mạnh của pyparsing.

Khi bạn đã phân tích cú pháp các trường của mình, hãy bắt đầu gán tên kết quả cho các phần tử khác nhau trong trình phân tích cú pháp của bạn. Điều này sẽ làm cho số lô dễ dàng hơn để lấy dữ liệu sau đó. Ví dụ: thay đổi cls thành:

cls = Optional(Suppress("[Classification:") + 
      SkipTo(RBRACK)("classification") + RBRACK) 

Sẽ cho phép bạn truy cập dữ liệu phân loại bằng cách sử dụng fields.classification.