NLTK được gọi là nhận dạng đối tượng bằng tiếng Hà Lan

Question

Tôi đang cố gắng trích xuất các thực thể được đặt tên từ văn bản tiếng Hà Lan. Tôi đã sử dụng nltk-trainer để đào tạo một người gắn thẻ và một chunker trên corpus conll2002 dutch. Tuy nhiên, phương thức phân tích cú pháp từ chunker không phát hiện bất kỳ thực thể có tên nào. Đây là mã của tôi:

str = 'Christiane heeft een lam.' 

tagger = nltk.data.load('taggers/dutch.pickle') 
chunker = nltk.data.load('chunkers/dutch.pickle') 

str_tags = tagger.tag(nltk.word_tokenize(str)) 
print str_tags 

str_chunks = chunker.parse(str_tags) 
print str_chunks 

Và đầu ra của chương trình này:

[('Christiane', u'N'), ('heeft', u'V'), ('een', u'Art'), ('lam', u'Adj'), ('.', u'Punc')] 
(S Christiane/N heeft/V een/Art lam/Adj ./Punc) 

tôi đã mong Christiane được phát hiện như một thực thể được đặt tên. Bất kỳ trợ giúp nào?

Answer 1

Kho ảnh conll2002 có cả văn bản tiếng Tây Ban Nha và tiếng Hà Lan, vì vậy bạn nên đảm bảo sử dụng thông số fileids, như trong python train_chunker.py conll2002 --fileids ned.train. Đào tạo trên cả tiếng Tây Ban Nha và tiếng Hà Lan sẽ có kết quả kém.

Thuật toán mặc định là Chunker dựa trên Tagger, không hoạt động tốt trên conll2002. Thay vào đó, sử dụng một bộ phân loại dựa chunker như NaiveBayes, vì vậy toàn bộ lệnh có thể trông như thế này (và tôi đã xác nhận rằng các chunker kết quả không nhận ra "Christiane" như là một "PER"):

python train_chunker.py conll2002 --fileids ned.train --classifier NaiveBayes --filename ~/nltk_data/chunkers/conll2002_ned_NaiveBayes.pickle