Trích xuất văn bản từ các URL bằng TIKA

Question

Có thể trích xuất văn bản từ các URL bằng Tika không? Mọi liên kết sẽ được đánh giá cao. Hoặc TIKA chỉ có thể sử dụng cho pdf, từ và bất kỳ tài liệu truyền thông nào khác?

Answer 1

Đây là từ lucid:

InputStream input = new FileInputStream(new File(resourceLocation)); 
ContentHandler textHandler = new BodyContentHandler(); 
Metadata metadata = new Metadata(); 
PDFParser parser = new PDFParser(); 
parser.parse(input, textHandler, metadata); 
input.close(); 
out.println("Title: " + metadata.get("title")); 
out.println("Author: " + metadata.get("Author")); 
out.println("content: " + textHandler.toString()); 

Thay vì tạo ra một PDFParser bạn có thể sử dụng Tika của AutoDetectParser để tự động xử lý các loại khác của tập tin:

Parser parser = new AutoDetectParser(); 

Answer 2

Kiểm tra documentation - có bạn có thể.

Ví dụ

java -jar tika-app-0.9.jar -t http://stackoverflow.com/questions/6656849/extract-the-text-from-url-using-tika 

sẽ hiển thị nội dung trên trang này.

Answer 3

để trích xuất nội dung từ URL không từ tập tin địa phương sử dụng mã này:

byte[] raw = content.getContent(); 
    ContentHandler handler = new BodyContentHandler(); 
    Metadata metadata = new Metadata(); 
    Parser parser = new AutoDetectParser(); 
    parser.parse(new ByteArrayInputStream(raw), handler, metadata, new ParseContext()); 
    LOG.info("content: " + handler.toString()); 

Answer 4

Có, bạn có thể làm điều đó. Đây là mã. Mã này sử dụng apache http client

HttpGet httpget = new HttpGet("http://url.here"); 
    HttpEntity entity = null; 
    HttpClient client = new DefaultHttpClient(); 
    HttpResponse response = client.execute(httpget); 
    entity = response.getEntity(); 
    if (entity != null) { 
     InputStream instream = entity.getContent(); 
     BodyContentHandler handler = new BodyContentHandler(); 
     Metadata metadata = new Metadata(); 
     Parser parser = new AutoDetectParser(); 
     parser.parse(instream, handler, metadata, new ParseContext()); 
     String plainText = handler.toString(); 
     FileWriter writer = new FileWriter("/scratch/cache/output.txt"); 
     writer.write(plainText); 
     writer.close(); 
     System.out.println("done"); 
    }