cách dễ nhất (hợp pháp) để lập trình nhận số kết quả tìm kiếm trên google?

Question

Tôi muốn nhận số kết quả ước tính cho một số truy vấn công cụ tìm kiếm Google nhất định (trên toàn bộ web) bằng cách sử dụng mã Java.

Tôi chỉ cần thực hiện rất ít truy vấn mỗi ngày, vì vậy lúc đầu tiên Google Web Search API, mặc dù không được chấp nhận, có vẻ đủ tốt (xem ví dụ: How can you search Google Programmatically Java API). Nhưng khi nó bật ra, các con số được trả lại bởi API này rất khác với những con số được trả về bởi www.google.com (xem ví dụ: http://code.google.com/p/google-ajax-apis/issues/detail?id=32). Vì vậy, những con số này khá vô dụng đối với tôi.

Tôi cũng đã thử Google Custom Search engine, hiển thị cùng một vấn đề.

Bạn nghĩ giải pháp đơn giản nhất cho nhiệm vụ của mình là gì?

Answer 1

/**** @author RAJESH Kharche */ 
//open Netbeans 
//Choose Java->prject 
//name it GoogleSearchAPP 

package googlesearchapp; 

import java.io.*; 
import java.net.*; 
import java.util.*; 
import java.util.logging.Level; 
import java.util.logging.Logger; 

public class GoogleSearchAPP { 
    public static void main(String[] args) { 
     try { 
      // TODO code application logic here 

      final int Result; 

      Scanner s1=new Scanner(System.in); 
      String Str; 
      System.out.println("Enter Query to search: ");//get the query to search 
      Str=s1.next(); 
      Result=getResultsCount(Str); 

      System.out.println("Results:"+ Result); 
     } catch (IOException ex) { 
      Logger.getLogger(GoogleSearchAPP.class.getName()).log(Level.SEVERE, null, ex); 
     }  
    } 

    private static int getResultsCount(final String query) throws IOException { 
     final URL url; 
     url = new URL("https://www.google.com/search?q=" + URLEncoder.encode(query, "UTF-8")); 
     final URLConnection connection = url.openConnection(); 

     connection.setConnectTimeout(60000); 
     connection.setReadTimeout(60000); 
     connection.addRequestProperty("User-Agent", "Google Chrome/36");//put the browser name/version 

     final Scanner reader = new Scanner(connection.getInputStream(), "UTF-8"); //scanning a buffer from object returned by http request 

     while(reader.hasNextLine()){ //for each line in buffer 
      final String line = reader.nextLine(); 

      if(!line.contains("\"resultStats\">"))//line by line scanning for "resultstats" field because we want to extract number after it 
       continue; 

      try{   
       return Integer.parseInt(line.split("\"resultStats\">")[1].split("<")[0].replaceAll("[^\\d]", ""));//finally extract the number convert from string to integer 
      }finally{ 
       reader.close(); 
      } 
     } 
     reader.close(); 
     return 0; 
    } 
} 

Answer 2

Điều bạn có thể làm là thực hiện tìm kiếm thực tế trên Google để bắt đầu. Cách dễ nhất có thể để thực hiện việc này là truy cập url https://www.google.com/search?q=QUERY_HERE và sau đó bạn muốn xóa số kết quả khỏi trang đó.

Dưới đây là một ví dụ nhanh như thế nào để làm điều đó:

private static int getResultsCount(final String query) throws IOException { 
    final URL url = new URL("https://www.google.com/search?q=" + URLEncoder.encode(query, "UTF-8")); 
    final URLConnection connection = url.openConnection(); 
    connection.setConnectTimeout(60000); 
    connection.setReadTimeout(60000); 
    connection.addRequestProperty("User-Agent", "Mozilla/5.0"); 
    final Scanner reader = new Scanner(connection.getInputStream(), "UTF-8"); 
    while(reader.hasNextLine()){ 
     final String line = reader.nextLine(); 
     if(!line.contains("<div id=\"resultStats\">")) 
      continue; 
     try{ 
      return Integer.parseInt(line.split("<div id=\"resultStats\">")[1].split("<")[0].replaceAll("[^\\d]", "")); 
     }finally{ 
      reader.close(); 
     } 
    } 
    reader.close(); 
    return 0; 
} 

Đối với việc sử dụng, bạn sẽ làm điều gì đó như:

final int count = getResultsCount("horses"); 
System.out.println("Estimated number of results for horses: " + count);