web-scraping

10Nhiệt

4Trả lời

Tôi làm cách nào để bảo vệ trang web của mình khỏi HTTrack hoặc phần mềm khác?

Gần đây, tôi đã nhận được Mẫu trang web được phê duyệt trên Themeforest. Tôi nhận được quá nhiều lưu lượng truy cập trên trang web của mình và nhận thấy rằng bản demo của tôi trên Themeforest đang bị

19Nhiệt

1Trả lời

Cách truy xuất/tính số lượng trích dẫn và/hoặc chỉ mục trích dẫn từ danh sách tác giả?

Tôi có một danh sách các tác giả. Tôi muốn tự động truy xuất/tính toán chỉ mục trích dẫn (lý tưởng hàng năm) (chỉ mục h-index, m-quotient, g-index, chỉ báo HCP hoặc ...) cho từng tác giả. Author Year

5Nhiệt

1Trả lời

Phế liệu. Làm thế nào để thay đổi cài đặt nhện sau khi bắt đầu thu thập thông tin?

Tôi không thể thay đổi cài đặt spider theo phương pháp phân tích cú pháp. Nhưng nó chắc chắn phải là một cách. Ví dụ: class SomeSpider(BaseSpider): name = 'mySpider' allowed_domains = ['ex

5Nhiệt

2Trả lời

Web vỏ điện lưới Đang phát hành SSL/TSL Số phát hành

Tôi muốn chạy tập lệnh cào web trên máy chủ. Tập lệnh hiện tại thu thập html trên trang được chỉ định. $url = "http://websms" [net.httpWebRequest] $request = [net.webRequest]::create($url) [net.http

65Nhiệt

6Trả lời

Cách quản lý 'hồ bơi' của các phiên bản PhantomJS

Tôi đang lập kế hoạch sử dụng dịch vụ web để sử dụng nội bộ, lấy một đối số, URL và trả về html đại diện cho giải quyết DOM từ URL đó. Bằng cách giải quyết tôi có nghĩa là webservice trước tiên sẽ nhậ

58Nhiệt

6Trả lời

Lưu và hiển thị trang web bằng PhantomJS và node.js

Tôi đang tìm một ví dụ về yêu cầu trang web, chờ JavaScript hiển thị (JavaScript sửa đổi DOM), sau đó lấy HTML của trang. Đây phải là ví dụ đơn giản với trường hợp sử dụng rõ ràng cho PhantomJS. Tôi k

8Nhiệt

2Trả lời

Cạo dữ liệu được tạo javascript bằng Python

Tôi muốn xóa một số dữ liệu của url sau bằng Python. http://www.hankyung.com/stockplus/main.php?module=stock&mode=stock_analysis_infomation&itemcode=078340 Đó là về bản tóm tắt thông tin công ty. Điều

6Nhiệt

2Trả lời

Làm thế nào để tối ưu hóa cào với getURL() trong R

Tôi đang cố gắng để cạo tất cả các hóa đơn từ hai trang trên trang web của Hạ viện Pháp của quốc hội. Các trang bao gồm 2002-2012 và đại diện cho ít hơn 1.000 hóa đơn mỗi. Đối với điều này, tôi cạo vớ

27Nhiệt

3Trả lời

Trình duyệt không đầu cho C# (.NET)?

Tôi (là) một nhà phát triển Python đang xây dựng một ứng dụng ghép trang web GUI. Gần đây tôi đã quyết định chuyển sang .NET framework và viết cùng một ứng dụng trong C# (quyết định này không phải của

9Nhiệt

1Trả lời

UnicodeEncodeError: 'ascii' codec không thể mã hóa ký tự u '\ xe7' ở vị trí 17710: thứ tự không nằm trong phạm vi (128)

Tôi đang cố in chuỗi từ archived web crawl, nhưng khi tôi gặp lỗi này : print page['html'] UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 17710: ordinal not in range(128