web-scraping

10Nhiệt

10Trả lời

Tôi hiện đang cố gắng xóa một trang web có HTML có định dạng kém (thường thiếu thẻ đóng, không sử dụng các lớp hoặc id nên rất khó để chuyển thẳng đến phần tử bạn muốn, v.v.). Tôi đã sử dụng Beautiful

10Nhiệt

3Trả lời

Làm cách nào để sử dụng R (gói Rcurl/XML?!) Để xóa trang web này?

Tôi có một thách thức về cào web (hơi phức tạp) mà tôi muốn hoàn thành và sẽ yêu thích một số hướng (đến bất kỳ cấp độ nào bạn cảm thấy muốn chia sẻ) tại đây: Tôi muốn xem qua tất cả các trang "loài"

5Nhiệt

4Trả lời

Python, nhiều chủ đề, tìm nạp trang web, tải xuống các trang web

Tôi muốn xóa hàng loạt trang web trong một trang web. Có 5000000 url liên kết trong tập tin 'urls.txt' của tôi. Khoảng 300 triệu. Làm cách nào để tạo nhiều chủ đề liên kết các url này và tải xuống các

24Nhiệt

2Trả lời

Làm cách nào để sử dụng CrawlSpider từ dơ bẩn để nhấp vào liên kết có javascript trênclick?

Tôi muốn scrapy thu thập trang nơi xảy ra vào liên kết tiếp theo sẽ như thế này: <a href="#" onclick="return gotoPage('2');"> Next </a> sẽ scrapy có thể giải thích mã javascript về điều đó? Với Live

129Nhiệt

4Trả lời

Nạo các bảng html vào các khung dữ liệu R bằng gói XML

Làm cách nào để loại bỏ các bảng html bằng gói XML? Lấy, ví dụ: trang wikipedia này trên Brazilian soccer team. Tôi muốn đọc nó trong R và nhận được "danh sách của tất cả các trận đấu Brazil đã chơi v

5Nhiệt

2Trả lời

Bất cứ ai có giải pháp tốt để tìm nguồn HTML của một trang có nội dung (trong trường hợp này là các bảng HTML) được tạo bằng Javascript?

Bất cứ ai có giải pháp tốt để tìm nguồn HTML của trang có nội dung (trong trường hợp này là các bảng HTML) được tạo bằng Javascript? Một xấu hổ đơn giản, mặc dù giải pháp khả thi sử dụng Crowbar: <?ph

5Nhiệt

1Trả lời

ASP HttpWebRequest and Redirect

OK, tôi có một khách hàng đang thực hiện POST cho máy chủ với một số dữ liệu. Máy chủ nhận được bài đăng và câu trả lời với chuyển hướng. Vấn đề là khách hàng không chuyển hướng. Ngoài ra, tôi đã cố g

12Nhiệt

13Trả lời

Whats ngôn ngữ cào màn hình tốt nhất?

Xin chào, tôi muốn tạo một ứng dụng dành cho máy tính để bàn (C# prob) có thể đánh cắp hoặc điều khiển biểu mẫu trên trang web của bên thứ ba. Về cơ bản, tôi nhập dữ liệu của mình vào biểu mẫu trong ứ

11Nhiệt

3Trả lời

BeautifulSoup: Nhận nội dung của một bảng cụ thể

My local airport gây ô nhục cho người dùng không có IE và trông khủng khiếp. Tôi muốn viết một kịch bản Python có thể nhận được nội dung của các trang Đến và Đi mỗi vài phút và hiển thị chúng theo các

9Nhiệt

1Trả lời

Sử dụng urllib và BeautifulSoup để truy xuất thông tin từ web với Python

Tôi có thể tải trang html bằng cách sử dụng urllib và sử dụng BeautifulSoup để phân tích trang html và có vẻ như tôi phải tạo tệp để đọc từ BeautifulSoup. import urllib sock = urllib.urlopen