web-scraping

6Nhiệt

1Trả lời

Cách sử dụng R để tải xuống tệp nén từ trang SSL yêu cầu cookie

Tôi đang cố gắng tải xuống tệp từ trang https yêu cầu nút "Tôi đồng ý" và sau đó lưu trữ cookie. Lời xin lỗi của tôi nếu câu trả lời này rõ ràng ở đâu đó .. Khi tôi mở trang web trực tiếp trong Chrome

5Nhiệt

1Trả lời

Spider phế phẩm trả về Không thay vì mục

Tôi đã tìm thấy câu trả lời, bên dưới. Trong ngắn hạn, sai thụt lề trong ItemPipeline khiến nó trở về None. Tôi đã cố gắng viết CrawlSpider trong Scrapy, chưa từng làm việc với python trước đây. Spide

5Nhiệt

3Trả lời

RUBY - web cạo - (OpenURI :: HTTPError)

Tôi đang cố gắng để mã một trang web đơn giản cạo trong ruby. Nó hoạt động cho đến url 29 sau đó tôi nhận được thông báo lỗi này: C:/Ruby193/lib/ruby/1.9.1/open-uri.rb:346:in `open_http': 500 Internal

5Nhiệt

1Trả lời

Nhập bằng tay khi chạy phantomjs casperjs

Có thể tạo tập lệnh (phantomjs hoặc casperjs) dừng cho nhập bằng tay thủ công (nhập bàn phím) trước khi chuyển sang bước tiếp theo không? Ví dụ: tập lệnh sẽ điền vào biểu mẫu và xuất toàn bộ màn hình

7Nhiệt

1Trả lời

xây dựng scrapy nhện vào chương trình của riêng tôi, tôi không muốn gọi scrapy từ dòng lệnh)

trong một tĩnh mạch tương tự như câu hỏi này: stackoverflow: running-multiple-spiders-in-scrapy tôi tự hỏi, tôi có thể chạy một toàn bộ dự án scrapy từ bên trong một chương trình python khác? Cho phép

6Nhiệt

2Trả lời

Cạo trang ajax web với trăn và/hoặc scrapy

Những gì tôi muốn làm là trích xuất dữ liệu kiến nghị - Tên, thành phố, tiểu bang, ngày, số chữ ký - từ một hoặc nhiều kiến nghị tại petitions.whitehouse.gov Tôi giả định tại điểm này python là co

8Nhiệt

1Trả lời

Có thể sử dụng Văn bản hoặc ByteString trên HXT trong Haskell không?

Tôi nghĩ rằng HXT, một thư viện xử lý XML/HTML trong Haskell, có các phương thức thực sự linh hoạt và mạnh mẽ để duyệt và thao tác cây DOM bằng Mũi tên. http://adit.io/posts/2012-04-14-working_with_HT

9Nhiệt

1Trả lời

Sử dụng tor và python để cạo Google Scholar

Tôi đang làm việc trên một dự án để phân tích cách trích dẫn các bài viết trên tạp chí. Tôi có một tập các tên bài báo lớn. Tôi dự định chuyển chúng sang Google Scholar và xem có bao nhiêu trích dẫn.

8Nhiệt

2Trả lời

Trích xuất các liên kết từ bảng html

Tôi đang cố trích xuất các liên kết từ trang web sau đây http://ipt.humboldt.org.co/ thuộc loại "Mẫu". Tôi có thể lấy bảng từ trang web bằng cách sử dụng mã sau: library(XML) sitePage<-htmlParse("htt

5Nhiệt

2Trả lời

Phiếu mua hàng không trả lại kết quả nào

Tôi đã nghiên cứu vấn đề này trong cơ sở dữ liệu, googled các câu hỏi và tìm thấy hai lỗi khác nhau. Tôi đã xác định rằng 503 lỗi là Amazon chặn tôi nhưng tôi nhận được một lỗi khác nhau mà là cùng mộ