scrapy

7Nhiệt

1Trả lời

đăng nhập xác thực không hợp lệ với cookie

tôi mới dùng mưu mẹo và quyết định dùng thử vì các đánh giá trực tuyến tốt. Tôi đang cố gắng đăng nhập vào một trang web bị lúng túng. Tôi đã đăng nhập thành công với một sự kết hợp của selen và cơ gi

9Nhiệt

1Trả lời

Biểu mẫu Phế liệuYêu cầu gửi JSON

Tôi đang cố tạo FormRequest có thể gửi kiểu nội dung: application/json. Đây là những gì tôi cố gắng: yield FormRequest("abc.someurl.com", formdata=json.dumps({"referenceId":123,"referenceType":456}),

7Nhiệt

1Trả lời

xây dựng scrapy nhện vào chương trình của riêng tôi, tôi không muốn gọi scrapy từ dòng lệnh)

trong một tĩnh mạch tương tự như câu hỏi này: stackoverflow: running-multiple-spiders-in-scrapy tôi tự hỏi, tôi có thể chạy một toàn bộ dự án scrapy từ bên trong một chương trình python khác? Cho phép

7Nhiệt

4Trả lời

lỗi khi triển khai dự án sử dụng scrapyd

Tôi có nhiều trình thu thập thông tin trong thư mục dự án và muốn chạy tất cả các trình thu thập dữ liệu cùng một lúc, vì vậy tôi quyết định chạy chúng bằng dịch vụ scrapyd. Tôi đã bắt đầu làm điều nà

8Nhiệt

1Trả lời

Không thể xác định phần mềm trung gian tải xuống tùy chỉnh trong Scrapy

Tôi đang cố gắng thiết lập lớp trung gian của trình tải xuống tùy chỉnh trong Scrapy. Tôi nghi ngờ rằng tôi đã bỏ lỡ một cái gì đó hiển nhiên, nhưng tôi đã đọc qua các tài liệu một vài lần và đã tìm t

8Nhiệt

3Trả lời

Phế liệu - Chọn liên kết cụ thể dựa trên văn bản

Điều này sẽ dễ dàng nhưng tôi bị kẹt. <div class="paginationControl"> <a href="/en/overview/0-All_manufactures/0-All_models.html?page=2&powerunit=2">Link Text 2</a> | <a href="/en/overvi

5Nhiệt

2Trả lời

Gửi e-mail sau khi cạo trong scrapy

pipeline.py đang class Examplepipeline(object): def __init__(self): dispatcher.connect(self.spider_opened, signal=signals.spider_opened) dispatcher.connect(self.spider_closed, signal=signa

8Nhiệt

2Trả lời

Không thể nhập mô-đun cài đặt của Scrapy hoặc scrapy.cfg

Đây là một bài đăng khá dài, nhưng sau khi thực hiện nghiên cứu sâu rộng, tôi không thể tìm thấy giải pháp. Tôi có một dự án hỗn hợp Django 1.4.1/Scrapy 0.14.4 trên OSX 10.8 và tôi điều khiển Scrapy v

10Nhiệt

2Trả lời

Làm cách nào để có thể xuất các tệp csv cho mỗi mục

Tôi đang cạo một trang web bóng đá và nhện (một con nhện đơn) nhận được một số mục từ các trang của trang web: Đội, Trận đấu, Câu lạc bộ, v.v. Tôi đang cố gắng sử dụng CSVItemExporter để lưu trữ các m

6Nhiệt

1Trả lời

Sử dụng proxy Tor với scrapy

Tôi cần trợ giúp thiết lập Tor trong Ubuntu và sử dụng nó trong khuôn khổ cồng kềnh. tôi đã làm một số nghiên cứu và phát hiện ra hướng dẫn này: class RetryChangeProxyMiddleware(RetryMiddleware):