web-scraping

12Nhiệt

4Trả lời

Tôi đã sử dụng selen cho các mô phỏng trình duyệt tự động và duyệt web trong python và nó đã hoạt động tốt cho tôi. Nhưng bây giờ, tôi phải chạy nó sau một máy chủ proxy. Vì vậy, bây giờ selenium mở c

16Nhiệt

1Trả lời

Bàn làm việc của Python BeautifulSoup

Tôi đang cố gắng tạo một bản ghi bàn với BeautifulSoup. Tôi đã viết mã Python này: import urllib2 from bs4 import BeautifulSoup url = "http://dofollow.netsons.org/table1.htm" # change to whatever y

7Nhiệt

2Trả lời

Có API Google để đọc nội dung được lưu trong bộ nhớ cache không?

Tôi biết bạn có thể truy cập http://webcache.googleusercontent.com/search?q=cache:http://example.com/ để xem bộ nhớ cache của Google về bất kỳ URL nào, nhưng chúng có cung cấp API để truy cập hàng ngh

6Nhiệt

4Trả lời

Cạo dữ liệu từ Facebook bằng Python

Tôi đã cố gắng vài ngày nay (không thành công) để xóa thành phố khỏi khoảng 500 URL Facebook. Tuy nhiên, Facebook xử lý dữ liệu của nó một cách rất lạ và tôi không thể tìm ra những gì đang xảy ra dưới

9Nhiệt

1Trả lời

Cách xóa Instagram với BeautifulSoup

Tôi muốn xóa ảnh khỏi tài khoản Instagram công khai. Tôi khá quen thuộc với bs4 vì vậy tôi bắt đầu với điều đó. Sử dụng trình kiểm tra yếu tố trên Chrome, tôi lưu ý những bức ảnh nằm trong một danh sá

20Nhiệt

2Trả lời

Cạo một trang web và điều hướng bằng nút nhấn

Tôi muốn thực hiện những hành động sau đây ở phía máy chủ: 1) Cạo một trang web 2) Mô phỏng một nhấp chuột trên trang đó và sau đó điều hướng đến trang mới. 3) Cạo trang mới 4) Mô phỏng một số nhấp ch

23Nhiệt

2Trả lời

Gửi phản hồi JSON bằng Scrapy

Bạn sử dụng Scrapy như thế nào để xóa các yêu cầu web trả lại JSON? Ví dụ, JSON sẽ trông như thế này: { "firstName": "John", "lastName": "Smith", "age": 25, "address": { "str

21Nhiệt

1Trả lời

Làm thế nào để thiết lập giá trị của thẻ đầu vào trong casperJs

Tôi có yếu tố đầu vào như: <input type="text" class="bg-white" id="couponCode" value=""> Làm thế nào tôi có thể thiết lập/điền vào giá trị của nó sử dụng casperJs

5Nhiệt

2Trả lời

Trích xuất hình ảnh src dựa trên thuộc tính với BeautifulSoup

Tôi đang sử dụng BeautifulSoup để tải trang HTML từ IMDb và tôi muốn trích xuất hình ảnh áp phích từ trang. Tôi đã có hình ảnh dựa trên một trong các thuộc tính, nhưng tôi không biết cách trích xuất d

9Nhiệt

4Trả lời

Làm cách nào để phân tích cú pháp các biến Javascript bằng python?

Sự cố: Trang web tôi đang cố gắng thu thập dữ liệu từ sử dụng Javascript để tạo biểu đồ. Tôi muốn có thể lấy dữ liệu đang được sử dụng trong biểu đồ, nhưng tôi không chắc chắn nên bắt đầu từ đâu. Ví d