Có rất nhiều trang web sử dụng kiểu "cuộn vô hạn" gây phiền nhiễu (imo) này. Ví dụ về các trang web này như tumblr, twitter, 9gag, v.v.mô phỏng cuộn vô hạn trong C# để nhận được html đầy đủ của một trang
Gần đây tôi đã cố gắng loại bỏ một số bức ảnh của các trang web này theo lập trình với HtmlAgilityPack. như thế này:
HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();
này hoạt động tốt, nhưng khi tôi đã cố gắng để tải trong HTML từ các trang web nhất định, tôi nhận thấy rằng tôi chỉ có lại một lượng nhỏ nội dung (cho phép nói 10 "bài" đầu tiên hoặc "hình ảnh", hoặc bất cứ điều gì ..) Điều này làm cho tôi tự hỏi nếu nó sẽ có thể mô phỏng "di chuyển xuống dưới cùng" của trang trong C#. Đây không chỉ là trường hợp khi tôi tải html theo chương trình, khi tôi đơn giản truy cập các trang web như tumblr, và tôi kiểm tra firebug hoặc chỉ "xem nguồn", tôi mong rằng tất cả nội dung sẽ ở trong một nơi nào đó, nhưng rất nhiều của nó có vẻ là ẩn/chèn với javascript. Chỉ nội dung thực sự hiển thị trên màn hình của tôi mới có trong nguồn HTML.
Vì vậy, câu hỏi của tôi là: có thể mô phỏng cuộn vô hạn xuống một trang và tải trong HTML đó với C# (tốt hơn) không?
(tôi biết rằng tôi có thể sử dụng của API cho tumblr và twitter, nhưng tôi chỉ cố gắng để có một số vui vẻ hack những thứ cùng với HtmlAgilityPack)