Lấy tên và nội dung của lớp bằng cách sử dụng Beautiful Soup

Question

Sử dụng mô-đun Súp tuyệt đẹp, làm cách nào để lấy dữ liệu của thẻ div có tên lớp là feeditemcontent cxfeeditemcontent? Là nó:

soup.class['feeditemcontent cxfeeditemcontent'] 

hay:

soup.find_all('class') 

Đây là nguồn HTML:

<div class="feeditemcontent cxfeeditemcontent"> 
    <div class="feeditembodyandfooter"> 
     <div class="feeditembody"> 
     <span>The actual data is some where here</span> 
     </div> 
    </div> 
</div> 

và đây là mã Python:

from BeautifulSoup import BeautifulSoup 
html_doc = open('home.jsp.html', 'r') 

soup = BeautifulSoup(html_doc) 
class="feeditemcontent cxfeeditemcontent" 

Answer 1

Hãy thử điều này, có lẽ nó quá nhiều cho điều đơn giản này nhưng nó hoạt động:

def match_class(target): 
    target = target.split() 
    def do_match(tag): 
     try: 
      classes = dict(tag.attrs)["class"] 
     except KeyError: 
      classes = "" 
     classes = classes.split() 
     return all(c in classes for c in target) 
    return do_match 

html = """<div class="feeditemcontent cxfeeditemcontent"> 
<div class="feeditembodyandfooter"> 
<div class="feeditembody"> 
<span>The actual data is some where here</span> 
</div> 
</div> 
</div>""" 

from BeautifulSoup import BeautifulSoup 

soup = BeautifulSoup(html) 

matches = soup.findAll(match_class("feeditemcontent cxfeeditemcontent")) 
for m in matches: 
    print m 
    print "-"*10 

matches = soup.findAll(match_class("feeditembody")) 
for m in matches: 
    print m 
    print "-"*10 

Answer 2

soup.find("div", {"class" : "feeditemcontent cxfeeditemcontent"}) 

Answer 3

Kiểm tra báo cáo lỗi này: https://bugs.launchpad.net/beautifulsoup/+bug/410304

Như bạn có thể thấy, Súp đẹp có thể không thực sự hiểu class="a b" là hai lớp a và b.

Tuy nhiên, như nó xuất hiện trong bình luận đầu tiên ở đó, một regexp đơn giản là đủ. Trong trường hợp của bạn:

soup = BeautifulSoup(html_doc) 
for x in soup.findAll("div",{"class":re.compile(r"\bfeeditemcontent\b")}): 
    print "result: ",x 

Lưu ý: Điều đó đã được sửa trong bản beta gần đây. Tôi đã không đi qua các tài liệu của các phiên bản gần đây, có thể bạn có thể làm điều đó. Hoặc nếu bạn muốn làm cho nó hoạt động bằng cách sử dụng phiên bản cũ hơn, bạn có thể sử dụng ở trên.

Answer 4

Beautiful Soup 4 xử lý giá trị của "lớp học" thuộc tính như một danh sách chứ không phải là một chuỗi, nghĩa là giải pháp jadkik94 của thể được đơn giản hóa:

from bs4 import BeautifulSoup             

def match_class(target):               
    def do_match(tag):               
     classes = tag.get('class', [])           
     return all(c in classes for c in target)         
    return do_match                

soup = BeautifulSoup(html)              
print soup.find_all(match_class(["feeditemcontent", "cxfeeditemcontent"])) 

Answer 5

from BeautifulSoup import BeautifulSoup 
f = open('a.htm') 
soup = BeautifulSoup(f) 
list = soup.findAll('div', attrs={'id':'abc def'}) 
print list 

Answer 6

soup.findAll("div", class_="feeditemcontent cxfeeditemcontent")

Vì vậy, Nếu tôi muốn ge t tất cả các thẻ div header lớp <div class="header"> từ stackoverflow.com, một ví dụ với BeautifulSoup sẽ là một cái gì đó như:

from bs4 import BeautifulSoup as bs 
import requests 

url = "http://stackoverflow.com/" 
html = requests.get(url).text 
soup = bs(html) 

tags = soup.findAll("div", class_="header") 

Nó đã nằm trong BS4 documentation.