셀렌과 파이썬을 사용하여 div에서이 데이터를 수집하는 방법

Question

셀레늄과 파이썬을 사용하여 웹 페이지를 긁어 내고 다음과 같은 구조의 div에서 원하는 데이터를 수집하는 데 어려움이 있습니다.

<div class="col span_6" style="margin-left: 12px;width: 47% !important;"> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Heading1</span> 
    <span class="MainGridcolumn2">Text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Another heading</span> 
    <span class="MainGridcolumn2">More text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Next heading</span> 
    <span class="MainGridcolumn2">Even more text</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text</span> 
    </div> 
</div> 

div에는 여러 행이 있으며 각 행에는 2 개의 열이 span 태그 내부에 데이터/텍스트를 포함합니다. CSS ID는 없습니다.

'MainGridcolumn2'스팬 클래스에 포함 된 텍스트 만 수집하는 데 관심이 있습니다.

텍스트를 포함하는 다음 span 태그로 이동하기 위해 'following_sibling'을 사용하려고 시도하면서 첫 번째 제목으로 이동하려했으나 작동하지 않습니다. 이 텍스트를 반환하지 않습니다 나는 콘솔에 인쇄하려고하면

driver.find_element_by_xpath("//span['@class=MainGridcolumn1'][contains(text(), 'Heading1')]").text 

및

driver.find_element_by_xpath("//span[contains(text(), 'Heading1')]").text 

Answer 1

한 가지 방법은 바깥 쪽이 DIV 즉 조부모를 얻고 스팬을 당겨하는 것 그에서 :

,451,515,

h = """<div class="col span_6" style="margin-left: 12px;width: 47% !important;"> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Heading1</span> 
    <span class="MainGridcolumn2">Text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Another heading</span> 
    <span class="MainGridcolumn2">More text that I want</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Next heading</span> 
    <span class="MainGridcolumn2">Even more text</span> 
    </div> 
    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text</span> 
    </div> 
</div> 

    <div class="MainGridRow"> 
    <span class="MainGridcolumn1">Yet another heading</span> 
    <span class="MainGridcolumn2">Piece of text I don't want</span> 
    </div>""" 

from lxml import html 

xm = html.fromstring(h) 
div = xm.xpath("//span[@class='MainGridcolumn1'][contains(text(), 'Heading1')]/../..")[0] 
print(div.xpath(".//span[@class='MainGridcolumn2']/text()")) 

당신을 줄 것이다 :

['Text that I want', 'More text that I want', 'Even more text', 'Piece of text'] 

또한 단지 부모를 선택하고 부모 형제에게

from lxml import html 

xm = html.fromstring(h) 
div = xm.xpath("//span[@class='MainGridcolumn1'][contains(text(), 'Heading1')]/..")[0] 
print(div.xpath(".//span[@class='MainGridcolumn2']/text() | .//following-sibling::div/span[@class='MainGridcolumn2']/text()"))