정확한 값을 입력 태그에서 추출 .. 이미지 제공

Question

나는 거미줄을 사용하여 출력 페이지를 구문 분석하여 일부 입력 태그 매개 변수 (유형, ID, 이름)를 선택하려고하고 각 데이터 유형이 항목으로 선택됩니다 이 데이터베이스에 그런 나중에 뭔가를 저장할 수 있도록 :

는

Database Table_1 
╔════════════════╗ 
║  text  ║ 
╠════════════════╣ 
║ id │ name ║ 
╟──────┼─────────╢ 
║  │   ║ 
╟──────┼─────────╢ 
║  │   ║ 
╚══════╧═════════╝ 

은 같은, 암호 및 파일 만에

난 그 XPath는 전체 태그를 추출한다 직면 문제가 될 것입니다!

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item, Field 
from isa.items import IsaItem 


class MySpider(CrawlSpider): 
    name = 'example.com' 
    allowed_domains = ['testaspnet.vulnweb.com'] 
    start_urls = ['http://testaspnet.vulnweb.com'] 


    rules = (
      Rule(SgmlLinkExtractor(allow=('/*')),callback='parse_item'),) 

    def parse_item(self, response): 
     self.log('%s' % response.url) 

     hxs = HtmlXPathSelector(response) 
     item=IsaItem() 
     text_input=hxs.select("//input[(@id or @name) and (@type = 'text')]").extract() 
     pass_input=hxs.select("//input[(@id or @name) and (@type = 'password')]").extract()  
     file_input=hxs.select("//input[(@id or @name) and (@type = 'file')]").extract() 

     print text_input , pass_input ,file_input 
     return item 

출력 내가 바로 당신을 이해 한 경우

me@me-pc:~/isa/isa$ scrapy crawl example.com -L INFO -o file_nfffame.csv -t csv 
2012-07-02 12:42:02+0200 [scrapy] INFO: Scrapy 0.14.4 started (bot: isa) 
2012-07-02 12:42:02+0200 [example.com] INFO: Spider opened 
2012-07-02 12:42:02+0200 [example.com] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 
[] [] [] 
[] [] [] 
[] [] [] 
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] [] 
[] [] [] 
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] [] 

[] [] [] 
2012-07-02 12:42:08+0200 [example.com] INFO: Closing spider (finished) 

Answer 1

, 당신은 입력에서 속성 값을 추출 할.

현재 사용중인 XPath는 사용자가 요구하는 바에 따라 전체 노드를 제공합니다. XPath 선택기는 노드의 한 지점까지 올라가지 만 그 노드의 특정 속성에는 넘어 가지 않습니다.

some/xpath/query/@id 

Answer 2

사용 :

//yourCurrentExpression/@id 

가 id 특성을 얻을 수

는 노드의 id 속성이 아닌 노드 자체를 얻으려면.

사용 :

//yourCurrentExpression/text() 

가 yourCurrentExpression 요소에 의해 선택된 임의의 텍스트 노드의 아이를 구하십시오. 선택된 노드에 표시됩니다 즉, (id-attribute, text-node)* :이 노드 목록을 생성

//yourCurrentExpression/@id | //yourCurrentExpression/text() 

해당 항목이 같이 정렬 :

마지막으로

, 당신은 하나 하나로 두 식을 결합 할 수 있습니다 문서 순서.