파이썬과 아름다운 스프를 사용하여 프레임에서 정보를 긁는 방법

Question

이것은 웹 스크래핑에 대한 나의 첫 번째 시도입니다. 레이몬드 제임스 (Raymond James)의 웹 사이트에서 전화 번호를 다듬기 위해 아름다운 스프를 사용하려고합니다. 예를 들어 http://www.raymondjames.com/office_locator_display.asp?addressline=90210

내가 BeautifulSoup를 사용할 때마다 HTML에서 적절한 정보를 찾을 수 없습니다.

import urllib2 
from bs4 import BeautifulSoup 

url='http://www.raymondjames.com/office_locator_display.asp?addressline=90210' 

opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3)  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36')] 
page_to_scrape=opener.open(url).read() 
soup=BeautifulSoup(page_to_scrape.decode('utf-8','ignore')) 

생성 된 출력에 필요한 정보가 없습니다. 내가 제공 한 URL이 위치 프레임을 가리 키지 않는 것 같습니다.

나는 웹 데이터로 많은 작업을하는 데 Python을 사용하지 않으므로 연락처 정보를 얻기 위해 Beautiful Soup을 '프레임'으로 보내는 방법을 모르고 있습니다.

Answer 1

Martijn이 말한 것처럼 네트워크 요청을 조사하면 원본 데이터가 있습니다. 이 경우 iframe에서 GET 요청에 대한 xml 응답입니다. 해당 URL로 무장 한이 솔루션은 매우 간단합니다.

import urllib2 
from bs4 import BeautifulSoup 
soup = BeautifulSoup(urllib2.urlopen('http://hosted.where2getit.com/raymondjames/ajax?&xml_request=%3Crequest%3E%3Cappkey%3E7BD67064-FC36-11E0-B80D-3AEEDDB2B31E%3C%2Fappkey%3E%3Cformdata+id%3D%22locatorsearch%22%3E%3Cdataview%3Estore_default%3C%2Fdataview%3E%3Climit%3E30%3C%2Flimit%3E%3Cgeolocs%3E%3Cgeoloc%3E%3Caddressline%3E90210%3C%2Faddressline%3E%3Clongitude%3E%3C%2Flongitude%3E%3Clatitude%3E%3C%2Flatitude%3E%3Ccountry%3E%3C%2Fcountry%3E%3C%2Fgeoloc%3E%3C%2Fgeolocs%3E%3Csearchradius%3E25%7C50%7C100%3C%2Fsearchradius%3E%3C%2Fformdata%3E%3C%2Frequest%3E'), 'lxml') 
# parse the points of interest into a list 
pois = soup.find_all('poi') 
# now have your way with them!