웹 서버에서 데이터 가져 오기

Question

웹 사이트 (예 : 영화)에서 데이터를 가져 오기 위해 스크래퍼를 만들었지 만 크롤러에서 데이터를 가져 오지 않고 데이터베이스에서 바로 데이터를 가져 오기 위해 웹 사이트 서버에 연결하려면 어떻게해야합니까? 시각적 인 사이트? 라이브러리 이름, 멋진 툴 세트 또는 가이드를 나에게 줄 수 있다면.

엑스트라 : 요청 라이브러리가 포스트 기능을 수행합니까?

Answer 1

웹 사이트 데이터베이스에서 직접 데이터를 가져올 수는 없습니다. GUI를 사용하지 않고 웹 사이트에서 데이터를 가져올 수있는 아주 좋은 파이썬 패키지가있다 : requests

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) 
>>> r.status_code 
200 
>>> r.headers['content-type'] 
'application/json; charset=utf8' 
>>> r.encoding 
'utf-8' 
>>> r.text 
u'{"type":"User"...' 
>>> r.json() 
{u'private_gists': 419, u'total_private_repos': 77, ...}