웹 사이트에서 사용자의 프로필 사진을 수집해야합니다. 파이썬과 장고를 알고 있지만 어떻게 할 수 있는지 모르겠습니다.웹 사이트에서 파이썬으로 사진을 찍을 수있는 방법
파이썬 프로그램을 만들어서 웹 사이트를 열거하고 외부 링크가 아니라 해당 도메인 내의 모든 페이지를 확인할 수 있도록 웹 사이트를 나열 할 수 있습니까?
편집 : 여기에 사용자의 모든 thumnail 사진을 stackoverflow에 수집하려고한다고 가정합니다. 우리는 모든 사용자 페이지를 가지고 있지 않고 통과합니다. 내가
with open("some_png.png","wb") as f:
f.write(urllib2.urlopen("http://icons-search.com/img/yellowicon/TMNT_lin.zip/lin-png-256x256-Leonardo_256x256.png-256x256.png").read())
당신이 scrappy를 사용해야합니다 이미지의 URL을 찾을 수 있습니다 (또는 유사한하기 위해 다음 사진을 잡아가 형성 모든 질문 페이지를 통해 가서 우리가 설정을 무시하지 않도록 사용자 ID와 hardidsk을 저장할 당신은 이미지의 URL을 알고 있다면 프레임 워크)
거미로 사용하는 방법에 대한 몇 가지 튜토리얼이 있습니다 (예 : http://doc.scrapy.org/en/latest/intro/tutorial.html)
나는 그것을 완전히 설명하지 않았다고 생각한다. 여기에 사용자의 모든 thumnail 사진을 stackoverflow에 수집하려고한다고 가정합니다. 우리는 모든 사용자 페이지를 가지고 있지 않고 통과합니다. 나는 모든 질문 페이지를 통과하고 거기에 양식을 잡아서 사진을 붙잡고 사용자 ID가있는 하드 시드에 저장합니다. 그러면 – user825904
을 덮어 쓰지 않아도됩니다. 그런 다음 데이터 용 페이지를 긁어 모으기 위해 무언가를 사용해야합니다. scrappy를 사용하는 것에 대한 몇 가지 자습서가 있습니다 ... –
나는 scrapy 페이지를 시도했으나 최신 pdf 문서를 다운로드하지 못했습니다. 내가 그것을 다운로드하면 0.15.1로 나온다. 당신은 그것을 봐 줄 수 – user825904
는 다음'을 파일로 열고 write'은'read' 로컬 파일에. – inspectorG4dget