웹 사이트에서 데이터를 추출하고 프로그램으로 푸시해야합니다.

Question

그래서 텍스트와 같은 특정 데이터를 추출하고 데이터를 구성하는 프로그램으로 데이터를 푸시 할 수 있는지 알아 내려고 노력했습니다.

예를 들어 homedepot.com을 가져 와서 "2x4 wood"아래에 나열된 각 항목에서 추출하고 각 항목에서 이름, 설명 및 사양을 가져와 해당 데이터를 이 데이터가 포함 된 소프트웨어 조각?

자동 데이터 입력과 같을 것 같습니까?

내가 조사한 바에 따르면 특정 용어를 검색 한 다음 결과가 반환하는 모든 페이지를 크롤링하고 필요한 데이터를 수집하도록 설계된 크롤러 프로그램을 작성해야합니다.

그러나 약간의 문제가 있습니다. 프로그래밍/스크립팅을 실제로 알지 못하고 어디서부터 시작해야할지 모르겠습니다. 나는 Python을 기반으로하는 Scrapy라는 것을 발견했습니다. 크롤러에 사용 하시겠습니까?

다음 문제는 소프트웨어에 수집 된 데이터를 가져 오는 방법에 대한 실마리가 없다는 것입니다. 이 답변을 찾으려면 어디에서 조언해야하나요?

제가 스크립트 작성 방법을 배우는 데 도움이된다는 아이디어를 사용하고 싶습니다.

Answer 1

그럼 당신은 아마 그것이

을 쉽게 alot을 만들 것 일반적으로 언어를 배우는 것부터 시작해야하지만, 웹 물건 당신이 뭔가라는 URLLIB을 사용할 수 있으며 urllib2가 이러한 데이터를 얻기 위해 브라우저를 열 수 있습니다 실제로 창을 열지 않고

또한 실제로 창을 엽니 다 셀레늄과 같은 몇 가지 자동화 된 웹 브라우저가있다

많은 사람들이 당신이 인터넷에 통해 볼 수있다

하지만 그저 웹 브라우저 자동화 일 뿐이므로 실제로 원하는 정보와 데이터를 얻어야합니다. 당신이 말한 것처럼 치료 나 소스 코드를 통해 원하는 정보를 골라야합니다.

이후로 내가 정확히 하드의 종류를 설명하려는 모르겠어요하지만 난이

을 시작하는 곳을 제공합니다 희망하지만, 내가 말했듯이 당신은 아마 기본 파이썬을 배워야하고 내가이 희망을 많이

도움이 될 도와 줘요 !!

Answer 2

다른 옵션은 Beautiful Soup입니다. 파이썬은 가독성과 단순성에 중점을두고 배울 수있는 빠른 언어입니다. 파이썬을 배우기 위해 온라인으로 이용할 수있는 수많은 자료가 있습니다. 나는 Learn Python the Hard Way을 추천한다. 이름으로 낙심하지 말고, 유익하고 놀랄만큼 효과적인 언어 학습의 전통적인 방법에 중점을 둡니다.