정보가 포함 된 정보를 쿼리하고 필요한 결과를 얻을 수있는 API가 없으면 프로그래밍 방식으로 작동하지 않습니다. 그것은 그들이 (적어도 무료가 아닌) 그런 종류의 서비스를 기꺼이 제공하지 않을 것임을 의미합니다. 최상의 방법은 API에 문의하여 문의하는 것입니다. 그들은 당신이 그것을 사용하게 할 의향이 있습니까, 사용마다 또는 한달에 얼마를 청구합니까.
그건 윤리적이고 합법적 인 일입니다. 계속 덜 윤리적 읽기
:
당신은 계정 (가짜) 다음으로 데이터를 긁어합니다. 일회성 일이라면 당신은 당신이 필요로하는 모든 장소에서 느린 속도로 질의 할 수 있습니다. 데이터를 가져와 앱에서 사용할 수 있습니다. 문제는 가격이 계속 변화하고 주기적으로 변경해야하는 경우이며 다음주기를 수행 할 때까지 데이터가 올바른지 알 수 없습니다.
때마다 정확한 가격이 필요하면 앱 사용자 수가 높아질 때 즉시 알아낼 것입니다. 왜냐하면 그들은 그 사용자 계정을 통해 지나치게 많은 양의 요청을 할 것이기 때문입니다. 그런 다음 사용자를 비활성화합니다. 또한 스크랩 핑을 다시 만들도록 UI에서 변경 될 수도 있습니다.
많은 양의 사용자를 따라 다니는 것은 어리석은 일이며 계속해서주의를 기울여야 할 것입니다. UI 변경 사항을 해결하고 새로운 스크래퍼를 만들면 앱을 업데이트하는 신뢰할 수있는 방법이 필요합니다. 웹 응용 프로그램 인 경우 서버 IP (또는 범위)가 차단되고 호스트를 순환시켜 매번 도메인을 등록해야합니다. 따라서 거의 가동 시간없이 많은 작업을하도록 앱을 실행하지 않아도됩니다.
법적 문제로 인해 가능한 한 멀리까지 갈 수 있습니다. 한마디로
:
는
- , 윤리 실천하고 정확한 - API에 대해 그들에게 문의.
- 비 윤리적이고 부정확하며 다소 실용적인 - 필요한 모든 데이터의 일회성 폐기는 가짜 계정으로 시간이 지나면 주기적으로 반복됩니다. 데이터가 부정확 할 수 있습니다.
스마트 한 경우에만 가능한 솔루션입니다.
해당 공급 업체에 응용 프로그램과 통합하려는 서비스가있는 경우 먼저 해당 공급 업체에 사용 가능한 API를 제공하는지 확인하는 것이 좋습니다. 그렇지 않으면 페이지에서 데이터를 "긁어서"붙어있을 수 있습니다. 역 엔지니어링의 연습은 수동으로 해당 사이트와 상호 작용할 때 사용되는 정확한 HTTP 요청/응답을 코드로 복제하려고 시도하는 것입니다. – David
문제가 해결되었으므로 질문을 다시 보내 주시기 바랍니다. http://rextester.com/UJN78931 –
WOW! 그게 어디서 나온거야! 감사! –