지역별 컨텐츠 용 NodeJS 웹 스크레이퍼

Question

nodeJS에 스크레이퍼를 만들고 있는데 알아낼 수없는 문제가 있습니다.

특정 웹 사이트는 위치 별 콘텐츠를 사용하며이를 트리거/조작 할 수있는 방법을 찾고 싶습니다.

박쥐 끄기, 이것은 아마도 복잡한 문제임을 알고 있습니다. 일부 사이트는 사용자 위치를 결정하는 데 여러 가지 방법을 사용할 수 있습니다. 이것을 달성하기위한 일반적인 방법이 있습니까? 나는 현재 노드의 request 모듈을 사용하고, 내 헤더과 같이 설정 :

'headers': { 
     'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)' 
    } 

웹 사이트에 위치를 스푸핑 내 헤더를 조작하는 방법이 있나요?

Answer 1

회사에서 어떤 종류의 콘텐츠를 제공할지 결정하는 데 여러 가지 방법이 있습니다.

BBC와 같은 대형 미디어 조직은 IP 범위를 개인 회사가 관리하는 지리적 위치에 매핑하는 데이터베이스를 사용합니다. 액세스 보호 기능을 무력화시키는 유일한 방법은 방문자가 방문하려는 것으로 보이는 가상 서버를 프록시로 사용하는 것입니다.

다른 회사 (많은 유럽 국가)는 콘텐츠를 제공 할 언어를 아는 데 관심이있을 수 있습니다.이 경우 웹 요청의 일부 헤더를 볼 수 있습니다.