0
인트라넷과 인터넷을 크롤링하고 색인화하려고했습니다. 하지만 전혀 작동하지 않습니다. 프록시/보안 제한 때문인 것 같습니다. 나는 색인 된 파싱 된 내용을 true로 가져 오지만 내용 길이는 -1이므로 아무 것도 크롤링하지 않습니다. 어쨌든 인트라넷에있는 credentiel을 기본 검색/다이제스트 또는 NTLM 인증 만 가지고 있음을 알고있는 공개 검색 서버에서 크롤링 할 수 있습니까?인트라넷 자격 증명을 크롤링 함
크롤러 탭에있는 것 이상으로 oss에 프록시를 구성하는 방법이 있습니까? 자격 증명을 설정했는데 oss가 회사의 프록시를 인식하지 못하여 자격 증명 입력 상자가 나에게 표시되지 않습니다.
그것을 해결하고자하는 사람들을 지킬 것이다이 질문에 많은 문제가 있습니다. 우선, 1) 전체 인터넷 색인을 생성하려고하십니까? 데이터 센터를 구축하려면 거대한 규모의 데이터 센터가 필요합니다. 2) "전혀 작동하지 않는다"- "그것"은 무엇입니까? 당신이하려는 일과 사용하고있는 도구에 대해 자세하게 설명하지 않고 첫 번째 문장 이후의 모든 것은 의미가 없습니다. 사용중인 특정 도구와 단계를 설명하고 정확한 입력/출력을 설명하는 것이 좋습니다. 여기에있는 사람들은 문제를 이해할 때 열심히 도와 줄 것입니다. –
나는이 도구를 열었습니다. Mr Fig Fig;) 그리고 나는 모든 인터넷을 크롤링하려고하지 않습니다. 문제에 관해서는 프록시 문제였습니다. – user3411629