0열
1답변
Wordpress 사이트 용 Robots.txt - 인덱싱에서 숨기려는 동일한 도메인의 페이지를 호스팅하는 다른 서버가있는 경우 어떻게해야합니까?
0열
1답변
웹 크롤러와 봇이 website/webURL을 (를) 방문하는 것을 어떻게 중지합니까?
0열
1답변
온라인 구문 형광펜 : URL이 robots.txt에가, htaccess로
-1열
1답변
robots.txt의 특정 페이지를 허용하지 않으려면 어떻게해야합니까?
1열
1답변
0열
2답변
Magento가 robots.txt를 생성하지 않습니다.
0열
1답변
web.archive.org를 중지하여 사이트 페이지 저장
1열
1답변
crawler4j : 20-30 초 동안 크롤링하면 몇 초 동안 내 IP 주소가 금지됩니다.
0열
1답변
-1열
1답변
기본 페이지를 제외한 모든 페이지를 허용하는 robots.txt를 설정하려면 어떻게해야합니까?