2016-07-11 7 views
0

웹 사이트 내의 응용 프로그램이 자체 robots.txt 파일을 가질 수 있습니까?응용 프로그램 용 Robots.txt

예를 들어, 나는 http://www.example.com 아래 사이트 실행되고이는 robots.txt 파일이 있습니다. 응용 프로그램에 대한 robots.txt 파일을 별도의 유지 http://www.example.com/website-app

이 가능 아니면 내가에 응용 프로그램에 대한 모든 재료를 넣어해야합니까 :

우리는이 영역에서 응용 프로그램으로 실행하는 별도의 사이트를 주요 루트 robots.txt?

+0

당신은에 액세스 할 때 그 "/ 웹 사이트 - 응용 프로그램"당신이 자신의 파일을 다른 웹 사이트를 공격합니다 의미 다음 해당 웹 사이트가 자신의 실제의 robots.txt 파일의가 (해야) 할 수 있습니다, 그것은 별도의 사이트로 실행중인 말 - 그러나 * 검색 엔진 크롤러의 관점에서 보면 해당 사이트는 다른 사이트가 아니며 www.test.com의 일부이므로 www.test.com이 www.test.com과 동일한 사이트로 표시됩니다./website-app이므로 robots.txt 파일의 내용이 비슷할 것을 권장합니다. –

답변

0

파일은 /robots.txt에 있어야하며, 다른 곳에서는 볼 수 없다는 것을 크롤러에 알릴 방법이 없습니다 (예 : favicon과 같이). 그래서 당신이 루트 robots.txt (또는 자신의 파일을 가질 수있는 하위 도메인에 응용 프로그램을 넣어)이 추가해야합니다.

특정 페이지를 개별적으로 제어하려는 경우 robotstxt.org에 설명 된대로 <meta> 태그를 대신 사용할 수 있습니다. 모든 페이지에이를 입력해야하기 때문에 적어도 한 페이지는 크롤러 방문 (색인 제외)하지만 다른 페이지로 이동하지는 않습니다 (사용자가 지정하지 않는 한). 하위 디렉토리에있는 작은 응용 프로그램의 경우이 방법이 좋습니다.