Perl Dancer로 robots.txt를 제공하는 방법

Perl Dancer 웹 프레임 워크를 사용하여 robots.txt를 제공하려고합니다. 방금 텍스트를 반환하는 경로가 있다고 생각했지만 html 및 body 태그로 묶는 것으로 보입니다. 나는 이것을 크롤러가 robots.txt 파일로 제대로 해석하지 않을 것이라고 가정하고 있습니다.Perl Dancer로 robots.txt를 제공하는 방법

어떻게하면 제대로 할 수 있습니까? 사전에

get '/robots.txt' => sub { return "User-agent: *\nDisallow: /"; };

감사 : 여기

내가 쓴 경로가 어떻게!

출처

2013-04-29 Justin

HTML 및 BODY 요소로 둘러싸여 있다고 생각하는 이유가 무엇인가요?

use Dancer; 

get '/robots.txt' => sub { 
    return "User-agent: *\nDisallow: /\n"; 
}; 

dance;

출력 :

>lwp-request -e http://127.0.0.1:3000/robots.txt 
200 OK 
Server: Perl Dancer 1.3112 
Content-Length: 26 
Content-Type: text/html 
Client-Date: Mon, 29 Apr 2013 05:05:32 GMT 
Client-Peer: 127.0.0.1:3000 
Client-Response-Num: 1 
X-Powered-By: Perl Dancer 1.3112 

User-agent: * 
Disallow:/

난 당신이 text/html의 Content-Type 헤더를보고에 사람들을 추가하는 렌더러를 사용하는 클라이언트와 함께 vieweing있어 내기. 콘텐츠 유형을 text/plain으로 설정하면 파일을 보는 데 사용하는 렌더러에서 더 적합 해 보입니다.

get '/robots.txt' => sub { 
    content_type 'text/plain'; 
    return "User-agent: *\nDisallow: /\n"; 
};

궁극적으로, 그것은 아무런 효과가 없어야합니다.

출처

2013-04-29 05:06:31 ikegami

아, 맞습니다. 그건 내 실수였습니다. 답변 해주셔서 감사합니다! – Justin

응답을 text/html (기본값)으로 제공합니다. HTML을 파싱하는 일반적인 프로세스의 일부로 요소가 브라우저에 삽입됩니다. 소스 코드가 아니라 실제 DOM 표현이 표시됩니다.

올바른 content-type 헤더를 설정하십시오.

get '/robots.txt' => sub { 
    content_type "text/plain"; 
    return "User-agent: *\nDisallow: /"; 
};

출처

2013-04-29 05:11:23 Quentin

robots.txt를 보내는 다른 옵션은 로하지 그것을위한 경로를 정의하고 대신 메인 댄서 응용 프로그램 디렉토리 아래 public/ 하위 디렉토리에 실제 robots.txt 파일을 넣어 것입니다. 댄서는 경로 핸들러, 템플릿 등을 통과하지 않고 자동으로 정규 파일로 제공합니다.

출처

2013-04-29 08:30:17

Perl Dancer로 robots.txt를 제공하는 방법

답변

관련 문제