웹 사이트의 봇을 블랙리스트에 등록

Question

API에 가입했습니다. "웹 사이트의 봇을 차단하여 사용 비용을 줄이는 것이 좋습니다."

그 의미와 그 취지는 무엇입니까?

Answer 1

봇이 무엇이고 허용되지 않는지에 대한 지침을 제공하는 robots.txt 파일을 설정해야합니다.

http://www.robotstxt.org/을 참조하십시오.