robot.txt 형식 및 위치 규칙 파일 이름은 robots.txt 여야합니다. 사이트에는 robots.txt 파일이 하나만 있을 수 있습니다. robots.txt 파일은 해당 파일이 적용되는 웹사이트 호스트의 루트에 있어야 합니다. 예를 들어 아래의 모든 URL에 대한 크롤링을 제어 하려면 robots.txt 파일이 http://www.example.com/ 에 있어야 합니다. robot.txt 에 대해 이번 블로그 확인 2020/11/16 - [기술] - 웹크롤러, 검색엔진 크롤러, 검색봇과 robots.txt robot.txt 파일 위치 및 유효 범위 robots.txt 파일은 적절한 프로토콜과 포트 번호를 통해 액세스 할 수있는 호스트의 최상위 디렉토리에 있어야 합니다. robots.txt에 일..
