작성일: 2011년 3월 11일 금요일

안녕하세요, 구글코리아 소프트웨어 엔지니어 이동휘입니다.

구글봇(Googlebot)이라 불리는 구글 크롤러가 robots.txt에서 상충하는 명령어들을 발견했을 때 어떻게 동작하는지 아시나요? 왜 robots.txt를 사용하여 크롤러를 막아도 검색결과에는 여전히 색인되어 있는지 궁금하시지 않았나요? 길가에 피는 꽃에도 다 이름이 있듯이, 구글 크롤러에도 제대로된 자기만의 이름이 있다는 것을 아셨나요? 이런 궁금증을 풀어 줄 제대로 된 문서가 드디어 한국어로 번역되었습니다.



'크롤링 및 인덱싱 제어하기'는 웹마스터 뿐만 아니라, 보안 담당자, 웹 방화벽 제작사 등에도 도움이 될 자세한 정보를 담고 있습니다. robots.txt와 더불어 robots 메타 태그 및 X-Robots-Tag HTTP 헤더 명령어를 어떻게 사용해야 하는지에 대한 내용도 포함하고 있습니다.

'크롤링 및 인덱싱 제어하기'와 관련하여 질문이 있으시면 구글 웹마스터 포럼에 올려주세요.


* 웹마스터를 위한 검색이야기의 다른 시리즈를 보시려면 여기를 눌러주세요.


작성자: 구글코리아 소프트웨어 엔지니어 이동휘