작성일: 2011년 4월 7일 목요일

안녕하세요?

많은 분들께서 웹상의 수많은 정보를 검색을 통해 접하고 유용하게 사용하고 계십니다. 웹상의 정보가 여러 검색엔진을 통해 보여지는 것은 크롤링이 있기 때문에 가능한 것인데요, 크롤러는 웹에서 콘텐츠를 수집하는 기능을 합니다.

여기서 중요한 역할을 하는 분들이 웹마스터인데요, 웹마스터는 크롤러가 유용한 콘텐츠를 수집하도록 해 여러 사람들에게 내 사이트를 알릴 수도 있고, 또는 불필요하거나 민감한 내용은 크롤링하지 못하도록 표시를 해 놓을 수 있습니다. robots.txt라는 것이 바로 크롤링 제어를 위한 실질적인 웹 표준인데요, robots.txt 표준은 구글 보다도 앞서 구축되었으며 정상적인 검색 엔진들은 모두 따르는 공인된 방법입니다. 쉽게 말해 “이 콘텐츠는 검색엔진에서 수집하지 말아주세요”라는 표시이고, 웹마스터께서 이러한 표시를 하는 것은 매우 중요합니다. 이미 많이 아시는 내용이겠지만 구글에서 이전에 포스팅한 “robots.txt 현명하게 사용하기”를 참고하시면 어떻게 robots.txt를 사용하실 수 있는지 더 자세한 정보를 얻으실 수 있습니다. 또한 웹마스터 분들을 위해 “크롤링 및 색인 생성 제어 방법”도 다시 한번 올려드립니다. 물론 많이 알고 계시다시피 robots.txt 파일이 사이트 내에 있는 정보를 보호하기 위한 보안의 수단으로 사용되어서는 안되며, 정보를 보호하기 위해서는 사이트 자체의 보안을 강화해야 하는데요, 그 팁은 “웹마스터를 위한 검색 이야기” 시리즈 포스팅의 "당신의 소중한 자료는 안녕하십니까?"편을 참고하시기 바랍니다.

그런데 웹마스터께서 간혹 실수로 이러한 표시를 제대로 하지 못하는 경우가 있습니다. 이런 경우 검색결과에서 정보를 삭제 하는 방법을 많이 문의 하시는데요, 이전에도 이미 공지드린 내용이지만 도움이 되실 것 같아 관련 내용을 다시 한번 공지합니다.

구글 웹마스터 도움말 센터에는 이 외에도 구글 검색과 관련된 도움이 될만한 정보들이 많이 있으니 구글 검색에 궁금한 점이 생기신다면 언제든지 방문해 보다 효율적이고 정확하게 원하는 정보를 찾으시길 바랍니다.

감사합니다.

작성자: 구글코리아 블로그 운영팀