검색로봇을 위한 robots.txt 설정 하기

블로그나 홈페이지 등에 매체에서 뿌려놓은 robot 들의 활동을 제어 하는 기능이 있는데...

(잘 모르시는 분들은 SEO 라는 것을 참조 하실것~!)

이번에 회사 사이트를 리뉴얼 하며 

구글 검색엔진 최적화를 위해 구 사이트에 robot 이 활동하지 못하도록 설정 하였다.

시작 하기 전에 중요한 점은... robots.txt 파일은 무조껀 root 에 있어야 한다는 것이다.

- 홉페이지 전체 노출 금지

User-agent:*

Disallow:/

- 홈페이지 전체 노출( robots.txt 파일이 없을경우는 전체 노출이 default)

User-agent:*

Disallow:

- 일부 폴더(디렉터리)만 노출하고 싶지 않을때

User-agent:*

Disallow:/my_photo/

Disallow:/my_note/

- 홈페이지가 전체 노출되길 원하지만 특정 검색엔진만 피하고 싶을때

User-agent:Ninebot

Disallow:/

- 홈페이지가 특정 검색엔진에만 노출되기를 원할때

(네이버만 노출 ㅎ)

User-agent:NaverBot

Disallow:

User-agent:*

Disallow:/

- 추가로.. 각 페이지별로 메타태그를 이용해서 제어도 가능함

[META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"] --> 긁어 갈 수 없음

참고참고 ㅋㅋ

User-agent: Googlebot

User-agent: googlebot-image

User-agent: googlebot-mobile

User-agent: MSNBot

User-agent: Slurp

User-agent: Teoma

User-agent: twiceler

User-agent: Gigabot

User-agent: Scrubby

User-agent: Robozilla

User-agent: Nutch

User-agent: ia_archiver

User-agent: baiduspider

User-agent: naverbot

User-agent: yeti

User-agent: yahoo-mmcrawler

User-agent: psbot

User-agent: asterias

User-agent: yahoo-blogs/v3.9

User-agent: *