검색로봇을 막는 올바른 방법
2007/12/12 14:39 by 지민아빠우리가 검색엔진에 노출 되기를 원치 않을때 robots.txt 라는 것을 설정 합니다. 그런데 이 설정을 문법대로 제대로 사용하지 못하는 경우가 종종 있습니다. 이 경우 검색엔진에서 robots.txt 를 무시하고 가져 갔다고 화내시는 경우도 종종 있습니다. ^^;
관련글: robots.txt 문법도 틀린 국가기관 사이트
이렇게 robots.txt 를 잘 못 사용한 경우의 예를 차근차근 설명해 주는 좋은 글이 있어서 소개해 드립니다. ^^
관련글: 여러분의 robots.txt 는 안녕하십니까?
이 기회에 자신의 사이트의 robots.txt 파일도 한번 점검해 보시는 것이 어떨까요? ^^
이 글은 스프링노트에서 작성되었습니다.
'욍알욍알 > 정보검색' 카테고리의 다른 글
| 미러사이트를 판단하는 것에 대한 논문 (0) | 2007/12/19 |
|---|---|
| 검색로봇을 막는 올바른 방법 (0) | 2007/12/12 |
| 링크 스펨 알아내는 방법에 대한 논문 (0) | 2007/12/11 |
| SVM을 이용하여 스펨 블로그를 판별하겠다는 논문 (2) | 2007/12/05 |
