どこに配置するのか？
- ドメインのルートに、「robots.txt」というファイル名で配置する。
- レンタルサーバー等を利用している関係などでドメインのルートに robots.txt を配置できない場合は、各ページにrobot対策用のmetaタグを記述する。
利用上の注意点
- robots.txt に強制力は無いため、robots.txtを評価しない検索エンジン(巡回プログラム)も存在する。 (クライアントに "検索エンジンには絶対に引っかかりません"などということは言わないこと！)
■参考サイト
検索エンジンロボットを制御する
http://tech.bayashi.net/pdmemo/robots.html
Google ウェブマスターツール -
robots.txt ファイルを使用してページをブロックまたは削除する
http://www.google.com/support/webmasters/bin/answer.py?hl=jp&answer=156449
Yahoo! Japan 検索 - クローラー
http://info.search.yahoo.co.jp/crawl/index.php
投稿
