robots.txtとは
読み:ろぼっつてきすと
検索エンジンのクローラーに、サイト内で巡回してよい範囲を伝えるテキストファイル。
robots.txt(ロボッツテキスト)は、検索エンジンなどのクローラー(自動巡回プログラム)に対して、サイト内のどこを巡回してよい・してほしくないかを伝えるためのテキストファイルです。サイトのトップ階層(example.com/robots.txt)に置きます。
「User-agent」で対象のクローラーを指定し、「Disallow」で巡回を控えてほしいパス、「Allow」で許可するパスを書きます。サイトマップ(sitemap.xml)の場所を知らせることもできます。たとえば「Disallow: /admin/」で管理画面の巡回を避けてもらえます。
注意点として、robots.txt はあくまで「お願い」で、強制力はありません。アクセスを禁止する仕組みではなく、また Disallow にしてもURLが検索結果に出ることはあります。本当に見せたくないページは、認証やnoindexなど別の方法で守ります。