シルギア

robots.txtとは

読み:ろぼっつてきすと

検索エンジンのクローラーに、サイト内で巡回してよい範囲を伝えるテキストファイル。

robots.txt(ロボッツテキスト)は、検索エンジンなどのクローラー(自動巡回プログラム)に対して、サイト内のどこを巡回してよい・してほしくないかを伝えるためのテキストファイルです。サイトのトップ階層(example.com/robots.txt)に置きます。

「User-agent」で対象のクローラーを指定し、「Disallow」で巡回を控えてほしいパス、「Allow」で許可するパスを書きます。サイトマップ(sitemap.xml)の場所を知らせることもできます。たとえば「Disallow: /admin/」で管理画面の巡回を避けてもらえます。

注意点として、robots.txt はあくまで「お願い」で、強制力はありません。アクセスを禁止する仕組みではなく、また Disallow にしてもURLが検索結果に出ることはあります。本当に見せたくないページは、認証やnoindexなど別の方法で守ります。

関連する無料ツール

ほかの用語

← 用語集一覧へ / すべてのツール