ロボット・テキスト/robots.txt

［共通］ SEM・SEOとは？ SEM・SEO基礎 ［SEO］ SEO対策日記 検索エンジン最適化コラム 　- UserAgentスパム SEO強化ブログ ［PPC広告/ディレクトリ登録］ オーバーチュア広告 オーバーチュア＆アドワーズの無料診断 SEMコラム 　- ディレクトリの壁 ［全国セミナー開催］ セミナー講演依頼募集 　全国講師派遣承ります。 ［その他］ 用語集（総合目次） SEMコンサルティング PPCコンサルティング 書籍発売 不許複製・禁無断転載 2008/May/17

【目次】 SEM/SEO用語集 TOP ・あ行 - あ い う え お ・か行 - か き く け こ ・さ行 - さ し す せ そ ・た行 - た ち つ て と ・な行 - な に ぬ ね の ・は行 - は ひ ふ へ ほ ・ま行 - ま み む め も ・や行 - や ゆ よ ・ら行 - ら り る れ ろ ・わ行 - わ を ・英数字 数字/A/B/C/D/E/F/G/ H/I/J/K/L/M/N/O/P/ Q/R/S/T/U/V/W/X/Y/Z ・総合目次

ロボットの訪問を制御するためにサイトに置かれた小さなファイルのこと。ディレクトリ単位でロボット（スパイダー）の訪問を拒否することも可能。

ただし、自分のホームページをSEO等で宣伝したいときはロボット・テキストを設定する必要は無い。

例えば全てのロボットの訪問を拒否（Disallow）する時は、「robots.txt」ファイルの中身は、


となる。グーグルが画像をインデックス化しないようにするには、


とする。

詳細はこちら（英語）。