何ができるページか
Codexを使ってrobots.txtを確認する時に、Disallow、Allow、Sitemap行、noindexとの違い、既存robotsを壊さないための見方が分かります。
対象は、静的サイト、WordPressサイト、コード版サイト、SEO用に複数ページを公開するサイト運営者です。
robots.txtとは何か
robots.txtは、検索エンジンなどのクローラーに対して、どの範囲をクロールしてよいかを伝えるファイルです。公開ルートに置かれることが多く、SEOサイト公開前の基本確認に含めます。
ただし、robots.txtはページを検索結果から必ず消すためのものではありません。検索結果に出したくない場合の考え方はnoindexと分けて理解する必要があります。
robots.txtでできること / できないこと
- できること: クローラーにクロールしてほしくない範囲を伝える
- できること: sitemap.xmlの場所を伝える
- できないこと: ページの品質を上げる
- できないこと: すべてのクローラーの挙動を完全に制御する
- できないこと: noindexの代わりとして確実に検索除外する
noindexとrobots.txtの違い
noindexはページ単位で検索結果への掲載を避けたい時に使う考え方です。一方、robots.txtのDisallowはクロールを制限するための指定です。
Disallowでクロールを止めると、検索エンジンがページ内のnoindexを読めない場合があります。そのため、非公開や除外の判断は、robots.txtだけで完結させず、目的に応じて確認します。
既存robots.txtを壊さない
既存サイトでは、WordPressが動的にrobots.txtを返している場合や、静的なrobots.txtが置かれている場合があります。Codexに確認させる時は、まず現在の公開URLでrobots.txtがどう表示されるかを確認します。
追記が必要な場合でも、先にバックアップを取り、既存のDisallowやSitemap行を消さないことが大切です。robots.txtは小さなファイルですが、サイト全体のクロールに影響します。
Codexにrobots.txtを確認させる指示文
目的:
SEOサイト公開前にrobots.txtを確認する
対象:
https://example.com/robots.txt
sitemap.xml
主要な公開ページ
確認:
robots.txtが200 OKで開ける
Disallowで重要ページを止めていない
Sitemap行がある
sitemap.xmlのURLが200 OK
noindexとrobots.txtを混同していない
禁止:
robots.txtを勝手に変更しない
.htaccess、DB、DNS、他ドメインには触らない
既存行を削除しない
報告:
現在のrobots.txt内容
問題の有無
追記が必要な場合の案
未確認事項追記させる場合の禁止事項
CodexにSitemap行を追記させる場合でも、既存robots.txtを上書きしない、既存Disallowを削除しない、全角文字や全角読点を混ぜない、.htaccess変更へ進まない、という禁止事項を明記します。
もしrobots.txtの表示にサーバー設定が関係していそうな場合は、そこで停止して報告させます。
公開後に確認するURL
- https://example.com/robots.txt が200 OK
- https://example.com/sitemap.xml が200 OK
- robots.txtにSitemap行がある
- 重要ページがDisallowされていない
- Search Console送信前にsitemapとcanonicalを確認する
失敗しやすい点
robots.txtにSitemap行を追加したつもりで、別ドメインやhttpのURLを書いてしまうことがあります。Search Consoleに送信するURLと、robots.txt内のSitemap URLは揃えておきます。
また、検証時のDisallowが残ったまま公開されると、重要ページのクロールを妨げる可能性があります。Codexに任せる作業として、「重要ページを止めていないか」を具体的に確認させます。
Search Console登録前の確認へ進む
robots.txtを確認したら、sitemap、canonical、noindexとあわせてSearch Console登録前の状態を確認します。
Codex実践ログ型ガイド
実際にCodexを使った作業記録は「Codex実践ログ型ガイド」にまとめています。sitemap更新、トップページ補強、AdSense申請前チェック、robots確認、静的HTMLサイト制作など、実際の作業を一般化して整理しています。
実践ログ型ガイドもあわせて読む
実際にCodexへどう指示し、作業後に何を確認したかは、実践ログ型ガイドにまとめています。作業メモではなく、次から使える手順・指示文・チェックリストとして整理しています。