Codex safety practical guide

Codexでsitemap・robots・canonicalを確認する方法

sitemap、robots、canonicalを勝手に変更せず、まず役割と現状を確認するためのページです。

当サイトはOpenAI、Google、GitHubの運営サイトではありません。Codexを実務で安全に使うための非公式ガイドです。

機能、料金、利用条件、連携条件は変わる可能性があります。最新情報が必要な場合は、各提供元が公開している情報を確認してください。

このページで分かること

sitemap.xmlは重要URLを伝えるためのファイル、robots.txtはクロールに関する入口の制御、canonicalは正規URLを示す要素として使われます。どれも小さく見えて影響が大きいため、Codexにはまず確認だけを頼むのが安全です。

sitemapには、基本的にHTTP 200で表示でき、index対象で、canonicalが自己URLのページを入れます。query付きURL、2ページ目以降、noindexページ、未作成URL、404 URLは、意図がない限り入れない方が安全です。

sitemap、robots、canonicalはそれぞれ別の役割ですが、組み合わせ方によっては矛盾した指示になります。よくある食い違いを挙げます。

組み合わせ	何が矛盾しているか	正しい形
sitemapに載せてnoindex	「見てほしい」と「出さないで」を同時に伝えている	noindexにしたらsitemapからも外す
robots.txtで巡回禁止＋noindex	巡回できないため、noindexが読まれない	検索から外したいなら巡回は許可する
canonicalが別ページを指す＋sitemap掲載	正規ページでないものを一覧に載せている	canonicalの向き先だけをsitemapに載せる

2行目は特に間違えやすい組み合わせです。巡回を止めてしまうと、そのページに書いたnoindexは読まれません。「検索から消したいのに消えない」時は、この状態になっていないか確認してください。

役割が似て見えるため、どれを使えばよいか迷うことがあります。目的別に整理します。

共通する原則は、1つの意図に対して1つの手段を使い、他とぶつからないようにすることです。複数を同時に設定すると、意図しない組み合わせで矛盾が生まれます。設定を変えた時は、他の2つとの整合性も確認してください。

対象URLがsitemap.xmlに掲載されているか確認してください。対象URLのHTTP 200、canonical、robots index,follow、noindex有無も確認してください。sitemapやcanonicalは勝手に変更せず、まず確認結果を報告してください。