Codex trouble guide

sitemap.xml / robots.txt を壊した時の確認

sitemap.xmlやrobots.txtを壊した時の確認方法を整理します。sitemap 200、robots 200、URL消失、noindex、Search Console、戻し方を扱います。

このページは非公式の実務ガイドです。重要な判断は人間が行い、最新情報は提供元の情報も確認してください。

trouble-check.md

stop:
  - unclear_cause
  - risky_change
check:
  - public_url
  - changed_files
  - rollback_scope

このページで分かること

sitemap.xmlやrobots.txtを壊した時の確認方法を整理します。sitemap 200、robots 200、URL消失、noindex、Search Console、戻し方を扱います。

sitemap.xmlが読めない、robots.txtが404になる、URLが消えた、Search Consoleで読み込みに失敗する状態です。

sitemap.xmlとrobots.txtは、どちらも「1ファイルの不具合がサイト全体の検索評価に波及する」特別なファイルです。個別ページの不具合とは重みが違うため、異変を感じたら他の作業を止めてでも先に確認する価値があります。

確認	やり方	そこから分かること
sitemap.xmlが200 OKか	ブラウザで直接開き、XMLとして整形表示されるか見る	404なら消失、表示が崩れるならXML構文エラー（追記ミスの典型）
robots.txtが200 OKか	ブラウザで直接開いて中身を確認	404・空・別サイトの内容になっていないか
URLが消えていないか	変更前のsitemapと行数・URL一覧を比較	「追記のつもりが上書き」で既存URLが消える定番事故の検出
noindexやDisallowが増えていないか	robots.txtのDisallow行と、ページのnoindexを確認	意図しないクロール拒否・インデックス除外の混入
Search Consoleで状態を見る	サイトマップレポートとカバレッジの推移を確認	Googleから見えている状態と、エラーの具体的内容

XML構文エラーの原因は、ほとんどが「タグの閉じ忘れ」「&の未エスケープ」「既存の閉じタグ</urlset>の後ろへの追記」の3つです。sitemapへの追記をCodexに依頼する時は、追記後にブラウザで開いて表示確認するところまでをワンセットで指示すると、この事故は防げます。

sitemap.xmlまたはrobots.txtに問題がないか確認してください。HTTPステータス、既存URLの消失、noindexやDisallow、Search Consoleで見る項目を確認し、既存URLを削除しない方針で報告してください。

既存URLの消失やrobots.txtの破損があれば、直前の正常な内容へ戻す候補を作ります。