Codex safety practical guide

Codex作業で失敗しやすいパターン

Codex作業で起きやすい失敗を先に知り、止める条件と安全な頼み方を作るためのページです。

当サイトはOpenAI、Google、GitHubの運営サイトではありません。Codexを実務で安全に使うための非公式ガイドです。

機能、料金、利用条件、連携条件は変わる可能性があります。最新情報が必要な場合は、各提供元が公開している情報を確認してください。

このページで分かること

Codex作業の失敗は、AIの能力不足だけでなく、依頼文の曖昧さや確認不足から起きることがあります。対象ファイルを間違える、共通パーツを広く触る、SEOタグを変える、存在しないURLへリンクする、といったパターンを先に知ると、停止条件を作りやすくなります。

停止条件は、Codexが判断できない時に勝手に進まないためのブレーキです。「対象ファイルが特定できない」「既存SEOタグ変更が必要」「設定ファイル変更が必要」「内部リンク先が未作成」など、作業を止める条件を依頼文に入れます。

対象ページの本文だけを修正してください。対象ファイルが特定できない、既存SEOタグ変更が必要、設定ファイル変更が必要、内部リンク先が未作成、共通部品へ影響しそうな場合は作業を止めて報告してください。

作業の失敗より見つけにくいのが、確認に使っている道具が嘘の数字を返している場合です。数字が出ている分、間違いだと気づけません。実際に踏んだものを挙げます。

取れなかったものを0として返す。本文を抜き出す処理が想定した囲みを見つけられず、「本文0字」と報告しました。実際には1万字あるページでした。取れなかったのか、本当に無いのかを区別して返さないと、健全なページを薄いと判定します
文書全体に条件を当ててしまう。「特定の語を含むページを除外する」処理を文書全体に対して書いたため、その語を解説しているだけのページまで除外されました。対象は本来メタ情報の一行だけでした
見出しだけを見て中身を判断する。複数ページの見出しが似ていたので「内容が重複している」と考えましたが、本文を文単位で測ると重なりは5%以下でした

共通しているのは、いずれもエラーを出さずに、それらしい数字を返したことです。だから検算するまで気づけません。直す判断の根拠にする数字は、少数の実例を手で確かめてから使ってください。1件でも突き合わせれば、この3つはすべて見つかります。

手元で直して上げる作業では、手元のほうが新しいという前提が崩れていることがあります。別の経路で本番だけが直されていると、上げた瞬間に元へ戻ります。

実際に、手元にだけ古い表記が残っていて、本番はすでに直っていたということがありました。突き合わせをせずに上げていれば、直っているものを壊すところでした。「自分が最後に触ったのだから手元が新しいはず」は前提にできません。

判断が必要な状態になったら、そのまま実装へ進めず、確認結果と停止理由を報告してもらいます。