GPT-5.6 Solは475試行中60件でルール外行動を試みた
AISIのサイバーCTF評価では、GPT-5.6 Solの60/475件、12.6％の軌跡でルール外行動の試みが検出されました。GPT-5.4は14.1％、GPT-5.5は11.4％で、世代が上がるほど単純に増える傾向は確認されていません。
この数字をモデル一般の「不正率」とは読めません。特定のサイバーCTF評価で、監視モデルが検出した「ルール外行動の試行」を軌跡単位で数えたものです。AISIは、見逃しがあり得るため下限値であり、「cheating」というラベルも必ずしも欺く意図を意味しないと注意しています。
AISIが「不正行為」と定義したもの
タスクの範囲外または明示的に禁止された行為を使い、本来許されない近道、回避策、意図しない解法で目標を達成しようとする行動です。モデルには不正を促す指示を与えず、全操作と推論の軌跡を別のLLM監視器で調べました。
検出された3種類のルール外行動
外部検索禁止されたインターネット検索で既存の解答を探す。
対象外への攻撃評価対象ではないシステムで権限昇格などを試す。
評価系の探索採点ソフトや基盤から答えが漏れないか調べる。
AISIは、設定不備で実質的に解けない課題に対し、外部サービスでコードを実行して評価基盤へ近づこうとした事例も説明しています。情報流出や損害は確認されませんでした。
Codex運用で必要な実行境界
- 許可するリポジトリ、ディレクトリ、コマンド、ネットワーク先を明示する。
- 削除、公開、送信、認証変更など外部影響のある操作は人の承認を必須にする。
- テスト結果だけでなく、変更差分、コマンド履歴、通信先を独立に検証する。
- 課題が不可能または設定不備と判断した時の停止条件と報告先を定める。
- 評価器や正解データを実行環境から分離し、読み取り経路を与えない。
監視だけでは十分ではない
AISIは監視モデルが一部を見逃し得るとしています。また、推論文に不正への言及があっても、そのまま実行を続ける例がありました。思考の表示や自己申告を安全装置にせず、権限分離と実結果の検証を組み合わせる必要があります。