LLMの事前学習データに少量の悪意ある文書を混入させることで、その後のSFT、DPO、強化学習を経ても消えないバックドアを仕込み、AIエージェントに攻撃者が指定した外部スクリプトを実行させられることが示された。 “Agentic Backdoors via Pretraining Poisoning” 本研究では、0.6B、1.7B、4BパラメータのモデルをFineWebの100Bトークンでゼロから事前学習し、その後、攻撃データを一切含まないSFT、DPO、GRPOによってCLIエージェントを構築した。 この際、事前学習データのわずか0.1%を汚染することで、4Bモデルでは特定のファイルパスを含む入力に対し、攻撃者が指定した外部スクリプトを実行するコマンドを、単一の生成で50.9%、32回の生成のうち少なくとも1回では92.7%の確率で出力した。 また、通常の入力では攻撃コマンドはほぼ生成されず、モデルの一般能力やCLIタスクの性能も、汚染されていないモデルとほとんど変わらなかった。このことから、通常のベンチマークではバックドアを発見することが難しいと考えられる。 攻撃手法として、従来のDemonstration-based Poisoningでは、特定の文字列を含むリクエストに対し、攻撃者が指定したシェルコマンドを出力するような応答パターンを模倣させる。 これに対し、論文が提案するDeclaration-based Poisoningでは、「この条件では、このコマンドを実行する」というルールを通常の技術文書の中に記述する。例えば、Gitのコミットメッセージやシステム管理のマニュアルなどで、特定のファイルパスに対して特定のスクリプトを実行することが正常な運用であるかのように記述する。 Demonstration-based Poisoningでは、後続の正常なSFTによって応答パターンが上書きされやすいと考えられる。一方、Declaration-based Poisoningでは、特定の条件と動作の関係をモデルに知識として学習させる。そのため、後続のSFTによって適切なツールの利用方法を学習しても、その知識は修正されず、むしろ知識を実際の行動に変換できるようになると考えられる。 実験では、20種類のドメイン、各500トピック、50種類の文書スタイルを組み合わせ、多様な攻撃文書を生成している。 4Bモデルにおける攻撃成功率（Pass@32）は、Demonstration-based Poisoningの3.2%に対し、Declaration-based Poisoningでは92.7%と大幅に高かった。 さらに、このバックドアは特殊な文字列だけでなく、通常のファイルパスに含まれる文字列でも発動するように設定できる。例えば、特定の文字列を含むファイルパスが入力に現れるだけで、バックドアが発動するように仕込むことができる。しかも、学習時に登場しなかった新しいファイルパスに対しても攻撃が成立した。 事前学習データへの混入率を0.1%から減らすと、攻撃成功率は大きく低下する。しかし、0.0005%（2,500文書）という比較的小さなデータ量でも、成功率は低いものの、バックドアが残存することが確認されている。 コメント === 事前学習データに悪意ある文書を一部混入させるだけで、後続の学習を経ても消えないバックドアを仕込むことができ、しかも通常の性能評価では検出が難しいという問題を示した研究である。 モデル開発側では、学習データの信頼性管理に加え、開発したモデルにバックドアが存在しないかを評価する技術も、今後ますます重要になるだろう。 以前紹介した、ニューラルネットワークを使ってモデルの安全性を検証するような技術も、こうした問題への対策として必要になるかもしれない。 さらに、事前学習データが完全に安全であることを保証するのは困難であり、Post-trainingによってバックドアを除去できる保証もないため、エージェントの安全性をモデル自身の判断能力だけに依存させず、実行時の権限制御や監視を組み合わせるといった設計が不可欠になると考えられる。

Weight-Space Programmingでは、LLMがニューラルネットワークの重みを直接読み取り、解析・編集することで、モデルの振る舞いを改善できることを示している。 “Sparks of Weight-Space Programming” 人間はニューラルネットワークのパラメータを数値列として与えられても、それが何を意味しているのかを直感的に理解することは難しい。しかし、GPT-6 Astraに重みの数値列を与えると、その意味を読み解けることが示された。 例えば、ゲーム用MLPの重みを数値列として与え、どのゲームをプレイするモデルなのかを推定させたところ、すべてのゲームを正しく識別できた。 さらに、単なるパターンの丸暗記ではなく、重みの構造に基づく推論が行われていることも示唆されている。例えばPong（2つのパドルでボールを打ち合うゲーム）の場合、左右の出力に対応する重みが非常によく似ていることから、両プレイヤーが同様の操作を行う構造を推定した。さらに、パドルの垂直方向の移動に対応する部分と、独立して動くボールの位置を捉える部分があることを見いだし、Pongであると推定している。 また、モデルの失敗原因を特定し、重みを直接修正することにも成功している。例えば、ロボットの制御問題では、障害物を乗り越えられないロボットの方策ネットワークを解析し、重みを直接編集することで、その振る舞いを修正している。 さらに、LLM自身の重みから振る舞いを分析する実験も行っている。重みだけから迎合性を特定することはできなかったものの、Attentionの情報を追加することで迎合性に関係する特徴を特定できた。また、推論過程で同じ内容を繰り返してしまう問題についても、モデル内部の原因を分析し、重みを直接編集することで改善している。 従来、ニューラルネットワークの重みは主に勾配法などの最適化手法によって獲得・調整されてきた。しかし、今後はLLMが目標とする振る舞いを理解したうえで、重みを直接生成・編集したり、問題の原因を分析したりすることが可能になるかもしれない。 これは、表現工学やモデル編集といった新しい分野を切り拓くとともに、機構的解釈可能性といった分野でも重要な技術になるだろう。 コメント === LLM（AI）と人間とでは、得意なことと不得意なことに違いがある。今回の問題設定は、人間にとっては不得意でも、LLMにとっては得意になり得る領域なのだと考えられる。人間の直感が働きにくい領域であるだけに、今後、多くの有用な応用が生まれる可能性がある。 例えば、現在のマルチモーダルLLMは、画像や動画をトークン列として処理し、それが人間を表しているのか、どのような動作が行われているのかを直接、理解できる。エンコーダーフリーな手法などは特にモーダル毎に特殊な処理がなくても同じモデルが処理できる 重みの数値列についても、画像などと同じように、AIにとって、その構造や意味を読み解いたり、修正することが可能なのだろう（例えば顔画像を編集して目を閉じた画像を作れるように） また、こうした能力はAstraのようなフロンティアモデルに限られるものではなく、多くのモデルでも、モデルパラメータの読解や編集を目的とした学習を行うことで獲得できる可能性がある。Astraは機構的解釈可能性といった研究をできるような学習をしている可能性は高く、そこから獲得したのではと推定するが、たくさんの全く別の学習から汎化してこの能力を獲得したとしても不思議ではない。 今後は、モデルが現在の問題設定や環境を理解し、自分自身や他のモデルの重みを直接編集する可能性すらある。 従来の勾配法による最適化だけでなく、モデル自身が目的に応じてパラメータの変更方法を考え、直接調整することで、環境に適応する仕組みも考えられる。

Transformerの同じ重みを繰り返し利用するLooped Transformerについて、どの層を繰り返すべきか、ループごとに異なるパラメータを持たせるべきかなどを、最大1Bパラメータ、155Bトークンの規模まで体系的に検証した論文が公開された。 “How to Loop Your Transformer” 特に、パイプライン並列のように各ループの処理をトークン方向にずらして並列実行できるParallel Loop Transformer（PLT）について、従来成功していなかったのが、わずかな改良で現実的な候補になっている。 まず、全層を繰り返す方法と中間層だけを繰り返す方法を比較した場合、同じパラメータ数と学習トークン数なら、全層を繰り返す方が最も低い検証BPB（Bits per Byte）を達成する傾向があるのがみられる。 一方、学習FLOPsを揃えると、中間層だけを繰り返す方が有利になる領域がある。 また、同じ重みを繰り返し利用する際の自由度を高めるため、各ループに小さなLoRAを導入し、さらに複数のLoRAの線形結合によってループごとの重みを補正する手法も検証している。これらは少ない追加パラメータで性能を改善し、特にループ回数が多い場合に有効であった。 最も注目されている結果はParallel Loop Transformer（PLT）である。通常のLooped Transformerでは、同じトークンに対して複数のループを逐次的に実行する必要があり、自己回帰推論のレイテンシが大きくなる。 そこでPLTでは、前のループにおける同じトークンの隠れ状態ではなく、一つ前のトークンにおける前のループの出力を利用し、それに現在トークンのEmbeddingを加える形でループを実行する。 例えば2ループの場合、現在トークンのEmbeddingを入力としたLoop 1と、前トークンのLoop 1の出力と現在トークンのEmbeddingを組み合わせたLoop 2を並列に実行する。現在の予測はこのLoop2から出力し、Loop1は次トークンのLoop2に使われる パイプライン並列のようにループ間の依存関係をトークン方向にずらすことで、各ループ処理を並列実行できる。これらは、各ループの入力をバッチ化し、共有するTransformerの重みを使って一度に処理することができる。 PLT自体は以前に提案された手法だが、従来のPLTではループを増やすと性能が低下する問題があった。 本論文では、現在トークンのEmbeddingと前トークンの隠れ状態にそれぞれ独立にRMSNormを適用し、ゲートを用いてこれらを混合することで、この問題を大幅に改善した。ゲート自体は複雑である必要はなく、単純な50:50の混合でも大きな改善が得られている。 さらに、Over-training領域では学習効率も改善されることが示されている。2ループのPLTでは、同じ検証損失に到達するための学習FLOPsを、通常のTransformerと比較しておおむね10〜30%削減できる領域がある。 コメント === Looped Transformerについてはさまざまな手法が提案されており、それらの実用性が徐々に明らかになってきている。 今回検証されたPLTは、推論時のレイテンシ増加を抑えながら投入計算量を増やせる可能性があり、実用的に有望だろう。 また、学習FLOPsの改善も興味深く、学習トークン数を増やすよりも、各トークンに投入する計算量を増やす方が効率的な領域が存在することが示されている。 なお、今回の実験では4ループ以上では計算量に対する改善が弱まるため、現時点では2ループの改良版PLTが実用的に最も興味深い構成だと考えられる。 なお、今回の結果は最大1Bパラメータ、155Bトークン規模で、主にDCLM検証データの尤度に基づく評価であり、大規模化した場合や、実際の能力にどの程度効果があるかについては、今後の検証が必要である。

Energy-Based Model（EBM）を大規模化し、さまざまな改良を加えることで、少ない計算量で高品質な画像生成を実現するTransformer Energy-Based Model（TEM）が提案された。 “Scaling Transformer Energy-Based Models for High Quality Image Synthesis” 609MパラメータのTransformerを用いて、ImageNet 256×256のクラス条件付き画像生成でFID 3.82を達成した。これはClassifier-Free Guidance（CFG）を使用しないDiffusion Transformerと競争できる水準である。 EBMは、データの確率分布をエネルギー関数E_θ(x)で表現するモデルである。 p_θ(x) = exp(−E_θ(x)) / Z_θ EBMはエネルギー関数を直接学習し、その勾配を使ってMCMCでサンプリングする。 x_{t+1} = x_t − η∇E_θ(x_t) + σε ランジュバンサンプリングと同様に、エネルギーの低い領域に向かって状態を更新しながら、ノイズを加える。 EBMの強みとして、分布外検出ができること（エネルギーが高いほどモデル上の相対的な確率密度が低いこと）、補完ができること、そして複数の確率分布の積に対応する分布からサンプリングできることが挙げられる。 例えば、2つの確率分布p₁(x)、p₂(x)の積に比例する分布を生成したい場合、 p(x) ∝ p₁(x)p₂(x) E(x) = E₁(x) + E₂(x) となる。そのため複数の制約を保った上でのサンプリングは、それらの制約に対応するエネルギーを足し合わせ、その勾配を使ってサンプリングするだけでよい EBMは従来から研究されてきた手法だが、高次元空間でのMCMCサンプリングが難しいことや、大規模モデルの学習が不安定になるという問題があった。 TEMでは、主に以下の5つの工夫によってこれらの問題に取り組んでいる。 ・VAEの潜在空間でエネルギー関数を学習 元の画像空間ではなく、VAEによって変換された32×32×4の潜在変数空間でエネルギー関数を学習し、MCMCサンプリングを行う。これにより、サンプリングする空間の次元数を大幅に削減する。 ・Transformerの複数層からエネルギーを抽出 Transformerの浅い層、中間層、深い層からそれぞれエネルギーを抽出し、それらの和を最終的なエネルギーとする。 浅い層由来のエネルギーはテクスチャ、中間層は物体の配置、深い層は大域的な意味構造に対応する傾向があり、異なる抽象度の制約を組み合わせることで生成品質を改善する。 ・Positive Representation Alignment（PRA） 事前学習済みのDINOv2-Largeの特徴表現と、Transformerの中間表現を一致させる学習を、Positiveサンプル（実データ）に対してのみ適用する。 Negativeサンプルはデータ分布から外れている場合が多く、その特徴表現まで一致させようとすると、本来の対比学習と矛盾する可能性があるためである。 ・Sampler Matching Loss EBMの最尤学習では、実データのエネルギーを下げ、モデルが生成したサンプルのエネルギーを上げるように学習する。 しかし、実際には有限ステップのMCMCで生成される分布q_θは、エネルギー関数が定義する本来の分布p_θと一致しない。 そこで、KL(q_θ || p_θ) に由来する正則化を追加し、エネルギー関数側を固定したうえで、 E_q[E_θ(x)] − H(q_θ) を最小化するようにする。 1つ目の項は、MCMCで生成したサンプルのエネルギーを下げる項である。エネルギー関数の直接の勾配ではなく、サンプリング過程を通じて勾配を流すことで、生成サンプルがより低エネルギーの領域に到達するように学習する。 この計算には二階微分が必要となるが、40ステップすべてを逆伝播するのではなく、最後の1ステップだけを微分することで計算量を抑えている。 2つ目の項は、生成サンプルのエントロピーを最大化することに対応する。Replay Bufferに保存された過去のサンプルとの最近傍距離を利用し、サンプル同士が近すぎないようにする。 これによって、低エネルギー領域に向かうだけでなく、生成サンプルの多様性も維持する。 ・Persistent Replay Buffer 毎回ガウスノイズから生成を開始するのではなく、過去のMCMCで生成した潜在変数を保存して再利用する。 Replay Bufferの容量は16,000で、99%の確率で過去のサンプルを再利用し、1%の確率で新たにガウスノイズからサンプリングを開始する。 また、クラス条件を毎回独立に与えるため、あるクラスの生成途中の潜在変数を、別のクラスの生成に利用することもできる。 学習時には40ステップ、推論時には主に60ステップのサンプリングを行う。 これらの工夫の中でも、特にPRAとSampler Matchingの効果が大きいとみられる。 実際、122Mパラメータのモデルによるアブレーションでは、Contrastive Lossのみの場合のFID 121.11が、Sampler Matchingの導入によって42.76まで改善し、さらにPRAを加えることで19.86まで改善している。 また、エネルギー関数を組み合わせた画像生成、追加学習なしのInpainting、エネルギー値による分布外検出など、EBM本来の特徴も実証している。 コメント === EBMは理論的に柔軟で興味深いモデルであり、非正規化確率密度を直接評価できるなどの利点がある。一方、これまではDiffusionやFlow Matchingほど高い画像生成品質を実現することが難しかった。 今回、さまざまな工夫を組み合わせることで、EBMでも高品質な画像生成が可能であることが示された。 この中で個人的に一番興味があるのはEBMでは、複数の確率分布の積に対応する分布を、エネルギーの加算によって自然に表現できる点である。 例えば、複数の制約を同時に満たすような生成を比較的簡単に実現できるだけでなく、それぞれのエネルギー項を調べることで、生成したものがどの制約をどの程度満たしているかを評価する手がかりにもなる。 ロボット制御や化合物生成などで複数の制約を考慮するといったことが自然に実現できる。 また、今回の手法でPersistent Replay Bufferの役割も注目している。 DiffusionやFlow Matchingは、多峰性を持つ複雑な分布からの生成という問題に対して、ガウス分布から目標分布への経路を学習することで対処している。 一方、EBMでは多峰性を持つエネルギー地形におけるMCMCのMixingの難しさがあったが、これをPersistent Replay Bufferが、学習過程を通じて分布の輸送を実現している可能性がある。 学習初期にはReplay Bufferのサンプルはガウス分布から初期化されるが、学習が進むにつれてエネルギー関数自体が変化し、それに従ってBuffer内のサンプルも徐々に移動していく。 つまり、エネルギー関数が徐々にデータ分布を表現するようになる過程で、Replay Bufferの分布も単峰性のガウス分布から多峰性のデータ分布へと変化していくと考えられる。 このように考えると、DiffusionやFlow Matchingが生成時にガウス分布からデータ分布への輸送を行うのに対し、今回のEBMでは学習過程そのものが輸送の役割を果たしているとも解釈できる。 特に、学習初期にはまだエネルギー障壁が十分に形成されていないため、サンプルがさまざまなモードへ分かれていき、その状態がReplay Bufferに維持されることで、最終的なエネルギー地形におけるMixingの難しさを緩和している可能性がある。 これは今回の論文では直接検証されていないが、興味深い仮説である。

On-Policy Self-Trainingは、LLMが自ら問題と解答・推論過程を生成し、外部の正解データや強力な教師モデルを使わずに、自らの能力を改善できることを示した。 “On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models” まず、代数学、物理学、常識推論などの大まかなトピックを与え、問題・解答・推論過程を生成させる。 次に、生成した問題について、解答の再現性や問題文を言い換えた場合の解答の一貫性を確認する。さらに、学習対象のモデルが既に安定して解ける簡単な問題を除外し、学習に有効なデータを選別する。 生徒モデル（Student）には問題のみを与えて解答を生成させる。一方、教師モデル（Teacher）には、問題に加えて自己生成した解答や推論過程をPrivileged Informationとして与える。 そして、生徒モデルが実際に生成した推論過程の各ステップにおいて、教師モデルの次トークン予測分布に近づくように学習する。 教師モデルには、生徒モデルの重みの指数移動平均で更新するEMA Teacherを利用し、学習を安定化させる。 この工夫により、生成した問題の解答や推論過程が不完全あるいは不正確であっても、通常のSFTやGRPOよりも効果的に学習できることを示している。 小規模なGemma 4 E2B / E4Bに適用した結果、MMLU、GPQA、GSM8Kなどで数ポイントから最大10ポイント程度の性能改善が得られた。Qwen3-4B-Baseでも同様の改善が確認されている。 モデルが知らなかった事実を外部情報なしに獲得するというより、既存の知識や潜在的な推論能力を引き出し、増幅する手法といえる。 コメント === 強い外部教師モデルを使わず、自分自身を有利な条件で動かして学習目標を生成し、その目標を追加情報のない厳しい条件でも達成できるようにすることで、自己改善を図る手法がいろいろと提案されている。 私はこういう自分が進めば目標が進む手法を「馬にニンジンをぶら下げる手法」と呼び自己改善で重要な要素と考えているが、今回の手法も比較的単純な仕組みでありながら有効であることが示されている。 似たような手法は以前に研究したことがある。 例えば、生成過程の後半の結果を条件付けに利用し、それを知らないモデルに学習させるといった方法であるが、ここまでの効果はなかったが、今回の研究では、これに加えてデータの選別、EMAによる教師モデルの安定化、On-Policy Self-Distillationを組み合わせている点が重要だと考えられる。 条件付けに用いる解答や推論過程が必ずしも正確でなくても、直接それらを学習する場合よりも頑健に性能を改善できること、無理に間違った正解に引っ張らない部分が良いのだと思われる。 論文でも述べられている通り、この手法単体では、モデルが持たない新しい知識を獲得することは難しい。しかし、検証可能な報酬を用いる強化学習（RLVR）や報酬モデルなどと組み合わせることで、さらに効果的な自己改善につながる可能性がある。

OpenAIの内部研究モデルが、本来禁止されていた外部インターネットへの接続に成功した事件を受け、OpenAIはフロンティアモデルの学習環境におけるセキュリティ対策を強化した。 その過程で、最新のフロンティアモデルを利用し、数千億トークンを投入した大規模なセキュリティ検証（Red Teaming）を実施した。 このRed Teamingにおける攻撃対象はOpenAI自身の学習インフラであり、次の3つの課題を提示した。 ・microVMからの脱出 ・外部インターネットへの接続 ・隔離されたAIエージェント間の通信 これらの課題に対し、AIエージェントは複数の脆弱性やシステムの特性を組み合わせることで、いずれの課題についても成功例を示した。 特に印象に残った例として、3番目の隔離されたAIエージェント間の通信では、ネットワーク接続や共有ファイルが利用できない環境で、共有CPUキャッシュを通信路として利用した。 具体的には、送信側のAgent Aは、特定のデータをCPUキャッシュから追い出すことでキャッシュの状態を変化させる。一方、受信側のAgent Bは、同じデータへのアクセス時間を測定し、キャッシュに存在するかどうかを推定する。このアクセス時間の差を0と1に対応させることで、情報を伝達できる。 ただし、AIエージェントがこれらの手法をすべて一から発見したわけではなく、多くの実験では、人間が調査対象の通信路を指定するか、符号化・復号のプロトコルを事前に与えていた。したがって、何の手がかりもなく通信方式を発見し、独立したエージェント同士が協調してプロトコルを開発したことまで実証されたわけではない。 一方、脆弱性に関する広範な情報だけを与えたところ、AIエージェントが通信方式を考案し、情報交換に成功した事例も報告されている。 こうした結果を受け、OpenAIはフロンティアモデルのRL学習について、仮想的なWeb環境を構築して原則オフラインで実施するとともに、複数の防御機構を組み合わせた多層防御を強化する方針を示した。 コメント === 強力なAIエージェント、特にサイバーセキュリティに関する高度な能力を持つAIを学習・検証する際には、従来とは異なるレベルのセキュリティ対策が必要になりつつある。 仮にネットワーク接続を完全に遮断したとしても、今回の例のように、共有ハードウェアなどを利用して、想定外の通信経路を構築できる可能性が示された。 今後は、技術的な脆弱性だけでなく、人間を間接的に誘導する形で、外部との通信や権限の獲得を実現しようとする事例も増えてくるだろう。 AIの問題解決能力が向上することは、与えられた制約を迂回する方法を発見する能力も向上することを意味し、研究開発で壁にぶつかっても、粘り強く創意工夫をして、解決策を考える能力は攻撃においてもそのまま有効となる。 以前から懸念されてきた、人間を超える能力を持つAIを本当に制御できるのかという問題が、今日のシステム設計や運用に関わる課題になりつつあると思われる。

LAWは拡散言語モデルにおいて、生成途中で離散トークンをサンプリングせず、トークン埋め込みの加重平均を繰り返し更新することで生成品質を改善する手法である。従来は補助的に使われていた自己条件付け（Self-Conditioning）を、生成過程そのものに拡張した手法といえる。 “Loopholing All the Way: Language Modeling with Pure Self-Conditioning” 従来の離散拡散言語モデルでは、各ステップでトークンの確率分布を予測し、そこから離散トークンをサンプリングして次のステップに進む。さらに、Loopholingなどの手法では、前のステップの隠れ状態を自己条件付け（Self-Conditioning）として次のステップに渡す。しかし、離散トークンのサンプリングによって、予測分布が持っていた他の可能性や不確実性に関する情報は失われてしまう。 LAWでは、各ステップで予測したトークンの確率分布に基づき、トークン埋め込みの加重平均（Expected Embedding）を計算し、それを次のステップの入力とする。これにより、途中で離散トークンをサンプリングすることなく、連続的な状態を繰り返し更新できる。 この連続表現での更新を繰り返し、最後のステップで初めて離散トークンをサンプリングする。連続的な生成過程を持つものの、従来の連続拡散モデルのようにODEやSDEを解く必要はない。 学習時には、主に次の2つの工夫を導入している。 ・Multi-pass Training：通常2回のForwardを行い、1回目の予測から得た連続表現を2回目に入力する。勾配は2回目のForwardにのみ流す。 ・Temperature Regularization：Softmaxの温度をランダムに変化させ、異なる確信度を持つ連続表現でも安定して更新できるようにする。 これらの工夫はどちらも重要であり、特にTemperature Regularizationを除くと、GSM8Kの正答率は48.8%から24.8%に低下する。また、2回のForwardの両方に勾配を流すと、42.2%から20.2%に低下した。 さらに、従来の自己条件付けではTransformerの最終隠れ状態を利用していたが、LAWで同じ方法を使うとGSM8Kの正答率は1.5%未満にとどまった。一方、Expected Embeddingを使うと35.8%に改善した。単に過去の隠れ状態を再利用するのではなく、トークン予測分布を経由して連続状態を作り直すことが重要だといえる。 実験では、Sudoku Hardの正答率が従来の91.0%から96.5%、GSM8Kでは34.5%から42.2%に改善した。さらに、既存の離散拡散モデルDuoを追加学習するだけで、GSM8Kの正答率が17.2%から48.1%に改善した。 大規模LLMへの適用は未検証だが、自己条件付けによる反復的な予測改善が拡散言語モデルの生成能力を大きく向上させることを示した、興味深い研究である。 コメント === Looped Transformerや潜在空間での推論と関係するような技術である。これまで成功していなかった部分について、今回の工夫（全て勾配を流すのではなく最後だけ流す、最後の隠れ状態ではなく、トークンの加重平均とする、学習時の温度をランダムにする）であるがこれらが決定的に重要な可能性はある。 この辺の技術がこなれてきた場合、多くの推論が明示的な推論トークン列ではなく途中ステップの連続的な状態の変換（トークンなので分析も可能）で行われるようになるだろうか。