GEMS：6Bの小型モデルが自らスキルを学んでSOTAを超えた

画像生成の研究は大抵、もっと大きなモデルかもっと良い訓練データに向かう。GEMSは違うアプローチを取った。モデルを大きくするのではなく、6Bパラメータの小型モデルをエージェントループで包み、出力を反復的に改善し、何がうまくいったかを記憶し、新しいスキルを学習していく。

フレームワークは3つのコンポーネントで構成される。Agent Loopはマルチエージェントシステムを動かし、閉ループ最適化で生成品質を批評・改善する。モデルが自分自身と議論して、出力が本当に良くなるまで繰り返すイメージだ。Agent Memoryは成功した軌跡を保存し、同じ間違いの繰り返しや既知の解決策の再発見を防ぐ。Agent Skillはドメイン固有の能力を蓄積する拡張可能なライブラリだ。

結果として、6BモデルがGenEval2（テキストから画像への生成品質ベンチマーク）で最先端を超えた。競合の10分の1のサイズのモデルが、力技ではなくアーキテクチャで勝った。

これは画像生成を超えた意味を持つ。エージェントループと永続的メモリとスキル蓄積のパターンは、まさにコーディングエージェント、リサーチエージェント、タスクエージェントに望む動作そのものだ。GEMSはこのアーキテクチャが小規模モデルでも測定可能な改善をもたらすことを実証した。7人の研究者による論文で、コードはGitHubでオープンソース公開されている。

https://arxiv.org/abs/2603.28088
https://github.com/lcqysl/GEMS
https://gems-gen.github.io