NVIDIA、Nemotron-Cascade 2をリリース:アクティブパラメータ30億の300億オープンエージェントモデル
NVIDIAは、30億のアクティベーションパラメータのみで動作する300億パラメータのMixture-of-Expertsモデル「Nemotron-Cascade 2」をオープンウェイトでリリースした。典型的なフロンティアモデルサイズのごく一部で、強力な推論能力とエージェント機能を提供する。
Nemotron-Cascade 2は、2025年国際数学オリンピック(IMO)、国際情報学オリンピック(IOI)、ICPC World Finalsでゴールドメダルレベルの性能を達成した2番目のオープンウェイトLLMだ。数学、コード推論、指示追従ベンチマークで、より大型のNemotron-3-Super-120B-A12BやQwen3.5-35B-A3Bを上回っている。
このモデルはCascade RL——推論ドメイン間の壊滅的忘却を防ぐ、逐次的なドメイン別強化学習アプローチ——を使用して訓練された。パイプラインにはコード、SWEタスク、指示追従、長文コンテキスト処理のための専門化されたステージが含まれる。エージェントタスクについては、システムプロンプト内の構造化されたツール呼び出しプロトコルをサポートする。
モデルウェイト、訓練データ(125Kのエージェント的 + 389Kのエージェントレスなサンプルを含む)、完全な技術レポートがオープンライセンスでHugging Faceにリリースされている。
Hugging Face:https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B
研究ページ:https://research.nvidia.com/labs/nemotron/nemotron-cascade-2/
← すべての記事に戻る
Nemotron-Cascade 2は、2025年国際数学オリンピック(IMO)、国際情報学オリンピック(IOI)、ICPC World Finalsでゴールドメダルレベルの性能を達成した2番目のオープンウェイトLLMだ。数学、コード推論、指示追従ベンチマークで、より大型のNemotron-3-Super-120B-A12BやQwen3.5-35B-A3Bを上回っている。
このモデルはCascade RL——推論ドメイン間の壊滅的忘却を防ぐ、逐次的なドメイン別強化学習アプローチ——を使用して訓練された。パイプラインにはコード、SWEタスク、指示追従、長文コンテキスト処理のための専門化されたステージが含まれる。エージェントタスクについては、システムプロンプト内の構造化されたツール呼び出しプロトコルをサポートする。
モデルウェイト、訓練データ(125Kのエージェント的 + 389Kのエージェントレスなサンプルを含む)、完全な技術レポートがオープンライセンスでHugging Faceにリリースされている。
Hugging Face:https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B
研究ページ:https://research.nvidia.com/labs/nemotron/nemotron-cascade-2/
Comments