EverMind MSA：メモリスパースアテンションによるLLM向け1億トークンの長期記憶

EverMind AIが、LLMのコンテキストを1億トークンにスケーリングできるエンドツーエンドの学習可能なスパースメモリフレームワーク「MSA（Memory Sparse Attention）」をオープンソース化しました。Hacker Newsで56ポイントを獲得し、GitHubで公開されています。

MSAは4つの主要イノベーションを導入：最も関連性の高いメモリサブセットを動的に選択する微分可能なコンテンツベースのスパース化メカニズム「Memory Sparse Attention」、内部ドキュメント位置をグローバルメモリ位置から切り離す「Document-wise RoPE」、段階的コンテキスト拡張、メモリ効率の高い学習手法。

https://github.com/evermind-ai/msa