Aleph Alpha Kolibri: ドイツの主権LLMはどう作られたか
Aleph Alpha Kolibri: How the sovereign German LLM works
tej.as ·
Aleph Alphaの新モデルKolibri(総78.1Bパラメータ、活性3.46B)のアーキテクチャを、MoE構成やスライディングウィンドウAttention、100万トークンコンテキストなど技術的に深掘りした解説記事です。German推論データの質がスコアを一時下げるという実験結果など、後訓練の実務的知見が得られる点が際立っています。