「Gemma 4」のメモリ消費を大幅削減する「QAT」、品質はそのままスマホ上でも十分動作 - 窓の杜

Google DeepMindがオープンモデル「Gemma 4」の軽量化に成功し、その技術が公開されました！従来の圧縮手法では品質劣化が課題でしたが、今回導入された「QAT」（量子化を考慮した学習）は、トレーニングプロセスに量子化シミュレーションを組み込むことで、精度を保ちながらメモリ消費を劇的に削減します。これにより、E2Bから31Bまで全モデルが大幅に小型化され、高性能なAIをスマホなどのリソースが限られた環境でも快適に動作させることが可能になりました。AIモデルの利用シーンが大きく広がる、画期的な進展です！