■ **概要** FreeToken は、290B以上の大規模 MoE モデルを個人 PC 等のコンシューマーハードウェア上で対話速度で実行するエッジ向けの推論エンジン。 ■ **特徴・用途** GPU/CPU/ホストメモリを統合管理し、帯域幅適応的な CPU-GPU 共実行と double-buffered prefill ストリーミングで効率化。semantic anchor checkpoints を用いたキャッシング戦略により、ツール呼び出しやthinking block などのコンテキスト編集時に KV 再計算を回避。動的 VRAM 再割り当てで expert キャッシュと KV メモリの競合を柔軟に解決するため、非均質なエッジリソースの最大活用に向く。 ■ **結論** オンデバイス推論の実用化を拓く設計で、特にエージェント・マルチターン対話における推論コスト削減が訴求点だが、ホスト 内通信の遅延がボトルネックになるシナリオでの実装難度は検証待ち。