LLMの推論効率を最大化するLMCacheをご紹介します。KV Cacheの読み書きを最適化するレイヤーを導入することで、特にマルチターン対話時の応答開始時間（TTFT）を大幅に改善できます。 #LMCache #AI #OSS #GitHub https://github.com/LMCache/LMCache