AirLLMは、大規模言語モデルの推論メモリ使用量を最適化するOSSです。量子化などの処理を行わずに、70Bモデルのような巨大なLLMを単一の4GB GPUでも動作させられるのが特徴です。 #airllm #AI #OSS #GitHub https://github.com/lyogavin/airllm