大規模LLMの分散推論アーキテクチャを検証するOSSです。AWS EFAとNIXLを活用し、CDKによるIaCで環境構築を自動化。MLflowでの実験管理により、再現性の高いパイプラインを構築できます。 #disaggregatedinferencewithnixloverawsefa #AI #OSS #GitHub https://github.com/littlemex/disaggregated-inference-with-nixl-over-aws-efa