📢 X投稿文
EnterpriseRAG-Benchがリリース。Slack・Gmail・Linear等から収集した50万件の企業文書データセット。リアルなRAGシステム評価とエージェント微調整に最適です。
https://github.com/onyx-dot-app/EnterpriseRAG-Bench
🤖 AI考察
■ 概要
Slack・Gmail・Linear など企業内ツール統合の50万ドキュメント+500質問で、実務RAGシステムの性能を測定するベンチマーク。
■ 特徴・用途
- **現実的なデータ分布**: 単一型データセット(学術用FAQ等)でなく、複数ソース混在の企業内通信を再現し、実運用RAGの課題(冗長性・ノイズ・検索スコープの多様性)を露出
- **Leaderboard+再現性**: HuggingFaceでの公開Leaderboard + コード公開により、各システムの改善を相互比較でき、業界ベンチマーク化の基盤を確立
- **生成可能な設計**: データセット生成パイプラインが公開されているため、異業種・企業規模への適用が容易で、産業別RAG比較が可能
■ 結論
企業RAGの実践的課題を捉えたベンチマークとして、Retriever改善・LLM統合・エンタープライズ検索の次段階評価基盤になる価値がある。