近年、人工知能技術の急速な発展に伴い、生成AIがさまざまな分野で広く応用されています。しかし、従来の言語モデルは知識集約型タスクを処理する際、その訓練データの制限を受けることがよくありました。この問題を解決するため、Facebook AI Researchは2020年にRetrieval-Augmented Generation (RAG)の概念を提案しました。これにより、言語モデルが外部データソースにアクセスし、知識集約型タスクでのパフォーマンスを向上させることが可能になりました。

RAGの限界

従来のRAGシステムは通常、事前訓練された単語埋め込みモデル、ベクトルデータベース、言語モデルなどの異なるコンポーネントを組み合わせる方式を採用しています。この方法は言語モデルのパフォーマンスをある程度向上させましたが、依然としていくつかの限界がありました：

  1. システムの脆弱性：各コンポーネントが独立して訓練されているため、それらの間の調整が不足し、システムが干渉や誤りを受けやすくなっています。
  2. – 特定性の欠如：事前訓練されたモデルは特定の分野に最適化できず、実際のアプリケーションでのパフォーマンスに影響を与えています。
  3. – 大量のデバッグの必要性：各コンポーネントを協調して動作させるには、多くのプロンプトエンジニアリングとデバッグが必要で、開発とメンテナンスのコストが増加します。
  4. – エラーの蓄積：コンポーネント間に効果的なフィードバックメカニズムがないため、エラーがシステム内で蓄積し、最終結果の品質に影響を与えます。

RAG 2.0の革新

従来のRAGシステムの限界を克服するため、Contextual AIはRAG 2.0の方法を提案しました。RAG 2.0の核心的なアイデアは、言語モデルと検索器を独立したコンポーネントとして扱うのではなく、一つの全体としてエンドツーエンドで最適化することです。この方法は以下の利点をもたらします：

  1. エンドツーエンドの最適化：言語モデルと検索器を共同で訓練することで、RAG 2.0はシステム全体のパフォーマンスを最大限に高めることができます。
  2. 高い特定性：RAG 2.0は特定の分野やタスクに対して微調整が可能で、実際のアプリケーションで優れたパフォーマンスを発揮します。
  3. デバッグの削減：システムが全体として最適化されているため、手動のデバッグとプロンプトエンジニアリングの必要性が減少し、開発効率が向上します。
  4. エラー伝播の低減：エンドツーエンドの最適化により、エラーがシステム内部で効果的に制御され伝播が抑えられ、結果の信頼性が向上します。

Contextual Language Models (CLMs)の性能

RAG 2.0の方法に基づいて、Contextual AIはContextual Language Models (CLMs)を開発しました。さまざまなベンチマークテストにおいて、CLMsはGPT-4やトップクラスのオープンソースモデルを使用して構築されたRAGベースラインシステムを上回るパフォーマンスを示しました。これらのベンチマークテストには以下が含まれます：

  1. オープンドメイン質問応答：CLMsはNatural Questions (NQ)、TriviaQA、HotpotQA (HPQA)データセットでベースラインシステムを上回り、関連知識の検索と正確な回答の生成能力を示しました。
  2. 忠実度：HaluEvalQAとTruthfulQAデータセットにおいて、CLMsはより優れた証拠の追跡能力と幻覚生成の減少を示しました。
  3. 知識の更新：急速に変化する世界知識に対して、CLMsは優れた汎化能力を示し、FreshQAベンチマークテストで優秀な成績を収めました。

ベンチマークテストでの優れたパフォーマンスに加えて、CLMsは実際の顧客データや専門分野（金融、法律、工学など）のアプリケーションにおいても、既存の方法よりも大きな改善を示しました。これはRAG 2.0の方法が研究環境だけでなく、実際の生産環境でも重要な役割を果たすことができることを示しています。

長文脈ウィンドウモデルとの比較

実際のアプリケーションでは、RAG 2.0と最新の長文脈ウィンドウモデルの比較に興味が持たれるかもしれません。そのため、Contextual AIは詳細な比較実験を行いました。

Biographiesベンチマークテストを使用して、200万トークンの大規模コーパスを構築し、100以上の伝記に関する質問を用いてCLM、Frozen-RAG、GPT-4-Turboを評価しました。結果は、RAG 2.0が精度と計算効率の両面で長文脈ウィンドウモデルを上回り、特に大規模コーパスの場合にこの優位性がより顕著であることを示しました。

結論

RAG 2.0は、Contextual AIが生成AIの企業応用における課題に対処するために提案した革新的な方法です。言語モデルと検索器をエンドツーエンドで最適化することで、RAG 2.0は従来のRAGシステムの限界を克服し、さまざまなベンチマークテストと実際のアプリケーションで優れたパフォーマンスを示しました。

今後、より多くの企業がRAG 2.0を使用して信頼できる生成AIアプリケーションを構築し始めるにつれ、この方法は将来的にさらに広く応用されることが期待されます。人工知能技術のさまざまな分野での発展に新たな推進力を与えるでしょう。学術研究であれ産業応用であれ、RAG 2.0は大きな可能性を示しており、継続的な注目と探求に値します。