稼働中のCRMでエージェントAIを検証:根拠に基づく研究プログラム
エージェントAIの主張は実際の業務データで検証されておらず、クラウドのモデルは使えませんでした。R&DラボはMCPツールサーバーを通じてローカルのモデルをCRMにつなぎ、アーキテクチャを客観的に比較するハーネスを構築しました。
- サービス
- AI業務アプリケーション
- 業界
- 企業IT・クラウド
- 地域
- ドイツ
- 契約形態
- R&Dラボ(共同イノベーション)
成果
- MCPベースのCRMエージェントの試作
- 再利用できる評価ハーネス
- 否定的な結果も含む意思決定記録
スタック
Odoo CRM · MCP · Local LLMs · LangChain · RAG · Python
執筆Oriental Nipponチーム
これは本番の構築ではなく、研究の取り組みでした。ドイツの企業顧客は、顧客レコードの検索、更新、それに基づく操作といった日々のCRM業務を、フォームではなくプロンプトで動かせるのかを知りたいと考えていました。そして、もし動かせるなら、競合するアーキテクチャのうちどれが本当に先へ進める価値があるのかを。
エージェントAIについての主張の多くは、実際の業務データで検証されたことがありませんでした。非公式な比較では意見しか生まれません。お客様が求めていたのは、知見でした。
問い
- 検証されていない主張。 ベンダーのデモは、お客様自身のレコードで試されていなかった。
- 根拠ではなく意見。 非公式な比較は、予算審査に耐えられない。
- ローカルのモデルだけ。 データの機密性からクラウドのモデルは使えず、選択肢が狭まっていた。
- 本番ではなくラボで失敗する。 ラボで間違えるのは安いが、本番で間違えるのは高い。
| 仮説 | 比較したもの | |
|---|---|---|
| 根拠づけ | 検索はCRMタスクの精度を高める | RAGと検索なし |
| オーケストレーション | パイプラインの設計はモデルと同じくらい重要 | 複数のパイプラインの変種 |
| モデル | ローカルのモデルでも十分になりうる | さまざまなローカルLLM |
| ストレージ | ベクトルストアの選択が結果に影響する | 複数のベクトルストア |
構築したもの
CRMとLLMの統合
Odoo CRMを、MCPツールサーバーを通じてローカルのモデルにつなぎ、すべての操作に明示的な権限を設けました。
CRM自身のデータに対する検索
何もないところから生成するのではなく、実際のレコードに根拠づけた回答。
比較用ハーネス
同じタスクセットをすべてのアーキテクチャ、モデル、ストアで実行し、結果を直接比較できるようにしました。
意思決定の記録
何が有効で、何が有効でなかったか、そしてその理由。
技術と、このプロジェクトでの役割
| 技術 | このプロジェクトでの役割 |
|---|---|
| Odoo CRM | エージェントが操作する業務システム |
| MCPツールサーバー | モデルとCRMの間にある、権限付きのツール層 |
| ローカルLLM | お客様の環境内でホストするモデル |
| LangChain | パイプラインの変種のオーケストレーション |
| RAGのベクトルストア | CRM自身のレコードに対する検索 |
進め方
R&Dラボは、何かを作る前に成功の基準を合意しました。「本番に出せるほど十分」が何を意味するかを事前に固定し、結果を後から議論できないようにしたのです。
- 仮説を定める。 成功の基準と期間を最初に合意しました。
- 統合を構築する。 隔離された環境で、実データのマスク済みコピーを相手に。
- タスクセットを定義する。 エージェントが行うべき操作と、それぞれの正解。
- 比較を実行する。 アーキテクチャ、モデル、ストアをまたいで。
- 結論を文書にする。 否定的な結果も含めて。
01仮説の設定
1〜2週
仮説、成功の基準、期間
02統合層
3〜4週
CRMのツールサーバー、権限、マスク済みデータの環境
03タスクセットとハーネス
2〜3週
評価タスク、正解、測定
04比較の実行
4〜6週
検索の有無、パイプライン、モデル、ストアの変種
05まとめと判断
1〜2週
知見、提言、本番化すべきもの
リスクと対応
| リスク | 対応 |
|---|---|
| 結果が後から議論される | 構築の前に成功の基準と期間を合意した |
| 実際の顧客データの露出 | 隔離された環境で実データのマスク済みコピーを使った |
| エージェントが意図しない操作をする | モデルが呼び出せるすべてのツールに明示的な権限を設けた |
| うまくいったことだけを報告する | まとめに否定的な結果も含めた |
成果
このプログラムは、主張を構造化された根拠に置き換えました。実際の業務タスクで、検索の戦略、パイプラインの設計、ローカルのモデル、ベクトルストアを比較し、文書にまとめました。
すべての変種が残す価値のあるものではありませんでした。そして、それこそが目的でした。ラボの価値は、安く失敗できることにあります。すべてが有望だと結論づける研究プログラムは、たいてい正しく運営されていません。
お客様に残るもの
- 試作とそのソースコード
- 評価タスクセットとハーネス
- 検証したすべての構成の結果
- 文書化された意思決定の記録
参考資料
- Model Context Protocol(modelcontextprotocol.io)
- LangChain introduction(LangChain)
- Top 10 for Large Language Model Applications(OWASP)
- AI Risk Management Framework(NIST)
同じような課題をお持ちですか? これは私たちのAI搭載業務アプリケーションチームが日々手がけている仕事です。お使いのシステムについてご相談ください。
