自然な言葉でデータに質問:完全オンプレミスで動く30BのLLM
業務担当者はSQLを書けず、質問はすべてチケットになっていました。300億パラメーターのモデルをお客様自身のサーバーに構築し、スキーマに根拠づけ、データを外に出さずに音声やテキストの質問へ数秒で答えられるようにしました。
- サービス
- AI業務アプリケーション
- 業界
- レベニューサイクル・金融
- 地域
- 米国
- 契約形態
- ラボ型ODC(専属チーム)
成果
- SQLなしで数秒で回答
- 完全オンプレミス、データ流出ゼロ
- 権限で範囲を限定、読み取り専用
スタック
On-prem LLM (30B) · SQL · Schema grounding · Voice input · Private server
執筆Oriental Nipponチーム
米国のレベニューサイクル事業者は、医療機関の患者について顧客単位のデータを保持しています。業務や営業の担当者は常にそのデータから答えを必要としていましたが、SQLを書けず、データチームの依頼待ちの列が唯一の入り口でした。
クラウドのAIツールは選択肢になりませんでした。データには個人を特定できる情報や健康情報が含まれ、建物の外に出すことが許されていなかったからです。
課題
- すべての質問がチケットに。 その場の質問がデータチームの列で待たされていた。
- 消耗する人手。 データチームの時間が一回限りのクエリに使われていた。
- ダッシュボードは想定外を拾えない。 セルフサービスBIは予想できる質問には答えるが、重要なのは予想していなかった質問であることが多い。
- 厳しいデータ所在地の要件。 ネットワーク境界を越えるものは何も許されなかった。
| 導入前 | 導入後 | |
|---|---|---|
| 担当者の質問方法 | データチームへのチケット | 自然な言葉、音声またはテキスト |
| 回答までの時間 | 数時間から数日 | 数秒 |
| モデルのホスティング | なし | 300億パラメーターのモデル、オンプレミス |
| ネットワーク外に出るデータ | なし | なし |
構築したもの
ローカルで動くLLM
お客様自身のサーバー上の300億パラメーターのモデル。ネットワーク境界を越えるものはありません。
質問を、推測ではなく実際のデータベース構造に対するクエリに変換します。
音声とテキストのインターフェース
数秒で結果を返します。
読み取り専用、権限で範囲を限定したアクセス
利用者はもともと見てよいものだけを見られます。
一つの質問の流れを端から端まで:
技術と、このプロジェクトでの役割
| 技術 | このプロジェクトでの役割 |
|---|---|
| 300億パラメーターのオープンモデル | お客様のサーバー上で、自然な言葉の質問をクエリに変換 |
| スキーマへの根拠づけ | 実際のテーブルとカラムをモデルに与える |
| SQL(読み取り専用) | データを変更する権限なしで質問に答える |
| 音声入力 | 入力せずに質問できる |
| プライベートサーバー | すべてのプロンプトと回答をネットワーク内に留める |
進め方
ODCチームは、まず境界を決めました。何をどこで動かしてよいかを、モデルを選ぶ前にお客様のコンプライアンス方針と照らして確認しました。
- 境界とモデルの選定。 データ所在地の制約、モデル選定、ハードウェアの規模。
- インフラ。 オンプレミスへの構築、推論の提供、監視。
- スキーマへの根拠づけ。 担当者が過去にデータチームへ送った実際の質問で反復しました。
- インターフェースを制限する。 読み取りのみ、質問した利用者の権限内に限定しました。
- パイロット。 技術者でない利用者で試し、データチームが出したであろう回答と比較しました。
01境界とモデルの選定
1〜2週
データ所在地の制約、モデル選定、ハードウェアの規模
02インフラ
2週
オンプレミスへの構築、推論の提供、監視
03スキーマへの根拠づけ
3〜4週
構造の対応付け、クエリ生成、評価セット
04画面と権限
2〜3週
音声とテキストの入力、読み取り専用の範囲、利用者の権限
05パイロット
2〜3週
技術者でない利用者で試し、データチームの回答と比較
リスクと対応
| リスク | 対応 |
|---|---|
| 機密データがネットワーク外に出る | モデルを選ぶ前に、データ所在地の境界をコンプライアンス部門と合意した |
| モデルが存在しないカラムを作り出す | 過去の実際の質問で根拠づけを反復した |
| 利用者が見るべきでないデータを見る | 読み取り専用のクエリを、質問した利用者の権限で実行した |
| 誰も確認できない回答 | パイロットの回答を、データチームが出したであろう回答と比較した |
成果
業務担当者は、SQLも依頼待ちの列もなしに、顧客単位の答えを自然な言葉で数秒で得られるようになりました。そのために機密データがお客様のネットワークの外に出ることはありません。
クラウドでのやり方が成り立たなかった理由は、データ所在地の要件でした。初日からそれを前提に作るほうが、パイロットの後で作り直すよりはるかに安く済みます。
お客様に残るもの
- 構築した環境とその設定
- スキーマへの根拠づけの成果物
- 評価用の質問セット
- 権限による範囲限定のルール
- インフラのドキュメント
参考資料
- Top 10 for Large Language Model Applications(OWASP)
- AI Risk Management Framework(NIST)
- BIRD: a big benchmark for text-to-SQL(BIRD-bench)
- vLLM documentation(vLLM project)
同じような課題をお持ちですか? これは私たちのAI搭載業務アプリケーションチームが日々手がけている仕事です。お使いのシステムについてご相談ください。
