Oriental Nippon Development
実績一覧へ
ケーススタディ米国のレベニューサイクル事業者

自然な言葉でデータに質問:完全オンプレミスで動く30BのLLM

業務担当者はSQLを書けず、質問はすべてチケットになっていました。300億パラメーターのモデルをお客様自身のサーバーに構築し、スキーマに根拠づけ、データを外に出さずに音声やテキストの質問へ数秒で答えられるようにしました。

業界
レベニューサイクル・金融
地域
米国
契約形態
ラボ型ODC(専属チーム)

成果

  • SQLなしで数秒で回答
  • 完全オンプレミス、データ流出ゼロ
  • 権限で範囲を限定、読み取り専用

スタック

On-prem LLM (30B) · SQL · Schema grounding · Voice input · Private server

執筆Oriental Nipponチーム

米国のレベニューサイクル事業者は、医療機関の患者について顧客単位のデータを保持しています。業務や営業の担当者は常にそのデータから答えを必要としていましたが、SQLを書けず、データチームの依頼待ちの列が唯一の入り口でした。

クラウドのAIツールは選択肢になりませんでした。データには個人を特定できる情報や健康情報が含まれ、建物の外に出すことが許されていなかったからです。

課題

  • すべての質問がチケットに。 その場の質問がデータチームの列で待たされていた。
  • 消耗する人手。 データチームの時間が一回限りのクエリに使われていた。
  • ダッシュボードは想定外を拾えない。 セルフサービスBIは予想できる質問には答えるが、重要なのは予想していなかった質問であることが多い。
  • 厳しいデータ所在地の要件。 ネットワーク境界を越えるものは何も許されなかった。
導入前導入後
担当者の質問方法データチームへのチケット自然な言葉、音声またはテキスト
回答までの時間数時間から数日数秒
モデルのホスティングなし300億パラメーターのモデル、オンプレミス
ネットワーク外に出るデータなしなし

構築したもの

  • ローカルで動くLLM

    お客様自身のサーバー上の300億パラメーターのモデル。ネットワーク境界を越えるものはありません。

  • スキーマへの根拠づけ

    質問を、推測ではなく実際のデータベース構造に対するクエリに変換します。

  • 音声とテキストのインターフェース

    数秒で結果を返します。

  • 読み取り専用、権限で範囲を限定したアクセス

    利用者はもともと見てよいものだけを見られます。

一つの質問の流れを端から端まで:

技術と、このプロジェクトでの役割

技術このプロジェクトでの役割
300億パラメーターのオープンモデルお客様のサーバー上で、自然な言葉の質問をクエリに変換
スキーマへの根拠づけ実際のテーブルとカラムをモデルに与える
SQL(読み取り専用)データを変更する権限なしで質問に答える
音声入力入力せずに質問できる
プライベートサーバーすべてのプロンプトと回答をネットワーク内に留める

進め方

ODCチームは、まず境界を決めました。何をどこで動かしてよいかを、モデルを選ぶ前にお客様のコンプライアンス方針と照らして確認しました。

  1. 境界とモデルの選定。 データ所在地の制約、モデル選定、ハードウェアの規模。
  2. インフラ。 オンプレミスへの構築、推論の提供、監視。
  3. スキーマへの根拠づけ。 担当者が過去にデータチームへ送った実際の質問で反復しました。
  4. インターフェースを制限する。 読み取りのみ、質問した利用者の権限内に限定しました。
  5. パイロット。 技術者でない利用者で試し、データチームが出したであろう回答と比較しました。
進め方のタイムライン目安の合計:10〜14週
  1. 01境界とモデルの選定

    1〜2週

    データ所在地の制約、モデル選定、ハードウェアの規模

  2. 02インフラ

    2週

    オンプレミスへの構築、推論の提供、監視

  3. 03スキーマへの根拠づけ

    3〜4週

    構造の対応付け、クエリ生成、評価セット

  4. 04画面と権限

    2〜3週

    音声とテキストの入力、読み取り専用の範囲、利用者の権限

  5. 05パイロット

    2〜3週

    技術者でない利用者で試し、データチームの回答と比較

リスクと対応

リスク対応
機密データがネットワーク外に出るモデルを選ぶ前に、データ所在地の境界をコンプライアンス部門と合意した
モデルが存在しないカラムを作り出す過去の実際の質問で根拠づけを反復した
利用者が見るべきでないデータを見る読み取り専用のクエリを、質問した利用者の権限で実行した
誰も確認できない回答パイロットの回答を、データチームが出したであろう回答と比較した

成果

業務担当者は、SQLも依頼待ちの列もなしに、顧客単位の答えを自然な言葉で数秒で得られるようになりました。そのために機密データがお客様のネットワークの外に出ることはありません。

クラウドでのやり方が成り立たなかった理由は、データ所在地の要件でした。初日からそれを前提に作るほうが、パイロットの後で作り直すよりはるかに安く済みます。

お客様に残るもの

  • 構築した環境とその設定
  • スキーマへの根拠づけの成果物
  • 評価用の質問セット
  • 権限による範囲限定のルール
  • インフラのドキュメント

参考資料

  1. Top 10 for Large Language Model Applications(OWASP)
  2. AI Risk Management Framework(NIST)
  3. BIRD: a big benchmark for text-to-SQL(BIRD-bench)
  4. vLLM documentation(vLLM project)

同じような課題をお持ちですか? これは私たちのAI搭載業務アプリケーションチームが日々手がけている仕事です。お使いのシステムについてご相談ください。