規制データのためのオンプレミスLLM:モデルがデータのもとへ行くとき
医療、金融、人事のデータは、建物の外に出せないことがよくあります。実力のある言語モデルをお客様のネットワークの中に置く方法と、うまくいくかどうかを本当に決めるものをご紹介します。
私たちが相談を受けるAIプロジェクトの半分は、同じ制約から始まります。データはネットワークの外に出せない。 患者の記録、顧客単位の財務データ、人事ファイル。こうしたお客様にとって、クラウドのモデルはコストの問題ではなく、そもそも対象外です。
以前なら、それは「AIは使えない」という意味でした。今は違います。私たちは、レベニューサイクルのデータベースに対して自然な言葉の質問に答える300億パラメーターのモデルや、名刺を読み取り会話を書き起こすオンプレミスのリード管理システムなど、言語モデルを完全にお客様のハードウェア上で動かしてきました。
クラウドか、オンプレミスか
| クラウドのモデルAPI | オンプレミスのモデル | |
|---|---|---|
| データがネットワークの外に出るか | 出る | 出ない |
| 初期のハードウェア | なし | モデルに合わせたサーバー |
| モデルの選択肢 | 最大級の最先端モデル | ハードウェアに収まるオープンウェイトのモデル |
| コンプライアンスの審査 | データ処理契約、データの所在地 | ほぼ社内で完結 |
| 向いているもの | 公開情報や機密性の低いデータ | 健康、財務、人事のデータ |
一般論として、どちらが優れているわけでもありません。決めるのはデータです。
規制データの場合、モデルがデータのもとへ、お客様自身のネットワークの中へ行く必要があります。
モデルを選ぶ前に境界を決める
最初の話し合いの相手は、モデルのランキングではなくコンプライアンス部門です。何がどの境界を越えてよいのか。誰が何を尋ねてよいのか。音声入力は許されるのか。それが書面になって初めて、モデルとハードウェアの規模を見積もります。先にモデルを選び、後から境界を交渉すると、プロジェクトは3か月目で止まります。
私たちが使うアーキテクチャ
モデルの大きさより根拠づけ
スキーマを知らないモデルは、存在しないカラムを作り出します。私たちの自然言語データのプロジェクトを役に立つものにしたのは、担当者が過去にデータチームへ送った実際の質問で反復した**スキーマへの根拠づけ**でした。その古いチケットこそ、手に入る最良のテストセットです。
影響範囲を制限する
- 業務データに問い合わせるものは、すべて読み取り専用に。
- サービスアカウントではなく、質問した利用者の権限で。
- すべての回答を確認できるように: クエリを示すか、記録を引用します。
- プロンプトには機密の情報が含まれることが多いため、ログもローカルに。
現実的なタイムライン
自然言語データアクセスのプロジェクトから:
01境界とモデルの選定
1〜2週
データ所在地の制約、モデル選定、ハードウェアの規模
02インフラ
2週
オンプレミスへの構築、推論の提供、監視
03スキーマへの根拠づけ
3〜4週
構造の対応付け、クエリ生成、評価セット
04画面と権限
2〜3週
音声とテキストの入力、読み取り専用の範囲
05パイロット
2〜3週
技術者でない利用者で、アナリストの回答と比較
最も長いフェーズは根拠づけです。多くの人が心配するインフラは、最も短いフェーズの一つです。
置き換える人の仕事と比べて測る
私たちのパイロットでは、技術者でない利用者で、モデルの回答をアナリストが出したであろう回答と比較します。それに並べないなら、リリースしません。
得られるもの
業務担当者は、SQLも依頼待ちの列もなしに数秒で答えを得られ、機密の情報は建物の外に出ません。詳しくはオンプレミスでの自然言語データアクセスのケーススタディをご覧ください。
参考資料
- Top 10 for Large Language Model Applications(OWASP)
- AI Risk Management Framework(NIST)
- vLLM documentation(vLLM project)
- llama.cpp(ggml-org on GitHub)
- BIRD: a big benchmark for text-to-SQL(BIRD-bench)
- Spider: a cross-domain text-to-SQL benchmark(Yale LILY Lab)
関連ケーススタディ
自然な言葉でデータに質問:完全オンプレミスで動く30BのLLM
