Oriental Nippon Development
ブログ一覧へ
テクノロジー

規制データのためのオンプレミスLLM:モデルがデータのもとへ行くとき

医療、金融、人事のデータは、建物の外に出せないことがよくあります。実力のある言語モデルをお客様のネットワークの中に置く方法と、うまくいくかどうかを本当に決めるものをご紹介します。

私たちが相談を受けるAIプロジェクトの半分は、同じ制約から始まります。データはネットワークの外に出せない。 患者の記録、顧客単位の財務データ、人事ファイル。こうしたお客様にとって、クラウドのモデルはコストの問題ではなく、そもそも対象外です。

以前なら、それは「AIは使えない」という意味でした。今は違います。私たちは、レベニューサイクルのデータベースに対して自然な言葉の質問に答える300億パラメーターのモデルや、名刺を読み取り会話を書き起こすオンプレミスのリード管理システムなど、言語モデルを完全にお客様のハードウェア上で動かしてきました。

クラウドか、オンプレミスか

クラウドのモデルAPIオンプレミスのモデル
データがネットワークの外に出るか出る出ない
初期のハードウェアなしモデルに合わせたサーバー
モデルの選択肢最大級の最先端モデルハードウェアに収まるオープンウェイトのモデル
コンプライアンスの審査データ処理契約、データの所在地ほぼ社内で完結
向いているもの公開情報や機密性の低いデータ健康、財務、人事のデータ

一般論として、どちらが優れているわけでもありません。決めるのはデータです。

規制データの場合、モデルがデータのもとへ、お客様自身のネットワークの中へ行く必要があります。

モデルを選ぶ前に境界を決める

最初の話し合いの相手は、モデルのランキングではなくコンプライアンス部門です。何がどの境界を越えてよいのか。誰が何を尋ねてよいのか。音声入力は許されるのか。それが書面になって初めて、モデルとハードウェアの規模を見積もります。先にモデルを選び、後から境界を交渉すると、プロジェクトは3か月目で止まります。

私たちが使うアーキテクチャ

モデルの大きさより根拠づけ

スキーマを知らないモデルは、存在しないカラムを作り出します。私たちの自然言語データのプロジェクトを役に立つものにしたのは、担当者が過去にデータチームへ送った実際の質問で反復した**スキーマへの根拠づけ**でした。その古いチケットこそ、手に入る最良のテストセットです。

影響範囲を制限する

  • 業務データに問い合わせるものは、すべて読み取り専用に。
  • サービスアカウントではなく、質問した利用者の権限で。
  • すべての回答を確認できるように: クエリを示すか、記録を引用します。
  • プロンプトには機密の情報が含まれることが多いため、ログもローカルに。

現実的なタイムライン

自然言語データアクセスのプロジェクトから:

進め方のタイムライン目安の合計:10〜14週
  1. 01境界とモデルの選定

    1〜2週

    データ所在地の制約、モデル選定、ハードウェアの規模

  2. 02インフラ

    2週

    オンプレミスへの構築、推論の提供、監視

  3. 03スキーマへの根拠づけ

    3〜4週

    構造の対応付け、クエリ生成、評価セット

  4. 04画面と権限

    2〜3週

    音声とテキストの入力、読み取り専用の範囲

  5. 05パイロット

    2〜3週

    技術者でない利用者で、アナリストの回答と比較

最も長いフェーズは根拠づけです。多くの人が心配するインフラは、最も短いフェーズの一つです。

置き換える人の仕事と比べて測る

私たちのパイロットでは、技術者でない利用者で、モデルの回答をアナリストが出したであろう回答と比較します。それに並べないなら、リリースしません。

得られるもの

業務担当者は、SQLも依頼待ちの列もなしに数秒で答えを得られ、機密の情報は建物の外に出ません。詳しくはオンプレミスでの自然言語データアクセスのケーススタディをご覧ください。

参考資料

  1. Top 10 for Large Language Model Applications(OWASP)
  2. AI Risk Management Framework(NIST)
  3. vLLM documentation(vLLM project)
  4. llama.cpp(ggml-org on GitHub)
  5. BIRD: a big benchmark for text-to-SQL(BIRD-bench)
  6. Spider: a cross-domain text-to-SQL benchmark(Yale LILY Lab)

関連ケーススタディ

自然な言葉でデータに質問:完全オンプレミスで動く30BのLLM