Oriental Nippon Development

技術 · AIプラットフォーム

LLaMA 開発サービス

自社サーバーやVPC上で動かす、プライベートでコストが読めるセルフホストのLlamaモデル。

技術

LLaMAで構築するもの

モデルに合わせて規模を決めたオンプレミス推論サーバー
汎用GPU向けの量子化モデル
自社ドメインデータでのファインチューニング
スキーマに根拠づけたText-to-SQL
読み取り専用・権限で絞ったツールアクセス
閉域環境へのデプロイパターン

選ばれる理由

本番でLLaMAを届けるエンジニア

本番で運用している基盤モデルとプロバイダー。クラウド利用も完全オンプレミスも対応します。LLaMAを、型付けされテストされたコード、劣化を止めるCIゲート、最初のリリースからの可観測性という規律で使いこなします。

LLaMAをインフラのコード化、自動デプロイ、ランブックとともに既存のスタックへ無理なく組み込み、お客様のエンジニアが自ら運用できる状態で引き渡します。苦戦しているコードを引き継ぐ場合も、正直に監査し、全面的な作り直しなしに改善します。

のユースケース

LLaMAのユースケース

プライベートなデータアシスタント

データを外に出さずに自然な言葉で回答。

規制下のワークロード

建物の外に出せない医療・金融データ。

大量の分類処理

数百万回の呼び出しでもコストが読める。

オフライン環境

インターネットが使えない場所でもAIを。

進め方

LLaMAの進め方

  1. 01

    業務を理解する

    ユーザーの動き、例外ケース、運用の実態を整理します。

  2. 02

    アーキテクチャと土台

    環境、CI/CD、規模に合ったモジュール構成を用意します。

  3. 03

    縦に薄く切って作る

    毎回のイテレーションで、動く機能を端から端まで届けます。

  4. 04

    本番を見据えた連携

    すべての連携にリトライ、冪等性、ログ、テストを入れます。

  5. 05

    実ユーザーで試行

    実際に使われる現場でテストします。

  6. 06

    引き継ぎまたは運用

    ドキュメント、ADR、引き継ぎ会を用意するか、私たちが運用します。

進め方を見る

よくある質問

LLaMA: よくある質問

LLaMAの経験があるエンジニアはいますか?

はい。LLaMAを本番案件で提供してきたチームがいます。SES、専属のラボ型ODC、範囲を決めたプロジェクトのいずれでも体制を組めます。

既存のLLaMAのコードを引き継げますか?

はい。2週間の監査から始め、最初の1か月で効果の出やすい改善を行い、全面的な作り直しなしに本番品質へ引き上げる計画を合意します。

どのくらいで開始できますか?

通常は2〜3週間で、お客様のツールやプロセスへのオンボーディングを含めて開始できます。

はじめる

スマートな開発を始めましょう
Oriental Nipponと今日から

30分の無料相談で、最適なチーム・契約形態・最初のマイルストーンをご提案します。

相談を予約