DAIMU / SOLUTIONS / SOL_13

ローカルLLM・プライベートLLM

機密データを社外に出さずにAIを活用するための、
オンプレミス・閉域網でのLLM基盤構築
01
// DATA SOVEREIGNTY

データを社外に出さないAI活用

外部のAIサービスにデータを送信できない業務でも、自社の管理下でLLMを稼働させれば、機密情報や個人情報を扱う業務にAIを活用できます。

  • オンプレミス・閉域網・自社クラウド（VPC）での稼働
  • 外部へのデータ送信を伴わない構成
  • 社内規程・業界のガイドラインに沿った設計
>> INSIDE THE BOUNDARY
02
// MODEL SELECTION

用途に合ったモデルを選ぶ

公開されているモデルは種類が多く、性能、日本語の精度、必要なGPU資源がそれぞれ異なります。業務で求められる精度と、用意できるハードウェアのバランスから最適なモデルを選定します。

select(model) where accuracy >= target
                 and vram <= budget;
  • 業務データを用いた日本語性能の評価
  • モデルサイズと必要なGPUメモリの見積り
  • ライセンス条件の確認
>> SIZE VS ACCURACY
03
// INFERENCE

推論基盤とGPU環境の設計

同時に利用する人数や求められる応答速度から必要なGPU構成を見積り、推論サーバーを構築します。量子化などの手法を用いて、限られた資源でも実用的な速度を目指します。

  • 同時利用数・応答速度からのGPU見積り
  • vLLMなどによる推論サーバーの構築
  • 量子化によるメモリ使用量の削減
  • 負荷分散とスケーリング
>> GPU CAPACITY
04
// CUSTOMIZATION

自社の業務と用語に合わせる

汎用モデルだけでは、業界固有の用語や社内の言い回しに十分対応できない場合があります。RAGによる社内文書の参照や、ファインチューニングによる調整で、業務に合わせた精度を目指します。

  • RAGによる社内ナレッジの活用
  • LoRAなどによる効率的なファインチューニング
  • 調整前後の精度比較
>> BASE + ADAPTER
05
// HYBRID

クラウドLLMとの使い分け

すべての処理をローカルで行う必要はありません。機密性の高いデータはローカルLLMで、一般的な処理はクラウドLLMで行うなど、用途に応じて振り分ける構成も設計します。

  • データの機密区分に応じた振り分け
  • 振り分けルールの一元管理
  • 利用状況とコストの可視化
>> ROUTING BY SENSITIVITY
// ADDITIONAL SPECS

06 / セキュリティと権限管理

LLM基盤にも、業務システムと同じ水準の管理が必要です。

  • 利用者の認証とアクセス制御
  • 入出力ログの記録と保管
  • 文書ごとの閲覧権限をRAGに反映

07 / 運用と更新

モデルとソフトウェアは継続的に更新されます。

  • 推論サーバーとGPUの稼働監視
  • 新しいモデルへの切り替え検証
  • 障害時の切り戻し手順

08 / 適したケース

データの取扱い要件が厳しい業務に適しています。

  • 金融・医療・公共分野など、規制の厳しい業務
  • 設計情報や顧客情報など、社外に出せない情報の活用
  • 大量処理で従量課金のコストが課題となる場合

09 / DAIMUが提供する価値

インフラからアプリケーションまで一貫して対応します。

  • GPUサーバー・ネットワークを含めた基盤設計
  • 既存システムとの連携開発
  • 構築後の運用・保守まで一貫対応

10 / コストの考え方

初期投資と運用コストを比較し、判断材料を整理します。

  • GPUサーバーの調達とクラウドGPU利用の比較
  • 利用量に応じたコストの試算
  • 段階的な導入による投資リスクの抑制

社外に出せないデータで、AIを活用しませんか？

ローカルLLMについて相談する ->