AI運用・LLMOps

01

// DAY 2 OPERATIONS

AIは導入してからが本番

AIシステムは、利用者の質問の傾向が変わったり、参照する文書が更新されたり、新しいモデルが登場したりと、従来のシステム以上に変化への対応が求められます。

利用状況と回答品質の継続的な把握
参照データの更新への追随
モデル・ライブラリの更新対応

>> CONTINUOUS OPERATION

02

// QUALITY MONITORING

回答品質を測り続ける

評価データによる定期的な精度測定と、実際の利用ログの分析を組み合わせ、回答品質の変化を把握します。品質の低下を検知した場合は、原因を特定して改善します。

score = evaluate(model, eval_set);
if (score < baseline) alert();

評価データによる定期的な精度測定
利用者のフィードバックの収集と分析
品質低下の検知と原因分析

>> QUALITY BASELINE

03

// HALLUCINATION

ハルシネーション対策

生成AIは、事実と異なる内容をもっともらしく回答することがあります。参照元の提示、回答範囲の制限、回答できない場合の応答設計などを組み合わせ、誤回答のリスクを抑えます。

参照文書に基づく回答と出典の提示
根拠が不十分な場合の回答抑制
誤回答事例の収集と再発防止

>> GROUNDED ANSWERS

04

// GUARDRAILS

入出力の制御と情報漏えい対策

プロンプトインジェクションや機密情報の出力など、生成AI特有のリスクに対して、入力と出力の両方で制御を行います。

不正な指示（プロンプトインジェクション）の検知
個人情報・機密情報の出力制御
不適切な回答のフィルタリング

>> INPUT / OUTPUT CONTROL

05

// COST

利用コストの最適化

利用の拡大とともに、API利用料やGPUのコストは増加します。処理内容に応じたモデルの使い分けやキャッシュの活用で、品質を保ちながらコストを抑えます。

利用量とコストの可視化
処理内容に応じたモデルの使い分け
キャッシュ・プロンプトの最適化

>> COST PER REQUEST

// ADDITIONAL SPECS

06 / 監視とアラート

AI固有の指標も含めて監視します。

応答時間・エラー率の監視
利用量・コストの監視
異常時のアラートと一次対応

07 / モデル更新の管理

新しいモデルへの切り替えも、評価を経てから行います。

新しいモデルの評価と比較
段階的な切り替えと切り戻し手順
プロンプト・設定のバージョン管理

08 / 適したケース

本番稼働中のAIに関する課題に対応します。

本番稼働中のAIの品質を安定させたい
利用拡大に伴うコストの増加を抑えたい
他社が開発したAIシステムの運用を引き継ぎたい

09 / DAIMUが提供する価値

システム運用の知見を、AIの運用に活かします。

SRE・保守運用の知見をAIシステムに適用
開発チームによる迅速な改善
運用データに基づく継続的な改善提案

10 / 保守運用サービスとの連携

AIシステムの運用は、システム全体の保守運用と一体で提供できます。

アプリケーション・インフラを含めた一体的な運用
SREによるシステム全体の安定化
AI固有のセキュリティ診断