※この記事は代表中矢のnoteの連載より転載しています
生成AIインテグレーション：システム開発とAI導入の本質的な違い
生成AIには、従来のシステム開発とは異なる固有の課題が存在します。
私の見解では、その本質は「コンサルティング」にあります。
これは、従来型のシステム開発やITプロジェクトとの最も大きな違いです。
なぜ「コンサルティング」が本質なのか
現在、生成AI導入の需要は急速に高まっており、特にWEBやモバイルアプリケーション開発を手掛ける企業が積極的に提案を行っています。
私自身もその業界の一員ですが、クライアント側の立場で複数のベンダーから提案を受ける機会も多く、その中で強く感じることがあります。
LLMと従来のシステム開発の違い
従来のシステム開発と生成AI（特にLLMやRAGを活用したシステム）の大きな違いは、「機能が成立していても、全件において精度を保証することは困難」という点です。
限定された条件や特定のドメインにおいては高精度を実現できますが、汎用的に安定した精度を保証するのは難しいのが現実です。
近年では「RAGの構築」や「AIエージェント開発」をテーマとするプロジェクトが急増しています。これらを適切なタイミングで導入すること自体は妥当ですが、提案依頼書（RFP）への各ベンダーの回答を比較すると、その内容に大きな差がないケースが多く見られます。
提案が似通う理由
提案内容が似通う背景には、以下の2つの要因があります。
1. 実装面での差が出にくい
- LLMの選定による性能差は限定的（特に一般的なユースケースでは顕著）
- RAG検索やベクトルDB構築も、一定の水準を超えると効果差が小さくなる
- OCR、RPA、CRMなど既存システムとの連携は標準化・汎用化が進んでいる
2. 業務適用提案の差が出しにくい
- 多くのベンダーが業務理解やデータ戦略の深掘りに至らず、技術構成や機能説明に終始してしまう
おそらく提案側のベンダーも、AIエージェント開発において「技術力やUXだけでは差をつけにくい」という課題に気づいています。
もちろん、分割統治やロングRAG、プロンプトの階層化など、その他の技術的アプローチを駆使することで有意な差分を生むことは可能ですが、それは限られたケースにとどまります。
生成AI導入の結果は確率的である
従来のシステム開発では、要件通りに実装すれば想定した結果がほぼ確実に得られます。
しかし生成AIは確率的モデルであり、期待通りの結果が得られる確率は高められても、常に同じ結果を保証することはできません。
場合によっては想定の10％以下の精度しか得られないこともあれば、逆に想像以上に優れた結果が得られることもあります。
この不確実性は、生成AIを扱う上で避けられない要素です。
そして、従来のシステムインテグレーターが得意としてきた「確定仕様の確実実装」というアプローチとは相性が異なります。
SIと生成AIインテグレーションの適性の違い
SIベンダーの強みは「定義された仕様を正確かつ安定的、そしてセキュアに実装すること」です。
一方、生成AIを有効に活用するためには、以下のような横断的・探索的なスキルが不可欠です。
- 業務全体の深い理解・発展性
- 必要データの入手・評価・加工・分類
- データ構造と品質の最適化
- 結果の検証と改善の反復プロセス
- モデル特性を踏まえたプロンプト・アーキテクチャ設計
これらは純粋なエンジニアリングにとどまらず、業務設計・データ戦略・検証型プロジェクトマネジメントに近い領域です。
そのため、成果は担当者や組織の力量に大きく依存します。
データが生成AIの精度を決める
生成AIの出力精度は、モデルそのものの特性に依存する部分と、入力データや設計方法に依存する部分があります。
ここでは、モデル固有の限界を除いた、運用やデータ設計に起因する要素に焦点を当てます。
十分かつ適切なデータと、明確な意図を伝えるプロンプト設計があれば、高い確率で期待に沿う結果が得られます。
しかし、以下のような条件では精度が大きく低下します。
- データ不足
- データ品質の低さ（誤り、ノイズ、情報の欠落）
- 分類やタグ付けの不十分さ
- ドメイン適合性の低さ（必要な領域の知識や文脈が不足）
これらは主に運用・設計の問題であり、モデル固有の限界とは別の課題です。
LLM自体の事前学習特性や推論構造に起因する精度の揺らぎは、技術進歩により徐々に小さくなりつつありますが、依然としてゼロにはなりません。
このときLLMは不足を推論で補おうとし、その結果「ハルシネーション（誤情報生成）」が発生します。この考慮もLLMを最大限活用していくうえでは避けては通れない課題となります。
ベンダー評価の視点
生成AIエージェントの社内導入を検討する際、ベンダーの技術力や実装力だけでなく、業務理解・データ戦略・運用設計まで含めた総合力を見極める必要があります。
以下の質問は、その力量差を浮き彫りにするための有効な切り口です。
1. 必要なデータをどのように整備・収集・分類するのか
AIの精度はデータの質と構造に強く依存します。評価ポイントは
- 既存社内データの棚卸し計画の有無
- データ欠損やノイズへの対処法
- カテゴライズやタグ設計の一貫性
2. データの質をどのように担保し、更新をどう継続するのか
導入直後は精度が高くても、情報の陳腐化は避けられません。評価ポイントは
- データ品質チェックの自動化仕組み
- ナレッジベースの更新フロー
- 最新情報反映のタイムラグ短縮策
３．想定外の結果が出た場合、どのように検証・改善するのか
LLMは確率的モデルであり、必ずしも安定した出力を返すわけではありません。評価ポイントは
- 不具合・低精度ケースの再現性確認プロセス
- 検証指標（評価データセット・定量指標）の明確化
- 改善サイクルのスピードと継続性
4. モデル特性や推論の揺らぎをどのように制御するのか
ハルシネーションや一貫性の欠如は、ユーザー信頼を損なうリスクがあります。評価ポイントは
- 出力安定化のためのプロンプト設計・温度パラメータ調整
- ファクトチェックや二段階生成の仕組み
- 推論揺らぎを許容する領域と許容しない領域の切り分け
ベンダー側のこれらの質問に対する回答は、単なる「できます」「やります」では不十分です。
具体的な方法論・事例・運用体制が示されるかどうかが、ベンダーの実力を測る基準になります。
比較してみれば、力量差は驚くほど明確になります。
