なぜほとんどのAIプロジェクトは、モデルが実際に稼働する前に失敗してしまうのか

AIエージェントが推論の根拠とするデータが不完全、不整合、あるいは管理されていない場合、AIの取り組みは行き詰まってしまう。

堅牢なマスターデータは、AIが軌道から外れるのを防ぐ基盤となります。これは、管理され、正確な製品、顧客、サプライヤー、および拠点の記録であり、すべてのAIエージェントが信頼性の高い意思決定を行うために依存しているものです。

AIの導入に踏み切る企業の多くは、同じ過ちを犯しています。つまり、ベンダーの選定、統合、プロンプトの調整など、モデルに関する綿密な計画は立てるものの、文脈を理解できる唯一の信頼できる情報源となるマスターデータについては十分な計画を立てていないのです。

その結果、AIエージェントは与えられた情報に基づいて、大規模かつ自信を持って行動することになります。

誤った判断が表面化する頃には、たいていすでに何らかの損害が生じています。例えば、注文やコンプライアンス関連の提出書類などです。

AIへの備えは、レースへの準備のようなものだと考えてみてください。

最高のコーチや装備、さらには完璧なレース当日の戦略があったとしても、それらは基礎体力がなければその真価を発揮できません。AIにおいて、信頼できるマスターデータこそがその「体力」に相当します。それは、最も重要な局面で組織がパフォーマンスを発揮するための強さと持久力をもたらしてくれるのです。

多くの企業は、レース当日――つまりAIモデル、エージェント、アプリケーション――に焦点を当てています。しかし、実際にパフォーマンスを発揮できるかどうかを左右する「コンディショニング」を軽視しています。本記事は、そのコンディショニングの内容について解説するシリーズの一部であり、現代というレースに備えるための指針となるものです。

なぜ、ほとんどのAIイニシアチブは、モデルが稼働する前に失敗してしまうのでしょうか？

AI導入の準備は、単なる技術的な決定事項として扱われてしまいがちです。

企業はモデルを評価し、ベンダーを比較し、ユースケースに対してパフォーマンスのベンチマークを行います。しかし、データの前処理については、その議論にほとんど登場しません。それは別のチームが担当し、異なるスケジュールで進められ、多くの場合、すべてがすでに動き出した後の「データクレンジングプロジェクト」として扱われるのです。

組織は、これが引き起こす問題に、多くの場合、サービス開始後になって初めて気づくのです：

• システム間で矛盾する製品レコード
• わずかに異なる名称で重複している顧客データ
• 1年以上検証されていないサプライヤー情報
• AIが推論を行う対象となるエンティティについて、唯一の信頼できる情報源が存在しない

こうした問題はデモでは一切表れません。パイロット運用では、厳選されたデータが使用されるため、その場ではモデルが良好なパフォーマンスを発揮するのです。

AIエージェントが、企業システムの混沌とした現実の全容と向き合うようになると、その欠陥が露呈する。その頃には、ビジネスユーザーはすでにその出力結果に依存し始めており、一度築いた信頼を取り戻すことは、築くことよりもはるかに困難である。

これが、企業が省略しがちな調整作業です。重要ではないからではなく、レース当日になるまで、誰も基礎的な適合性を確認しないからです。

AIエージェントが不適切なマスターデータを使用すると、どのような問題が生じるのでしょうか？

質の悪いマスターデータは、AIモデルがどこで不具合を起こすかによって、さまざまな形で現れます。しかし、そこには一貫したパターンがあります。AIエージェントは与えられたデータに基づいて動作するため、そのデータが不完全、不整合、または古くなっている場合、出力結果にもそれが反映されてしまうのです。

失敗のパターンには4つあります。

1. 幻覚

AIエージェントは、欠落部分を妥当と思われる仮定で埋めてしまいます。製品の属性が欠けていたり、顧客プロファイルが不完全だったりする場合、それらは「もっともらしい」推測で置き換えられ、検証済みの事実と同じ確信度で提示されてしまいます。

2. 一貫性のない意思決定

同じエンティティがシステムごとに異なる形で存在している――住所が3つあり、それぞれがわずかに異なる顧客や、2つの異なる仕様を持つ商品など。

AIエージェントは、同一データのうち矛盾するバージョンに依存しているため、どのシステムに問い合わせたかによって、同じ質問に対する回答に一貫性が失われてしまう。

3. コンプライアンス違反

信頼できるガバナンスやポリシーの枠組みがなければ、AIはコンプライアンス要件に違反する行動を推奨したり実行したりする可能性があります。例えば、警告対象となるべき顧客に対して取引が承認されたり、認可されていない市場に製品が掲載されたりするといったケースです。

4. 記録の不一致による誤ったアクションの発生

例えば、在庫、価格、在庫状況などについて2つのシステム間で不一致が生じ、AIエージェントがどちらか一方を採用してしまう場合があります。その結果、誤った在庫数に基づいて注文が出荷されたり、割引が誤った価格帯に適用されたりすることがあります。

これは、AIがコンテンツ生成から意思決定へと移行する際、不適切な条件設定が引き起こす典型的な例です。劇的なエラーが1つ発生するわけではなく、些細ながらも積み重なる不整合が、その後のあらゆる出力に対する信頼を徐々に蝕んでいくのです。

前回の監査を通過したデータが、なぜAIエージェントでは機能しないのでしょうか？

レポート作成とAIエージェントは、同じデータに対して異なる要件を課します。そのため、レポート作成のチェックをすべて通過したデータであっても、AIエージェントが初めて実行された際には失敗してしまうことがあるのです。

これにはいくつかの理由があります：

レポート機能は近似値を許容しますが、AIエージェントは許容しません。

ダッシュボードでは数値が四捨五入されたり、少し古い合計値が表示されたりすることがありますが、人間の読者はそれに応じて調整を行います。一方、AIエージェントは同じ数値を「真値」として扱い、それに基づいて直接行動を起こします。

レポート作成はバッチ処理で行われます。AIエージェントはリアルタイムで動作します。

レポートデータの多くは夜間や週単位で更新されますが、四半期ごとのレビューであればこれで問題ありません。しかし、今この瞬間に意思決定を行うAIエージェントには、先週のスナップショットではなく、現在の状況が必要です。

レポートは断片的なドメインビューを許容しますが、AIエージェントはそれらを横断して推論を行います。

レポート用ダッシュボードでは、製品データ、顧客データ、サプライヤーデータを個別に分析できます。一方、注文の出荷可否の確認といった単一のリクエストを解決するAIエージェントは、多くの場合、これら3つのデータがすべて一致している必要があります。

レポートは少量の誤りを吸収できますが、AIエージェントにはそれができません。

人間のアナリストは、明らかな外れ値が経営陣へのプレゼン資料に反映される前にそれを発見します。一方、1日に数千件の自律的な判断を行うAIエージェントには、それに相当するチェックポイントがないため、同じエラー率であっても、はるかに多くの不適切な結果が生じることになります。

これは、軽いジョギングのためのトレーニングと、レース当日のためのトレーニングとの違いに例えることができます。レポート監査を通過できるほどデータをクリーンに整えることは、ジョギングをするのに十分な体調を整えることに相当します。

しかし、AIエージェントにとっては毎日が本番であり、多くの企業は間違ったトレーニングプランで臨んでいるのが現状です。

AIを導入する前に、マスターデータには何が必要でしょうか？

3つの基本的な機能が不可欠です。それは、リネージ、一貫性、そして所有権です。

「リネージ」とは、すべてのレコードに追跡可能な履歴――そのデータがどこから来たのか、最後に変更されたのはいつか、誰が、あるいは何が変更したのか――が記録されていることを意味します。

リネージがなければ、ビジネス側もAIプラットフォーム側も、情報がどこから来たのか、どのように変化したのか、あるいは信頼できるかどうかを説明することができません。

一貫性は、より難しい課題です。CRM上の「顧客」は、受注システム上の「顧客」と同一の存在でなければなりません。つまり、定義も識別子も同じで、AIエージェントが推測を迫られるような「ほぼ一致」の状態があってはなりません。

これは、企業が運用するあらゆるデータ領域に当てはまります：

• 製品
• 顧客
• サプライヤー
• 拠点

AIは相互に関連するビジネスエンティティ全体にわたって推論を行うため、ある領域における弱点が他の領域へと急速に波及します。

所有権とは、すべての重要な事業エンティティが、ガバナンスの及んだ記録管理システムを持ち、その品質に対する明確な責任体制が確立されていることを意味します。

明確な責任の所在がなければ、矛盾するデータは未解決のまま残り、AIが不完全または誤った情報に基づいて行動する可能性が高まります。

もし報告用のデータが「軽いジョギング」だとすれば、これを書き出してみると、これがまさに本格的なトレーニング計画の姿です。華やかさはありません。ただ、レース当日にうまくいくかどうかを決める、具体的で地味なコンディショニング作業に過ぎないのです。

どれも目新しいことではありません。

優れたデータチームは、長年にわたりこれを目標としてきました。違うのは、これを省略した結果です。かつては乱雑なスプレッドシートとして表面化していたギャップが、今では大規模かつ自動的に下される誤った意思決定として表れるようになったのです。

まとめ

これらは、優れたデータチームにとっては決して新しい課題ではありません。違いは、このプロセスを省略した際に何が危険にさらされるかという点にあります。

かつては、一貫性の問題がスプレッドシートの乱雑化を招いていました。しかし今では、それが大規模かつ自動的に下される誤った意思決定につながっているのです。

しかも、それをいち早く察知する人間がプロセスに関与していないのです。

あなたが準備を進めているそのレースにおいて、マスターデータを正確に整えることは、パフォーマンスの良し悪しを左右する基礎体力のようなものです。早い段階でこれに投資すればするほど、その後のあらゆるAIイニシアチブはより強力なものになります。