2026.11.04

データ整備を後回しにする企業の盲点｜生成AIの精度を左右する要因

生成AIの導入が加速する中、多くの企業が「モデルの選定」や「プロンプトの工夫」に注力しています。Accentureの調査では、経営幹部の75%が「高品質なデータ」を、生成AI能力を高めるうえで最も価値のある要素と回答しています[1]。生成AIの成果を左右する要因の一つが、目に見えにくい「データ整備」の質です。

本記事でいうデータ整備とは、社内文書や業務データについて、重複・表記ゆれ・古い情報を整理し、更新責任者や公開範囲を明確にする取り組みを指します。

データ駆動企業が示す収益成長の差

データ品質が生成AI能力を左右する

経営幹部の97%が生成AIによる変革を予測している一方で、67%の組織がデータとAIへの投資を優先しています[1]。この動きには明確な理由があります。データドリブン企業は、同業他社と比べて10〜15%高い売上成長を達成しているとされています[1]。

この数値が示すのは、質の高いデータ基盤を持つ企業とそうでない企業の差です。企業が生成AIを運用する際は、RAGで参照する社内文書やプロンプト、外部ツールから取得する情報の質が、回答品質に大きく影響します。データドリブン企業の成長差は、データ品質への継続的な投資が重要であることを示唆しています。

実例が示す劇的な精度改善

AWSとMotorwayの公開事例によると、MotorwayはAIエージェントの評価パイプラインを構築し、不正確な結果を8回に1回から50回に1回へ削減したとしています[2]。同時に、問題検出時間も数時間から数分に短縮されています[2]。

この事例で注目すべきは、データ品質の確認に加え、検索・ツール選択・会話文脈・本番運用までを継続的に評価する仕組みを構築した点です。Motorwayは89を超える車両属性にわたる構造化フィルタリングを実装し、古い在庫情報を表示しないためのデータ鮮度検証機能を導入しました[2]。また、実際のユーザー行動に基づくテストケースを初期の50ケースから3ヶ月で150ケースまで拡充し、本番環境での失敗を新たなテストケースに変換する継続的改善の仕組みを構築しています[2]。

その結果、タスク完了率は82%から96%へ向上しました[2]。この事例は、データ品質の確認と継続的な評価・改善の仕組みが、AIの実用性を高めうることを示しています。

データ整備が後回しにされる理由と3つの盲点

なぜデータ整備は後回しにされるのか

データ整備が後回しにされる最大の理由は、成果が見えにくいことです。AIモデルの導入は「AIが動くようになった」という分かりやすい成果を生みますが、データ整備は地味で時間がかかり、直接的な成果が見えにくい作業です。そのため、経営層からの予算承認が得にくく、データ部門の人材不足と相まって優先順位が下がりがちです。しかし、データ整備の後回しは、生成AIの成果創出を妨げる要因になり得ます。

見えにくいデータ品質の劣化

データ品質は時間とともに劣化します。しかし、この劣化は日々の業務では気づきにくいのが実情です。たとえば、顧客情報の重複、古い連絡先、不統一な表記などは、個別には小さな問題に見えますが、AIが大量のデータを処理する際には深刻な誤りを引き起こします。

さらに、商品ラインナップの変更や組織再編が発生すると、既存のデータ構造が現状と合わなくなることがあります。こうした変化に対応せずデータを放置すると、AIは古いルールに基づいて判断を下し、ビジネスの実態とかけ離れた結果を返すようになります。

Motorwayの事例では、マルチターン会話におけるコンテキスト保持率が当初71%にとどまっていました[2]。これは、会話を重ねるうちにユーザーの絞り込み条件が失われる「コンテキストドリフト」という問題です。この問題を解決するため、同社は会話の文脈を維持する評価機能を導入し、保持率を94%まで引き上げました[2]。

古い情報や不整合な情報を参照すると、AIの回答品質が低下するおそれがあります。そのため、社内文書については更新日・更新責任者・正式版の管理状況などを確認し、継続的に見直す仕組みを設けることが重要です。

また、対話型AIやAIエージェントを運用する場合は、会話の文脈を保持できているかも別途評価する必要があります。

非決定的な出力への対応不足

生成AIは同じ入力に対して異なる出力を返すことがあります。この「非決定性」は、単一のテストでは信頼性を評価できないことを意味します。たとえば、1回あたりの成功率を75%と仮定し、独立した3回の試行すべてで成功する確率を計算すると約42%です[2]。

この問題に対処するため、Motorwayは「pass^k」という指標を導入しました[2]。これは、k回連続で成功する確率を測定するもので、AIの実用的な信頼性をより正確に評価できます。また、複数回の試行を実施するマルチトライアル評価により、非決定性の影響を定量化しています[2]。

多くの企業は、単発のテストで「AIが正しく動作した」と判断しがちですが、本番環境では、類似した問い合わせや同じ業務パターンが繰り返し発生します。したがって、非決定性を考慮した評価基準を設けることが、実用的なAI運用には求められます。

シャドウモードの軽視

新しいAIモデルやプロンプトを本番環境に投入する前に、実際のトラフィックで検証する「シャドウモード」は、データ整備後のナレッジや検索設定だけでなく、AIの回答品質、ツール連携、応答時間を本番相当の条件で確認するために重要な検証手法です。Motorwayでは、本番トラフィックのコピーで候補エージェントを最低4時間実行し、2%の偏差閾値を超えた場合は自動的に展開を一時停止する仕組みを構築しました[2]。

この段階で、合成テストでは見逃されていた問題が明らかになります。たとえば、同時負荷下でのタイムアウト処理、ドメイン固有の用語、実際のトラフィックパターン下でのレイテンシのスパイクなどです[2]。

シャドウモードを省略すると、本番環境で初めて問題が発覚し、ユーザー体験の低下につながります。対象業務の重要度や利用規模に応じて、十分な検証期間を確保することが重要です。

データ整備を組織文化に組み込む

評価指標の設定と継続的モニタリング

データ整備を一時的な作業ではなく、継続的な活動として定着させるには、明確な評価指標が必要です。Motorwayは、タスク完了率95%以上、ツール選択精度95%以上、ハルシネーション率2%未満といった具体的な目標を設定し、それぞれにアラート閾値を定めました[2]。

これにより、データ品質の低下やAI出力の異常が発生した際に、迅速に対応できる体制が整います。また、月間本番インシデントを12件から2件へと削減できたのは、こうした継続的モニタリングの成果です[2]。

評価指標は組織の目標に応じてカスタマイズすべきです。顧客対応では応答速度や回答の正確性、内部業務では処理効率など、具体的な成果につながる指標を選定しましょう。

これらの指標を経営層と現場が共有し、定期的にレビューすることが重要です。データ品質の維持には、IT部門だけでなく、文書を作成・更新する業務部門も含めた役割分担が必要です。

フィードバックループの構築

データ整備の効果を持続させるには、本番環境での失敗を、次の改善につなげる材料として活用する仕組みが有効です。Motorwayでは、本番で発生した失敗を新しいテストケースに変換し、評価品質を継続的に改善するフィードバックループを構築しました[2]。

このアプローチにより、実際のユーザー行動を基に、テストケースや検索設定、プロンプト、ツール連携を改善しやすくなります。その結果、AIシステム全体の回答品質や実用性の向上につながります。エッジケースや曖昧なクエリ、マルチターン会話の絞り込みといった、初期テストでは想定しきれなかった状況にも対応できるようになります[2]。

さいごに

データ整備を後回しにすると、生成AIへの投資効果を十分に引き出せない可能性があります。一方で、データ品質の確認と継続的な評価・改善を組み合わせることで、AIの実用性を高め、業務活用につなげやすくなります。

まず以下の3つから始めましょう：

データ鮮度の可視化：文書種別ごとに更新期限を定め（例：価格表・商品情報は短い周期で、規程・マニュアルは改定時に）、更新期限を超えた文書を定期的に確認
重複データの検出：顧客情報・商品情報で同一エンティティが複数存在しないか確認
AI出力の精度測定：まずは代表的な10件程度のテストケースで回答傾向を確認し、その後、重要業務・誤回答リスクの高い業務からテストケースを拡充

社内ナレッジを生成AIで活用するには、文書を登録するだけでなく、更新ルールや権限、回答品質を定期的に見直す運用設計が重要です。

企業向け社内AI活用基盤「Smart Generative Chat」は、社内文書を活用したRAG機能や、文書の構造・意味を踏まえて回答精度を高めるセマンティック分割を備えています。社内文書を活用したAI検索・RAGの精度や、権限を踏まえたナレッジ活用をご検討の方は、まずは自社の文書・業務に合う活用方法をご相談ください。

▶ Smart Generative Chatの詳細・導入相談はこちら