人工知能（AI）システムは、様々な産業に本質的な変革をもたらしており、ヘルスケアや金融から交通、セキュリティに至るまで、幅広い分野の意思決定プロセスにますます不可欠なものとなっています。AIシステムは多様な業務に利用されていますが、リスクがないわけではありません。これらのシステムが正しく機能し、関連規制への遵守を確実にすることは重要です。AIシステムの評価とは、AIシステムが意図したとおりに機能し、信頼性があり、公平で、すべての規制要件を満たしていることを確認するための体系的プロセスです。本稿では、AIシステムの評価に関わる主要な手順と考慮すべき事項について考察します。
本稿では、このテーマをオランダおよびベルギーの保険業界の視点から取り上げます。これらの市場の規制は、評価モデルおよびリスクモデルの利用を管理するうえで先進的であるとみられています。既存のモデル検証プロセスと類似したプロセスを、AIシステムの開発および利用に適用することが可能です。本稿では、ミリマンの評価アプローチと、それを金融監督当局の要件を満たし、AIに関連する業界基準への準拠に備えるためにどのように活用できるのかについて、より詳しく解説します。
主な論点は以下のとおりです。
- AIシステムに関連するリスク：法務リスク、風評リスク、戦略リスク、財務リスク、オペレーショナルリスク、技術リスク、環境リスク、モデルリスク。
- AI規制、フレームワークおよびガイダンスへの準拠：本報告書では、欧州の規制当局、ならびに米国国立標準技術研究所（National Institute of Standards and Technology、NIST）や全米保険監督官協会（National Association of Insurance Commissioners、NAIC）などの業界団体が示す監督上の期待事項および一般原則に依拠しています。
- 欧州AI法（European AI Act）におけるリスク分類：許容できないリスク、高リスク、限定的リスク、最小限のリスクまたはリスクなし。
- AIシステムのリスク分類：発生可能性に関する要因および深刻度に関する要因。
- AIシステムのカテゴリー分類：関連するデータカテゴリー、モデル機能、技術的アプローチ。
- AIシステム評価アプローチ：事業目的、データ、モデル、利用、および定期的な再評価。
- データ、モデル、利用に関する評価基準：定性的な基準を閾値や測定可能な基準に落とし込んだ例。
- AIシステム評価方針：評価目的および対象範囲の明確な定義、役割と責任の割り当て、標準化された手順の確立。
- 評価プロセスの概要：今後も課題として残る側面。