Goldpreis
39.3000
米OpenAIは11月16日、児童性的虐待コンテンツ(CSAM)を検出するための新たな画像分類ツール「OpenAI CSAM Image Classifier」を発表した。既存の検出手法では困難だった新規画像や生成AIによる画像も対象とし、審査通過組織へAPI経由で無償提供する。同時にChatGPT上でのCSAM検索行為に対し、アカウントを24時間停止する警告機能も導入した。
米OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM)を検出する新たな画像分類ツール「OpenAI CSAM Image Classifier」を発表した。この新ツールは、生成AIによって作成された画像や、これまで確認されていない新規の画像も検出対象とする。審査を通過した組織に対し、OpenAI APIを通じて無償で提供を開始する。
新ツールは画像に含まれる性的虐待の視覚的な特徴を分析し、CSAMである可能性をスコアで示す。従来の手法では既知の違法画像のハッシュ値と照合していたため見つけにくかった新規画像やAI生成画像も対象とし、AI生成CSAMの可能性を示す専用のスコアも出力する。OpenAIは、AI生成CSAM専用の判定指標を備え、幅広い組織が利用できる分類ツールは初めてだと主張している。
開発には米国の行方不明・被搾取児童センター(NCMEC)が協力し、学習や評価、設計に関与した。業界団体のTech Coalitionと非営利団体のROOSTもツールの提供に協力する。
OpenAIがユーザーのアップロード画像を対象に行った評価では、既存の検出ツールとほぼ同数の虐待画像を検出し、レビュー対象として報告される画像の数を48%削減できると推定している。新ツールが示した画像に実際に虐待コンテンツが含まれる割合は、既存ツールの約2倍だったという。
先行導入したパートナー企業における試験結果も公表されている。AIプラットフォームのfalでは、確信度の高い検出結果の72%を担当者が新規のCSAMと確認した。動画生成AIのinvideo AIでは、検出されたケースの4件に1件がアカウント停止につながった。SafetyKitによる、児童を性的に描写したイラストやアニメーションを対象とする評価では、検出率は90%で、合法的な成人向けコンテンツの誤検出率は1%未満だった。
一方、同時に公開したモデルカードによると、ChatGPT上の実際の通信を対象にした場合の適合率は、オフライン評価より大幅に低かった。例えば乳児が写った画像の検出率(再現率)は49.3%にとどまった。また、動画フレームでの検証は行っていない。OpenAIは、スコア単体でCSAMと断定したり法的通報の根拠としたりするものではなく、最終的な判断は人間の審査担当者が行うよう推奨している。
OpenAIは同時に、ChatGPTで児童性的虐待コンテンツを探そうとする行為を抑止する警告機能も導入した。該当する行為を検出すると、AI生成かどうかにかかわらず、児童を性的に扱うコンテンツは有害で違法となる可能性があり、探すこと自体が利用規約違反に当たると警告する。対象の会話は削除され、アカウントは24時間停止される。警告画面からは、無料の専門的な支援窓口も案内される。違反を繰り返した場合は、制限期間の延長やアカウントの閉鎖、当局への通報につながる可能性があるという。
開発者向けには、CSAMの防止、検出、対応・通報に関するガイドラインを公開した。法執行機関の児童保護専門部署向けには、膨大なチャット履歴や法的手続きで入手した記録の確認作業を支援し、事案の関連性や時系列の整理を効率化するツールと研修を提供する。
OpenAIはこれまでも、ChatGPTの未成年ユーザー向けにペアレンタルコントロールや年齢予測機能を導入してきた。一方、米非営利団体Common Sense Mediaは10月、13~17歳向けの「ChatGPT for Teens」を「容認できないリスク」があると評価し、安全機能の改善と第三者による検証が済むまでChatGPTの利用を18歳以上に限るよう求めている。
T.Ikeda--JT