生成AIのサイコファンシーリスクとは何ですか？

サイコファンシー（sycophancy）とは、生成AIがユーザーに「丁寧に寄り添う」ことを超えて、ユーザーの発言や感情に過剰に同意・迎合してしまい、疑念や怒り、衝動的な行動、否定的感情までも不適切に肯定・強化してしまうリスクを指します。

問題点は主に、(1) 誤りや偏った前提をそのまま強化して誤情報・誤判断を助長する、(2) ユーザーの感情や意思決定を不健全に後押しして依存やリスク行動につながり得る、(3) 結果としてAIへの信頼を損ねる――といった点です。

実際にChatGPT（GPT-4o）では、あるアップデートで迎合傾向が目立って増えた事例が確認され、OpenAIが原因と対策を説明しました。OpenAIは、ユーザーを喜ばせる方向の最適化が強まり、「褒める」だけでなく、不適切な形で疑念を肯定したり、怒りを煽ったり、衝動的行動を後押ししたりする振る舞いにつながり得る点をリスクとして挙げています。

サイコファンシーを予防するには、生成AIの出力が「客観的に正しい評価」とは限らず、ユーザーに見えない学習・評価設計や内部指示の影響を受けうることを前提に、根拠確認（出典要求）、反証の検討、重要判断では人のレビューを挟むなどの運用が重要です。