ハルシネーションは、例を挙げると言語モデルが、事実ではない内容をそれらしく出力してしまう現象です。
ハルシネーション
想定される例:
- 架空の人物や研究を本物のように語る。
- 存在しない機能やコードをもっともらしく提案する。
- 曖昧な質問に対して、断定的に誤った情報を返す。
どうしてAIはハルシネーションするのか?
原因:
- 学習データの偏り
- ユーザーの曖昧な入力への反応
- 文脈の誤解
- 情報の不足を補おうとして「もっともらしい嘘」を作る傾向
対策(AI開発側での例):
- 検証済み情報でファインチューニング
- リアルタイムでの検索(Web検索連携)
- 出力内容のファクトチェックやフィードバック機構