ハルシネーションは、例を挙げると言語モデルが、事実ではない内容をそれらしく出力してしまう現象です。 ハルシネーション 想定される例： どうしてAIはハルシネーションするのか？ 原因： 対策（AI開発側での例）： ハルシネーション 想定される例： 架空…

RAGとは「Retrieval-Augmented Generation」の略です。 日本語にすると「検索強化生成」となり、AI が賢く文章を作り出す方法の一つです。 通常のAIは、あらかじめ学んだことを元に文章を作るだけですが、RAG は、実際にインターネットやデータベースから必…

ChatGPTとは ChatGPT は OpenAI によって開発された、人間の発話をシミュレートしてユーザーと自然なやり取りをするチャットボットのモデルです。 ChatGPT は、OpenAI の GPT-3.5 モデルを採用し、AI設計チームが強化学習（RLHF）を用いて学習させ、中国語、…

ふと、桃太郎に似た昔話ってなんだろうと思いコサイン類似度を使って桃太郎に似た昔話を探してみました。今回は mecab にneologd 辞書を使ってます。 昔話の取得先 文章の類似度の計算 コサイン類似度 環境準備 類似度の算出 事前準備（追加インストール） m…