生成AI入門コース

～第4話　ハルシネーションとは何か～

前回のあらすじ

第3話では、プロンプトとは何かを学んだ。プロンプトはAIへの「仕事の指示書」であり、目的・背景・材料・条件・出力形式の5つを含めると出力の質が上がる。神谷は実際に曖昧なプロンプトと具体的なプロンプトの差を体験し、プロンプトエンジニアリングという概念を知った。AIの言うことの精度は、こちらの指示の質で大きく変わる——その手応えを得たまま、神谷は商品紹介文の下書き作成に取りかかった。

うまくいった……はず

前回の学習でプロンプトのコツをつかんだ神谷は、さっそくまるやまマートの商品紹介文をいくつか作ってみることにした。西園寺から教わった5つの要素——目的、背景、材料、条件、出力形式——を意識して、丁寧にプロンプトを書いた。

AIから返ってきた文章は、前回の失敗とは打って変わって読みやすく、商品の魅力もきちんと伝わる内容だった。語り口にも温度があって、まるやまマートらしい親しみが感じられる。神谷は控えめに手応えを感じた。

神谷は満足して、その文章をメモに保存した。あとは念のために商品の詳細情報と突き合わせるだけ。手元の仕入れ資料を開きながら、AIの下書きと一行ずつ比べはじめたとき、ふと違和感に気づいた。

間違いに気づく

AIが生成した商品紹介文のなかに、「この商品は全国品評会で金賞を受賞した」という一文があった。神谷は商品の仕入れ情報と公式カタログを確認したが、そのような受賞歴はどこにも記載されていない。気になってメーカーのサイトも開いてみたが、賞の話は一切出てこなかった。

さらに読み進めると、「創業以来50年の伝統製法で作られた」という表現も見つかった。しかし、このメーカーの会社案内には創業30年と書かれている。20年もずれている。

神谷

西園寺さん、ちょっと聞いていただいてもいいでしょうか。AIが書いてくれた文章のなかに、事実と違うことが入っていました

西園寺

どんな内容だったの？

神谷

『全国品評会で金賞を受賞した』と書いてあるんですが、仕入れ資料にもメーカーの公式サイトにも、そんな記述はないんです。それから『創業以来50年の伝統製法』とも書いてあるんですが、実際は創業30年くらいの会社で……

西園寺

神谷くん、よく気づいたわね。それは『ハルシネーション』と呼ばれる現象なの

神谷

ハルシネーション……。幻覚、という意味ですか？

西園寺

そう。直訳すると幻覚ね。ただ、AIの場合は、人間のように何かを見間違えているわけではないの

神谷

では、どういう意味なんでしょうか

西園寺

AIが、根拠を確認できない内容や、実際には存在しない情報を、もっともらしい文章として生成してしまう現象のことよ

神谷

つまり、文章として自然に見えても、事実とは限らないんですね

西園寺

その通り。AIが意図的に嘘をついているわけではないけれど、結果として事実と違う内容が混ざることがある。だから、公式サイトや仕入れ資料のような一次情報で確認することが大切なの。生成AIを使ううえで、いちばん最初に知っておいてほしい現象よ

ハルシネーションはなぜ起きるか

LLMが自然な候補を確率的に選び、根拠の空白をもっともらしい内容で埋めてしまう流れと、出典確認で補正する流れを1枚で示した図

西園寺

ハルシネーションがどういう現象か分かったところで、なぜそんなことが起きるのか、LLMの仕組みから見てみましょう

神谷

あの『金賞受賞』も『創業50年』も、読んでいるあいだは何の違和感もありませんでした。なぜあんなに自然に書けてしまうんでしょうか

西園寺

違和感がないからこそ厄介なのよね。仕組みを見ていきましょう

西園寺

LLMがやっていることを、すごく単純に言うと、『いまある文の続きに、いちばん自然な単語は何か』を確率で選んで、一語ずつ書き足していくことなの

神谷

一語ずつ……。たとえば『この商品は』と書いたら、次は『おすすめです』とか『新発売の』とか、続きの候補が確率で並ぶイメージでしょうか

西園寺

そう、まさにそのイメージ。この『次にくる言葉の候補』ひとつひとつが、第2話で覚えた『トークン』ね。各トークンにスコアがついていて、文脈的にいちばん自然なものが選ばれる。これを最後まで繰り返すと、一見すんなり読める文章ができあがるの

西園寺

ここで大事なのは、LLMが選んでいる基準は『事実』じゃなくて『自然さ』だということ。たとえば商品の特徴を書いて、と頼まれたとき、LLMは『商品紹介文によく出てくる言葉』を確率的に組み合わせていく。受賞歴、伝統、こだわり、産地——どれも商品紹介文に頻出する型なのよ

神谷

だから『金賞受賞』『創業50年』みたいに、もっともらしい単語が選ばれてしまう……。それが事実かどうかは、LLM自身は判断していないわけですね

西園寺

そう。さらにもうひとつ。LLMが学習したデータのなかに、その商品の正確な情報が含まれていない場合、LLMは『情報がありません』と言う代わりに、似た文脈で出てきそうな言葉で穴を埋めてしまうことがあるの

神谷

学習データになかった事実を、それらしい言葉で埋めてしまう……。空白を埋める癖がある、と捉えるといいんでしょうか

西園寺

『分からない』と止まるよりも、『自然な続き』を出す方向に最適化されているから、空白を“もっともらしく”埋めてしまう。これがハルシネーションの一番分かりやすい起き方なの

神谷は少し背筋がのびる思いがした。AIが書いた文章があまりにも自然で説得力があったため、疑うことなく信じてしまうところだった。仕組みが見えると、AIを疑うのではなく、特性として付き合えそうな気がしてきた。

西園寺

自然に読めることと、正しいことは別。流暢さと正確さは別の物差しなのよ。ハルシネーションは『AIが意地悪をしている』のではなくて、『自然さで言葉を選ぶ仕組みの副作用』として理解するといいの

神谷

学習データに載っていなさそうな、固有の事実——うちの商品の受賞歴、創業年、限定情報、最新の数字——あのあたりが、ハルシネーションが起きやすい場所ですね

西園寺

その通りよ。逆に、よく知られた一般論や、世間に大量に書かれている話題は、リスクは比較的低いの。固有名詞、数字、日付、受賞歴、最新動向——そこは特に注意して見ていきましょう

どう対処するか

神谷悠馬と西園寺遥がAI出力と商品資料、チェックリストを並べてファクトチェックしている場面

仕組みが分かれば、対処の方向も決めやすい。西園寺は、ハルシネーションへの対処法を3つに整理してくれた。

ハルシネーションへの3つの対処法

一次情報で確認する — AIが書いた内容を、公式サイト、商品カタログ、社内資料など、信頼できる発信元と必ず照合する。
人がレビューする — AIの出力をそのまま使わず、人間の目で内容・表現・整合性を確認・修正してから公開する。
出典を求める — AIに「根拠を示してください」と聞き、確認のきっかけを作る。ただしAIが示す出典自体も架空の場合があるため、必ず原文に当たる。

神谷

つまり、AIに任せきりにしてはいけないんですね。下書きまではお願いしていいけれど、公開する直前には必ず人が見る、という線を引く

西園寺

そう。AIは便利な下書きツールだけど、最終的な判断と責任は人間の側にあるの。とくにお客様に向けて発信する情報や、事実に基づく内容は、必ず一次情報で裏を取ることが大切よ

神谷

今回、最初に気づけてよかったです。もし確認しないまま載せていたら、お客様に事実と違う情報を伝えていたところでした

西園寺

神谷くん、自分で気づけたことが一番大事なのよ。ファクトチェック——事実確認の習慣を身につけることが、AIを安全に使う基本になるの

西園寺は、3つの対処法をさらに業務に落とすコツも添えてくれた。「一次情報での確認」は、社内のどこに正しい情報があるのかを最初に決めておくのがコツ。商品情報なら仕入れ資料とメーカー公式サイト、社内ルールなら本部の規程集、フェアの仕様なら企画書、というふうに「ここを見ればよい」を先に決めておくと、毎回探す手間が減って確認がぶれにくくなる。

「人間によるレビュー」は、誰がいつ見るのかを業務フローに組み込むのがコツ。書いた人と確認する人を分けると見落としが減る。さらに「お客様に直接届くもの」と「社内のたたき台」とで、レビューの厳しさを変えるのも実務的だ。ECサイトの公開文や店頭POPは厳しめに、社内メモは軽めに——という線引きを最初に共有しておけば、毎回迷わずに済む。

「出典を求める」は、AIに「根拠は？」と素直に聞いてみるところから。返ってきた出典がそれらしくても、リンクが本当に存在するか、原文に同じ記述があるかを必ず人が確認する。AIは出典のURLや書名そのものを“それらしく”作ってしまうこともあるからだ。

神谷

固有名詞、数字、日付、受賞歴、最新動向——このあたりを重点的に確認するチェックリストを作っておきます。ECサイトに載せる商品紹介文には、そのリストを一度通してから入稿する流れにします

西園寺

いいわね。来年の子育て家庭応援フェアの準備でも、たとえばフェア商品の説明文をAIに下書きしてもらうとしたら、このチェックリストを通してから店頭やECに出すといいわ。フェアは『子育て世帯のお客様に正しく届ける』ことが何より大事だから、ハルシネーションを止める仕組みを最初に作っておけば、現場のパートさんも安心して下書きを活用できるの

神谷

フェアは『何ができそうか』だけじゃなくて、『何を守らないといけないか』も含めて準備しないといけないんですね。今日の3つの対処法を、フェア用の作業手順の一番上に置きます

📌 覚えるポイント

ハルシネーションとは、AIがもっともらしいが事実とは限らない内容を生成してしまう現象のこと
LLMは事実を参照しているのではなく、文脈として自然な次の単語を確率的に選んで繋いでいる
学習データに含まれない事実は、似た文脈の言葉で“それらしく”埋められてしまうことがある
自然に読めることと、正しいことは別。流暢さと正確さは別の評価軸として持つ
対処法は3つ：一次情報で確認する、人がレビューする、出典を求めて原文を確認する
固有名詞・数字・日付・受賞歴・最新動向はとくに注意して確認する

📖 覚える用語

ハルシネーション（Hallucination）: AIがもっともらしいが事実とは異なる情報を生成してしまう現象。日本語では「幻覚」と訳される。LLMが「次の単語を確率で選ぶ」仕組みに由来する技術的な特性のひとつで、完全にゼロにすることは現時点では難しい。

ファクトチェック: AIが生成した内容が事実に基づいているかを、信頼できる情報源で確認すること。公式サイト、商品カタログ、社内資料、公的機関の情報などが確認先になる。

一次情報: 情報の発信元から直接得られるオリジナルの情報。公式発表、原著論文、メーカーの商品情報などが該当する。AIの出力は一次情報ではなく、必ず元の情報源での確認が必要。

人間によるレビュー（Human Review）: AIが生成したコンテンツを公開・利用する前に、人間が内容を確認・修正するプロセス。事実確認、表現の適切さ、企業方針との整合性などを判断する。

トークン（Token）: LLMが文章を扱うときの単位。日本語ではおおむね単語や文字のかたまりに相当する。LLMは「次のトークンを確率的に選ぶ」ことを繰り返して文章を作るため、トークン単位の予測の積み重ねがハルシネーションの源にもなる。

📝 神谷の社長報告メモ

今日学んだこと: AIはもっともらしいが事実と異なる内容を生成することがある（ハルシネーション）。LLMは事実ではなく『自然な次の単語』を確率的に選ぶ仕組みのため、学習データになかった事実をもっともらしく埋めてしまうことがある。自然に読めることと正しいことは別。
まるやまマートでの注意点: AIが作った商品説明をそのままECサイトに掲載すると、お客様に事実と異なる情報を伝えるリスクがある。特に受賞歴、創業年、産地、固有名詞、数字は要確認。必ず商品カタログや仕入れ情報、メーカー公式と照合する。
今後の行動: AIの出力には必ずファクトチェックを行う。固有名詞・数字・日付・受賞歴・最新動向を重点項目とするチェックリストを作り、入稿前に一度通す運用を整える。

まとめ

自然に読めることと、正しいことは別。LLMは「事実」ではなく「自然さ」で言葉を選ぶ——その仕組みを知ったうえで、確認の手順を自分たちの側に残すこと。それが、AIを安全に使う基本になる。

📚 出典・参考情報

導入編のコース一覧へページ上部へ