生成系AI ハルシネーション テキスト生成AI

ハルシネーションとは何か? テキスト生成AIを使ううえで注意すべき誤情報の生成

生成系AIは事実とは異なる嘘の情報を出力する場合がある。これをハルシネーション(Hallucination)と呼ぶ。

ハルシネーションは「幻覚」と訳される。人間における幻覚は「対象なき知覚」とも呼ばれ、存在しない感覚を体験してしまう現象を指す。それと同じように、生成AIが事実とは一致しない出来事や、嘘の情報を生成してしまう場合がある。

今回はそんな、ハルシネーションの具体的な例と、起きる理由、対策について解説しよう。

ハルシネーションとは何か? 何が問題なのか

ハルシネーションは、生成系AIが誤情報を生成してしまうことである。これはAIの学習データやアルゴリズムの不完全さから生じる。生成系AIの進化とともに、誤情報の生成が改善されていくことが期待される。

ハルシネーションは社会的な問題を引き起こす可能性がある。たとえばフェイクニュースに関する以下のような研究がある。

AI(GPT-3)を使用した実験

スイス・チューリッヒ大学のGiovanni Spitale氏らの研究チームが2022年に867名の参加者を集め、以下の質問を行なった。

「提示するツイートに含まれる情報は正しいか、誤っているか」

「ツイートを作成したのは人間か、AIか」

引用:「生成AIが作るフェイクニュースは人を騙しやすい」見極められず、自信喪失する人も-BUSINESS INSIDER JAPAN

その結果、誤った内容より正確な情報の方に判定時間を要することになった。さらにツイート内容にかかわらず、AIが作成したツイートより人間のツイートのほうが判断に時間がかかる結果となった。

この結果から、誤った情報よりも正確な情報の方が判断する上で難しく、さらにはAI(GPT-3)の生成した情報のほうが効率的に認識される傾向があると分かった。

ハルシネーションとフェイクニュース

もし生成系AIが誤情報を生成してしまった場合、人間が吐く嘘よりも効率的に認識されることになる。

そして、そのような嘘か本当か見分けの付きにくい誤情報が拡散されてしまったら……。

ハルシネーションはフェイクニュースの温床となる可能性があるのだ。この問題を解消するために様々な研究が進められている。

例えば当サイトでは過去に、以下のような研究開発を紹介した。

私たちの身近にあるハルシネーション(Hallucination)の具体例

ハルシネーションと聞くと、何やらマイナーなSF作家の作った造語のようだ。「幻覚」という意味からしてなんだかスカした印象を受けるし、いまいち実感が湧かない方も多いだろう。

しかし、生成系AIを利用したことのある人間なら分かると思うが、AIは頻繁に間違える。

たとえば、BingAIに以下のような質問をしてみた。

この質問に対する回答は以下だ(2023年8月時点での出力結果)。

ご存知の通り、第8代征夷大将軍の名前は徳川吉宗だ。名前が間違っている。

そして家定が第9代征夷大将軍になっている。また本来なら15人の将軍がいるはずが、13人しかいない。他にもいくつかおかしな点がある。このように、明らかに嘘の情報が出力された。生成系AIを普段からよく使う人なら、以上のようなことは日常茶飯事だろう。

検索機能を持つ生成AIであればハルシネーションは起こらない、とする意見がある。BingAIは検索機能を持つが、それでもこの有様だ。検索してくれるからといって、間違いが起こらないわけではない。

ハルシネーションは我々の身近にある。嘘だと明らかに理解できる情報ならまだ良いが(良くはないが……)、すぐに判断できない情報ならどうだろうか。生成系AIを使用する際には、このような欠陥を知った上でリテラシーを持って接する必要がある。

では次に、誤情報が出力されるのが何故なのかを考えてみたい。

ハルシネーションが起こる理由

ハルシネーションはなぜ起こるのか。それは、生成系AIの持つ性質に起因する。

ここからはハルシネーションの原因だと考えられている、生成系AIが内包する欠陥を明らかにしたい。

学習データにそもそもの誤りがある

生成系AIは、インターネット上の膨大な「過去データ」を基にしてテキスト生成を行う。それゆえに古い情報や、誤情報を出力する場合がある。

また、AIが参照する学習データのなかには、古い情報や誤ったデータ、偏った思想に基づく意見、フィクション、デマ、フェイクニュースも含まれる。生成AIは正しい情報と間違った情報・古い情報の区別をつけられないため、生成される文章には誤情報が含まれている可能性がある。

事実よりも文脈を重視してしまう場合がある

生成系AIは「正確性」のほかに、文脈に適した回答を行う「国語力」も求められている。国語力の向上はリーダビリティを高める一方で、情報の正確さを欠く原因にもなりうる。

なぜなら文脈の適合性を重視するあまり、しばしば事実を軽視する判断を行うからだ。例えば複雑な説明を必要とするような質問をユーザーから投げかけられたとき、生成AIは文脈を優先した受け答えを行う。そのせいで重要な情報を省略したり、誤情報を出力したりと、正確さを失う場合がある。

関連性のない情報を組み合わせてしまう

生成系AIは複数の情報源を組み合わせて文章を生成する。関連性のない情報源が組み合わさることによって、ハルシネーションが生じる可能性がある。

たとえば文章生成AIに、「日本最大の野生動物」に関する文章を書くよう命令したとする。この時、「日本最大の野生動物」の情報と「世界最大の野生動物」の情報を組み合わせて、あたかも日本に世界最大の動物が生息しているかのような情報を生成してしまう可能性がある。文章生成AIを使っていると、関連性のない情報を結びつけて一つの文章にしてしまう場合があるため、注意が必要である。

学習データにない情報も無理に回答しようとする

生成系AIは学習データにない質問にも「わからない」と答えることができない。ユーザーからの質問に対して、無回答という選択肢はない。そのため、無理にでも回答してしまうのだ。

つまり、学習データにないことでも、命令されれば文章を生成してしまう。そのせいで誤情報を生み出してしまうケースがある。たとえば小説の登場人物の正確やセリフに関して質問を投げかけると、十中八九間違った答えが返ってくる。生成系AIはマニアックすぎる質問には弱いのだ。

ハルシネーションを防ぐにはどうすれば良いか

ここまでハルシネーションが起こる原因について分析してきた。

では、どのように防げば良いのだろうか?

ここでは4つの方法を紹介する。

ハルシネーションが起こりやすいプロンプトを理解する

打ち込むプロンプトによって、文章生成AIの応答は異なる。プロンプトが違うだけで、生成される文章が180度違うことだってありえるのだ。

AIに質問したり、文章を考えてもらったりするときは、明瞭かつ簡潔な言葉で伝えるのが望ましい。また複雑な思考や情報の整理、専門知識が必要になるような質問には、うまく答えられない可能性があることも理解すべきだ。

以下のようなプロンプトを避けるだけで、情報の精度を向上できる。

より詳細なプロンプトを書く

ハルシネーションは抽象的なプロンプトによっても引き起こされる。質問する場合は、聞きたいことを具体的にすることで正確な情報を出力しやすくなる。

たとえば「通天閣について教えて」という質問よりも「通天閣の高さを教えて」と質問したほうが、情報の精度は高まるだろう。

といっても「1956年10月28日に完成した2代目通天閣の高さを教えて」のように質問する側の情報を詳細にするのではない。「【①通天閣の高さ】と【②通天閣の建設目的】を100文字以内で教えて」のように指示内容を詳細にするのだ。

情報の真偽は自分の目で確かめる

生成AIの出力する文章にはまだまだ誤りがあるため、面倒ではあるが人的チェックが欠かせない。とくにSNSで発表する文章や、レポートを書かせる場合は、入念なファクトチェックが欠かせない。また、コピーテキストになっていないかどうかの確認も必要だ。

必ず一次情報を確認するようにし、信頼できる情報源か否かもチェックすべきである。AIはあくまでも学習データを参考にして文章をまとめているに過ぎない。チェックはその文章をAIに出力させた、ユーザーの責任だといえよう。

他の生成系AIと併用し、情報を比較する

同じプロンプトを使用しても、ChatGPTとBingAIでは結果が異なる。

BingAIは検索データを参考にするため、最新の情報が反映されやすい傾向にある。このように、別の生成系AIを併用して結果を比較することで、情報の精度を高められる。

-生成系AI, ハルシネーション, テキスト生成AI
-, ,