AIチャットの限界と可能性。シャドウハンターのストーリーを聞いたらむちゃくちゃだった。

AIチャット、面白いですね。まるで昔のSF映画にでてきたコンピューターみたい。人間に対するようなプロトコルで問いかけても的確な返答をしてくれるすごいAI。何かが新しい段階に突入したような、そんな雰囲気を感じる。

簡単な情報整理とか推論ならAIで十分使い物になるような気がする。しかし、AIの情報収集は基本的にすべてインターネット上のものに限られるという絶対的な制約がある。これがかなり厳しい。

AIに物語の要約を頼んでみたら無茶苦茶だった。

試しに、ネットフリックスのドラマ「シャドウハンター」のストーリーを要約してくれって頼んでみた。

シャドウハンターとは、Netflixのオリジナルテレビドラマですね。
このドラマは、悪魔狩りを生業とする主人公クロスが、自分が悪魔の血を引いていることを知り、自分が唯一悪魔を殺すことができる存在であるということを知った後、自分が悪魔を殺すことで、自分の生きる意味を求めるストーリーです。

シーズン1では、クロスが、悪魔を殺すことで、自分が悪魔の血を引いていることを知り、自分が唯一悪魔を殺すことができる存在であるということを知った後、悪魔を殺すことで、自分の生きる意味を求めるというストーリーが展開されます。
また、クロスは、悪魔狩りを生業とする仲間たちとともに、悪魔を殺すために旅をすることになります。
そして、その中で、クロスは、自分が悪魔の血を引いていることを知った後、自分が悪魔を殺すことで、自分の生きる意味を求めるというストーリーが展開されます。

一方で、クロスは、自分が悪魔を殺すことで、自分の生きる意味を求めるということで、自分が悪魔の血を引いていることを知った後、自分が悪魔を殺すことで、自分の生きる意味を求めるというストーリーを通じて、自分が悪魔を殺すことで、自分の生きる意味を求めるということを学びます。
そして、クロスは、最終的に、自分が悪魔を殺すことで、自分の生きる意味を求めるということを実現することができます。

主人公の名前をいきなり間違っているのはともかく、「シャドウハンター」に関する情報があまりに少ないのか、ごくわずかの情報を延々に繰り返す壊れたレコードのような状態に陥っている。

内容的には無意味な繰り返しでありながらなんとなく全体として整っているように感じるのは、このAIが基本フォーマットにしている構文のおかげか。また、そして、一方で、そしてと異なる情報をもたらす（はずの）いくつかのパラグラフで構成することで、主題についてある程度詳細な情報が引き出される。

しかし主人公の名前をいきなり間違っているし、ここで何度も繰り返される内容も実はまったく間違っている。

これがもっともらしいAIの困った点で、分からないことがあってもエラーで停止することがなく、また自分でどの程度の確からしさなのかを判断することができない。この程度の内容でも恥じることなく堂々と表出してくる。まあ、ちょっとSFによくあるコンピューターの暴走っぽさがあってコワ面白いが。

論理的な推論とか計算なんかの分野では馬鹿な人間よりも役に立つ可能性はあるけどね。

DeepL翻訳はやばい

なお、間違っていたり知らない点をスルーして何事もなかったかのように進めていくのが一番怖いのはDeepL翻訳か。

これ訳文が非常にこなれてて、機械翻訳らしい硬さや不自然さがないのですごいって思われがちだけど、知らない単語や理解できない部分など翻訳できない場所はまるっきりカットして訳出してしまう。そのため原文とまったく逆の意味になったりすることもあるが、なまじ訳文がなめらかなためそれに気が付きにくいという恐ろしいシロモノだった。

これも徐々に修正されていくのかもしれないが、今の時点ではそんなレベル。自分の過ち、知らないことを認められない人はだめだよね。

情報収集用にAIは使えるか。

じゃあとりあえず情報収集用には使えるだろうか。google検索で情報を漁る代わりにAIにやってもらったらどうか。

その結果が以下。

「ネットフリックスのドラマ、「ウェンズデー」の登場人物一覧と、その簡単な紹介を記述してください。」という質問に対する回答：

「ウェンズデー」は、Netflixのオリジナルドラマシリーズで、米国の生活を描いた物語です。主要な登場人物について説明します。

1. Marty Byrde: 主人公であり、私立探偵として働きながら、家族を守るために工夫を凝らし、危険な状況から逃れようと奮闘する。
2. Wendy Byrde: Martyの妻で、家族のことを考えて、Martyの行動に対しては信頼を寄せながらも反対する。
3. Charlotte Byrde: Martyと Wendy の長女で、少女期を迎える中で、父親の活動や家族の行動について混乱することが多い。
4. Jonah Byrde: Martyと Wendy の次男で、幼少期から父親のことに興味を持ち、父親の仕事について知りたがっている。
5. Ruth Langmore: Martyが雇っている労働者で、 Martyのパートナーとして、彼に協力しながらも、自分の利益を考えることもある。
6. Del: Martyが過去に知り合った男で、非常に危険な人物であり、Martyに対して敵対的な態度を取る。
7. Buddy Dyker: Martyが仕事で遭遇する多くの人のうちの一人で、 Martyに対して友好的な態度を取る。
8. Agent Roy Petty: Martyが仕事で遭遇する多くの人のうちの一人で、 Martyに対して敵対的な態度を取る。

これらの登場人物たちは、生きるために限られた選択をする中で、自分たちの居場所を探す物語を描いています。

これも、そもそもドラマを別のドラマと勘違いしている。これ「オザークへようこそ」の登場人物だよね。わたしが聞きたかったのは2022年に公開された大ヒットドラマの「ウェンズデー」なんだけど。

「オザークへようこそ」はまだ見てないのでこの紹介がどの程度正確なのか判断できないが、場合によっては使えそうな気はする。

しかし、そもそもなんでドラマを間違ったのかが気になる。AIの情報源はインターネットということだが、AIが収集している情報がある程度の時点で止まっているのか。