ChatGPTはナンセンスを生成します:推論の問題

ChatGPTはナンセンスを生成します:推論の問題

推論カーネルのバグにより、ChatGPTが時折多くの意味不明な応答を返すようになったと言われています。推論とは、結論を導き出す責任を負うシステムの一部です。したがって、このチャットボットは明らかに完全に誤った内容を導き出したことになります。OpenAIは最初のユーザーからの苦情に迅速に対応し、意味不明な応答を含む例を公開しました。

大規模言語モデルは、続く可能性のある単語を選択することによって応答を生成しました。この「言語」は数字で表されるトークンで構成されており、OpenAIのステータスページにエラーに関する情報が記載されています。このエラーは現在修正されています。「この場合、エラーはモデルがこれらの数字を選択するステップにありました。翻訳エラーと同様に、モデルはわずかに間違った数字を選択し、意味のない単語シーケンスが生成されました。」

大規模言語モデルのリスク

大規模言語モデルのリスク

ChatGPTが他のチャットボットと同様に幻覚を引き起こすことも不思議ではありません。通常、事実が間違っていても、その回答はもっともらしいものに聞こえます。AIの専門家で批評家のGary Marcusは、彼のブログに、ChatGPTがどのようにして理解不能なテキストを生成したかの例を集めました。X社の人々が、ChatGPTが暴走し、変な状態になったのではないかと疑問に思ったことを読むことができます。しかし、マーカス氏は、このバグの影響は大規模言語モデルとAIシステムがいかに不安定かを示していると述べています。「実際には、これらのシステムは決して安定していません。安全対策を開発できた人は誰もいません。」彼は、このような間違いが警鐘となることを望んでいます。ニューヨーク大学の名誉教授は、特にAIプロバイダーは著作権を尊重しなければならないと主張しています。ChatGPTのような使用を避けるよう呼びかけることもあります。

マーカス氏は主にAIを取り巻く倫理的問題に焦点を当てていますが、AIシステムにとって危険となる可能性のある攻撃シナリオも多数存在します。リスクにはプロンプトインジェクションが含まれます。プロンプトインジェクションでは、リクエストにより言語モデルがユーザーに有害な行動を求めることがあります。汚染されたトレーニングデータも問題になる可能性があります。たとえば、Nightshadeというツールを使用して画像を変更し、AIにとって無用な情報が含まれるようにすることができます。たとえば、画像には

牛が写っていても、メタデータではハンドバッグであると示される場合などです。AIは誤った接続を学習する可能性があります。非営利プロジェクトのOWASP(Open Worldwide Application Security Project)は、さらに多くの潜在的リスクを挙げています。

このページを評価する

BLOG

ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
ブログ

ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています

サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。

金曜日:ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ブログ

金曜日:ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです

ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定

AIテキストジェネレーターのChatGPTが魅力的である理由
ブログ

AIテキストジェネレーターのChatGPTが魅力的である理由

変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ(名前の「G」)とできるだけ近くなるように学習しています。