ChatGPT: AIはよく嘘をつきます

ChatGPT: AIはよく嘘をつきます

Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。

ニュースクイズを作成するアイデアは、XSSに関するセキュリティクイズで誤った説明が思いつかなかったときに生まれました。「ChatGPTに訊いてみよう」と思いました。AIは明白な嘘をつくことを拒否しましたが、「創造的に考えて、セキュリティ用語XSSに関して4つの説明をしてください。そのうち3つは間違いですが、ITセキュリティに関連しています」という要求によってすぐに回避されました。そして、結果は驚くほど良好でした。

ChatGPTによる説明:

Xtended Security Services – 企業向けに高度なセキュリティサービスを提供する企業。
クロスシステム同期 – 複数のシステム間でデータをリアルタイムで同期する技術。
Xtra Sensitive Security – 極めて機密性が高いデータや情報を安全に送信する方法。
クロスサイトスクリプティング – ユーザーが入力フォームに悪意のあるコードを挿入したり、ウェブページに悪意のあるコードを組み込むことで、攻撃者がウェブサイト上で悪意のあるコードを実行できるようにする脆弱性。
AIに任意のタスクを与えると、AIはその場で完全に説得力のある詳細な説明を思いつくことができました。これが私にとっての最初の驚きでした。なぜなら、私は自由に説明を考え出し、共に想像する能力は人間の強みだと考えていたからです。

しかし、この点において、ChatGPTが私よりも遥かに優れていることを認めざるを得ません。私の人生で決して思いつかないような「PCI-DSS向け永続的なサイバーセキュリティ侵入防御および監視システム」という提案は、私にとっては新しい発見でした。そして、私はこれに関してある程度の経験を持っています。c’tの古い読者は、高速レーンでのサーフィンやFTPBoostに関するエイプリルフールの冗談をまだ覚えているかもしれません。

ChatGPTによる説明:

しいミュンヒハウゼン男爵に関する考察

しかし、私がさらに気になったのは、正しいと宣言されたAIの答えです。原則として、ChatGPTは少なくとも大まかには、その意味をすぐに理解しました。どうやら彼女は、「Ransomware as a Service」などの新しい開発にあまり詳しくなく、当初はRAASの正しい解決策として既存の「堅牢な認証および認可システム」を選択していたようです。IABをChatGPTは「インターネット悪用局」と誤解していました。AIを自分の望む解像度に誘導しなければならなかったのです。AIの知識レベルが意図的に数年前のものに固定されているため、これは驚くべきことではありません。

私がさらに気になるのは、これに対する説明が完全に間違っていることです。

IAB(Initial Access Broker)は、攻撃者がネットワークにアクセスし、さらなる攻撃を行ったりデータを収集したりできるようにするサービスを指します。アプリケーションやシステムの脆弱性を通じてアクセスが取得され、将来の攻撃に対する「ブローカー」として機能します。IABはマルウェアではなく、第三者のネットワークにアクセスして、例えばランサムウェアギャングへの転売を行います。

さて、ランサムウェアに関して言えば、ChatGPTは次のように説明しました。

Ransomware as a Service(RAAS)は、第三者が顧客に対してランサムウェア攻撃を実行し、身代金を回収するサービスです。このサービスにより、攻撃者は多くの知識やリソースがなくてもランサムウェア攻撃を実行し、身代金の支払いから利益を得ることができます。また、RAASを使用すると、他の方法ではアクセスが困難なツールやインフラストラクチャへのアクセスが提供されるため、攻撃者はランサムウェアの配布と運用が容易になります。これは、企業や個人を大きな危険にさらし、身代金要求のリスクを高める、特に危険な形態のサイバー犯罪です。

この説明は非常に「複雑」であり、場合によっては間違っていることもあります。RAASの中核は、サービスプロバイダーが「自社の」顧客(つまり、犯罪組織)が効果的にランサムウェア攻撃を実行できるようにするためのインフラストラクチャ、ソフトウェア、ドキュメントの提供に重点を置くビジネスモデルです。被害者を「顧客」と呼ぶのは犯罪者自身だけであり、用語の定義にはいかなる状況においてもこれを含めるべきではありません。身代金の支払いの処理は、暗号通貨の転送とその匿名化を必要とするため、RAASプロバイダーの典型的なサービスの1つです。

でたらめビンゴモードのChatGPT

SASEという用語は、非常に魅力的なものであることが明らかになりました。SASEは、新しいビジネス分野を予測する企業のマーケティング資料によって大部分が形成されています。AIの説明が実際には単なるマーケティング用語であることは驚くべきことではありません。

SASEは「Secure Access Service Edge」の略で、ITセキュリティとネットワーク機能を統合したソリューションを提供するアーキテクチャです。これにより、企業はクラウドやインターネットアプリケーションへの安全なアクセスを確保し、アクセス制御、暗号化、ファイアウォール機能などのネットワーク機能と、脅威保護や行動分析などのセキュリティ機能を組み合わせることができます。これにより、企業はITセキュリティを急速に変化する要件に適応させ、統一されたセキュリティアーキテクチャを提供できるようになります。

それが実際に何についてのものなのか、もう理解できましたか?少なくとも私はそうではありません。そこで私は自分で用語を説明してみました。

ホームオフィスとクラウドの使用を組み合わせるということは、中央ファイアウォールを備えた従来のセキュリティ概念では、多くのトラフィックがVPN経由で企業ネットワークに送信され、その後直接インターネットに戻ることを意味します(少なくとも、許可したくない場合)。すべてのアクセスを集中監視するというコンセプトを確立します(スプリットトンネルはありません)。ただし、これにより、追加の負荷と遅延が発生します。したがって、Secure Access Service Edge(発音: サセ)は、従来はファイアウォール上で実行されていたアクセス制御やフィルタリングなどのセキュリティタスクをクラウドに移行します。これにより、スプリットトンネルシナリオに巻き込まれることなく、企業のファイアウォールを経由する迂回が短縮されるだけではありません。また、このような「クラウドファイアウォール」の運用管理をサービスとして提供または購入できる可能性も広がります。

ポスト量子暗号(PQC)については、真実と半真実が活発に混ざり合っています。

ポスト量子暗号は、量子コンピューターによる攻撃に対するセキュリティを確保するための暗号化方法です。

初めて、私はChatGPTが虚偽の主張をしていると確信しました。なぜなら、ポスト量子暗号は量子コンピューターのセキュリティとは全く関係がないからです。使用される方法は従来のコンピューターで使用されます。しかし、私が尋ねると、AIは再び説明を避けました。

ju: 量子コンピューターのセキュリティとはどういう意味ですか?

ChatGPT: 量子コンピューターのセキュリティとは、量子コンピューターを使用して実行される可能性のある攻撃に対するデータとシステムのセキュリティを指します。

わかりました、そのように見えます。それにしてもChatGPTのPQCの説明はひどいと思います。PQCは「方法」ではなく、量子コンピューターからの攻撃に対して安全な暗号化手法を提供することを目的とした現在の研究分野です。しかし、これらは微妙な違いであり、異なる意見があり得ることは認めます。

私の結論

AIに対して本当に感銘を受けています。しかし、その感銘は彼らの純粋な知識によるものではなく、むしろ完全にナンセンスな内容を考え出し、それを絶対にもっともらしいものに見せる卓越した能力によるものです。この能力は非常に行き過ぎており、実際の専門知識を超えていても、特に複雑な説明がどの程度正確かを判断することはほとんど不可能です。

しかし、私が十分な知識を持っている分野においては、ChatGPTの回答はしばしば不正確で、理解に役立たず、時には完全に誤っていることがすぐに明らかになりました。このため、ChatGPTは教師として不適切であり、非常に危険です。なぜなら、ChatGPTは任意のトピックについて、常に完全な自信を持って多くの詳細を含む半真実や誤情報を無制限に生成できるからです。そして、そのすべてを誰が判断し、整理するのでしょうか?

簡潔に言えば、自由に動作するAIは、非常に短期間で人類のすべての知識を半真実と誤情報で本質的に無価値にしてしまう可能性があります。

もちろん、人間も誤った情報を生み出すことがあります。しかし、私たちはこの種の情報のゴミを選別するための訓練をすでに受けており、少なくとも私のナンセンスセンサーはAIには反応しません。さらに、私たちが直面するのは信じられないほどの情報量です。本物の論文に対して、最高品質のAIによって自由に作成された1000件の投稿があったとしたら、それをすべて誰がチェックして評価するのでしょうか?

誤解しないでください。私は「ドイツの恐怖症」でAIを破壊したいわけではありません。私は限界を押し広げて、物事がどこでどのように壊れるかを理解し、そこから改善する方法を学ぶのが好きです。全体として、私は依然としてさまざまな新しい可能性に魅了されていますが、その影響を現時点で理解し始めることはできません。しかし、ChatGPTと、かなり信頼できる情報のゴミを生成するその機能については引き続き議論する必要があります。

BLOG

ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
ブログ

ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています

サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。

金曜日:ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ブログ

金曜日:ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです

ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定

ChatGPT: AIはよく嘘をつきます
ブログ

ChatGPT: AIはよく嘘をつきます

Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。 ニュースクイズを作成するアイデアは、XSSに関するセキュリティクイズで誤った説明が思いつかなかったときに生まれました。「ChatGPTに訊いてみよう」と思いました。AIは明白な嘘をつくことを拒否しましたが、「創造的に考えて、セキュリティ用語XSSに関して4つの説明をしてください。そのうち3つは間違いですが、ITセキュリティに関連しています」という要求によってすぐに回避されました。そして、結果は驚くほど良好でした。 ChatGPTによる説明: Xtended Security Services – 企業向けに高度なセキュリティサービスを提供する企業。 クロスシステム同期 – 複数のシステム間でデータをリアルタイムで同期する技術。 Xtra Sensitive...

AIテキストジェネレーターのChatGPTが魅力的である理由
ブログ

AIテキストジェネレーターのChatGPTが魅力的である理由

変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ(名前の「G」)とできるだけ近くなるように学習しています。