ChatGPT: AI検出ツールがなぜ不正行為が簡単なのか
ChatGPTが導入された直後から、学生たちは数秒で合格レベルのエッセイを作成し、期末レポートとして提出できるのではないかという懸念が持ち上がっていました。OpenAIのツールは、他の一部の競合製品と同様に、驚くほど優れたテキストを生成するため、この懸念は根拠のないものではありません。そのため、AIが生成したテキストを識別することを目的としたソフトウェアの開発に取り組む新興企業が出現しているのも不思議ではありません。
しかし、これらのツールを欺いて検出を避けることは比較的容易であるという問題があります。これは新しい研究で示された結果であり、まだ査読されていません。ベルリン応用科学大学（HTW）のメディアおよびコンピュータサイエンスの教授、デボラ・ウェーバー・ヴルフ氏は、様々な大学の研究者グループと協力し、Turnitin、GPT Zero、Compilatioを含む14のツールのテキスト認識機能を評価しました。これらはOpenAIのChatGPTによって書かれたものです。
これらのプログラムのほとんどは、AIが生成したテキストの特徴、例えば特定のパターンの繰り返しなどを検索し、そのテキストがAIによって生成された可能性を計算します。しかし、研究チームは、テストされた全てのツールが、人間が少し修正したり、言い換えツールで難読化したりしたChatGPTで生成されたテキストの識別に苦労することを発見しました。「これらのツールは機能していない」とウェーバー・ヴルフ氏は断言します。「彼らは主張していることを実行していません。これらはAIの検出器ではないのです。」研究結果は、生徒や学生がそのような検出器を回避するには、AIによって生成された作品をわずかに修正するだけで十分であることを示唆しています。
研究者とその同僚たちは研究をどのように進めたのでしょうか？研究対象となる人間が作成したテキストを選ぶため、彼らは土木工学、コンピューターサイエンス、経済学、歴史、言語学、文学など様々なトピックについて大学レベルの短いエッセイを書きました。彼らはテキストを書き換えて、ChatGPTのトレーニングデータには現れないようにしました。
次に、各研究者はボスニア語、チェコ語、ドイツ語、ラトビア語、スロバキア語、スペイン語、またはスウェーデン語で追加のテキストを作成しました。これらのテキストは、AI翻訳ツールDeepLまたはその競合他社であるGoogle Translateを使用して英語に翻訳されました
この研究はまた、学生の作品を評価する現在の大学の方法がいかに時代遅れであるかを浮き彫りにしています。機械学習と人工知能のモデルを開発している南オーストラリア大学の上級講師であり、この研究プロジェクトには参加していないヴィトミル・コバノビッチはそのようにコメントしています。同様に、このプロジェクトには関与していないが自然言語生成を専門とするGoogleの上級科学者、ダフネ・イッポリトも別の懸念を提起しています。
「教育現場で自動検出システムを使用する際には、その誤検知率を理解することが重要です。なぜなら、学生が誤って犯罪者扱いされることは、その学業に深刻な影響を及ぼす可能性があるからです」と彼女は述べています。「偽陰性率も同様に重要です。AIによって生成されたテキストが人間が書いたものとして偽装され過ぎると、検出システムが無効になってしまうからです。」
研究者たちがテストしたツールの1つを開発したCompilatio社は、同社のシステムが盗作の可能性またはAIによって生成されたコンテンツの可能性があると識別された疑わしい部分のみを表示していることを指摘しています。「分析された文書を採点する学校や教師は、その文書の作成者が実際に習得した知識を検証する責任があります。これは、例えば、口頭試験や追加の質問など、さらなる検証手段を用いることで行うことができます」とCompilatio社の広報担当者は述べています。
Compilatioツールは、優れた研究、執筆、引用の実践を促進するための真の教育的アプローチの一部です。Compilatioソフトウェアは校正の補助ツールであり、校正者そのものではありません」と同社は述べています。TurnitinとGPT Zeroからのコメントの要求に対する即時の応答はありませんでした。
パターン認識の課題
「私たちの認識モデルは、人間の文章が持つ独特で予測不能な性質と、AIが生成するテキストの非常に予測可能な統計的特徴との間の顕著な違いに基づいています」と、ケルンに拠点を置くTurnitinのチーフプロダクトオフィサー、アニー・チェキテッリは述べています。
「しかし、私たちのAIテキスト認識機能は、そのような領域が存在することをユーザーに警告し、さらなる検討が必要な可能性のある領域を強調するだけです。AIライティングツールの使用が適切か不適切か、あるいはその使用が詐欺に該当するかどうかを判断するものではありません」と、試験規則や教師の指示に基づく不正行為について言及しています。
AIによって書かれたテキストを識別することを目的としたツールが、常に予定通りに機能するとは限らないことは、以前から認識されていました。今年の初め、OpenAIはChatGPTによって生成されたテキストを識別するために設計されたツールを発表し、AIによって書かれたテキストの26%のみを「おそらくAIによって書かれた」とマークしたことを認めました。
OpenAIはMIT Technology Reviewに対し、AI生成コンテンツを検出するツールは「絶対的な確実性からは程遠い」と警告するウェブサイトのセクションを指摘しました。
製品のブームにも関わらず
しかし、メリーランド大学のトム・ゴールドスタイン准教授は、研究には関与していないものの、このような失敗にもかかわらず、企業は引き続きその効果を期待できる製品を市場に投入し続けていると言います。
「それらの多くはそれほど正確ではありませんが、すべてが完全に失敗しているわけではありません」と彼は述べ、Turnitinが比較的低い誤検知率で一定の検出精度を達成していることを指摘しました。
また、いわゆるAIテキスト認識システムの欠点を明らかにする研究は非常に重要ですが、その研究をChatGPTを超えたAIツールに拡張することが有益だったと、AIスタートアップHugging Faceの研究者であるサーシャ・ルチオーニは言います。
BLOG
MicrosoftはBing検索エンジンとChatGPTの後継エンジンを組み合わせています
オリジナルのChatGPTはインターネット上の現在のコンテンツを認識しませんが、Microsoftは新しいバージョンのチャットボットを自社の検索エンジンBingに統合しています。
ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。
ChatGPTが世界を変革する理由
ChatGPT は数秒でエッセイを書くため、将来的には宿題としてのエッセイは不要になるかもしれません。テキストジェネレータはまったく異なるタスクを実行できます。
金曜日：ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定
ChatGPT: AIはよく嘘をつきます
Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。
AIテキストジェネレーターのChatGPTが魅力的である理由
変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ（名前の「G」）とできるだけ近くなるように学習しています。