GPT-3に準拠した対話型言語モデル：ChatGPTは興味のある方なら誰でも参加できます
ChatGPTは対話中にフォローアップの質問に答え、誤りを認めることができます。この言語モデルは、不適切な活動や違法な活動には役立ちません。
OpenAIは、GPT-3を基に設計された新しい対話型言語モデル、ChatGPTを導入しました。このインタラクティブなチャットボットはテスト段階で無料で利用可能です。このモデルは、続く質問に対処し、誤りやその限界を認めることができますが、克服すべき課題もいくつかあります。
ChatGPTの基盤は、GPT 3.5シリーズの言語モデルです。OpenAIはこのモデルをInstructGPTの兄弟モデルと呼んでいます。後者は、2022年2月に導入されたGPT-3のカスタマイズ版で、誤情報や有害な言葉の生成を減らすことを目的としています。
偏見とフェイクニュースの問題
言語モデルはトレーニングデータに基づいているため、多くの弱点を持っています。したがって、人間が作成または提供した素材に知識のギャップがあるか、偏見を強化する場合、フィルタリングされていないモデルはこれらの仕様を反映します。OpenAIはこれらの弱点を解消するため、長い間GPT-3のリリースを控えていました。2016年、マイクロソフトは人種差別的な偏見を取り入れたオンラインチャットボットを削除しました。
対策として、ChatGPTチームはトレーニングと評価に人員を投入しています。InstructGPTと同様に、「人間のフィードバックからの強化学習」（RLHF）に依存しており、新しい言語モデルの手法が拡張されています。人間のトレーナーは、チャット中にユーザーとAIアシスタントの役割を交互に引き受けます。
強化学習の報酬システムでは、人間のトレーナーがプロンプトに対するさまざまな反応を評価します。最後に、PPO（近接ポリシー最適化）モデルを使用して評価を最適化します。
謙虚に対応する言語モデル
言語モデルの発表において、システムはフォローアップの質問に答え、間違いを認める能力があるとされています。また、誤った前提に疑問を投げかけ、不当な要求を拒否することもできます。
実際、ある質問「ChatGPTについて何を教えていただけますか？」に対して、システムは控えめに「OpenAIによってトレーニングされた大規模な言語モデルとして、ChatGPTについてトレーニングされた内容以上の具体的な情報を提供することはできません」と答えました。したがって、最初にトレーニングデータに関する制約を説明しています。
OpenAIのブログでは、誰かが家に侵入する方法を尋ねる例を挙げています。その後、ChatGPTは違法行為について話し合うことや奨励することは不適切だと述べています。実際に家を強盗から守る方法を尋ねた人の答えに応じて、言語モデルは最終的に会話形式になり、家をより安全にするための7つのヒントを提供します。
柔軟なモデル
別の例として、欠陥のあるコードに関する質問を持つ開発者がいます。最初に、コピーしたコードが期待通りに動作しないことを修正する方法を尋ねられた時、ChatGPTはコンテキストが欠如していると答え、何が期待通りに動作しないのか、それが完全なコードなのかスニペットなのかなど、さらなる情報を求めます。最終的に、モデルはコード内のresultworkerErrチャネルが決して閉じられていないことを検出し、エラーメッセージを送信した後にチャネルを閉じることを提案します。
時々いたずら
OpenAIは、あらゆる努力にもかかわらず、言語モデルには依然として一部の領域で限界があると説明しています。ChatGPTは、もっともらしく聞こえても間違っている、または意味不明な回答を提供することがあります。さらに、入力の小さな変更により、モデルは一度は正しい答えを返しますが、言い換えられた質問をされると適切な答えを知らないふりをする可能性があります。
このモデルはとにかくおしゃべりです。OpenAIによってトレーニングされた言語モデルのみであるという上記の制限が、しばしば議論の対象になります。これはおそらく、人間のトレーナーが最適化する際に、より長く、より包括的な回答を好んだためであると考えられます。また、ChatGPTは、不明瞭な質問やリクエストの意図を、質問する代わりに独自に推測する傾向があります。
登録後は誰でも参加可能
ChatGPTはプレビュー段階で無料で利用できますが、すべてのユーザーが同時にモデルのトレーニングと改善にも協力するため、これは驚くべきことではありません。言語モデルを試してみたい場合は、無料のOpenAIアカウントが必要です。
Twitterには、母親への詩からベルリンマラソンのトレーニング計画に至るまで、システムとの対話のスクリーンショットがすでに多数投稿されています。
一部のスレッドでは、LaTeXでの微分方程式の実装やTypeScriptでのジェネリックスの制限など、プログラミングタスクや開発者の質問に対する提案が表示されます。ChatGPTは、「非常に非効率なソートアルゴリズムを脳内でどのように記述するか?」など、意図的に無意味なタスクも理解します。
ChatGPTは、OpenAIアカウントを作成した後、プロジェクトページから試すことができます。heise開発者は、フォーラムで言語モデルに関する役立つ、洞察に満ちた、そして何よりも面白いディスカッションの例を喜んで受け取ります。
ただし、ChatGPTに関する短い記事を書くように求められると、システムはPR要素が多すぎるテキストを生成します。したがって、残念なことに、Heiseの編集者は週末の早い時間に失踪する代わりに、このレポートを自分で書かなければなりませんでした。
BLOG
MicrosoftはBing検索エンジンとChatGPTの後継エンジンを組み合わせています
オリジナルのChatGPTはインターネット上の現在のコンテンツを認識しませんが、Microsoftは新しいバージョンのチャットボットを自社の検索エンジンBingに統合しています。
ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。
ChatGPTが世界を変革する理由
ChatGPT は数秒でエッセイを書くため、将来的には宿題としてのエッセイは不要になるかもしれません。テキストジェネレータはまったく異なるタスクを実行できます。
金曜日：ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定
ChatGPT: AIはよく嘘をつきます
Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。
AIテキストジェネレーターのChatGPTが魅力的である理由
変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ（名前の「G」）とできるだけ近くなるように学習しています。