ChatGPTの代わりとなるもの: MetasのLLaMAがオープンソースで訓練を受けています
オープンソースプロジェクトのChatLLaMAは、LLaMAを基にしたChatGPTのようなサービスを作成することを目的としており、人間のフィードバックを取り入れることを特徴としています。
Nebulyによって支援されるオープンソースプロジェクトであるnebullvmは、MetaのLLaMAに基づく独自のチャットボットの構築を助けるツールであるChatLLaMAをリリースしました。これは、OpenAIのChatGPTにも採用されている「ヒューマンフィードバックによる強化学習」（RLHF）に依存しています。
Metaは、OpenAIのGPT-3やGoogleのPaLM（Pathways Language Model）などの言語モデルの競合として、2023年2月末にLLaMA（Large Language Model Meta AI）をローンチしました。LLaMAについての論文を発表したMetaのAIチームによると、LLaMAは多くのベンチマークで顕著に優れたパフォーマンスを示しています。
このモデルは70億から650億のパラメータを持ち、大規模言語モデル（LLM）がますます大きくなる近年の傾向に挑戦します。GPT-3は1,750億のパラメータを持ち、PaLMはそれの3倍にあたる5,400億のパラメータを持っています。2022年5月、Metaは、1億2,500万から1,750億のパラメータを持つ一連の言語モデルであるOpen Pre-trained Transformer（OPT）を発表しました。
ChatLLaMAトレーニングシフト
ChatLLaMAライブラリは独自のモデルではなく、Metaのモデルに基づいています。利用にはLLaMAへのアクセスが必要で、関心のある方はMetaのフォームから申請できます。このライブラリは、7億、13億、33億、及び650億のパラメータを持つすべての言語モデルアーキテクチャで機能します。
ChatLLaMAは、事前トレーニングされたLLaMAモデルに対するRLHFプロセスを用いたトレーニングを提供します。モデルトレーニングに人々を巻き込むこの原則は、ChatGPTなど他のツールでも初めから採用されています。OpenAIはDeepMindと共同で、「人間の好みからの深層強化学習」に関する論文をarXivに公開しました。これには、GPT-3システムの弱点が背景にあり、それがOpenAIが長期にわたって同モデルをリリースしなかった主な理由でした。
人間をアシスタントコーチとして
2022年の初め、OpenAIは人間を取り入れた拡張モデルであるInstructGPTをリリースしました。同社は、ChatGPTのトレーニングにも同様の原理を適用しています。
ChatGPTとChatLLaMAのRLHFアプローチでは、人間のトレーナーがチャット中にユーザーとAIアシスタントの役割を交互に担います。強化学習の報酬システムでは、人間のトレーナーがプロンプトに対するさまざまな反応を評価します。最終的に、PPO（Proximal Policy Optimization）モデルを使用して経費を最適化します。
Metaは、LLaMAのアプローチがトレーニングのためにプロジェクト・グーテンベルグの書籍を含む公に利用可能なデータセットのみに依存しているため、「オープンソースとの互換性があり、再現性がある」と強調しています。現時点では、MetaはRLHFプロセスでトレーニングされたモデルを提供していません。
OpenAIの足跡をたどる
この部分はNebulyのオープンソースプロジェクトChatLLaMAに継承されており、OpenAIと同じ原理が採用されています。プロジェクトページにはOpenAIのメカニズムを示す図表も掲載されています。このライブラリは、事前トレーニングされたLLaMAモデルを基にしてChatGPTスタイルのチャットボットを作成することを目的としています。
モデルが実際にどのように機能するかは、MetaがLLaMAへのアクセスを公開し、モデルの重みを提供する際に明らかになります。
GitHubのプロジェクトページでは、オープンソースプロジェクトとしてのChatLLaMAの実装と、独自のモデルトレーニングを開始するためのシンプルなコードサンプルが提供されています。
BLOG
MicrosoftはBing検索エンジンとChatGPTの後継エンジンを組み合わせています
オリジナルのChatGPTはインターネット上の現在のコンテンツを認識しませんが、Microsoftは新しいバージョンのチャットボットを自社の検索エンジンBingに統合しています。
ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。
ChatGPTが世界を変革する理由
ChatGPT は数秒でエッセイを書くため、将来的には宿題としてのエッセイは不要になるかもしれません。テキストジェネレータはまったく異なるタスクを実行できます。
金曜日：ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定
ChatGPT: AIはよく嘘をつきます
Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。
AIテキストジェネレーターのChatGPTが魅力的である理由
変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ（名前の「G」）とできるだけ近くなるように学習しています。