ChatGPTのクローンはすべてのコンピューターでローカルに実行されています。アルパカ/LLaMAを試してみました

最近まで、これはまったく考えられないことでした。ChatGPTに匹敵する音声AIが、標準的なコンピュータ上でローカルに実行されるのです。しかし、私は3003を試してみませんでした。

見てください、これは全く普通のコンピュータで、インターネットには接続されていません。そして、私は今、「空はなぜ青いのか？」と英語で質問しています。答えはすぐに出ます。

「タンザニアの首都はどこですか？」はい、答えはドドマです。次に、アーティチョークについての詩を書きます。もし今、「ふーん、それは特別なことじゃない」と思っているなら、それは完全に間違っています。なぜなら、これは数週間前にはまったく考えられなかったことだからです。

本格的なAI言語モデルが、消費者向けハードウェア上でローカルに実行される時代が来ました。これまで、このような機能は非常に高価なサーバーグラフィックスハードウェアでしか動作しませんでした。「非常に高価」とは、約80,000ユーロのハードウェアを意味します。

このビデオでは、LLaMAとAlpacaの違いを説明します。私が使用している言語モデルはそのように呼ばれています。これがなぜ本当に歴史的な瞬間なのか、そして何よりも、これを自分のコンピュータにインストールするにはどうすれば良いのかを説明します。理論上、Raspberry Piでも十分です。

親愛なるハッカー、親愛なるインターネットサーファーの皆さん、ようこそ…

はい、これは別のAIビデオですが、残念ながらそれは、基本的に世界の知識が含まれている本格的な言語モデルを私の小さなコンピュータで実行できるという事実に完全に衝撃を受けたからに違いありません。あるいは、もう少し控えめに言うと、ほぼすべての知識がインターネット上で見つかります。つまり、ChatGPTと比較して、実際には完全にローカルで実行されます。例えば、コンピュータサイエンスの教授であるTom Goldsteinは、ChatGPTを実行するには、5つのNvidia A100サーバーGPU（各80GBのRAMが必要）が必要であると想定しています。

私が見つけたこれらのカードの最安値は16,694ユーロでした。したがって、5倍すると83,000ユーロを超えます。そしてもちろん、通常はそのようなハードウェアを購入せず、クラウドでレンタルします。しかし、全体として、家で遊ぶものではありません。

ハードウェアのせいだけでなく、ChatGPT、GPT-3、GPT-4の背後にあるメーカー、つまりOpenAIがそれほどオープンではなく、結果を売りたいだけであり、その背後にあるテクノロジーを売りたいわけではありません。主要なOpenAI製品はすべてブラックボックスです。

さて、元FacebookであるMetaは最近、角を曲がって、「L」が2つ付いたLLaMAを公開しました。GoogleのLaMDAと混同しないでください。LLaMAはGPTに匹敵する言語モデルですが、はるかにオープンです。たとえば、OpenAIとは異なり、Metaはモデルのトレーニングにどのようなデータを使用したかを正確に示します。その最大部分、つまり67%は5つの英語版CommonCrawlダンプで構成されており、それぞれのダンプには30億のWebサイトのコンテンツが含まれています。したがって、人はおそらく1～2時間本を読む必要があるでしょう。

近まで、これはまったく考えられないことでした。Llamaのトレーニングデータの4.5%はGitHubからのコードであり、別の4.5%はさまざまな言語のWikipediaダンプ、さらに4.5%はProject GutenbergとBook3の書籍です。その他いくつかのデータも含まれており、合計で4.7テラバイトの純粋なテキストになります。詳しい説明とメタペーパーのリンクを記事に貼り付けておきます。非常に分かりやすく、非常に興味深い内容だと感じました。

はい、LLaMAは情報源について透明であり、さらにメタはラマの訓練にどれだけのエネルギーを消費したかを正確に述べています。Facebookによると、前述した80ギガバイトのA100カードのうち2048枚が5か月間稼働しました。これにより、2,638メガワット時のエネルギーが消費され、1,015トンのCO2が排出されました。これは、ミュンヘンからニューヨークまでの飛行機を利用する267人分に相当します。

コストの観点から言えば、クラウドでのA100の時間あたりのコストが約1米ドルであるとすると、総額は730万米ドルとなります。これがトレーニング費用です。したがって、メタはこの背景情報を公開するだけでなく、ソフトウェアも公開しています。ただし、モデルへのアクセスは手動で申請が必要であり、必ずしも100%のアクセスが保証されるわけではありません。そして、Metaが承認した場合、これらは無料で利用可能です。はい、メタがそれを決定したいと考えています。しかし、数日後、データがオンラインでtorrentとして見つかりました。そして、はい、猫が袋から出てしまいました。そして今では、メタが望むかどうかにかかわらず、基本的に誰でもソフトウェアにアクセスできるようになりました。

もちろん、多くの人々がすぐに実験を始めました。私の見解では、最も印象的なプロジェクトはスタンフォード大学の研究者5人によって実施されたものです。彼らはラマ言語モデルを採用し、ChatGPT向けに微調整しました。プロジェクトの名前は「Alpaca」です。LLaMA、アルパカを見てください。問題は、ラマが質問にすぐに答えることが得意ではなく、文章を完成させることしかできないということです。

したがって、「ハノーバーでの週末に何をするか」を尋ねる代わりに、もう少し工夫して、「ハノーバーでの完璧な週末は次のようになります」と書く必要があります。そして、それで完了です。そして、彼らが単に100ドルを支払い、GPT-3 APIインターフェースを介してOpenAIからテキストアクセスを購入し、52,000の質問と回答のペアを調べたというのは面白いです。

彼らは自分で質問を考え出すこともなく、175個の質問を与えてGPT-3にフィードし、GPT-3が何万もの新しい質問を生成しました。つまり、基本的には自分自身の本質、あるいは核心が露わになったのです。

はい、そしてスタンフォード大学の研究者たちはさらに500ドルを支払ってクラウドの計算能力を購入し、52,000の質問と回答のペアを使用して既存のLLaMAモデルを微調整しました。その結果がアルパカです。そしてスタンフォードの研究者によると、これはOpenAIの最高のGPTサブ言語モデルの1つであるtext-davinci-003の機能に匹敵するはずです。しかも、パラメータはわずか70億個で、text-davinci-003には1,750億個あります。彼らは600ドルで最先端のAI言語モデルをトレーニングまたはクローン化しました。最近まで、これはまったく考えられませんでした。

過去には、このような製品の価格が下がると予想されていましたが、これほど早く実現するとは誰も思っていませんでした。本日より、Alpacaを簡単にダウンロードできるようになりました。torrentなどをいじる必要はなく、コマンドラインでコマンドを実行するだけです。

しかし、もちろん、それは法的にグレーゾーンにあります。結局のところ、それはMetaのLLaMAを基にしており、実際にはMetaによってアクセスが許可された人だけが利用できるものです。また、OpenAIによると、Alpacaの微調整にはOpenAIのクローズドソースのGPT-3言語モデルが使用されており、これも違法だとされています。

これまでのところ、MetaとOpenAIの両方がAlpacaに対応していません。しかし、Alpacaを商用目的で使用するのは絶対に避けるべきだと思います。それは裏目に出る可能性があります。正直、それをいじると個人として問題に巻き込まれるかどうかはわかりません。少し注意するようにアドバイスします。ビデオをご覧ください。それだけで十分かもしれません。

いずれにしてもパンドラの箱は開かれており、真の100%オープンで合法的なオープンソースソリューションがおそらく間もなくこのすべての混乱から現れるだろうと私は強く信じています。

OpenAIの画像ジェネレーターDall-E2のリリース直後にStable Diffusionが登場したのと似ています。もちろん、インテリジェントな言語モデルが悪用される可能性がありますが、私はAlpacaの開発者と同じ考えです。彼らは文書に、リスクは承知の上で、研究コミュニティにとっての利点が欠点を上回ると記載しています。

では、このような言語モデルが次にスカイネットとなり、人類を征服するのでしょうか？インターネットはジャンクテキストやスパムで埋もれるのでしょうか？ぜひコメントでご意見をお聞かせください。もちろん、チャンネル登録もお願いします。しかし、OpenAIのビジネスモデルが現在不安定であることは明らかです。

では、今、これをどうやってインストールするのでしょうか？したがって、法的状況についてはすでに警告しました。一般的なお勧めは、少し待つことです。まだかなりバグが多く、不安定です。したがって、現在は法的状況から距離を置いています。

興味があり、実際に試してみたい場合、Dalaiを使用してインストールするのが最も簡単だとわかりました。アルパカ、LLaMA、ダライ、ダライ ラマ、笑っていますか？これはJavaScriptランタイム環境であるNode.jsを介して実行され、ローカルWebサーバーを開くだけでブラウザから操作できます。

そして何より、Windows、Mac、Linuxのどれを使用していても、すべてが機能します。Twitterでは、すでにAndroidスマートフォンにインストールしている人もいることが確認されています。もちろん、古いWindowsコンピューター、新しいPC、M2 Maxを搭載したコンピューターでも使用できます。

コンピューターにNode.jsとPythonがまだインストールされていない場合は、これらを最初にインストールする必要があります。Windowsでは、Node.jsと必要なPythonが含まれているVisual Studioを使用するのが最善です。インストール中にこれら3つのオプションを選択する必要があります。その後、Windowsテストコンピューターの1つで、Node.js、つまり18 LTSバージョンを手動で再インストールする必要があり、インストールが成功しました。

Windowsではコマンドライン（Powershellではなくcmdなど）を開き、macOSとLinuxでは単にターミナルを開き、「npx dalai alpaca install 7b」を入力する必要があります。確認後、コンピューターの速度に応じて少し待ってから、「npx darai serve」を実行します。それで終わりです。

その後、ブラウザでlocalhost:3000を開くだけで、グラフィカルインターフェースに直接アクセスできます。これからはインターネットは必要なく、すべてがコンピューター上でローカルに実行されます。

何かが正常に動作していない場合は、「デバッグ」をクリックすると、バックグラウンドで何が起こっているかの詳細を確認できます。先頭の「n_predict」は、発行されるトークンの数である200に事前設定されています。トークンは4文字なので、より長いテキストが必要な場合は文字数を増やすことができます。そして「温度」も重要で、0に近づくほど、結果は静的で退屈になりますが、より正確になります。たとえば、1や0.9に近づくほど、システムはよりクリエイティブになることを意味します。したがって、もう少しフリースタイルで始め、そのような言語モデルが犯す間違いを忘れないでください。間違いは今後さらに一般的になるでしょう。

しかし、影響力がはるかに少ない他の言語モデルとは異なり、さまざまな実験を行うことができます。Dalaiはテンプレート、つまりプリセットモードも提供しています。ここでは、「Translate」は翻訳用、「Rewrite」は書き換え用で、それをクリックするだけで、「Prompt」と表示されている場所に入力するだけです。たとえば、何を入力したいかを翻訳してください。

インストール用のすべてのコマンドはビデオの説明に書かれています。その他のコマンドはすべてDalaiのGitHubページにあります。もちろん説明文にもリンクを付けています。より大きなモデルをコンピュータにロードするために必要なコマンドもあります。つまり、アルパカとLLaMAの両方です。そして、インストールが完了すると、ここの右側で言語モデルを選択できます。最も大きなモデル「llama.65B」は32GBのメモリを必要としますが、「alpaca.7B」はわずか4GBです。ちなみに、Dalaiはビデオメモリではなく、CPU、つまり単にシステムメモリで実行されます。

非常に少ないメモリでも動作させる秘訣は、4ビットへの量子化です。その結果、モデルが使用するメモリは大幅に少なくなりますが、量子化がテキストの品質の低下につながるかどうかは、研究コミュニティにとってまだ不明瞭です。先ほども言ったように、すべてはまだ進行中の作業であり、解明すべきことがまだたくさんあります。一般に、最もエキサイティングなことは、それがどういうわけかすでに消費者向けハードウェア上で実行されており、そのモデルがChatGPTでできることをほぼ実行していることですが、多くの点で、少なくとも私たちのテストでは、それらは大幅に劣っています。

たとえば、「llama.30b」という中間サイズのモデルでは、このようなものしか生成されませんでした。それで、コンピューターが導電性ペーストを飲みすぎたかのような状態です。理解できません。したがって、ChatGPTやGPT-4をすぐに置き換えることができると考えるべきではありません。それは絶対に無理です。

しかし、先ほども述べたように、すでにある程度機能しているという事実は驚くべきことであり、既存のテクノロジー企業以外でも、AIというトピックが現在どれほど急速に発展しているかを示しています。本当に腰を据えて取り組む必要があります。それはエキサイティングではありますが、同時に困難でもあります。さようなら。

BLOG