GPT-3のトレーニングには70万リットルの水が必要であると研究で明らかにされています
AIモデルは大量の電力だけでなく、多くの水も必要とします。新しい研究により、ChatGPTやGoogleのLaMDAが実際にどれだけ「渇望している」かが明らかになりました。
人工知能が我々の日常生活に深く浸透するにつれて、その持続可能性に関する問題はより重要になってきます。この文脈において、MidjourneyやChatGPTなどのアプリケーションを開発し運用するデータセンターの電力消費と排出量が問題視されています。特に、一日に数百万回も使用される複雑なモデルやアプリケーションは、運用に多大なエネルギーを必要とするため、AIの全体的な二酸化炭素排出量は相当複雑だと言われています。
これまで水の足跡はほとんど注目されていませんでした。
データセンターの運用とトレーニングには、電力だけでなく、システムの冷却に使用される水という同様に価値あるリソースが必要です。この側面は、持続可能なAIに関する議論ではこれまで二次的な役割を果たしてきました。特に、水が既に不足している地域では、水の消費を過小評価すべきではありません。
これは、カリフォルニア大学リバーサイド校の研究者が最近発表したプレプリント論文で述べている内容です。彼らの報告によると、「米国にあるマイクロソフトの最新の高性能コンピューティングセンターの一つでGPT-3を訓練するのに、約70万リットルの水が使用された可能性がある」とされています。これはおよそ320台のテスラ車を生産するのに相当します。さらに、平均して20～50の質問を含むChatGPTとの会話一回につき、0.5リットルの飲料水が使用されると推定されています。OpenAI、Microsoft、Googleなどの企業は、自社のAIアプリケーションの電力と水の消費に関する公式の情報を提供していないため、このテーマに関する事実上すべての研究は、さまざまな技術的な主要データに基づく推定に基づいています。
研究者たちは、水の抽出、つまり川からの水を物理的に取り出す行為と、水の消費を基本的に区別しています。これは、データセンターが冷却され水が蒸発して失われる場合に直接的に生じることも、発電に必要な水を含む場合に間接的に生じることもあります。
AIによる水の消費量（直接的および間接的）を推定するため、研究者たちは、米国内の4つのGoogleデータセンターの位置、そこにある気象データ、地域のエネルギー構成と冷却塔の平均効率に関する情報を含むモデルを開発しました。彼らはこの計算を利用して、GoogleのAI言語モデルLaMDAの58日間のトレーニングで消費された可能性のある水の量を推定しようとしています。結果によると、LaMDAは80万から280万リットルの水を使用した可能性があります。
研究チームは自分たちのモデルの限界を認識しています。「LaMDAの推定水フットプリントは、研究コミュニティにとって大まかなガイドとして機能する」と論文で述べています。より正確な計算は、開発者の洞察がなければ不可能です。それにもかかわらず、この研究からはいくつかの重要な結論が導き出されます。AIのトレーニングは、できるだけ寒くて冷却に必要な水の量が少ない冬の間または夜間に行うことが推奨されます。データセンターは、既に高温で水が不足している場所には建設すべきではありません。
「『いつ』と『どこで』が、大規模なAIモデルの水消費量に大きな影響を与える可能性がある」と分析しています。最後に重要なのは、著者たちはAIモデルの水フットプリントの透明性を高める必要があると指摘しています。「世界的な水問題との戦いの一環として」、水の消費を優先する必要があります。
BLOG
MicrosoftはBing検索エンジンとChatGPTの後継エンジンを組み合わせています
オリジナルのChatGPTはインターネット上の現在のコンテンツを認識しませんが、Microsoftは新しいバージョンのチャットボットを自社の検索エンジンBingに統合しています。
ChatGPT & Co.: BSIはセキュリティに対する「前例のない課題」を認識しています
サイバーセキュリティの現状は脅威であり、「いつでもエスカレートする可能性がある」とフェーザー内務大臣が警告しています。BSIは、国内のさらに多くのシステムをスキャンしたいと考えています。
ChatGPTが世界を変革する理由
ChatGPT は数秒でエッセイを書くため、将来的には宿題としてのエッセイは不要になるかもしれません。テキストジェネレータはまったく異なるタスクを実行できます。
金曜日：ChatGPTのニュースにもかかわらず、ヨーロッパ人3人がISSミッションに参加している一方、Bingの市場シェアは依然として低いままです
ChatGPT 検索エンジンにはボーナスなし + ISS ミッションは非公開で開始 + アイオワ対 TikTok + インディゲームのトレーラー + フランス対 Yahoo + 現金支払い限定
ChatGPT: AIはよく嘘をつきます
Jürgen Schmidt は、ChatGPT を活用して現在のセキュリティ クイズを作成しました。その結果、ChatGPT の限界と AI のリスクについて興味深い洞察が得られました。
AIテキストジェネレーターのChatGPTが魅力的である理由
変圧器ネットワークについて ChatGPTは、OpenAIが2020年に開発したGPT-3という言語モデルを基にしています。GPT-3は、ほぼ完璧な英語でさまざまなスタイルのテキストを生成する能力を持っています。このニューラルネットワークは、いわゆる事前学習を通じてインターネットからのテラバイト単位のテキストデータを学習しました。これが名前に「P」が含まれる理由です。また、生成するテキストがトレーニングデータ（名前の「G」）とできるだけ近くなるように学習しています。