編集者注:タイトルの大部分を含め、このブログ記事の大部分はChatGPTによって書かれました。カイルが執筆したテキストはイタリック体で表示されています。このブログ記事のベースとなったChatGPTとの対話は、[こちら](https://chat.openai.com/share/efa7424b-94cb-412b-ae5a-4fbf889f9ca5)でご覧いただけます。またこのブログ記事を、カイルの声で[聴く](https://drive.google.com/file/d/1sbf-jE9FSA0WrPszw8XoP2jooQzCZRuq/view「カイルの声で録音されたAI記事」)こともできます。カイルはこの記事を読み上げて音声を録音したわけではありません。代わりに、音声サンプルを[play.ht](http://play.ht 「Play HT」)というサービスにアップロードし、play.htにこのブログ記事のテキストを提供することで、AIを使った彼の音声が合成されました。
暗号通貨と人工知能(AI)の世界は並行して進化しており、各ドメインがテクノロジーとイノベーションの限界を押し上げています。 両分野での前進を続けるにつれ、両ドメインの未来が密接にリンクしていることがますます明らかになってきています。この記事では、暗号通貨とAIが交錯する4つの重要な交点について掘り下げていきます。
「グラフィックカードのAirbnb」モデル
AIと機械学習(ML)ワークロードの台頭により、Nvidia A100のような高性能グラフィックスカードに対する需要が高まっています。これを受けて、「グラフィックカードのAirbnb」のような新たな市場が出現しました。これにより、個人や組織は未使用のGPUリソース を貸し出し、AI研究者や開発者の需要を満たすことがでるようになります。
これは、さまざまな市場の歴史の中で真にユニークな瞬間です。GPUの供給は、ChatGPTの提供が始まる前からすでに不足していました。それ以来、需要はおそらく少なくとも10倍、ひょっとしたら100倍になっているかもしれません。さらに、モデルは学習サイズに応じて対数的に向上することがわかっています。つまり、GPUコンピューティングの需要は、モデルの品質が直線的に向上するのに対して、指数関数的に増大するということを意味します。ある製品群の総供給が総需要をはるかに上回っているという事実にもかかわらず、特定の製品の需要が使用可能な供給をこれほど大きく上回ったことは、これまでほとんどありませんでした。もし今、世界中のすべてのGPUがAIの推論やトレーニングに使えるとしたら、不足するどころか、むしろ余剰となっているでしょう。
しかし、「グラフィックカードのAirbnb」の概念を検討する際に考慮すべき重要な技術的課題がいくつかあります。
- すべてのグラフィックカードがすべてのワークロードをサポートできるわけではない:グラフィックカードには、さまざまな形状、サイズ、および仕様があります。そのため、GPUによっては特定のAIタスクを処理できない場合があります。このモデルを成功させるためには、適切なGPUリソースを適切なAIワークロードにマッチングさせる方法が必要です。市場が成熟するにつれて、さまざまなAIタスクに対応するために、グラフィックカードがさらに特化し最適化することが予想されます。
- 高レイテンシーに対応す るための学習プロセスの調整:今日の基盤モデルのほとんどは、極めて低レイテンシーの接続で接続されたGPUのクラスター上で学習されています。分散型環境では、GPUが複数の場所に分散し、公共のインターネットを介して接続される可能性が高いため、レイテンシーは数桁増加します。この課題を克服するために、より高いレイテンシー接続を想定した新しい学習プロセスを開発する機会がもたらされます。AIモデルの学習方法を見直すことで、より大きなGPUの分散型クラスターをより有効に活用できるようになります。
- 検証問題:信頼できないコンピューターが特定のコード部分を実行したかどうかを知ることは不可能です。したがって、信頼できないコンピュータの出力を信頼するのは難しい場合があります。しかし、この問題は、経済的動機付けによる暗号通貨のステーキングと組み合わせたレピュテーションシステムや、場合によっては、高速な検証を可能にする新しいタイプのモデルによって軽減することができます。
この分野では、かなり多くのチームが学習と推論の両方で取り組んでいます。Multicoin Capitalは、[Render Network](https://rendertoken.com/「Render Network」)に投資しています。同社は、もともと[3Dレンダリング](https://multicoin.capital/2021/12/21/rendering-the-metaverse/「Rendering the Metaverse」)に焦点を当てていましたが、その後、GPUのネットワークを開放して[AI推論もサポート](https://twitter.com/JulesUrbach/status/1645464824678318081?s=20 「Jules on Twitter」)しています。
Render Networkの他にも、このセクターで取り組んでいる企業はいくつかあります。[Akash](https://akash.network/「Akash」)、[BitTensor](https://bittensor.com/「Bit Tensor」)、[Gensyn](https://www.gensyn.ai/「Gensyn」)、[Prodia](https://app.prodia.com/#/art-ai 「Prodia」)、[Together](https://www.together.xyz/「Together」)。その他ステルスモードの企業もあります。
トークンインセンティブ付け人間のフィードバックからの強化学習(RLHF)
トークンによるインセンティブは、人間のフィードバックからの強化学習([RLHF](https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback「RLHF」))のすべてのユースケースで機能するわけではありません。問題は、トークンによるインセンティブ付けがRLHFにとって理にかなう場合と、現金による支払い(例えばUSDC)を代わりに用いるべき場合について、どのようなフレームワークを用いて検討することができるかということです。
トークンインセンティブは、以下のことがより真実になるにつれてRLHFを改善する可能性が高くなります:
- モデルがより狭く業種に特化する(汎用的な業種向けのChatGPTなどとは対照的)。 本業としてRLHFを提供するワーカー、つまりRLHFを提供することで収入の大半を稼いでいるワーカーは、家賃の支払いや食料品の購入のために現金を望むと考えられます。モデルが一般的なクエリから、より具体的なドメインへと移行するにつれて、モデル開発者は、より高度な訓練を受けたワーカーの関与を必要とします。これらのワーカーはビジネスチャンス全体の長期的な成功に関心がある可能性が高いです。
- RLHFを提供するワーカーの、RLHFの仕事以外の収入の割合がより高くなる場合。 ドメイン固有のRLHFモデルに重要な時間を投資するリスクを正当化できるだけの十分な収入や貯蓄が他の活動から得られる場合、現金の代わりに、ロックアップ設定されたトークンや流動性の低いトークンを報酬として受け取る余裕ができます。成功の確率を最大化するためには、モデル開発者はドメイン固有のRLHFを提供するワーカーにロック解除されたトークンを単に配布すべきではありません。その代わり、長期的な意思決定にインセンティブを与えるために、トークンは、一定期間経過した後に権利が確定(べスティング)するようにする必要があります。
トークンインセンティブ付RLHFモデルが適用できる業界の中には次のものがあります。
- 医薬: 簡単な初動対応の診断だけでなく、長期的な予防や長寿に焦点を当てた医薬の両方において、LLMを利用することができます。
- 法律:企業経営者や個人は、LLMを活用することで、さまざまな異なる法制度の複雑さをより効果的かつ効率的にナビゲートできるようになります。
- エンジニアリングと建築: 設計ツールやシミュレーション・モデルの強化。
- ファイナンスと経済学:予測モデル、リスク評価、アルゴリズム取引システムの改善。
- 科学研究:実験のシミュレーション、分子間相互作用の予測、複雑なデータセットの解析のためのAIモデルの改良。
- 教育およびトレーニング:教育コンテンツの質と効果を高めるため、AI主導の学習プラットフォームに貢献。
- 環境科学とサステナビリティ:環境上の動向の予測、資源配分、持続可能な実践を促進するためのAIモデルの最適化。
トークンインセンティブ付きのRLHFが既に実際に導入されている業種の一つに地図作成があります。[Hivemapper](https://hivemapper.com/「Hivemapper」)は、ドライバーだけでなく、マッピングデータの編集やキュレーションに時間を費やす編集者にとっても報酬を提供しています。Hivemapperの[Map AIトレーニングツール](https://hivemapper.com/contribute/map-ai-training/「AIトレーニング」)を使って、自分で試すことができます。
ゼロ知識機械学習(zkML)
ブロックチェーンは、現実世界で何が起きているか把握しません。しかし、IRLの状態に基づいてプログラムで価値を移動できるようするために、ブロックチェーン外で発生するイベントを知ることは非常に有益になり得ます。
オラクルはこの問題の一部を解決しています。しかし、オラクルだけでは十分ではありません。単にIRLデータをチェーンに中継するだけでは不十分です。チェーンに中継される前に、多くのデータの計算作業が必要になります。例えば、より多くの利回りを獲得するために、さまざまなプール間で預金を移動する必要があるイールドアグリゲーターを考えてみましょう。トラストを最小限に抑える方法でこれを行うには、アグリゲーターは利用可能なすべてのプールの現在の利回りとリスクを計算する必要があります。これはすぐに最適化に関する問題となり、MLで適切に対処することができます。しかし、MLの計算処理をブロックチェーン上で行うにはコストが掛かりすぎるため、代わりにzkMLを利用するチャンスが訪れます。
[Modulus Labs](https://www.moduluslabs.xyz/「Modulus Labs」)のようなチームが現在この分野で構築しています。Multicoin Capitalは、[Risc Zero](https://www.risczero.com/「Risc Zero」)や[Lurk](