Google "We Have No Moat, And Neither Does OpenAI"
Said to be a Googler's noteということですが、非常に興味深いですね。
- $100と13B paramのモデルでOSSの人間がどんどんイノベーションを生み出している。我々(GoogleだけじゃなくてOpenAIも）は巨大モデルにとらわれて動きがスローになってしまっている
- （追加）学習のスケール問題はLoRA, Chinchilaである程度解決されてしまった
- comparableな性能で、制約なしで無料のモデルがあるなら、みんなそれを使う*1
- Dall-EとStable Diffusionですごく差がついてしまったのはこのせい。
- LoRAのインパクトは大きい、personalized AIを数時間でcookできてしまう。いろいろな新規なアイデアをどんどん試して生まれていく素地となっている。小さい新規タスク用データセットでも十分ワークできる
- データは量より質、という揺り戻しが再度きている。
- OSSで新奇なアイデアを実装してくる人たちは、自分のニーズを満たすために作っている。実際に使う人はLLMのユースケースを一番わかっている
- 実は、今の勝者はMetaではないか？リークして使われているLLaMAモデルはMetaのものだからだ。
- chromeとandroidでブラウザとスマホのエコシステムを制覇したはずのgoogleが、llMのエコシステムを奪う重要性を忘れてはならない
ここから、いくつか思いつくこととして
- もはや巨大なLLMは良いfoundationがあれば十分。そこからミニマルに新しいアプリ・フィーチャーをどんどん追加学習で生み出せて、そのほうが市場開拓力がずっと高い
- 実際、巨大モデルをスクラッチから再学習させるのはGoogleであっても厳しい
- この著者はecosystemで存在感をもつためにOSS化していくことは、直近ではuncomfatableな決定をしていかなくてはならない、と書いてある。つまり、そっちに踏み切ることは大企業であればあるほど難しくなる・・・・
- この決断ができる組織は、その意味で強さがある。
- データと計算資源のrich manが勝つ、という当初の見込みが完全に崩壊している。
- personalized AIは、AIコンサル業の典型的な仕事の一つになるかもしれない
*1:実際、これを読んでもChatGPTへの課金は辞めてもいいかな、と思えてしまった
