We have No Moat and neiher does OpenAIを読んで
Google "We Have No Moat, And Neither Does OpenAI"
Said to be a Googler's noteということですが、非常に興味深いですね。
- $100と13B paramのモデルでOSSの人間がどんどんイノベーションを生み出している。我々(GoogleだけじゃなくてOpenAIも）は巨大モデルにとらわれて動きがスローになってしまっている
- （追加）学習のスケール問題はLoRA, Chinchilaである程度解決されてしまった
- comparableな性能で、制約なしで無料のモデルがあるなら、みんなそれを使う*1
- Dall-EとStable Diffusionですごく差がついてしまったのはこのせい。
- LoRAのインパクトは大きい、personalized AIを数時間でcookできてしまう。いろいろな新規なアイデアをどんどん試して生まれていく素地となっている。小さい新規タスク用データセットでも十分ワークできる
- データは量より質、という揺り戻しが再度きている。
- OSSで新奇なアイデアを実装してくる人たちは、自分のニーズを満たすために作っている。実際に使う人はLLMのユースケースを一番わかっている
- 実は、今の勝者はMetaではないか？リークして使われているLLaMAモデルはMetaのものだからだ。
- chromeとandroidでブラウザとスマホのエコシステムを制覇したはずのgoogleが、llMのエコシステムを奪う重要性を忘れてはならない
ここから、いくつか思いつくこととして
- もはや巨大なLLMは良いfoundationがあれば十分。そこからミニマルに新しいアプリ・フィーチャーをどんどん追加学習で生み出せて、そのほうが市場開拓力がずっと高い
- 実際、巨大モデルをスクラッチから再学習させるのはGoogleであっても厳しい
- この著者はecosystemで存在感をもつためにOSS化していくことは、直近ではuncomfatableな決定をしていかなくてはならない、と書いてある。つまり、そっちに踏み切ることは大企業であればあるほど難しくなる・・・・
- この決断ができる組織は、その意味で強さがある。
- データと計算資源のrich manが勝つ、という当初の見込みが完全に崩壊している。
- personalized AIは、AIコンサル業の典型的な仕事の一つになるかもしれない
*1:実際、これを読んでもChatGPTへの課金は辞めてもいいかな、と思えてしまった
Jack Daniel's 初めてのバーボン（じゃなくてテネシーウイスキーだそうで）
２４くらいにウイスキー飲み始めてからずっとスコッチ１本だったんですが、バーボンの飲まず嫌いも良くないだろうと、ド定番のこちらを・・・
バーボンじゃないと書いてありますが、トウモロコシ８０％？も使ってたらバーボンの範疇だろう！ スパークリングワインとシャンパンの違いみたいなもの？？
ド定番ということは、万人受けしやうく、飲みやすいはず。
アマゾンの商品紹介によると
- テイスト:まろやかでバランスの取れた味わい、オーク樽のほのかな風味、スムースでドライな後味
- アロマ:バニラ、キャラメル、アーモンドのバランスの良い香り
とのことですが、はてさて。
飲みかた：ロック
０口目～一口目
・・・・・・・無臭？
とおもうぐらい香りを感じないとおもったが、後から清冽な香りが。おお、これは完全に「樽」の木のにおいではないか？
どう見てもバニラやキャラメルの香りはしない。
まだほとんど氷が溶けてない状態で一口。
んー、なんだこの味は・・・ うまく表現できないが、ドライな後味なのは間違いない。
しばらく溶かしてから・・・
二口目～
香りにはやはり甘さはあまり感じない。後味で鼻に抜けてくるアロマは確かに少し甘みがでてきたか。
味は、「木」って感じ。確かにスコッチでこんなの味のは飲んだことがない。結局、樽の木のフレーバーが強烈に感じられて、全部それに持っていかれている。
今の段階だと、普通にバランタイン１２年とか飲んでるほうが好きかも・・・
ひとまず、１瓶のみ切るころに感想が変わっていることを期待して。
04/23追記：氷大量に入れたら、少しおいしさが分かってきたかもしれない
Ouyang+, "Training Language Models to Follow Instructions with Human Feedback" よみました
遅くなりましたが、次も読みました。InstructGPT. これでChatGPTにむけての部品が全部そろったってことですね。いよいよ。
技術的な部分、とくにRLHFについては中で引用されているNIPS2017の論文のほうが数段わかりやすかったです。のでそちらもおすすめ。
Deep Reinforcement Learning from Human Preferences
書評：「グリーンジャイアント 脱炭素ビジネスが世界経済を動かす」
総評：良かったです。脱炭素・グリーンビジネスの現状について認識を大いに改めされられました。
最近、自己啓発とかPDCAとかそういうのばっかりだったのですが、これは別の話題でヒットきたです。
２１年９月に出版ということなので、それほど古くない情報になっていると思います。コロナ禍は言及されており、ロシアのウクライナ侵略には触れられず。
脱炭素、地球温暖化に対するアクションは、世界的にはもうファッションではなく、政治的ポジショントークでもなく、巨額のマネーが動く現実のビジネスの潮流として動いていて世界の政治もそれを補佐・加速することで生き残りを図っていることがいくつかの側面から語られています。
表題のグリーンジャイアントは、脱炭素ビジネスに賭けて急激な成長に成功した企業たちのことで、多分(IT)Tech ジャイアントとの対比だと思います。保護産業的な色合いが濃い（はずの）エネルギー業界でプレーヤーと資本分布の大変化が進行中で、「ああもうこれは止まらないんだろうな」というのが良くわかります。
最終章、日本の生き残る道についての章の内容だけは？？？って思いましたが・・・*1
SDGsや脱炭素、地球温暖化についての話題が「まあベターな生き方だよねぇ、でもまあ半分ファッションだし、SDGs/カーボンニュートラル経営ははやりもの」ぐらいの認識でいた（私だ）方は一読の価値があると思います。
*1:まあご愛敬、というか、この章を書かないと絶望のままで読者が終わってしまうから？
Brown+, "Language Models are Few-Shot Learners", NeurIPS 2022 ---- ただのスケール則論文？？
遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが（タスクによっては）きれいに性能向上につながっており。
ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界になっている。ＡＰＩ叩くくらいしかできなそう。
あと、知的にワクワクする感じはなかった。ＧＰＴ－２と仕組みは一緒ですからね・・・
次はChatGPTでもキモとなるRLHF論文。こっちのほうが楽しみ
