Brown+, "Language Models are Few-Shot Learners", NeurIPS 2022 ---- ただのスケール則論文？？

github.com

遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが（タスクによっては）きれいに性能向上につながっており。

ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界になっている。ＡＰＩ叩くくらいしかできなそう。

あと、知的にワクワクする感じはなかった。ＧＰＴ－２と仕組みは一緒ですからね・・・　

次はChatGPTでもキモとなるRLHF論文。こっちのほうが楽しみ