Brown+, "Language Models are Few-Shot Learners", NeurIPS 2022 ---- ただのスケール則論文？？
遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが（タスクによっては）きれいに性能向上につながっており。
ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界になっている。ＡＰＩ叩くくらいしかできなそう。
あと、知的にワクワクする感じはなかった。ＧＰＴ－２と仕組みは一緒ですからね・・・
次はChatGPTでもキモとなるRLHF論文。こっちのほうが楽しみ
