Radford+, "Language Models are Unsupervised Multitask Learners", OpenAi Tech Rep. 2019 (a.k.a. GPT-2) 読んだ

GPT-2もなんとか書いたぞ・・・

まだ、まだビハインドではないはずだ

正直、GPT-1論文ほどの感動がなくて、当時もうーんと思った覚えがある。今もうーんとなっている。

次、GPT-３。世のbotとか、GPT-3 APIになってからクオリティが上がった気がするので、gpt-2からの差はどこにあるのか興味。

github.com