遅くなりましたが、次も読みました。InstructGPT. これでChatGPTにむけての部品が全部そろったってことですね。いよいよ。 Ouyang+, "Training Language Models to Follow Instructions with Human Feedback", arxiv 2022 · Issue #12 · k-ishiguro/Papers-m…

総評：良かったです。脱炭素・グリーンビジネスの現状について認識を大いに改めされられました。 最近、自己啓発とかPDCAとかそういうのばっかりだったのですが、これは別の話題でヒットきたです。 ２１年９月に出版ということなので、それほど古くない情報…

github.com 遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが（タスクによっては）きれいに性能向上につながっており。 ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界に…

GPT-2もなんとか書いたぞ・・・ まだ、まだビハインドではないはずだ 正直、GPT-1論文ほどの感動がなくて、当時もうーんと思った覚えがある。今もうーんとなっている。 次、GPT-３。世のbotとか、GPT-3 APIになってからクオリティが上がった気がするので、gp…

まずは最初のコミットメントとして。ちゃんと読んだぞ・・・ 次はGPT２ Radford+, "Improving Language Understanding by Generative Pre-training", 2018 · Issue #9 · k-ishiguro/Papers-metome · GitHub

去年、行動の改善・習慣化の本をたくさん読んだわけですが、そこで書いてあるのが「宣言効果」の利用です。 つまり、「これやるぞ」と宣言してしまうと、いった手前というプレッシャーが自分にかかるので、困難な習慣の習得などに成功しやすという話です。 …