お久しぶりです。年末、今年一番じゃないか？という良書にであったのでご紹介です。 世界一流エンジニアの思考法 牛尾 剛 (著) 著者のかたはMSエヴァンジェリストとして成功しながら、MSのazure開発チーム（多分）にソフトウェアエンジニアとして参加します…

pyenv env infoを見ると、systemもvirtualenvもsystemの設定になってて、.python-versionで指定された奴を読んでくれないときですね・・・ pyenv env use pytnon3.10 とかすると、systemもvirtualenvも書き換えられます。それもそれで違うんだけど・・・

VS Codeをブラウザ経由で使うようになって、便利なんですが、chromeのキーボードショートカットとぶつかってしょうがない。 とくに、emacs keymapでkill ring regionの Ctrl-Wをコピペのためにつかうんですが、これがchromeのclose tabとぶつかる。 そこで下…

気づくと９００GあるCドライブがパンパンになっていてびっくり。 細かくduコマンドなどで追跡していくと、WSL-Ubuntu-Docker周りですくなくとも２００G以上奪われていることが判明。 どちらも、 たとえばDockerは、docker rmiでイメージを消しても、WSL上のe…

Google "We Have No Moat, And Neither Does OpenAI" Said to be a Googler's noteということですが、非常に興味深いですね。 - $100と13B paramのモデルでOSSの人間がどんどんイノベーションを生み出している。我々(GoogleだけじゃなくてOpenAIも）は巨大モ…

２４くらいにウイスキー飲み始めてからずっとスコッチ１本だったんですが、バーボンの飲まず嫌いも良くないだろうと、ド定番のこちらを・・・ バーボンじゃないと書いてありますが、トウモロコシ８０％？も使ってたらバーボンの範疇だろう！ スパークリング…

遅くなりましたが、次も読みました。InstructGPT. これでChatGPTにむけての部品が全部そろったってことですね。いよいよ。 Ouyang+, "Training Language Models to Follow Instructions with Human Feedback", arxiv 2022 · Issue #12 · k-ishiguro/Papers-m…

総評：良かったです。脱炭素・グリーンビジネスの現状について認識を大いに改めされられました。 最近、自己啓発とかPDCAとかそういうのばっかりだったのですが、これは別の話題でヒットきたです。 ２１年９月に出版ということなので、それほど古くない情報…

github.com 遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが（タスクによっては）きれいに性能向上につながっており。 ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界に…

GPT-2もなんとか書いたぞ・・・ まだ、まだビハインドではないはずだ 正直、GPT-1論文ほどの感動がなくて、当時もうーんと思った覚えがある。今もうーんとなっている。 次、GPT-３。世のbotとか、GPT-3 APIになってからクオリティが上がった気がするので、gp…

まずは最初のコミットメントとして。ちゃんと読んだぞ・・・ 次はGPT２ Radford+, "Improving Language Understanding by Generative Pre-training", 2018 · Issue #9 · k-ishiguro/Papers-metome · GitHub

去年、行動の改善・習慣化の本をたくさん読んだわけですが、そこで書いてあるのが「宣言効果」の利用です。 つまり、「これやるぞ」と宣言してしまうと、いった手前というプレッシャーが自分にかかるので、困難な習慣の習得などに成功しやすという話です。 …