Bag of ML Words

ML = Machine Learning, Music Love, and Miscellaneous things in daily Livings

2023-01-01から1年間の記事一覧

書評:「世界一流エンジニアの思考法」 主にソフトウェアエンジニア向けだが良書!

お久しぶりです。年末、今年一番じゃないか?という良書にであったのでご紹介です。 世界一流エンジニアの思考法 牛尾 剛 (著) 著者のかたはMSエヴァンジェリストとして成功しながら、MSのazure開発チーム(多分)にソフトウェアエンジニアとして参加します…

pyenv localで設定されたpythonを、どうしてもpoetryが使ってくれない時~

pyenv env infoを見ると、systemもvirtualenvもsystemの設定になってて、.python-versionで指定された奴を読んでくれないときですね・・・ pyenv env use pytnon3.10 とかすると、systemもvirtualenvも書き換えられます。それもそれで違うんだけど・・・

Chrome key shorcut disabler

VS Codeをブラウザ経由で使うようになって、便利なんですが、chromeのキーボードショートカットとぶつかってしょうがない。 とくに、emacs keymapでkill ring regionの Ctrl-Wをコピペのためにつかうんですが、これがchromeのclose tabとぶつかる。 そこで下…

Windows 11 Pro - WSL2 - ubuntu - dockerで容量が圧迫される!

気づくと900GあるCドライブがパンパンになっていてびっくり。 細かくduコマンドなどで追跡していくと、WSL-Ubuntu-Docker周りですくなくとも200G以上奪われていることが判明。 どちらも、 たとえばDockerは、docker rmiでイメージを消しても、WSL上のe…

We have No Moat and neiher does OpenAIを読んで

Google "We Have No Moat, And Neither Does OpenAI" Said to be a Googler's noteということですが、非常に興味深いですね。 - $100と13B paramのモデルでOSSの人間がどんどんイノベーションを生み出している。我々(GoogleだけじゃなくてOpenAIも)は巨大モ…

Jack Daniel's 初めてのバーボン(じゃなくてテネシーウイスキーだそうで)

24くらいにウイスキー飲み始めてからずっとスコッチ1本だったんですが、バーボンの飲まず嫌いも良くないだろうと、ド定番のこちらを・・・ バーボンじゃないと書いてありますが、トウモロコシ80%?も使ってたらバーボンの範疇だろう! スパークリング…

Ouyang+, "Training Language Models to Follow Instructions with Human Feedback" よみました

遅くなりましたが、次も読みました。InstructGPT. これでChatGPTにむけての部品が全部そろったってことですね。いよいよ。 Ouyang+, "Training Language Models to Follow Instructions with Human Feedback", arxiv 2022 · Issue #12 · k-ishiguro/Papers-m…

書評:「グリーンジャイアント 脱炭素ビジネスが世界経済を動かす」 

総評:良かったです。脱炭素・グリーンビジネスの現状について認識を大いに改めされられました。 最近、自己啓発とかPDCAとかそういうのばっかりだったのですが、これは別の話題でヒットきたです。 21年9月に出版ということなので、それほど古くない情報…

Brown+, "Language Models are Few-Shot Learners", NeurIPS 2022 ---- ただのスケール則論文??

github.com 遅れに遅れたが、GPT-3も読みました。GPT-2との違いは、圧倒的なスケールアップだけなんですが、それが(タスクによっては)きれいに性能向上につながっており。 ただ、スケールアップしすぎて、もう誰も再実験できなさそうなBig Scienceの世界に…

Radford+, "Language Models are Unsupervised Multitask Learners", OpenAi Tech Rep. 2019 (a.k.a. GPT-2) 読んだ

GPT-2もなんとか書いたぞ・・・ まだ、まだビハインドではないはずだ 正直、GPT-1論文ほどの感動がなくて、当時もうーんと思った覚えがある。今もうーんとなっている。 次、GPT-3。世のbotとか、GPT-3 APIになってからクオリティが上がった気がするので、gp…

Radford+, "Improving Language Understanding by Generative Pre-training", 2018

まずは最初のコミットメントとして。ちゃんと読んだぞ・・・ 次はGPT2 Radford+, "Improving Language Understanding by Generative Pre-training", 2018 · Issue #9 · k-ishiguro/Papers-metome · GitHub

2023年のゴール(仕事編)

去年、行動の改善・習慣化の本をたくさん読んだわけですが、そこで書いてあるのが「宣言効果」の利用です。 つまり、「これやるぞ」と宣言してしまうと、いった手前というプレッシャーが自分にかかるので、困難な習慣の習得などに成功しやすという話です。 …