Bag of ML Words

ML = Machine Learning, Music Love, and Miscellaneous things in daily Livings

Radford+, "Language Models are Unsupervised Multitask Learners", OpenAi Tech Rep. 2019 (a.k.a. GPT-2) 読んだ

GPT-2もなんとか書いたぞ・・・ まだ、まだビハインドではないはずだ 正直、GPT-1論文ほどの感動がなくて、当時もうーんと思った覚えがある。今もうーんとなっている。 次、GPT-3。世のbotとか、GPT-3 APIになってからクオリティが上がった気がするので、gp…

Radford+, "Improving Language Understanding by Generative Pre-training", 2018

まずは最初のコミットメントとして。ちゃんと読んだぞ・・・ 次はGPT2 Radford+, "Improving Language Understanding by Generative Pre-training", 2018 · Issue #9 · k-ishiguro/Papers-metome · GitHub

2023年のゴール(仕事編)

去年、行動の改善・習慣化の本をたくさん読んだわけですが、そこで書いてあるのが「宣言効果」の利用です。 つまり、「これやるぞ」と宣言してしまうと、いった手前というプレッシャーが自分にかかるので、困難な習慣の習得などに成功しやすという話です。 …

2022年振り返り

今年のゴールとおすすめ本3冊 - Bag of ML Words (hatenablog.com) を見直して、じゃあ結局どうなったか?という振り返り。 仕事やキャリアの方向性について まあもう書いてもいいかと思うんですが、純粋に基礎研究を1人称でやっていくことを生業にするの…

グランツ トリプルウッド

はい、個人的には掘り出しものだった安いブレンデッドウイスキーです。 アマゾンレビューでもありましたが、同じく1000円台のバランタイン・ファイネストと比較して、こっちの方がずっと好みでした。 良い点は 1. ファイネストのようなアルコールの痛さがな…

ウイスキー バランタイン 12年 vs ファイネスト

ブレンドのスコッチの代表格の一つがバランタインBallantine'sですが、ジョニ黒と同じく初挑戦。 同じブランドですが、全然味が違うんですね。そしてお値段の意味を知った(w) なお、すべてロックでの感想です バランタイン ファイネストは普通に飲める はい…

おすすめ書籍:「「後回し」にしない技術」

kindle unlimitedで読んだのですが、素晴らしかったので自腹で物理本を買うかもしれない。 良き行動を最大限に効果を発揮させるためには習慣づけることが大事、というのは 今年のゴールとおすすめ本3冊 - Bag of ML Words で紹介した本でも触れたのですが、…

ウイスキー ジョニーウォーカー ブラックラベル

ウイスキーはずっとスコッチのシングルモルトだったのですが、ここ2,3年ほど飲んでませんでした*1 が、もうそれはやめて、また飲みはじめようかなと。血糖値気にしなくても良いし、ウイスキーは。 で、記念すべき第一弾はやっぱグレンリベットかなと思っ…

おすすめ書籍:「新1分間マネジャー」

心境の変化があって、ここ数か月はマネージャー見習いになるべく色々本読んだり日々活動しています。 マネージャー、中間管理職についてはいろいろな良本があるみたい(それだけ難しいんだろう)です。 例えばHigh Output Managmentも読んだんですが、これは…

今年のゴールとおすすめ本3冊

仕事側 昨年はいろいろあって、特に仕事ではかなりアレだって、10月11月に心機一転(転職でない)せざるを得ない状況になりました。 結果、積極的に心機一転することにして、これまでのところ、おおむねいい感じに進んでいるように思います。 なので、今…

WSL2: 起動時のwindowsディレクトリマウント失敗とworkaround

WSL2 ubuntuで普段暮らしているのですが、最近起動時にwindows (/mnt/c)がうまくマウントされないことが多いです。すると、powershell.exeとかdocker.exeとかが見つからなくなって困ります。 こちらはwin11にしたことで問題が発生したそうですが、当方はwin1…

書評:発酵の科学

納豆好き、酒好きとしては発酵という化学過程について知見を深めることは教養だろ!ということで入手。 語り口はかなり教科書っぽい上に、薬のやつみたいにドラマチックな展開はあまりないので、 淡々と話が進む。そういう意味でエンターテインメント性は薄…

書評:ブルーバックス「量子とはなんだろう」(n/n) あなたの物理的直観をアップデート

" data-en-clipboard="true">なんかブルーバックスでおすすめ頼む~といったら講談社サイエンティフィックさんからオススメされたやつ。 " data-en-clipboard="true"> 今年刊行に限れば、『量子とはなんだろう』『日本史サイエンス』がおススメです。量子と…

書評:ブルーバックス「量子とはなんだろう」 (1/n) 期待高まる

講談社サイエンティフィックの中の人からも推薦してもらった「量子とはなんだろう」 まえがきからして秀逸で非常に期待高まりますね。 量子という直観に反する「難しいもの」を理解するためには、何度も正しいストロークで素振りを繰り返してフォームを獲得…

書評:ブルーバックスの「分子レベルで見た薬の働き」 これいいよ for 論文読むことに慣れている人は

タイトル通りですが。 平山令明先生の本です。 実用化されている薬はだいたいターゲットや機序にパターンがあるので、有名著名な薬に絞ってそれらの効能などを順次解説していくものです。 ブルーバックスっていっても幅広くて、完全に気楽な読み物として読め…

Python: print(f) (formated 文字列)

知りませんでした。いろいろな変数型が混在した文字列をprintするのが簡単になるっぽい。 Pythonのf文字列(フォーマット済み文字列リテラル)の使い方 | note.nkmk.me やってみる。 >>> a = 123>>> a123>>> b = "abc">>> b'abc'>>> c = "あいう">>> c'あい…

pipevnももう古くてpoetryらしいよ・・・

pipenvですごい!新世代!快適!! と思ってたらもうpoetryの時代らしい。 cocoatomo.github.io 【Python】Poetry始めてみた & Pipenv から poetry へ移行した所感 - Qiita 早速導入してみたんですが、確かにほぼほぼpipenvと同等のことはできて、あと初期プ…

VS code: 便利なプラグイン(自分用メモ)

マシン取り換えるときとかにVSCodeで入れておきたいやつをメモしていくよ 環境整備 - emacs keymap improved - japanese language pack for visual studio code - vscode-icons これは超おすすめ! - なんというか、快適度?が段違い。 リモート・仮想環境 -…

VS CodeでGUIなjuyputer notebook + WSL interpreter

が使えるよっていう。なんと、WSL2のターミナルからVSCodeを起動できる。そして、VSCodeがjupyter notebookをサポートしてる。 参考 aadojo.alterbooth.com 前提 VSCode: python plugin, remote development pluginをインストールしておく(普通してる) WSL…

Texの章の出方をかえる

\appendix\def\thesection{Appendix~\Alph{section}}\def\thesubsection{\Alph{section}.\arabic{subsection}} こうすると、sectionは Appendix A, Appendix B, ...ってなって subsectionは A.1, A.2,..., B.1, B.2, ...ってなるってtexじいさんが言ってた!

今はpyenv + pipenv!

virtualenvとかcondaとか使わなくなったらしいよ。。。 ちょっと使ってみましたが、たしかにpipenvわかりやすいです。どこでもなんでもpipenv install でディレクトリごとの仮想環境がつくれて、pipenv shellで仮想環境立ち上げて、pipenv installで仮想環境…

Zoteroの使い方(我流、逐次更新)

Mendeley+DropBoxで運用していたんですが、PC移行のときから調子が悪くなったのでずっと乗り換えたいと思っていました。 で、Twitterで相談したら、"Zoteroいいよ"ということなので、早速導入始めています。 自分の導入過程のメモ書きも兼ねているので、逐次…

今更だけど、chaier trainer + optunaで探索枝かりするとき

chainer.org こんなのが出た直後でなんですが、OPTUNAは今後も開発継続されます! で、まあchainerはわかりやすいしdocもかなり充実してるので、メンテナンスモードはいってもしばらくは使われると思います。 そこで、chainer + optuna prunerの使い方。 opt…

ばっどのうはう:np array(とくに三次元以上の多次元配列)のリスト、これをnp.arrayしても通らないときは、swapaxesしてみると通ることがある

完全にバッドノウハウだけど現象としてはわかっている。n=1,2,3,...N個の多次元np arrayがリストになっていて、 n番目の多次元配列の次元がD x l_n x l_nである。 つまりどのn番目のnp.arrayも最初の次元のサイズはDで一定で、二次元目三次元目がn依存のサイ…

Dockerつくったらscreenが動かないとき

screenすると、 /var/run/screen のパーミッションが悪いといわれる。 そういうときは、SCREENDIRを作るといいよ。 こんなのを.bashrcや.zshrcに書いておくか同等の作業を実施する #### safety for screen###if [ ! -d /home/me/.screen ]; then mkdir /home…

docker pushがTimeoutで死ぬとき!

dockerのsettig-->Proxyで、DNSをautomaticからfixed 8.8.8.8にすると治ることがあるよ

Dockerfileの中でファイルやディレクトリ作るとownerがroot:rootになっちゃうのが嫌な時・・・

COPYコマンド(ADDよりはCOPYのほうがいいらしい)でchownオプションがつけられるよ! COPY --chown=[user name]:[user name] from_dir_path_in_local to_dir_path_in_container

ディレクトリ数、ファイル数を再帰的に数える

ファイル数 find <directory> -type f | wc -l ディレクトリ数 find <directory> -type d | wc -l</directory></directory>

Chainerでlearning rateを任意に操作

qiita.com これに書いてあるとおりですが、やり方わかって実際動いたので貼ってみる。 class LrScheduler(extension.Extension): trigger = (1, 'epoch') def __init__(self, base_lr, epochs, optimizer_name='main', lr_name='lr'): self._base_lr = base_…

自分のファイルのパスを取得(python)

current_dir_path = os.path.abspath(os.path.dirname(__file__)) これで、当該実行ファイルの位置を取得できるので libraryのツリー内の好きなファイルを見に行けるぞ