Bag of ML Words

ML = Machine Learning, Music Love, and Miscellaneous things in daily Livings

2019-01-01から1年間の記事一覧

今更だけど、chaier trainer + optunaで探索枝かりするとき

chainer.org こんなのが出た直後でなんですが、OPTUNAは今後も開発継続されます! で、まあchainerはわかりやすいしdocもかなり充実してるので、メンテナンスモードはいってもしばらくは使われると思います。 そこで、chainer + optuna prunerの使い方。 opt…

ばっどのうはう:np array(とくに三次元以上の多次元配列)のリスト、これをnp.arrayしても通らないときは、swapaxesしてみると通ることがある

完全にバッドノウハウだけど現象としてはわかっている。n=1,2,3,...N個の多次元np arrayがリストになっていて、 n番目の多次元配列の次元がD x l_n x l_nである。 つまりどのn番目のnp.arrayも最初の次元のサイズはDで一定で、二次元目三次元目がn依存のサイ…

Dockerつくったらscreenが動かないとき

screenすると、 /var/run/screen のパーミッションが悪いといわれる。 そういうときは、SCREENDIRを作るといいよ。 こんなのを.bashrcや.zshrcに書いておくか同等の作業を実施する #### safety for screen###if [ ! -d /home/me/.screen ]; then mkdir /home…

docker pushがTimeoutで死ぬとき!

dockerのsettig-->Proxyで、DNSをautomaticからfixed 8.8.8.8にすると治ることがあるよ

Dockerfileの中でファイルやディレクトリ作るとownerがroot:rootになっちゃうのが嫌な時・・・

COPYコマンド(ADDよりはCOPYのほうがいいらしい)でchownオプションがつけられるよ! COPY --chown=[user name]:[user name] from_dir_path_in_local to_dir_path_in_container

ディレクトリ数、ファイル数を再帰的に数える

ファイル数 find <directory> -type f | wc -l ディレクトリ数 find <directory> -type d | wc -l</directory></directory>

Chainerでlearning rateを任意に操作

qiita.com これに書いてあるとおりですが、やり方わかって実際動いたので貼ってみる。 class LrScheduler(extension.Extension): trigger = (1, 'epoch') def __init__(self, base_lr, epochs, optimizer_name='main', lr_name='lr'): self._base_lr = base_…

自分のファイルのパスを取得(python)

current_dir_path = os.path.abspath(os.path.dirname(__file__)) これで、当該実行ファイルの位置を取得できるので libraryのツリー内の好きなファイルを見に行けるぞ

Chainerで訓練の半自動再開(resume semi-automatically)

会社的に推奨されたので、適当にsnapshotとってresumeする仕組みを実装した。 やりかったことは 適当なタイミングでtrainerのsnapshotをとって、そこから学習再開できるようにする chainermnだとmaybe_loadという便利関数があってiteration数とか解決してく…

pycharmのdocstring形式

こんなの常識らしいのだけど、知らなかったので。。。 pycharmのsettings --> Tools --> PYthon intergrated toolsの中で、Docstringsのフォーマットを選べるよ。reStructedTextがデフォルトらしいけど、numpy formatやgoogle formatの人が多いらしい。 goog…

Dockerfileでsourceを使う。というかbashを使う for installing chainer-cv

Dockerfileの中だとsourceコマンドが使えないというのは良く知られた話のようで、それはDockerfileの中ではシェルがbashではなくてshだから。 で、chianer-cvのインストール Installation Guide — ChainerCV 0.11.0 documentation のところを見ると、source…

natbib on arxiv...

ご無沙汰しています。 すっっっっっっっっっっっっごく久しぶりに論文を投稿したのですが、例によってarXivでのコンパイルエラーで苦しみました。 というか、bibの部分。 Error: Bibliography not compatible with author-year citations. これ。生成されたb…