Bag of ML Words

ML = Machine Learning, Music Love, and Miscellaneous things in daily Livings

OpenNMT-py "raise lengths array has to be sorted in decreasing order"

まだクローズしていないバグを踏んでちょっと時間をとられたので情報共有です*1 OpenNMT-py, 正確にはtorchtext-0.20の修正のせいで、いま、最新のOpenNMT-pyをgitダウンロードで使うと、train.pyやtranslate.pyが表題エラーの通りに死ぬ事象が起きています…

slack webhookでログをslackに自動投げ込み

webhookなる仕組みを使って、slackにcurlで直接メッセージを投げ込むことができるらしい。これ使えば、入力フォームから誤訳文対が報告されるたびにslackに投げてみることができるっぽい? api.slack.com とりあえずslackの公式APIページを見ると使い方が一…

Webサーバー構築(Apache+PHP) の練習

ちょっとお仕事で *AWS上のインスタンスを用いて *既定の入力フォーマットでいろいろな人から入力を集めて *入力結果を保存して *AWS S3やslack botに入力結果の保存内容を投げる ということがしたくなったので、webサーバを構築してみる AWSインスタン…

小技:linuxでn行おきに何かしたいとき

awk使うマン! # 3行おきに出力 cat file.txt | awk '(NR%3==0){print}' # 10行おきに改行入れる cat file.txt | awk '(NR%10==0){$0=$0"\n"}{print}' qiita.com

読みました:年収は「住むところ」で決まる ─ 雇用とイノベーションの都市経済学

shoeihidoさんの sla.hatenablog.com に触発されて、「年収は「住むところ」で決まる-─-雇用とイノベーションの都市経済学」 を買って読んでみました。 結論:かなり面白かったです。読む価値あります。 すらさんありがとう!良い本に出合いました! だいた…

Installing CUDA8+CUDNN5.1+Torch on CentOS7 (Japanese/English mixed post)

ほぼ真っ白なCentOSだとあまり情報がないので、自分用のメモもかねて忘れないうちに。 I found there are few posts about CUDA8 + GPU-enabled Torch on 'vanilla' CentOS. Hope this post helps somebody... 基本ライブラリ群のインストール (Installing v…

C++学習記(5): boost mpi (+openmpi) on multiple CPUs (machines)

Boost MPIに複数コア分散計算のお仕事は終わったので、いよいよ複数マシンによる盛大な負荷分散をやろうと思う。 簡単じゃない?簡単じゃない hostsを指定するファイルを作って # nodes_for_MPI.txt host.1.xx.yyy cpu=4 host.2.xx.yyy cpu=2 mpirun起動時に…

C++学習記(4): boost mpi (+openmpi)

ようやく本来の目的であった並列計算に。 最初はOpenMPによるお手軽並列計算を使ってみたのですが、メモリの共有の切り分けがうまくいかず、並列度を上げれば上げるほど遅くなっていく残念な結果に・・・ ということで、結局急がば回れ、MPIでちゃんと書くほ…

C++ 学習記(3): vector

C++といえばvectorというくらい、配列は全部vectorにするのがいいっぽい。 どこで見たのか覚えていないのですが、webで見つけた資料を基に vectorの挙動を調べるためのコードを書きました。ふーんって感じ。 *1 #include <iostream>#include <vector>#include <string>using namespace </string></vector></iostream>…

C++ 学習記(2): cmake

IDEが使えない可能性を考慮して、C++はlibtool chainかcmakeで何とかしようと思っていた。 で、とりあえずcmakeが簡単そうだったのでやってみる。 情報源は ごく簡単なcmakeの使い方 - Qiita Learning CMake <-- これ素晴らしい! いま、cmake_testというデ…

C++ 学習記(1): まずは環境確認整備

業務の都合でいままで書いたことのないC++を使わざるを得なくなった。 業務のほうは既存のC++コードを書き換える方向なので、まあなんとかなるだろうと思っているんだけど、スクラッチから起こすことができないので makeの書き方も-Iや-Lオプションの意味もa…

Linux便利コマンドの覚書

コマンドラインでいろいろ文字列処理できるよっていうね。 常にpythonやperlさん使うより、覚えていたらずっと早かったりする。 そこで、便利だったコマンドを、実際の自分のusageに即してメモする。 というか100本ノックの第二章やってるだけです www.cl…

screenの使い方!

実に10年ぶりくらいぶりにマシンをつけっぱなしにできない状況になったので、改めてscreenを再勉強。 screenの特徴は、一つのターミナル画面上で番号の切り替えで多数のセッションを作ることだけど、もう一つの特徴として「セッションはバックグラウンドで…

Cygwin <--> Poderosaの鍵の流用不可能?

www.mk-mode.com の一番最後にあったのですが、 タイトルの通りなんですかね・・・ せっかくcygwin入れたのに。

ansible導入テスト(Docker, Jenkinsへの道 on Windows(3))

続いて、構成管理ツール(?)であるansibleを試す。 ansibleのほうがchefよりも後発でネガをつぶしているのと簡単構成向きらしい。 試す qiita.com これにならって、サーバ二つ構成の最小セットアップをvagrant + virtual box上に構成、そこで片方のサーバ…

「オブジェクト指向と10年戦ってわかったこと」が素晴らしかった

qiita.com これです。 自分はJava使い*1なのですが、オブジェクト指向の価値を全然活かせていないなぁと常々思っていました。 色々原因がありそうですが、この記事にあるようにしっかり考えてないからだ、ということがわかりました。 幾つか、自分に刺さった…

Ubuntu-based Docker imageでDocker初体験(Docker, Jenkinsへの道 on Windows(2))

最初はvagarnt上のcentosで改めてvirtual box, vagrant, そしてdockerと思っていたのですが・・・ こけたので、バイパスルート。 とりあえずvirtual vox + vagrantができたのでcoreosを落としてきます。 それには初めからdockerあるらしいので!(あるだけだ…

Vagrantで仮想マシンぽこぽこ(Docker, Jenkinsへの道 on Windows(1))

ちょっとアレでアレなので、DockerとかJenkinsとかいう流行りものを触るだけでも触っておきたい*1という動機が出てきました。 で、いろいろ調べると、こういうものは仮想開発環境による開発/テスト/サービスデプロイ環境の環境同定・構築のために使うのが基…

有益情報ですね(VMware + Ubuntu on Windowsとか)

埼玉大学の後藤先生(http://www.ke.ics.saitama-u.ac.jp/)が、ご自身の研究室HPで公開されている、「研究室メンバー向け」コンテンツが非常に良いです。 特に、「Ubuntuで作業環境を整えよう」(http://www.aise.ics.saitama-u.ac.jp/~gotoh/HowToUbuntu…

JUnitよちよち歩き on IntelliJ Idea

itelliJ idea上でJUnit4使ってテストコードを書くという練習。 基本的に"JUnit 実践入門"の第一章をreproduceするのが目的。 JUnitのjarをゲットする なにはともあれ、JUnitのjarをゲットしましょう。 junit-4.12.jarとhamcrest-core-1.3.jarをゲットしてお…

moses on Cygwin/Windows

いまちょっと個人的にstatistical machine translationに興味があるので、とりあえずmosesをインストールして動かしてみよう!ってなった。 まずはありものの言語モデル等でmosesを動かすことが目標。 あと仕事じゃないので家のWIndows、すなわちCygwin環境…

Binary DNNs: articles(自分のメモもかねて)

岡野原さんのツイートで、binary netが話題になっていますね。重みも出力もすべて1 or -1に制限しても、性能が落ちずに計算が早くなると話題です。 [1602.02830] BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 …

Topic modeling survey on pattern recognition perspective

トピックモデルのサーベイ講演したので貼っておきますね。 複数のパターン認識応用の立場でサーベイした話はたぶんないので価値あると思います。詳細版はPRMUの2015年12月予稿を入手(購入)してください。 さて、これを英語論文化しないといけないわ…

魔王様おもしろいよねぇ、ついていきます

娘が生まれて、そのお世話でほぼすべての時間を使いきっていました。 タイトルは、残りわずかな時間ではたらく魔王さま!を読み返して思ったこと。 アムスラムスちゃんを見る目が完全にパパ視線になっていることを自覚。 そろそろ続巻を買い揃えていかないと…

Gartner Hype Cycle 2015の話を読んで、10年間分まとめた

ハイプサイクル(Hype Cycle)は、Gartnerの使っている有名な技術トレンドですね。 技術に対する期待値の趨勢を 黎明期 --> 流行期 --> 幻滅期 --> 回復期 --> 安定期 に分けて絵にしたやつで、毎年公開しています。 今年のレポートは <a href="http://www.gartner.com/newsroom/id/3114217" data-mce-href="http://www.gartner.com/newsroom/id/3114217">Gartner's 2015 Hype Cyc</a>…

PDFのワードカウント (word counting of PDF files)

論文を英文添削に出す際など、word countで値段が決まる業者が多数あるのですが、 PDFってword countないんですよね。 かといってtexソースファイルはたくさんコマンドがあるので正しくカウントできないことは明白です。 じゃあどうするかなんですが、 PDFを…

Oriol Vinyals, Quoc Le, "A Neural Conversational Model" (arXiv:1506.05869 [cs.CL]) ざっと読んでの(非専門家の)感想

一部で話題のこの論文、 [1506.05869] A Neural Conversational Model ざっと読んでみました。 なお、私は対話モデリングの専門家じゃないので、 評価は大外ししている可能性があります。そのへんは自己責任で。 3行でまとめ NIPS2014で提案された「任意長…

ユニットテストについて(情報まとめるだけ)

記事のスペースで集めておくのも申し訳ない気がしますが。 職業プログラマではないので、テストを「強制」される機会がなくてなあなあにしていたのですが、どうもそうも言っていられないような感じがしてきた(気のせい)。 ということで、少し役立ちそうな…

python: ソート(sort)

いつもソートのやり方で迷うので,まとめておくことにしましょう。 基本の挙動 リストでもndarrayでascendします。 >>> a = np.random.rand(10)>>> aarray([ 0.32496596, 0.74999976, 0.77499606, 0.20691008, 0.307734 , 0.72823673, 0.28689177, 0.4067034…

実は3曲目を投稿していました

コメントもマイリスもさらに減っています まあ、コメントやマイリスが欲しくて音を作っているわけじゃないですけど。 ないですけどね!!