NIPS 2014 所感とか概要とかまとめ
今年はワークショップに論文とおったのでNIPSに参加してきました。
会社への報告書をまとめたので、利益背反（？）にならない範囲＆＆個人的趣味のフレーバー載せて所感書いてみますね。
概要
NIPSなにそれ美味しいのって方はそもそもこの記事読まないと思いますけども。
NIPSとは機械学習分野における最高峰の国際会議です。
機械学習（というかコンピュータサイエンス）はジャーナルよりも国際会議の方が評価される不思議な分野ですが、その中の最高峰なんで、NIPS paper持ってると凄い人って感じです。
今年は12/08~13の間、モントリオールで開催されました。参加者はなんと2,400人over!! 去年が1,800人ほどだったはずなので、すごいペースで増えています。
本会議は発表が400件ちょい、いつも通り採択率は25%くらいです。本会議は４日間あって、毎日１００件ずつポスター発表っていう感じでした。
朝から夕方までシングルセッションで招待講演とえりすぐりの論文によるオーラル・スポットライト、夕方から深夜までポスターといういつも通りの体力勝負スケジュールでした。
今年のNIPSを一言でまとめると、「DNN祭り」でしょうか。
DNN/DL (Deep Neural Network / Deep Learning)は画像、音声音響、NLP分野のビッグウェーブですが、NIPSも完全にそれに乗ってるようです。
会議PDFの目次見て、目grepで数えた範囲だと、400件超の本会議論文のうち３５件以上はDNNでした。これって大変なことで、機械学習全般（の最先端）をカバーするNIPSの10%近くがディープだけで埋まったってことですよね・・・
ただ、award papersにはDeep有りませんでしたね。実際、発表見てても深い理論とかは無い感じなので・・・
でも、性能や話題性、使うデータ量などの勢い・インパクトは凄い。ディープなポスターはやはり人気でしたし、オーラルセッションに選ばれた論文はやはり圧倒的な凄さを感じました。
また、DNN workshopが本会議後に開催されたのですが、参加者数百人（６００という噂）、採録ポスター５０本という、ほぼ一つの小規模会議レベル。聴講者も研究者だけじゃなくて、色々な企業の人がいましたね*1
応用分野だけではなくて、機械学習研究としてもDNNはまだまだ盛り上がりそうですね。
トピックモデルの霊圧が・・・消えた・・・！？
消えました。本会議のPDFを検索してみると、タイトルにtopic modelsを使ったものは１報のみでした。会議でポスターを眺めていても、やはり存在感を感じませんでした。
トピックモデルは今後は応用分野で生き残っていく のでしょう。そこがSVMとの違いですかね・・・
他の話題
ここから先はあんまり言うとアレなんですけど、差し支えのない範囲で。
Bayesian Optimization (Blackbox function optimization)は、私はIBIS2014で初めて存在を知ったのですが、NIPS2014では一大勢力になっていました。
Banditも安定してたくさん研究が発表されていましたが、私はチェックしていません。
最適化はたくさんたくさん研究が発表されています。まあ、王道ですしね。 凸も非凸もたくさんあります。
個人的にお勧め論文
４００件もあるととてもカバーしきれないですし、人によって興味も全然違うと思いますが、どなたにも安心してお勧めできるのが以下の２（＋１）論文です。
Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)
Outstanding paperのうちの１つ。高速に内積最大値を与えるデータを探してくるタスクです。ちょっとの工夫で、LSHを使えるようにしています。エレガント。
How transferable are features in deep neural networks?
DNNを解析してやろう、というオーラル論文です。中間層のtransferability, あるいは抽象度を定量化して評価するという試みで、発表を聴いてる最中も会場から「おお・・・（感心）」というオーラを感じました。
Sequence to Sequence Learning with Neural Networks
中身は、Long Short-Term Memoryを使って可変長シーケンス間の写像をDNNで学習して、機械翻訳に応用したもの。
Take home messageが
If you have a large big dataset
And you train a very big neural network
Then success is guaranteed!!
ということで多分、会場で一番くらい話題をさらった発表（プレゼン的に）。
お楽しみとか感想とか
とにかくモントリオール寒すぎでした。スキーも出来ないのに寒いとこで開催する意味はないですねぇ・・・
だいたい毎日こんな感じ。地下道が発達しているとの受け売りでしたが、会場から食事に行く際にはほぼ必ず地表を歩くことになり、しかも毎日吹雪でしたからね・・・
クリスマスムード満点。
ワインは不毛の地のようでしたが、ｼﾞﾋﾞｰﾙｩは発達しているようです。とりあえず、この店のは全部飲みました。
来年もNIPSはモントリオールで決定です。再来年は、なんとリスボンになる可能性が微レ存・・・？
*1:ということは、DNN使えますな学生さんは・・・！？！？。
