"血をもって書け。そうすればあなたは、血が精神だということを経験するだろう。"

3/5 機械学習勉強会メモ

全脳アーキテクチャ若手の会の勉強会と懇親会に参加。今回のテーマは時系列処理。

ドワンゴ初めて行った。

関心

ちょうどセンサデータを扱っているのでタイムリーだった。 学部で物性の実験をやっていたときはまず時間自己相関をみる、だったが、生物・制御・経済・社会情報になると古典的情報理論をはじめとしていろいろな時系列アプローチがある気がする。 機械学習では、RNNが定番かと思っていた(tanichuさんもRNNを組み合わせてピアジェのシェマの実装をされていた)。

が、それ以外にもいろいろあるようだ。

話題

時系列処理

複数の情報(たとえば視覚)の間に時間的相関を発見し、さらに未来を予測する処理、と理解。

主要なモデルの導入

  • Recurrent NN
    • Elman networks: 中間層の出力を次の入力に使う。文法学習に適する。
    • Jordan networks: 出力層の出力を次の入力に使う。運動学習に適する。
  • Echo State Network
    • 学習が速い。
    • 合成波・正弦波・決定論的カオス波の識別が可能。乱数波や、声の波形もおそらく識別可能。
  • Time Delay Neural Network

後で調べる

  • Long Short Term Memory
  • Reservoir Computing
  • Convolutional NN

脳の情報処理との関連

時系列処理を担う機構が海馬にあると思われるのはいいとして、大脳新皮質にもあるかどうか、という話。

昔話

SVMとNNの勢力交代について。たしかに一時に比べるとSVMってあまり聞かなくなった。

感想

どのモデルがどういう問題に適するのかの理解のためには実装が一番速そう。 若い人(学部生)が多いが議論のレベルが高く刺激になる。