https://yendo.info/tags/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF/Recent content in ニューラルネットワーク on ENDO Yasunori - A Professional EngineerHugo -- gohugo.ioja-jpTue, 10 Dec 2019 00:00:00 +0900https://yendo.info/posts/2019/1210_neurosci_trivia/Tue, 10 Dec 2019 00:00:00 +0900https://yendo.info/posts/2019/1210_neurosci_trivia/神経科学をベースとした真の人工知能を目指す集団(?) ダーディット株式会社を率いる遠藤です。 改めまして、JAIST社会人修士兼社長の遠藤です。 宣伝スンマセン。 仕事ください。 本当にお願いします（切実） 性懲りもなく 神経科学 Advent Calender 2019 に登場させていただきました。 私の初日の記事を除き、これまで圧巻の記事が続いてまいりましたので、ここは箸休めとして軽い話題をお送りします。 最近周りでニューラルネットワークの勉強が流行っており、触発されてちょっと考えたことを書きます。 誰かの研究のアイディアに役立つと願って。 ディープラーニング界隈で一時期 「宝くじ仮説 (Lottery Ticket Hypothesis)」というのがホットでした。 https://arxiv.org/abs/1803.03635 自分は論文はちゃんと読んでいないのですが、ディープラーニングがうまくいくのは ネットワークが大きいほど初期値ガチャの当選期待値が上がるから、という理解をしていて、 だから仕事でニューラルネットワークを組むときはとりあえずでかいのを組みます。 （少なくとも私は。世間一般がどうかは知りません) さて、一方で実務の世界ではネットワークのでかさが問題になり、実環境にフィットしません。 そこで、枝刈りや蒸留というテクニックを使って、より小さいネットワークを作ります。 ※枝刈り: 低い重みのコネクションを削る ※蒸留: 教師ネットワークとそっくり同じ出力を出す、より小さなネットワークを学習する 枝刈りや蒸留でネットワークを小さくできるということは、その操作を繰り返せば いずれこれ以上小さくできない最小のネットワークにたどり着くはずです。 そのネットワークの重みというのは、本当に本質的な情報・知識が “蒸留” されて残っているでしょう。 それっていったい何なんでしょう？ これってトリビアの種になりませんか？ あるタスクに対して最小のネットワークが定量的に定義できたら、少なくとも私は嬉しい。 これだけだと情報理論で終わりますが、そこから神経科学へ何かもちだせないかな。 まぁ、私が思いつく程度のことですからきっと誰かがやってるんでしょうけど。 という思い付きでした。 もし何かご存じの方がいらっしゃいましたら、 Twitter @yendo1115 までこっそり耳打ちしてくれると喜びます。 ありがとうございました。