iwiwi 備忘録

学んだことを殴り書きます。自分向けのメモです。

2017-12-13から1日間の記事一覧

Deep Mutual Learning (arxiv)

[1706.00384] Deep Mutual Learning 手法 distillationの進化系 2つのネットワークを同時に学習させる 通常通りのsupervised learning lossに加え、mimicry lossを使う mimicry lossとは2つのネットワークの出力を似せたい(KLダイバージェンス) 実験結果 d…