Deep Learning のデバッグ

ミニバッチ化時にミスることが多いので、以下のようなことをすると良いらしい。

• データごとの計算を書いてみて、1 つずつ計算したものと照合する
• ミニバッチサイズを 1 にして計算したものの和or平均とミニバッチで計算したものを比較する