$###$###$!#"##"$#%%&$!%$!#%%"!&$#%%&!"#!"$#%%&!"#!####!$!$!$!#!#%%&!$$!%$%$%%'!%&"##%#$!%&"$"$%#$!%&#"10く異なることから、両者の大きさを比較するにはエントロピーの値が■から■の範囲に含まれるように正規化しなければならない。そこで、エントロピーが情報量と等価であることに注意して、画素数Nの代わりに離散的確率変数の取りうる値の範囲Mに対する%&$"#によって計算される情報量のビット数を用いる手法が最適である。今回の実験で算出した両エントロピー分布を比較するために換算すると、カラー画像エントロピーの標準偏差は■．■■■■、差分エントロピーの標準偏差は■．■■■■と差があり、改めて差分エントロピーの分布のほうが広く特徴を捉えているといえる。CIFAR-■■の訓練用画像全■■，■■■枚を、学習画像と検証画像に分け、ミニバッチ確率的勾配降下法のアルゴリズムによって学習させる。ミニバッチ確率的勾配降下法（田村・中村、■■■■）とは、学習セットすべてのサンプルを使って勾配を計算するバッチ勾配法と、学習セットから無作為に■サンプルを抽出して勾配を計算する確率的勾配降下法の中間のやり方で、学習セットから無作為にB個サンプルを抽出して勾配を計算する。この時Bはバッチサイズと呼ばれるハイパーパラメータであり、本研究では学習画像をバッチサイズ■■に設定する。またミニバッチ確率的勾配降下法を用いたパラメータの更新について、モデルが重み#で表される一次関数%'$#$、正解ラベルが%、目的関数Lが最小二乗誤差%%'!%&"であるとき、バッチサイズBの!を使ったパラメータの更新は、勾配のミニバッチミニバッチ!
元のページ ../index.html#17