がAの場合は!$%#"#!ビットの情報を得ることができ、Bの場合は!$%#"#"ビットの情報を得る。この時、我々は平均として■アルファベット当たり#!$!$%#"#!%"#"$!$%#"#"%5の情報を得ることになる。この式が■種類のアルファベットの場合の情報理論におけるエントロピーである。また、#!#$および#"#!!$として結果をプロットすると、図■のようになる。本研究では、これらの定義の中でも情報理論におけるシャノンの定義に基づき、エントロピーを用いる。これまでに、統計物理学の概念であるエントロピーを情報分野に転用し、情報量を測ったShannon（■■■■）は、!$%#$の形で情報エントロピーを定義した。またKrizhevskyら（■■■■）は一般物体認識において、初めて畳み込みニューラルネットワークが有効であると示した。そして、そのエントロピーを使用した特徴抽出において、分類誤差に交差エントロピーを用いるケース（岡谷、■■■■）や、データセット全体に対し特徴の粒度を捉える際に、ソフトマッエントロピーによる画像学習AIモデルの性能評価図■．情報エントロピーの例
元のページ ../index.html#12