統計的モデリング／情報理論と学習理論

現代は、膨大なデータを適切な形で集め、さらにそれらを蓄積することが可能な時代である。そのようななか、両テーマが共有する関心は、データから本質をつかみ、さらにそれを活かすことである。前者では、データの背後に潜む真実・法則の探求が出発点である。また後者は、与えられたデータをいかに手なずけ利用するかに力点がある。実際、情報理論や統計科学と呼ばれる分野では、統計的な考察によりモデルを適切に選択することや、データを取り扱いやすい形にまとめる作業などを通して、未知の情報源から来る出力系列から情報源モデルを推測するための方法論が発展してきた。それが人工知能の一分野である機械学習と呼ばれる理論の基礎となっている。さらにまた、このような機械学習において生まれた概念が、情報理論や統計科学に新しい刺激を与え、フィードバックをもたらしている。このような状況を踏まえながら、共通点をもちつつ相補的な２つのテーマについて紹介してゆくことが本書の目的である。