応用統計学演習［26R3023］

科目名
Course Title		 応用統計学演習［26R3023］
Exercises in Advanced Statistical Mathematics
科目区分・科目種 文化情報工学科 クラス 文化情報工学科
コンピテンシー ◎批判的思考力，◎創造的思考力，◎問題解決力
 ｶﾗｰｺｰﾄﾞ
単位数 2.0単位 履修年次 3年

担当教員 坂田　綾香
学期 後期
曜日・時限・教室
木曜 5 〜 6 限 共3-408【情報科学講義室2】

受講条件・その他注意
線形代数、確率の知識が必須です。関連する講義を受講してからの履修を推奨します。
初回に、講義についての重要な説明を行いますので、履修を検討する方は必ず出席してください。

授業の形態
講義，演習

教科書・参考文献
【参考書】
1.「統計的機械学習の数理100問 with Python」
著者：鈴木 讓
出版社：共立出版
発行年：2020
ISBN：9784320125070

2. 「The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition」
※ フリーで公開されているPDFがありますのでダウンロードしてください
著者： Trevor Hastie, Robert Tibshirani, Jerome Friedman
出版社：Springer Nature
発行年：2009
ISBN：978-0387848570

ＡＬＨ区分
ＡＬＨを実施しない

評価方法・評価割合
小論文（レポート）=100

主題と目標
本講義では，線形回帰や主成分分析といった広く用いられる統計的手法を、最適化的・幾何的・確率的観点から理解する。さらに最尤推定，情報量，正則化との関係を通して，統計モデルの構造と必然性を数式レベルで説明できる力を養う。これにより統計的機械学習の初歩的な方法論を身につける。

授業の到達目標：
1. 統計学に関する理解を深める（専門知）
2. 統計学における数学的方法、プログラミング方法を習得する。（専門知、発想力）
3. 課題に対して適切に問題を設定してモデルを立て、数理的方法とプログラミング方法を適用する(発想力、デザイン力)

授業計画
第1回
 講義の概要の説明：
本講義の流れと目標について説明する。また第 2 回以降の講義の導入として、記述統計学と
推測統計学の説明を行う。(専門知)
第2回
 いろいろな確率分布と最尤推定：
2 年次までに履修した確率に関する知識を復習しつつ、いろいろな確率分布について学ぶ。
また、データに確率分布を当てはめる際の方法として最尤推定を学ぶ。（専門知）
第3回
 最尤推定の実践：
第 2 回の内容について、例題をもとにプログラミングを行う。またブートストラップ法など
を用いることで、推定量のばらつきの感覚を掴む。（専門知、発想力）
第4回
 線形代数の復習と発展的概念：
回帰分析に向けて、2年次までに履修した線形代数を復習する。さらに、特異値や擬似逆行列
といった、統計的機械学習において頻繁に用いられる発展的概念を学ぶ。（専門知）
第5回
 線形回帰：
最小二乗法、単回帰、重回帰について学ぶ。（専門知）
第6回
 線形回帰の実践：
実データを用いて線形回帰を実践する。実際にプログラムを書いて実行することで、理論の
感覚を掴む。(発想力、デザイン力)
第7回
 正則化：
回帰分析の発展として、リッジ回帰とスパース正則化について学ぶ。（専門知）
第8回
 正則化つき推定の実践：
正則化つきの推定法について、プログラミングを行う。（発想力、デザイン力）
第9回
 モデル選択（理論）：
統計モデルの適切さを評価する指標である情報量規準や交差検証法の理論を学ぶ。（専門
知）
第10回
 モデル選択（実践）：
実データを用いて、モデル選択に関するプログラミングを行う。（発想力、デザイン力）
第11回
 一般化線形モデルと一般化線形混合モデル：
回帰分析を発展させることを目標に、指数分布族と一般化線形モデルについて学ぶ。さらに
一般化線形混合モデルを学び、
ベイズ推定への準備を行う。（専門知）
第12回
 ベイズ推定と階層ベイズモデル：
ベイズ推定の方法を学び、最尤推定との違いを考察する。さらに階層ベイズモデルについて
学ぶ。（専門知）
第13回
 マルコフ連鎖モンテカルロ法：
ベイズ推定に対するアルゴリズムであるマルコフ連鎖モンテカルロ法について学び、実際に
プログラミングを行う。（専門知、発想力、デザイン力）
第14回
 サポートベクターマシン：
教師なし学習の方法である、サポートベクターマシンについて学び、実際にプログラミング
する。（専門知、発想力、デザイン力）
第15回
 主成分分析：
広く使われる教師なし学習の方法である、主成分分析についての理論を学ぶ。さらに実デー
タを用いて実際に主成分分析を行う。（専門知、発想力、デザイン力）

時間外学習
授業で扱った内容を理解し定着させるために、次のような学習を時間外に行うことが望ましい。
1. 例題・演習問題を手計算で丁寧に解くこと。
2. 線形代数や微分・固有値計算など、統計モデルで必要となる基礎計算を復習すること。
3. 尤度関数・フィッシャー情報量・情報量規準などの理論を，自分の手で導出・確認すること。
4. 主成分分析や正則化の理論を，具体的な小規模行列を用いて手計算で理解すること。
5. 授業で扱った公式や定理の証明を読み直し，理論の論理的つながりを確認すること。

学生へのメッセージ
統計学の理論に基づく機械学習の内容を扱います。この講義のタイトルの「応用」は、「さまざまな問題に応用できるための数理的基盤を確実にする」という目標を意味しています。また「演習」は自らの手で計算することを意味しています。既存のパッケージを当てはめて利用するだけではなく、その背後にある理屈を理解することを目指しましょう。