科目名 Course Title	情報理論［26C5031］ Information Theory
授業言語 Language	Japanese
科目区分・科目種	情報科学科	クラス	情報科学科
コンピテンシー	○批判的思考力，○創造的思考力，○問題解決力	ｶﾗｰｺｰﾄﾞ
単位数	2.0単位	履修年次	2年

担当教員	坂田　綾香
学期	後期
曜日・時限・教室	木曜 3 〜 4 限 共3-408【情報科学講義室2】

授業の形態
講義

教科書・参考文献
【教科書】 書名：情報理論 (改訂2版) 著者名：今井 秀樹 出版社：オーム社 出版年：2019 価格：3410円 ISBN：978-4-274-22325-9

ＡＬＨ区分
ＡＬＨを実施しない

評価方法・評価割合
期末試験=60%，小論文（レポート）=30%，授業への参加態度=10%

主題と目標

この講義では、シャノンの情報理論を基盤とし、情報量とエントロピーの基本概念から始め、情報源符号化、通信路符号化、誤り訂正符号理論に至るまで、情報理論の基礎を体系的に学びます。具体的には、情報の定量化、エントロピーと情報の効率的な符号化方法、通信路を通じた情報伝送の理論的限界、および誤り訂正符号の設計原理を扱います。 本講義の主な目標は、以下の通りです： 1.情報量、エントロピー、相互情報量などの基礎概念を理解し、それらが情報科学全般でどのように活用されるかを把握すること。 2. ハフマン符号などの最適符号化や、シャノンの情報源符号化定理の理論と応用を習得すること。 3. 通信路符号化定理や通信路容量の概念を学び、効率的で信頼性の高い通信の基盤を理解すること。 4. 誤り訂正符号の基本的な理論を学び、実際の応用での役割を認識すること。 情報理論は、データ圧縮、通信、暗号理論、機械学習など、多岐にわたる分野で重要な役割を果たしています。本講義を通じて、情報の本質を深く理解し、現代の情報科学や工学における基盤的なスキルを身につけることを目指します。

授業計画
以下の項目を、計15回の授業の中で順に説明する。 1. 情報理論の概要 2. 情報量とエントロピーの基礎 3. 条件付きエントロピーと相互情報量 4. 情報源符号化の基礎 5. ハフマン符号と最適符号化 6. シャノンの一次元情報源符号化定理 7. 通信路モデルと通信路容量 8. 通信路符号化定理の基礎 9. 誤り検出と訂正の基礎 10. 線形ブロック符号 11. 巡回符号とCRC 12. 畳み込み符号とViterbiアルゴリズム

時間外学習
講義の適宜復習を推奨します。定期的に、講義内容と関連する演習問題をレポート課題として出します。

学生へのメッセージ
情報理論は、情報量やエントロピーといった基礎概念から、データ圧縮、通信、学習アルゴリズムに至るまで、情報科学全般を貫く重要な役割を果たしています。この講義では、情報理論の基本概念を体系的に学び、それがどのように応用されているのかを理解することを目標とします。