Contents
概要
シャノン情報理論は、1948年にベル電話研究所のクロード・シャノン（1916-2001）が論文「通信の数学的理論」で創始した、情報を定量的に扱う数理理論である。
核心概念は以下である。(1) 情報量——シャノン情報エントロピー H＝−Σp log p として、確率分布の不確実性を測る。(2) 通信路容量——雑音のある通信路で達成可能な最大情報伝送率。(3) 情報源符号化定理——冗長性を除いて圧縮できる限界。(4) 通信路符号化定理——雑音下でも任意に小さい誤り率を達成する符号が存在する（容量以下なら）。
発見の背景
1940年代、電話・電信・無線通信は技術の中心だったが、情報とは何かの数理的定義はなかった。シャノンはベル研究所で暗号・通信の研究に従事しつつ、戦時暗号解析の経験から情報の定量化を構想した。
「通信の数学的理論」（1948）は、情報源・符号化器・通信路・復号化器・宛先という抽象的通信系を定義し、情報量を不確実性の減少量として定式化した。ビット（bit、binary digit）という単位を導入し、2つの等確率選択肢を区別する情報量を1ビットと定めた。
驚くべきは、情報エントロピーの形式 H＝−Σp log p が、ボルツマンの熱力学的エントロピーと形式的に一致した点である。情報と物理的無秩序が同じ数式で記述される——これは後にランダウアーの原理（情報消去の熱力学的コスト）として物理的実体を持つ。
意義
シャノン理論は、デジタル通信時代の基礎である。光ファイバー、衛星通信、携帯電話、Wi-Fi、インターネット、すべてがシャノンの理論限界に近づく符号化技術（LDPC、ターボ符号、極符号）を使う。
データ圧縮（JPEG、MP3、ZIP）、誤り訂正（CD、DVD、QRコード、宇宙通信）、暗号（情報理論的安全性）、機械学習（交差エントロピー損失、情報ボトルネック）——応用範囲は通信を超えて広がった。
哲学的には、情報を物理法則のように扱うという世界観を広めた。ゲノムを情報と見なす、経済を情報の流れとして記述する、社会を通信ネットワークとして解析する——情報論的思考は20世紀後半の知的風景を変えた。
現代への示唆
量として扱うことで管理可能になる
「情報」という曖昧な概念をビットで定量化したことで、圧縮可能量・必要帯域幅が計算できるようになった。曖昧な経営概念を量に落とすことが、管理と改善の前提である。顧客満足度、ブランド価値、組織風土——いずれも計測定義から始まる。
冗長性の戦略的価値
冗長性は無駄ではなく、雑音下での信頼性を生む。通信路符号化定理は、帯域の一部を冗長ビットに割くことで、雑音下でも確実な伝達ができると示す。組織でも、情報の重複伝達、クロスチェック、冗長な会議は、非効率に見えて信頼性の源泉となる。
通信路容量という上限
どんな技術改良も、物理的通信路容量を超えられない。事業でも、市場サイズ・顧客時間・処理能力などの根本的容量が成長の上限を定める。容量拡張（新市場・新チャネル）と容量内最適化（効率化）は戦略的に別物であり、両者を混同した投資は成果を生まない。
関連する概念
- エントロピー
- チューリングマシン
- ARPANETとインターネットの起源
- ビット
- データ圧縮
参考
- C.E.シャノン、W.ウィーバー『通信の数学的理論』ちくま学芸文庫、2009
- J.ガーテナー『シャノンの情報理論入門』ブルーバックス
- J.グリック『インフォメーション——情報技術の人類史』新潮社、2013