Shannon の原典（quey さんのコメントへの返信）

quey さんは Shannon をご存知なのですね。Shannon の情報理論の原著論文は、ベル研のページ

http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html

からダウンロードできますが、重要なことはほとんど全て、この論文に書かれているのがすごいです。

ドーラ言語学、面白そうですね。言語の語彙を符号と考えてエントロピーを計算するというような研究はあってもおかしくないと思いますが、良く知りません。言語ではなく、音声なら、数理音声学序説という本

数理音声学序説―音声のピラミッド (1964年)

が出版されています。私が生まれる前の本ですが。難しくて良くわかりませんが、今後勉強して行こうかと思っています。