Informationstheorie

Die Informationstheorie beschreibt mathematische Grundlagen für die Bereiche Kommunikation bzw. Informationsaustausch. Zentraler Gegenstand sind die Begriffe Informationsgehalt und Entropie. Mit Hilfe der Informationstheorie können Aussagen über den erforderlichen Aufwand für die Übermittlung von Informationen getroffen werden.

Die Informationstheorie hat weitreichende Bedeutung z.B. für die Kommunikationstechnik, Datenkompression und Kryptographie, sowie in anderen Gebieten außerhalb des technisch-wissenschaftlichen Bereichs (Genetik, Neurologie, Informationswissenschaft, etc.).

Im Rahmen der Informationstheorie wird Information als meßbare, rein mathematische Größe betrachtet, ohne auf deren Bedeutung einzugehen. Auswertung und Interpretation von Informationen (Semantik, Pragmatik) sind nicht Bestandteil der Theorie. Für ein Systemdesign auf rein technischer Ebene ist die Bedeutung einer Information nicht relevant.

Im allgemeinen wird Claude Elwood Shannon als Begründer der Informationstheorie betrachtet. Den Ausschlag gab seine Publikation "A Mathematical Theory of Communication", die 1948 im Bell System Technical Journal erschienen ist.

Shannon selber beruft sich auf Vorarbeiten von Nyquist, Hartley und Tukey.

H. Nyquist:

(Certain Factors Affecting Telegraph Speed; Bell System Technical Journal; April 1924)

(Certain Topics in Telegraph Transmission Theory; A.I.E.E. Trans.; April 1928)

R. V. L. Hartley:

(Transmission of Information; July 1928)

Im weiteren Verlauf ist die Informationstheorie kontinuierlich erweitert worden (Kullback, Leibler, etc.).

 <   ^   >