Entropie

Die Entropie ist ein in der Informationstheorie definiertes Maß, dass den Informationsgehalt einer Nachrichtenquelle (z.B. dem Inhalt einer Datei) bewertet. Eine Quelle hat eine hohe Entropie, wenn deren Inhalte (Nachrichten) eine eher zufällige Verteilung aufweisen. Die Entropie sinkt, wenn regelmäßige Strukturen auftauchen, z.B. wenn bestimmte Nachrichten häufiger auftreten als andere.

Mit Hilfe des Entropiebegriffs läßt sich bestimmen, wie gut sich eine Quelle für die Datenkompression eignet. Bei bekannter Wahrscheinlichkeitsverteilung gibt die Entropie einer Nachrichtenquelle an, mit welcher durchschnittlichen Kodelänge (in Bit) diese kodiert werden kann.

In der Informationstheorie stellt die Entropie einen der zentralen Begriffe dar. Sie ist etwa 1948 von Claude Shannon, dem Begründer der Informationstheorie, eingeführt worden.

 <   ^   >