Informationsgehalt einer Nachricht

Der Informationsgehalt einer Nachricht, ist in der Informationstheorie eine Größe, die ausschließlich von Wahrscheinlichkeit, mit der diese Nachricht auftritt, abhängt.

Definition: Informationsgehalt einer Nachricht n

   I(n) = - log2 P(n)

Enstprechend der oben genannten Definition hat der Informationsgehalt einer Nachricht folgende Eingeschaften:

• Mit steigender Wahrscheinlichkeit für das Auftreten einer Nachricht sinkt deren Informationsgehalt.
• Da die Wahrscheinlichkeit einen Wertebereich von 0 bis 1 aufweist, ergibt sich immer ein positiver Wert für den Informationsgehalt einer Nachricht.
• Für Nachrichten mit gegen Null gehender Wahrscheinlichkeit steigt der Informationsgehalt stark an und geht für P(n) -> 0 gegen unendlich.
• Nachrichten mit geringfügig differierender Wahrscheinlichkeit weisen auch nur einen geringen Unterschied in ihrem Informationsgehalt auf.
• Bei voneinander unabhängigen Nachrichten addiert sich der Informationsgehalt.
• Sofern als Logarithmen-Basis die 2 gewählt wird, ergibt sich aus dem Informationsgehalt die günstigste Kodelänge für die Darstellung des Zeichens in Bit.
• Wenn die Wahrscheinlichkeit für das Auftreten eines Zeichens den Wert 0,5 annimmt, ist der Informationsgehalt gleich 1. Ein idealer Kode würde für dieses Zeichen eine Kodelänge von einem Bit verwenden.

 <   ^   >