Wahrscheinlichkeiten sind Erwartungen – um nicht zu sagen Hoffnungen – darüber, wie oft ein bestimmtes Ereignis bei oftmaliger Wiederholung eines Zufallsexperiments (unter gleichen Bedingungen) eintreten wird. Genauer gesagt, geht es um die relative Häufigkeit eines Ereignisses.
Diese Erwartungen hängen von unserem Informationsstand ab. Wie man zu sinnvollen Erwartungen kommt, ist ein Kapitel für sich. Erwartungen können falsch sein; selbst »richtige« Erwartungen können enttäuscht werden.
Darüber hinaus ist unklar, was mit oftmaliger Wiederholung genau gemeint ist. 100-mal, 1000-mal, 1 Milliarde Mal?
Für viele Münzwurfexperimente ist es sinnvoll, eine Wahrscheinlichkeit für Kopf von 1/2 anzunehmen. Die rote Linie in der folgenden Abbildung zeigt, wie sich die relative Häufigkeit für Kopf im Lauf einer längeren Münzwurfserie geändert hat.
-, 
– bzw. 
-Umgebungen unserer Erwartung dar. Die horizontale Achse ist logarithmisch skaliert, um den Beginn deutlicher zeigen zu können.
Der erste Wurf war offenbar eine Zahl, und so starten wir bei 0. Danach kam eine Serie von vier Köpfen, sodass wir nach fünf Würfen bei 80% landen. Bis zum 100. Wurf nähert sich die relative Häufigkeit langsam dem Wert 1/2 an. Aber selbst dann bleibt sie nicht konstant (kann sie auch gar nicht), sondern »fluktuiert« – einmal unter-, einmal oberhalb – um diesen Wert herum. Im Bereich von 1000 bis 2000 Würfen gab es sogar eine Abweichung bis an den Rand der
Wer trotz der Fluktuationen der roten Kurve keine »Konvergenz« gegen 1/2 sieht, hat kein Herz. Allerdings kann es sich nicht wirklich um einen Grenzwert der Form
handeln, wobei 
Bei wenigen Wiederholungen kann die relative Häufigkeit von unserer erwarteten Wahrscheinlichkeit weit abweichen;
In seinem Buch Statistical Mechanics hat Richard Feynman das thermische Gleichgewicht, das auf Wahrscheinlichkeiten beruht, ähnlich beschrieben:
If a system is very weakly coupled to a heat bath at a given “temperature,” if […] the coupling has been on for a long time, and if all the “fast” things have happened and all the “slow” things not, the system is said to be in thermal equilibrium.
Herr Fessa 