Mathematik III

Wahrscheinlichkeitsrechnung

Vorbemerkungen

Mitte des 17. Jh.    Chevalier de Mèrè,

Blaise Pascal
Spiel mit 3 Würfeln Augensumme 11 öfter als Augensumme 12

Auffassung, daß Ereignisse "11" oder "12" gleichwahrscheinlich sind
Überlegung: 6 Möglichkeiten, eine 11 zu würfeln

aber auch 6 Möglichkeiten für die 12:

Briefwechsel zwischen Pascal und Fermat:             Anfang der Wahrscheinlichkeitstheorie

Moderne Theorie

Stochastik Wahrscheinlichkeitstheorie und Statistik
seit Anfang dieses Jahrhunderts: Anstrengungen zur Formalisierung

Zufällige Ereignisse und Wahrscheinlichkeiten

Elementare Wahrscheinlichkeitsrechnung

Beispiel: Münzwurf

deterministischer Vorgang, Aufgrund unscharfer Anfangsbedingungen

ist Ergebnis nicht exakt vorhersagbar. Zwei einander ausschließende Ergebnisse: Kopf oder Zahl. Jedes Ergebnis ist gleichberechtigt Kopf oder Zahl treten jeweils mit Wahrscheinlichkeit ½ auf.

Fazit: Experiment, Versuch mit ungewissem Ausgang, zumindest prinzipiell

oder gedanklich unter gleichen Versuchsbedingungen beliebig oft

wiederholbar. Beobachtung: Bei unabhängiger Wiederholung

derartiger Versuche sind Gesetzmäßigkeiten erkennbar.

Spezialfall: Alle endlich vielen Versuchsausgänge schließen einander aus und

sind gleichberechtigt. Versuch wird "auf gut Glück" durchgeführt.

Unter diesen Voraussetzungen sei A ein Ereignis, das aus verschiedenen Versuchsausgängen zusammengesetzt sein kann.

Wahrscheinlichkeit (von Laplace)

Anzahl der für A günstigen Fälle

P(A) =

Anzahl aller möglichen Fälle

Beispiel: Münze

Spielwürfel - 6 Ausgänge, A = "6", A = "gerade Zahl"

zwei Spielwürfel - 36 Ausgänge, A = "gleiche Augenzahl"

Praxis: lange Beobachtungsreihe: mehrmalige unabhängige Durchführung

ein und desselben Experiments, Ereignis A det. Bei n Versuchen trete n(A) - mal das Ereignis A ein. Dann zeigt sich, daß die relative Häufigkeit

n(A)

(n = 1, 2, 3, )

n

für wachsendes n stabil ist. Sie schwankt mehr oder weniger um einen gewissen Wert, nämlich die Wahrscheinlichkeit P(A).

statistischer Wahrscheinlichkeitsbegriff, begründet Kontakt der (noch zu entwickelnden) Theorie mit der Realität

Problem beim Laplace'schen Wahrscheinlichkeitsbegriff: gleichwahrscheinliche Ereignisse finden, mit deren Hilfe das interessierende Ereignis zusammengesetzt werden kann.

Berechnung von Wahrscheinlichkeiten durch Kombinatorische Überlegungen

K Mengen A₁, A₂, , A_k'

vom Umfang n₁, n₂, , n_k Elemente

Kombination von Elementen bilden (a₁, a₂, , a_k) mit a_i I A_i

Wie viele solcher Kombinationen sind möglich ?

Fundamentalprinzip der Kombinatorik:

Anzahl verschiedener geordneter k-Tupel N = n₁ · n₂ · · n_k

Beispiel: Wie groß ist die Wahrscheinlichkeit für das Ereignis A, beim Spielen

mit 3 Würfeln die maximale Augenzahl zu erreichen ?

A_i (i = 1, 2, 3) gleich, sechselementig

N = 6³ Möglichkeiten

1 günstig P(A) = 1/216

Spezialisierung des Fundamentalprinzips

geordnete Probe mit Wiederholung

Elemente können mehrfach berücksichtigt werden, "Auswahl mit Zurücklegen". Eine Menge A mit n Elementen, k Elemente wählen

Zurückführung auf Fundamentalprinzip:

A₁ = A₂ = = A_k = A N = n^k

geordnete Probe ohne Wiederholung

Eine Menge A mit n Elementen, k n Elemente wählen, dabei Zurücklegen verboten

Zurückführung auf Fundamentalprinzip:

A₁ = A         Element a₁ wählen n Elemente
A₂ = A Element a₂ wählen n - 1 Elemente
A₂ = A Element a₃ wählen n - 2 Elemente

A_k = A Element a_k wählen n - k + 1 Elemente

n!
N = n (n - 1)(n - 2) (n - k + 1) =

(n - k) !

Noch spezieller:

k = n setzen Anzahl der Permutationen von n Elementen ohne Wiederholung

N = n!

Beispiel: Gruppe von k Studenten sitzt in einem Zug mit n k Wagen. Jeder

Student habe seinen Wagen unabhängig und "auf gut Glück" gewählt. Gesucht ist die Wahrscheinlichkeit, daß alle Studenten  in verschiedenen Wagen sitzen.

Zunächst alle Möglichkeiten:

k Studenten auf n Wagen aufteilen, Problem mit Wiederholung und mit Berücksichtigung der Reihenfolge insgesamt N = n^k Möglichkeiten, Studenten auf die Wagen aufzuteilen.

Ereignis A: "höchstens ein Student pro Wagen"

für A günstige Fälle: Wiederholung verboten, Zahl der Kombinationen (mit Berücksichtigung der Reihenfolge, ohne Wiederholung)

N(A) = Möglichkeiten

Jetzt die Berücksichtigung der Reihenfolge aufgeben.

Menge A vom Umfang n, k-elementige Teilmengen bilden. Also ohne Rücklegen, ohne Wiederholung. Gesuchte Anzahl: N

Wir bekommen alle möglichen geordneten Proben aus A vom Umfang k ohne Wiederholung und jede nur einmal, indem wir zunächst eine beliebige k-elementige Teilmenge von A wählen und dann alle ihre Permutationen bilden.

Nach dem Fundamentalprinzip ergibt sich:

Teilmengen · Permutation = Proben (m. R., o. W.)

k-elementig

Binominalkoeffizient

Zerlegung der Menge A in Teilmengen B₁, B₂, , B_s vom

Umfang k₁, k₂, , bzw. k_s

k₁ + k₂ + + k_s = n

Permutation mit Wiederholung

                           Polynominalkoeefizient

Beispiel: Qualitätskontrolle, Los von 100 Teilen, 10 wurden "auf gut Glück"

gewählt und kontrolliert. Falls kein Ausschuß, Annahme des Loses. Gesucht ist die Wahrscheinlichkeit des Ereignisses A, daß ein Los mit 100 Ausschußteilen nicht beanstandet wird ?

Anzahl der Möglichkeiten 10 Teile aus 100 zu wählen, Kombinationen ohne Berücksichtigung der Reihenfolge, ohne Wiederholung

Anzahl der für das Ereignis A günstigen Fälle: 90 gute Teile, davon 10 heraus greifen

Noch offen: Aus n Elementen k herauszugreifen, mit Wiederholung (zurücklegen

erlaubt), ohne Berücksichtigung der Reihenfolge.

Anzahl der möglichen Kombinationen

Beispiel: Auf wieviele Weisen lassen sich k Markstücke auf n Personen aufteilen

A Menge von n Personen, numerieren

Problem: ohne Berücksichtigung der Reihenfolge, mit Wiederholung

Dies gibt Anlaß zu alternativen Interpretationen von Kombinationen:

Gegeben sind n Zellen, auf die k Teilchen aufgeteilt werden sollen.

Teilchen sind unterscheidbar oder nicht
Problem mit oder ohne Berücksichtigung der Reihenfolge

Mehrfachbelegung einer Zelle möglich oder nicht
Problem mit oder ohne Wiederholung

Beispiel: Es sind n unterschiedliche Dinge auf N Schubfächer zu verteilen. Jede

Möglichkeit der Verteilung sei gleich wahrscheinlich. Mit welcher Wahrscheinlichkeit gelangen bei der Verteilung in ein Schubfach k Dinge ?

Jedes Ding läßt sich in eines der N Schubfächer legen, N Möglichkeiten ein Ding zu verteilen.

Fundamentalprinzip

Anzahl aller Möglichkeiten bei der Verteilung ist Nⁿ

Anzahl der günstigen Fälle:

k von n Dingen auf ein Schubfach verteilen (ohne Wiederholung, ohne Berücksichtigung der Reihenfolge)

    Möglichkeiten dafür

die übrigen n - k Dinge in N - 1 Schubfächer (egal wie) verteilen

(N - 1)^{n -k}

Schema zur elementaren Kombinatorik

Endliche Wahrscheinlichkeiten

nächster Schritt zur Formalisierung des Wahrscheinlichkeitsbegriffes, durch Identifizierung zufälliger Ereignisse mit Mengen

Zufälliger Versuch habe Ausgang w : Realisierung, Stichprobe oder Elementarereignis

Elementarereignis: alle Elementarereignisse (alle Versuchsausgänge) in einer

Menge W zusammenfassen: Raum aller Elementarereignisse. (gewisse) Teilmengen von W bilden dann die zufälligen Ereignisse, W und seien Ereignisse.

Beispiel: Würfelexperiment

W

Ereignis A: "gerade Zahl würfeln"

A = W

W das "sichere Ereignis " tritt stets ein

das "unmögliche Ereignis" tritt niemals ein

Das Eintreten des Elementarereignisses w hat alle Ereignisse A mit w I A zur Folge. Die Ereignisse A sind Teilmengen des Raumes der Elementarereignisse

w I A W

Damit ist eine sichere Basis für alle näheren Betrachtungen gelegt.

Raum der Elementarereignisse entsprechend den Regeln der Mengenlehre strukturieren.

Definition: Das Ereignis A aus W, ziehe das Ereignis B aus W nach sich, A B,

falls w I A T w I B

Stets gilt: A , A W

Definition: Zieht A W das Ereignis B W sowie B das Ereignis A nach sich, so

heißen die Ereignisse A und B gleich.

A = B A B B A

Definition: Die Summe (Vereinigung) A B der Ereignisse A, B W, tritt genau

dann ein, wenn wenigstens eines der Ereignisse A oder B eintritt.

w I A B w I A w I B

Stets gilt: A = A       A A B

A A = A       B A B

A W W

Kommutativität: A B = B A

Assoziativität: A (B C) = (A B) C

Allgemein: endliche Summe von Ereignissen

(A_i) _{i = 1, 2,} Folge von Ereignissen, A_i W. Dann bedeutet das Ereignis, das genau dann eintrifft, wenn mindestens eines der A_i eintritt.

Definition: Das Produkt (der Durchschnitt) A B der Ereignisse A, B I W tritt

genau dann ein, wenn sowohl A als auch B eintreten.

w I A B w I A w I B

Stets gilt: A A B A

A A = A       A B B

A W = A

Außerdem gilt das Kommutativ- und das Assoziativgesetz bezüglich

Allgemein: endliches Produkt von Ereignissen

A_i W

jedes der A_i tritt ein

Definition: Das zu A W komplementäre Ereignis tritt genau dann ein, wenn A

nicht eintritt. Es gilt

, d.h. A und zerlegen den Raum der Elementarereignisse

Definition: Sind A und B zufällige Ereignisse, so bezeichnen wir das Ereignis das

genau dann eintritt, wenn A aber nicht B entritt, mit A B.

Es gilt:                        A B = A

Bemerkung: Aufgrund der von uns gewählten Konstruktion gelten für Ereignisse

grundsätzlich die Regeln der Mengenlehre, etwa die Distributivgesetze:

A (B C) = (A B) (B C)

A (B C) = (A B) (B C)

oder die DeMorgan'sche Regel:

                      allgemein

                      allgemein

Beispiel: 4 Geräte seien in der folgenden Weise geschaltet:

A_i bezeichne das zufällige Ereignis: "Das Gerät i fällt aus"

(i = 1, 2, 3, 4)

Ereignis A: "Das System fällt aus"

Ereignis B: "Das System fällt nicht aus"

Definition: Eine Menge M zufälliger Ereignisse heißt Ereignisalgebra, wenn gilt:

E1: W I M

E2: A I M , B I M A B I M    ( M ist -stabil)

E3: A I M I M

Enthält M unendlich viele Elemente, so habe M überdies die

Eigenschaft E4 : A_i I M (i = 1, 2, ) M

In diesem Fall ist M eine s-Algebra.

Folgerungen: Eine Ereignisalgebra besitzt die Eigenschaften:

I M

A, B I M A B I M, A B I M M ist -stabil)

A_i I M (i = 1, 2, ) M

Beispiel: 1. W gegeben, sowie A W ; A W ; A

Ereignisalgebra M mit A I M konstruieren

M

2. Kleinste Algebra: M =

3. Größte Algebra: M = A W) (Potenzm. aller Teilmeng.)

Sei W = endlich mit N Elementen. Wieviele Elemente enthält dann die Potenzmenge?

Mengen A W konstruieren:                       Mengenbildungsprinzip

w_i I A oder w_i A

Also N "Teilchen" auf zwei Zellen aufteilen.

A W) enthält 2^N Elemente.

Beispiel: Spiel mit zwei Würfeln: 6 · 6 = 36 Elementarereignisse

W

A W) enthält 2³⁶ = 68.719.476.736 Elemente

A W) enthält qualitativ mehr Elemente als W

W abzählbar    W

A W) überabzählbar

In diesem Falle lassen sich "gerade noch" Wahrscheinlichkeiten auf

allen Ereignissen A A W) definieren. Bei überabzählbaren W

z.B. W = R¹ gilt das nicht mehr.

Borel-Mengen

Sei W = R¹ die reelle Achse. Nach dem Ereignis (x I R) zu fragen ist oft nicht sinnvoll, dagegen nach sehr.

spezielle Teilmengen von W betrachten:

A = (a, b] ; - < a < b <

Bilden diese Mengen eine Algebra ?

(a, b] (b, c] = (a, c] , = R

Wir müssen Menge hinzunehmen.

Definition: Sei W = R¹. Mit L ¹ bezeichnen wir die kleinste s-Algebra (Existenz

gesichert), die alle betroffenen Intervalle (a, b], - < a < b < enthält.

L ¹ heißt s-Algebra der Borel-Mengen in R¹. Mittels geeigneter Parallelepipede (Rechteck, Quader, ) definiert man die s-Algebra L ⁿ der Borel-Mengen im Rⁿ.

Im folgenden setzen wir nun stets voraus, daß der jeweils betrachtete Raum der Elementarereignisse W durch eine geeignete Ereignisalgebra strukturiert sei. Nur die Elemente A I M wollen wir künftig als Ereignisse zulassen.

Definition: Es sei W ein Elementarereignisraum versehen mit der Ereignisalgebra

M. Zwei Ereignisse A, B I M heißen unvereinbar oder disjunkt, falls ihr gemeinsames Eintreten unmöglich ist.

A B =

Die Ereignisse A und B schließen einander aus.

Beispiel: 1 Würfel

Ereignis A = "ungerade Zahl würfeln"

Ereignis B = "eine Zahl größer 5 würfeln"

Definition: Eine Menge nicht unmöglich zufälliger Ereignisse ,

A I M ) heißt vollständiges Ereignissystem wenn gilt:

V1: A_i (i = 1, 2, ) paarweise unvereinbar

A_i A_k = (i k)

V2: Vollständigkeit

A₁ A₂ A_n W

Vollständiges Ereignissystem zerlegt den Raum W

Nächstes Ziel ist die Weiterentwicklung des Wahrscheinlichkeitsbegriffes.

Spezialisierung: Raum der Elementarereignisse sei höchstens abzählbar:

W = oder W

Ereignisalgebra M enthalte alle einpunktigen Ereignisse A_i = I M (i = 1, 2, ).

bildet also vollständiges Ereignissystem.

Für alle A I M Wahrscheinlichkeit P(A) definieren:

A P(A)       , A I M

Zuerst Funktion P : M [0, 1] auf dem vollständigen Ereignissystem definieren:

A_i P(A_i) = P() = p_i i = 1, 2,

Dabei muß für die Folge natürlich gelten p_i > 0 und = 1 für i = 1, 2,

Für ein beliebiges Ereignis A I M setzen wir P(A) := .

Beispiel: W = Menge der natürlichen Zahlen.

l > 0   feste reelle Zahl

p_k > 0

Eigenschaften der Wahrscheinlichkeit P:

P(A) 1 , mit P(A) =

P(W) = = 1

P( ) = 1 - P(W

Additionstheorem:                        A und B unvereinbar P(A B) = P(A) + P(B)

Verallgemeinerung: A_i , i = 1, 2, höchstens abzählbar viele paarweise unvereinbare Ereignisse

A_i A_k = ( i k ; i, k = 1, 2, )

Unvereinbarkeit fallen lassen: A, B I M beliebig

P(A B) = P(A) + P(B) - P(A B)

Isotonie der Wahrscheinlichkeit:

A B P(A) P(B)

Geometrische Wahrscheinlichkeit

Zufällige Experimente mit überabzählbar vielen Ausgängen können mit elementaren Methoden behandelt werden.

Beispiel: Eine Dame verspricht, zwischen 17.00 und 18.00 Uhr zu einem

Rendezvous zu erscheinen, nähere Angaben macht sie nicht.

Wahrscheinlichkeit für das Ereignis, daß sie zwischen 17.03 und 17.23 Uhr eintrifft ist            gesucht.

  

Abstraktion:   "Inhalt" der Menge A =

"Inhalt" der Menge W

Beispiel: Glücksrad mit Zeiger; zufälliger Versuch: Rad drehen, wo bleibt Zeiger

stehen, jede Zeigerstellung gleichberechtigt.

Beispiel: Zwei Personen vereinbaren, sich zwischen 12 und 13 an einem

bestimmten Ort zu treffen. Jeder wartet auf den anderen nötigenfalls 15 Minuten, danach geht er. Wie groß ist die Wahrscheinlichkeit für ein Treffen ?

P(A) =

Allgemeines Modell: Versuch lasse sich als zufälliges Werfen eines Punktes in

einem beschränktem Grundbereich W des n-dimensionalen euklidischen Raumes zu interpretieren. Dabei gelte:

Der geworfene Punkt kann auf jeden beliebigen Punkt w I W fallen

Inhaltsgleiche Teilmengen von W ( = Ereignisse) haben die gleiche Wahrscheinlichkeit

Das sichere Ereignis entspricht dem Grundbereich W

Dann berechnet sich die Wahrscheinlichkeit des Ereignisses

A W nach der Formel:

Bemerkungen: Wahrscheinlichkeit eines Ereignisses ist also unabhängig

von der speziellen Lage und Gestalt in W

Die Analogie zum klassischen Laplace'schen Wahrscheinlichkeitsbegriff ist offensichtlich.

Die derartig definierte geometrische Wahrscheinlichkeit hat viel Anlaß zu Mißverständnissen und Einwänden gegeben. Grund: Paradoxon von Bertrand.

Aufgabe: In einem Kreis wird zufällig eine Sehne gezogen. Wie groß ist

die Wahrscheinlichkeit dafür, daß deren Länge die Seite eines im Kreis einbeschriebenen gleichseitigen Dreiecks übertrifft ?

1. Auffassung:

Aus Symmetriegründen o.B.d.A. Richtung der Sehne festhalten. Dann senkrecht Durchmesser des Kreises betrachten.

2. Auffassung:

Spitzen des gleichseitigen Dreiecks in einem Endpunkt der Sehne, Winkel der Sehne mit Tangente.

3. Auffassung:

Mittelpunkt M der Sehne zufällig im Kreisinnern wählen. Außerdem muß Abstand M zu 0 kleiner als sein.

Lösung der Aufgabe offenbar von Lösungsweg abhängig.

Auflösung des Paradoxon: Es wurden jeweils verschiedene Aufgaben formuliert.

Bedingte Wahrscheinlichkeit, Unabhängige Ereignisse

Gegeben: Wahrscheinlichkeitsraum (W, M, P)

Modell für (realen) Bedingungskomplex eines zufälligen Experiments Ereignis B I M, P(B) > 0

zusätzliche Hypothese: "Das Ereignis B tritt ein"

Durch Hinzunahme dieser Hypothese wird der Bedingungskomlex geändert. Folglich werden sich i.a. auch die Wahrscheinlichkeiten der Ereignisse A I M ändern.

Definition: Unter den obigen Voraussetzungen heißt:

die bedingte Wahrscheinlichkeit des Ereignisses A unter der Bedingung B.

Beispiel: Maschinensystem in Reihe

System sei ausgefallen, bereits vergeblich nach einem Fehler in Maschine I gesucht. Wie ist die Wahrscheinlichkeit dafür, daß dann die Ursache in Maschine II liegt?

Ereignis A: "Ursache des Ausfalls liegt genau an Maschine II"

Ereignis B: "Ursache des Ausfalls liegt nicht an Maschine II"

Gesucht: P(A | B)

Es gilt hier A B, sowie P(A) = q

P(B) = 1 - P(A) = 1 - p und weiter

P(A | B) =

Eigenschaften der bedingten Wahrscheinlichkeit

P(A | B)

B unvereinbar P(A | B) =

B A P(A | B) =

[X1]  | W) =

Die bedingte Wahrscheinlichkeit P(A | B) kann kleiner, größer oder gleich der unbedingten Wahrscheinlichkeit P(A) sein.

Beispiel: 1 Spielwürfel

B = "gerade Augenzahl" P(B) = ½

a) A = "Augenzahl nicht größer als 3" P(A) = ½

b) A = "Augenzahl gleich 2, 3 oder 4" P(A) = ½

c)   A = "Augenzahl gleich 1 oder 2" P(A) =

Hypothese: B, P(B) > 0 festhalten

Funktion A P_B (A) := P(A | B), A I M betrachten.

Bei festem B besitzt P(B) alle Eigenschaften einer Wahrscheinlichkeit; ist also eine neue Wahrscheinlichkeit auf M. - ohne Beweis -

A, B seien Ereignisse mit P(A) > 0, P(B) > 0 P(A B) = ?

Zuweilen P(A | B) oder P(B | A) bekannt oder leichter zu ermitteln. Definition der bedingten Wahrscheinlichkeit

Multiplikationssatz: Es seien A und B Ereignisse positiver Wahrscheinlichkeit.

Dann gilt:

Folgerung:

Beispiel: 10 Bauelemente sind in einer Kiste, 4 davon sind defekt.

2 Elemente werden nacheinander "auf gut Glück" entnommen. Mit welcher Wahrscheinlichkeit sind beide Elemente intakt ? (Ereignis A)

A_i = "i-tes Element intakt" (i = 1, 2)

P(A₁) = , P(A₂ | A₁) =

Verallgemeinerung: Es seien A₁, A₂, , A_n zufällige Ereignisse mit

, dann gilt:

Gegeben: Ereignis A, vollständiges Ereignissystem

B_i paarweise disjunkt , P(B_i) > 0 )

Standpunkt: P(A) gesucht, P(A | B_i) dagegen bekannt.

Formel der totalen Wahrscheinlichkeit

Beweis:

Beispiel: "Ruin des Spielers"

Spieler nimmt an Spielrunden teil: Erraten des Resultats eines Münzwurfs. Es wird um eine Mark gespielt.

Münze erraten - richtig + 1 DM - falsch - 1 DM

Anfangskapital: x DM ; x = 0, 1, (0 = keine Spielrunde möglich)

Strategie des Spielers: Solange spielen, bis Summe a Mark erreicht ist (a x)

Problem: Mit welcher Wahrscheinlichkeit verliert der Spieler sein Kapital?

P(x) = Wahrscheinlichkeit, daß sich der Spieler mit

Anfangskapital von x DM ruiniert. (x = 0, 1, , a)

Ereignis B₁ = "Spieler gewinnt in der ersten Runde" x x + 1

Ereignis B₂ = "Spieler verliert in der ersten Runde" x x - 1

Ereignis A = "Der Spieler wird ruiniert"

B₁, B₂ : vollständiges Ereignissystem: und

und

P(A) nicht erkennbar, aber Beziehung für bedingte Wahrscheinlichkeiten.

Anwenden der Formel der totalen Wahrscheinlichkeit:

P(0) = 1, P(a) = 0

allgemeine Lösung der Differenzengleichung:        P(x) = c₁ + c₂ · x

Einsetzen in die Randbedingungen:            

1 = P(0) = c₁ 0 = p(a) = c₁ (= 0) + c₂ · a

Lösung: (x = 0, 1, , a)

Unabhängigkeit von Ereignissen

A, B seien Ereignisse mit P(A), P(B) > 0

möglicher Spezialfall:            (*) P(A | B) = P(A)

Damit ist falls (*) gilt.

Definition: Zufällige Ereignisse A und B heißen unabhängig, falls gilt:

Bemerkung: Voraussetzungen P(A), P(B) > 0 haben wir vernachlässigt. Hat

wenigstens eines der  Ereignisse A oder B die Wahrscheinlichkeit Null, so sind A und B unabhängig.

Vergleich mit dem Multiplikationssatz:

A, B I M, P(A), P(B) > 0

Man unterscheide die Begriffe "unabhängig" und "unvereinbar" für Ereignisse.

Unvereinbarkeit von A und B:

Folglich sind zwei unvereinbare Ereignisse A, B positiver Wahrscheinlichkeit nicht
unabhängig:

Beispiel: "Skatblatt"

eine Karte "auf gut Glück" ziehen

Ereignis A₁ = "Farbe ist Pik"

Ereignis A₂ = "Karte ist Dame"

Sind A₁ und A₂ unabhängig?

Formal: ,

Es gilt:

Ereignisse sind unabhängig

,

Bemerkung: Unabhängigkeit von A und B drückt aus, daß A und B

wahrscheinlichkeitstheoretisch in dem Sinne keinen Einfluß aufeinander haben, daß die Information "B tritt ein" - wenn sie überhaupt positive Wahrscheinlichkeit hat - nichts an der Wahrscheinlichkeit von A ändert.

Satz: Sind die Ereignisse A und B unabhängig, so sind es auch die

Ereignisse und B, A und , wie auch und .

Beweis: Seien A und B unabhängige Ereignisse:

Es genügt zu zeigen: Dann sind auch und B unabhängig.

Ereignis B disjunkt zerlegen:

Addivität:

Beispiel: zwei verschiedene Würfel werfen

Ereignis A = "Würfel 1 zeigt ungerade Augenzahl"

B = "Würfel 2 zeigt ungerade Augenzahl"

C = "Die Augensumme ist ungerade"

A und B offenbar unabhängig ,

bedingte Wahrscheinlichkeiten:

, aber auch

A, C sowie B, C jeweils unabhängig

anders ausgedrückt:  

Ereignisse A, B ,C paarweise unabhängig.

Aber: P(C | A B) = 0 C nicht unabhängig von

es besteht hier offenbar Abhängigkeit "zu dritt" Definition

Definition: Die zufälligen Ereignisse A1, A2, , An heißen vollständig unabhängig,

wenn für beliebige k = 2, 3, , n und beliebige natürliche Zahlen i₁, i_k mit 1 i₁ < i₂ < < i_n n gilt:

Die zufälligen Ereignisse einer unendlichen Folge A₁, A₂, heißen vollständig abhängig, wenn für jedes natürliche n = 2, 3, die Ereignisse A₁, , A_n vollständig sind.

Folgerung: Sind die Ereignisse A1, , An vollständig unabhängig, so sind sie es

auch paarweise.

Bemerkungen: Die Umkehrung obiger Folgerungen gilt nicht (siehe Beispiel).

Aus der Beziehung mit P(C) > 0

folgt i.a. nicht

Beispiel:

, ,

P(D) - Inhalt von D (Länge)

Es gilt: , sowie

Aber:

Dies begründet die komplizierte Definition der vollständigen Unabhängigkeit.

Bayessche Formel:

Formel der totalen Wahrscheinlichkeit:

vollständiges Ereignissystem

Andere Fragestellung:           Ereignis positiver Wahrscheinlichkeiten: P(A) > 0

bekannt: P(B_i), P(A | B_i) (i = 1, 2, , n)

gesucht: P(B_k | A) = ?

Satz: (Bayessche Formel)

Unter den obigen Voraussetzungen gilt:

Beweis: nach Definition der bedingten Wahrscheinlichkeit:

,

Voraussetzungen zur Anwendung der Formel der totalen Wahrscheinlichkeit für P(A) erfüllt.

Sprechweise: P(B_k) a priori Wahrscheinlichkeiten

P(B_k | A) a posteriori Wahrscheinlichkeiten

Physikalisches Analogon der Bayesschen Formel:

In n Gefäßen seien Lösungen ein und desselben Stoffes in unterschiedlichen Konzentrationen enthalten. Das Gesamtvolumen der Lösungen sei 1 Liter.

P(B_k) - Volumen der Lösungen im k-ten Gefäß (k = 1, 2, , n)

P(B_k | A) = k = 1, , n

Anteil der Gesamtstoffmengen im k-ten Gefäß.

Axiomatische Begründung der Wahrscheinlichkeitstheorie

Kolmogorov 1933

Vorgegeben: - Raum der Elementarereignis

M - System von Teilmengen von : -Algebra
S1. W I M
S2. A I M M
S3. A_i I M (i = 1, 2, ) T M
P reellwertig auf M, P erfüllt die Axiome
W1. P(A) > 0
W2. P( ) = 1
W3. A_n I M (n = 1, 2, ) paarweise unvereinbar

Die Funktion P heißt Wahrscheinlichkeit oder auch Wahrscheinlichkeitsmaß auf M. Das Trippel ( , M, P) heißt Wahrscheinlichkeitsraum.

Bemerkung: Die nunmehr endgültige Fassung des Wahrscheinlichkeitsbegriffs

verallgemeinert unsere bisherigen Konstruktionen. Viele der im speziellen Fall gezeigten Eigenschaften sind allgemeingültig.

Eigenschaften: (Auswahl)

P( ) = 0

Beweis: P(W) = = P(W) + P( ) + P( P(

endliche Additivität
A, B unvereinbare Ereignisse

Beweis:

A₁ = A, A₂ = B, A_i = (i = 3, 4, )

= 1 - P(A), A I M

Beweis:

A I M  M, ,
1 = P(W = = P(A) +

Monotonie
;    A, B I M

Beweis:

Ereignis B disjunkt zerlegen:
B =

Subaddivität
A_n, (n = 1, 2, ) Folge von Ereignissen aus M T
Beweis:

Aus (A_n) eine Folge paarweiser disjunkter Ereignisse (B_n) konstruieren:
B₁ = A₁, B₂ = A₂ A₁, B₃ = A₃ (A₁ A₂), , B_n = A_n (A₁ A₂ A_n-1)
= A_n

Weiterhin gilt: B_k A_k P(B_k) P(A_k) (k = 1, 2, )

Stetigkeit

a) isotone Folge von Ereignissen
Limes der Mengenfolge:


Beweis:

Folge (B_n) paarweise disjunkter Ereignisse,

b) antitone Folge von Ereignissen hier gilt Limes


Beweis:

durch Übergang zu den komplementären Ereignissen: monoton wachsene Folge = P(A_n)

Zufallsgrößen und deren Verteilung

Einführung: Bernoulli-Schema: ( , M, P) Wahrscheinlichkeitsraum

zufälliges Ereignis A, P(A) = p, 0 < p < 1

Experiment wird n-mal unabhängig voneinander ausgeführt

A tritt ein: "Erfolg", - Alternative

Indikator bewertet, ob der k-te Versuch erfolgreich ist, d.h. ob A eintritt.

Folge "unabhängiger" vom Zufall abhängiger
Größen (k = 1, , n)

P(A)

Wertebereich: R Verteilung

0 1

Die Größe X zählt die Anzahl der Erfolge bei Durchführung von n Versuchen:

Welche Werte kann X annehmen ?

1 2 . . . n - 1 n

Mit welchen Wahrscheinlichkeiten ?
Verteilung auf

Ereignis :       A tritt in der Versuchsserie k-mal und n - k-mal nicht auf.

k-Erfolge

(*)

2 3 n - 1

Jede konkrete Folge (*) hat die Wahrscheinlichkeit .

Wieviele solcher Folgen gibt es ?      * * * k-Erfolge

k-mal "Erfolg" auf n Plätze verteilen.

1 2 . . . n - 1 n

Kombinatorische Standardaufgabe:

Verteilung von k Teilchen auf n Zellen

Teilchen nicht unterscheidbar

keine Mehrfachbelegungen

verschiedene Kombinationen

P = (k = 0, 1, , n)

Das ist die Verteilung der Anzahl der Erfolge:
"Binominalverteilung mit den Parametern n und p"

Versuchsserie: "Bernoulli-Schema"

"unabhängige Verteilung ein- und desselben Versuches"

Bemerkung: die Größen und X hängen vom Zufall ab.

ausführlich: ( ) = ,

Spätere Definition solcher Größen als "Zufallsgrößen".

Bewertung des Punktes k entsprechend der Binominalverteilung:

0 k n

Parameter der Lage der Verteilung

anderer Parameter: charakterisiert die Streuung der Verteilung

mittlere quadratische Abweichung

Mittelwert

Konstruktion X:

0 n

Was passiert bei wachsendem n ?

Trick: Größe X_n zentrieren und normieren, d.h. .

Dann gilt der Grenzwertsatz von de MOIRE-LAPLACE

, x₁ < x₂ I R

praktische Bedeutung:

n groß, nicht Einzelwahrscheinlichkeiten P, sondern P seien
interessant (a, b I R)



Uneigentliches Integral:

, x I R

Integral interessiert, es gilt sogar


Funktion F vertafelt oder im Computer

Beispiel: Produktion von Glühlämpchen

Kartons zu je 1000 Stück
Erfahrungstatsache: Ausschuß im Mittel 3% (vage) Erwartung,

pro Karton 30 Lämpchen defekt.

Realisierbare Frage: Wahrscheinlichkeit dafür, daß 20 bis 40 Lämpchen defekt sind.

Modell:           X (zufällige) Anzahl defekter Lämpchen in einem

"auf gut Glück" gewähltem Karton mit 1000 Lämpchen.

X ist binominalverteilt mit den Parametern n = 1000 und p = 0,03

Mittel: n · p = 1000 * 0.03 = 30

mittlere quadratische Abweichung:

n · p · q = 1000 * 0.03 * (1 - 0.03) = 29.1

gesuchte Wahrscheinlichkeit:

P=

zu kompliziert

Näherung

2. Das Integral F besitzt eine Dichte:

F(x) + F(-x) = 1

F(x) - F(-x) = F(x) - (1-F(x) = 2F(x) - 1

Die Funktion definiert die Verteilung einer (stetigen) zufälligen Größe Y, die Werte aus ganz R annehmen kann, es gilt:

P = F(x), x I R

es gilt außerdem: P = F(b) - F(a)   , a < b

Die Größe Y heißt normalverteilt, genauer standard-normal-verteilt nach N(0, 1).

Zufallsgrößen, Verteilungen

vorgegeben: Wahrscheinlichkeitsraum (W, M, P)

Definition: Eine reellwertige Funktion X auf W w X(w w I W

heißt Zufallsgröße, falls für jede reelle Zahl x gilt:

I M (*)

W

X

w

X(w R

Urbild von (- , x)

Bemerkungen:

Den Regeln der s-Algebra folgend sind dann auch Mengen der Gestalt:
=

Die Bedingung (*) genannt "Meßbarkeit von X" ist technischer Natur; sie sichert, daß alle Mengen , , Ereignisse sind, für die folgende Wahrscheinlichkeiten gebildet werden können:

w: X(w) < x}, P

üblicherweise schreibt man kurz:
, und P, P ,

(M)

P

P

P(G

G X

GIM (M)    G

(W, M, P) [ )

P_x (R¹, L¹)

Mittels der Abbildung X wird in der s-Algebra L¹ der Borel-Mengen von R¹ das Bildmaß P_x von P definiert:

P_x(G) := P

Definition: Das Maß P_x heißt Verteilung, auch Wahrscheinlichkeitsverteilung von

X auf (R¹, L¹).

Dieses Maß regelt, mit welcher Wahrscheinlichkeit die Zufallsgröße X bei einer Realisierung einen Wert aus einer gegebenen Borel-Menge annimmt:

P_x([x₁, x₂)) = P

Wir unterscheiden 2 Spezialfälle:

Definition: Die Zufallsgröße X heißt diskret, wenn sie nur endlich oder abzählbar

unendlich viele Werte annehmen kann. Es gilt dann:

P = P

R¹

Beispiel: Binominalverteilte Zufallsgröße mit Parametern (n, p) nimmt

ausschließlich Werte in an.

Definition: Die Zufallsgröße X heißt stetig, wenn ihre

Wahrscheinlichkeitsverteilung eine Dichte p 0 besitzt, so daß

P = (x₁ < x₂ I R)  gilt.

Folgerung: P = P =

P(x)

x x + Dx                   x

P = p(x) · Dx + o(Dx)

Beispiel: standardnormalverteilte Zufallsgröße X, andere Verteilung

konstruieren: Zufallsgröße X

Beispiel: X Zeit des Eintretens irgendeines Ereignisses;

(Lebensdauer, Zerfallszeit)

s

Zeit

0 t t + s

Angenommen Frage: ?

Zufallsgröße X sei "gedächtnislos", falls P = P   (s, t 0) gilt.

Funktionalitätsgleichung: [Y(t + s) = Y(t) · Y(s)]

gesucht: beschränkte Lösung P = e^-lt (t

Komplement bilden:

Zufallsgröße mit dieser Verteilung heißt expotentiell verteilt mit dem Parameter l > 0.

P =

Zufallsgröße X hat eine Dichte:

Also: P = , t I R

Sei X_n binominalverteilte Zufallsgröße mit den Parametern n und p:

P = (k = 0, 1, , n)

Problem: p werde klein mittlere Zahl der Erfolge klein, läßt man simultan n

wachsen, dann ist der Mittelwert trotzdem bedeutend.

Ansatz: n · p = l l > 0 konstant.

Was passiert für n

k = konstant: 

P =

(Grenzwertsatz)

Wegen ist damit eine Wahrscheinlichkeitsverteilung auf erklärt.

Definition: Eine Zufallsgröße X mit P = (k= 0, 1, ) heißt

POISSON-verteilt mit dem Parameter l > 0.

Modell:          radioaktiver Zerfall

Radium Radon

a - Teilchen (He-Kern)

Im Zeitintervall der Länge t zerfällt das Radiumatom mit Wahrscheinlichkeit p(t).

n  Radiumabnahme

Abstand sehr groß, Zerfall eines Kerns erfolgt unabhängig von allen anderen.

Mittlere Zahl der ausgesandten a - Teilchen während t: a(t) = n · p(t)

Experimentelle Erfahrungen (Messungen) für t = 1s und n = 10²² (= 19 Radien):

a(t) p(t) 10^-12 (also sehr klein)

Versuch: Beobachtungen eines dieser Atome

Erfolg: Zerfall während 1s

gleichzeitig laufen also 10²² solcher Versuche ab.

Voraussetzungen des Bernoullischema erfüllt.

Zerfallsgröße X(t): Anzahl der während t ausgesandten a-Teilchen.

n sehr groß, p sehr klein annähernd POISSON-verteilt mit Parameter l = n · p.

P = ; (k= 0, 1, ) mit t = 1s

Verallgemeinerung des Begriffes der Zufallsgröße:

Definition: Es seien x₁, x₂, , x_n Zufallsgrößen auf ein- und demselben

Wahrscheinlichkeitsraum (W, M, P).

Dann heißt das n-Tupel = (X₁, X₂, , X_n) ein Zufallsvektor.

Bemerkungen: zufällige Vektoren sind Vektoren, deren Komponenten Zufallsgrößen

sind. Man kann X als (meßbare) Abbildung von W in den Raum Rⁿ auffassen.

Die Verteilung von ist das Bildmaß von P in der s-Algebra der Borelmengen Lⁿ von Rⁿ.

(B) = P = P B I L¹

Beispiele für Zufallsvektoren:

simultane Messung verschiedener Größen bei einem Experiment. (p-V-Diagramm,
Körpergröße eines Menschen, Dimension eines Werkstückes)

Definition: Ein Zufallsvektor = (X₁, X₂, , X_n) heißt diskret, wenn er höchstens

abzählbar viele verschiedene Werte = (X₁, X₂, , X_n) I Rⁿ annehmen kann.

Definition: Der Zufallsvektor heißt stetig, wenn seine Verteilung eine Dichte

p(x₁, x₂, , x_n) 0 besitzt:

P = p(x₁, x₂, , x_n) dx₁dx₂ dx_n B I Lⁿ

X₁, X₂, , X_n, höchstens abzählbar viele Zufallsgrößen auf (W, M, P)

Definition: Die Zufallsgrößen X₁, X₂, , X_n, heißen unabhängig, falls für

beliebige Zahlen x_k´ x_k´´ die Ereignisse

k = 1, 2, , n,

vollständig unabhängig sind.

Folgerungen:

Bei diskreten unabhängigen Zufallsgrößen X₁, X₂, , X_n gilt für die (gemeinsame) Verteilung von = (X₁, X₂, , X_n):
P = P · P · · P(X_n = x_n}, (x₁, x₂, , x_n) I Rⁿ.

Bei stetigen unabhängigen Zufallsgrößen X₁, X₂, , X_n mit den Dichten p₁, p₂, , p_n gilt für die (gemeinsame) Dichte des zufälligen Vektors = (X₁, X₂, , X_n):

p(x₁, x₂, , x_n) = p₁(x₁) · p₂(x₂) · · p_n(x_n) mit (x₁, x₂, , x_n) I Rⁿ.

Funktionen von Zufallsgrößen

X sei Zufallsgröße auf (W, M, P), g ist reelle Funktion g: .

Unter ganz schwachen Voraussetzungen (Meßbarkeit muß gesichert sein) ist dann auch die durch w g(X(w w I W definierte Abbildung eine Zufallsgröße.

Analoges gilt für einen Zufallsvektor (X₁, X₂, , X_n) und die Funktion h: Rⁿ R¹.
Y = h(X₁, X₂, , X_n) ist dann Zufallsgröße auf (W, M, P).

Charakterisierung von Zufallsgrößen und Vektoren

X sei Zufallsgröße auf (W, M, P)
wichtigste Charakteristik von X: Verteilung P_X (aber oft "unhandlich")

Definition: Die durch F_X (x) = P , x I R definierte Funktion heißt

Verteilungsfunktion der Zufallsgröße X.

Bemerkung: Die Verteilungsfunktion der Zufallsgröße X charakterisiert die Verteilung einer

Zufallsgröße vollständig, es gilt:

P = F_X (x₂) - F_X(x₁)

Beispiel:

Standard-Normalverteilung N(0, 1) y

F_X = F (x) = , x I R                            x

Binominalverteilung mit Parametern n, p

F_X(x) =

F_X(x)

n x

Eigenschaften einer Verteilungsfunktion FX

F_X(x) x I R

F_X monoton wachsend x₁ x₂ F(x₁) F(x₂)

F_X linksseitig stetig , x I R

,

Bemerkung: Diese Eigenschaften sind sogar charakterisierend, d.h. jede Funktion F

mit diesen Eigenschaften 1 - 4 ist Verteilungsfunktion einer gewissen Zufallsgröße X.

Verteilungsfunktion enthält volle Information über die Verteilung, aber kompliziert und schwierig zu bestimmen (bei Zufallsgrößen mit a priori unbekannter Verteilung)

Wunsch nach Informationsverdichtung

Beispiel: (Gleichverteilung)

Die diskrete Zufallsgröße X mit den Werten x₁, x₂, , x_n heißt gleichverteilt, falls gilt:

P = (i = 1, 2, , n)

1

x₁ x₂ x_n

Analog gilt für die Dichte einer stetigen Gleichverteilung auf dem Intervall [a, b] R:

1 F_X(x)

p(x) =

0 a b

Mittelmarke für X: X diskret: arithmetisches Mittel =

X stetig: Intervallmitte =

Verallgemeinerung für diese Mittelungen für beliebige diskrete und stetige Zufallsgrößen X?

Erwartungswert

Definition: Es sei X eine diskrete Zufallsgröße mit den Werten x_k , k = 1,2,

Dann heißt die durch

EX =

definierte Zahl der Erwartungswert der Zufallsgröße X. Dabei wird der Eindeutigkeit wegen die absolute Konvergenz obiger Reihe vorausgesetzt:

Definition: Für eine stetige Zufallsgröße X definieren wir EX = als

Erwartungswert. Es wird wieder die absolute Konvergenz vorausgesetzt: .

EX = P (diskret)
absolut konvergent

EX = p(x) dx (stetig)

Bemerkungen: Der Begriff des Erwartungswertes kommt unserer anschaulichen

Vorstellung eines Mittels (Mittelung) sehr nahe. Deutet man eine diskrete oder stetige Wahrscheinlichkeitsverteilung als Massenverteilung eines diskret oder stetig verteilten mechanischen Systems auf der Achse, so ist EX der Schwerpunkt des Systems (im physikalischen Sinne).

Es gibt aber auch andere Methoden zu Mitteln (Median, Zentralwert)

Beispiele:

Poisson-Verteilung EX =
=

Parameter der Poisson-Verteilung ist in diesem Falle = Erwartungswert derselben, vorteilhaft für statistische Untersuchungen.

Expotentialverteilung EX =

Eigenschaften des Erwartungswertes

Linearität E(aX + bY) = aEX + bEY

Funktion einer Zufallsgröße g(X)
X diskret: Eg(X) = g(x_k) P
X stetig: Eg(X) =
absolute Konvergenz der rechten Seite jeweils vorausgesetzt.

Der Erwartungswert charakterisiert die Lage des Zentrums einer Verteilung (Lageparameter); über die Stärke möglicher Abweichungen der Zufallsgröße vom Zentrum gibt er keine Auskunft.

Wunsch nach einem Maß für die "Streuung"

Definition: Es sei X eine Zufallsgröße mit dem Erwartungswert EX.

Dann wird im Falle der Existenz durch D²X = E(X - EX)²

die Streuung (oder Varianz) der Zufallsgröße X definiert.

Speziell gilt:

X diskret: D²X = (x_k - EX)² P
p(x)

X stetig: D²X = (x - EX)² p(x) dx ^{x x+dx}

denn D²X wird über die Funktion g(X) = (X - EX)² von X bestimmt.

Bemerkung: Auch die Streuung gestattet eine mechanische Interpretation.

Veranschaulicht man sich die Verteilung als diskretes oder stetiges Massensystem auf der Achse mit dem Schwerpunkt EX, so entspricht D²X dem Trägheitsmoment dieses Systems bezüglich einer Achse durch den Schwerpunkt. (Existenz jeweils vorausgesetzt).

Eigenschaften der Streuung

D²(aX + b) = a²D²X

Beweis: D²(aX + b) = E[(aX + b) - E(aX + b)]² = E[a(X - EX) + (b - Eb)]²
= E[a² (X - EX)²] = a² D²X

Folgerung: D² (-X) = D²X
D² = 1 (Normieren, Standardisieren von X)

Annahme: X einpunktverteilt:

P = 1 c feste reelle Zahl

X = c fast sicher, EX = c

Die Streuung einer Zufallsgröße X ist genau dann Null, wenn X einpunktverteilt ist.

D²X = EX² - (EX)²

Beweis: D²X = E(X - EX)² = E[X² - 2X EX + (EX)²] = EX² - 2EX (EX) + (EX)²
= EX² - (EX)²

Diese Aussage ist mit dem Steinerschen Satz äquivalent:

EX² = D²X + (EX)²
Trägheitsmoment bzgl. d.     Trägheitsmoment bzgl. d. Abstandsquadrat:
Achse durch 0 Achse durch Schwerpunkt Schwerpunkt-Nullpunkt

D² (X+Y) = D²X + D²Y + 2[E (XY) - (EX) (EY)]

Beispiele:

X ist Poisson-verteilt mit Parameter l > 0
= g(x_k) P = k² P = k²
= l = l[ k P + P] = l[EX + 1]
= l l+1)

Steinerscher Satz D²X = EX² -(EX)² = l l l l

X ist expotentialverteilt mit Parameter l > 0
EX² = x² p(x) dx = x²le^-lx dx = 2 mal partiell integriert =
D²X = EX² - (EX)² = - =

Normalverteilung

Y sei eine standardnormalverteilte Zufallsgröße

EY = 0, D²Y = 1 (Streuung)

kurz: N (0, 1)

X = sY + m - lineare Transformation von Y; s > 0, m I R

F_X(x) = P = P = P
= F_Y ( ) = F ( ) = =

Definition: Eine Zufallsgröße X mit dieser Verteilungsfunktion F_X heißt

normalverteilt mit den Parametern s > 0, m I R oder N(m s ) verteilt.

Bedeutung der Parameter:

EX = E(sY + m s + m = m
D²X = D²(sY + m s = s

Faltung zweier Verteilungen

X, Y seien Zufallsgrößen auf (W, M, P)

g: R² R Funktion, (Meßbarkeit sei gesichert) neue Zufallsgröße: Z = g(X, Y)

Verteilung von Z ?

speziell: X, Y seien disjunkt mit Werten x_i, y_k ; (i, k = 0, 1, )

P = z I R

Summiert wird also über disjunkte Indizes i, k für die g(x_i, y_k) = z.

Existieren keine solchen Werte x_i, y_k, so ist die Summe gleich Null.

Zur Berechnung von P muß man also i. a. die gemeinsame Verteilung von X und Y kennen.

noch spezieller: Summe von X und Y

P =

Übung: X, Y Poisson-verteilt Speziell X, Y mit Werten 0, 1, 2,

P = = (X, Y unabhängig)

=

nennt man "Faltung der Verteilung von X und Y !!"

Ziel: Übertragung der Methode auf stetige Zufallsgrößen X, Y mit der

gemeinsamen Dichte f_X,Y

gesucht:          Z = X + Y stetig ? , Dichte f_Z ?
z I R: f_Z(z) = P = P =

                        

Doppelintegral, Integrationsgebiet

B =

y

z

y = z - x x + y = z

x z x x

y = z - x

= (Integral iterieren) = = (Substitution im inneren Integral)

Substitution:   z = x + y, y = z - x

dy = dz
y = - z
y = z - x z = x + y = x + (z - x) = z

=

Ziel: Funktion von z Integralreihenfolgetausch
=

Dichte für f_Z(z) : f_Z (z

Dichte für Z = X + Y

f_Z(z) = ; z I R

Damit ist Z = X + Y eine stetige Zufallsgröße

speziell:          Annahme: X und Y unabhängig

f_X,Y(x,y) = f_X(x) * f_Y(y)                (x, y I R)
f_Z(z) =

"Faltungsformel" für die Dichte f_X und f_Y (bei Unabhängigkeit)
f_Z(z) = ; z I R

Bemerkung: Durch Vertauschen der Rolle von x und y in den obigen Überlegungen

beweist man die Formel:

f_Z(z) = ; z I R

weitere Aussagen über unabhängige Zufallsgrößen X und Y:

EXY = EX EY

f, g reelle Funktionen, X,Y unabhängig T f(X), g(X) unabhängig

Momente einer Zufallsgröße

X - Zufallsgröße

Definition: Im Falle der Existenz heißt m_k = EX^k (k = 1, 2, ) das k-te Moment der

Zufallsgröße X.

allgemein:      m_k = E(x - c)^k (k = 1, 2, )
heißt k-tes Moment von X bezüglich c I R

Momente sind sowohl theoretisch (Momentenproblem) als auch praktisch (Statistik) bedeutsam.

Charakteristische Funktionen

Vorbemerkung: komplexe Zufallsgröße

X, Y (reelle) Zufallsgrößen auf dem Wahrscheinlichkeitsraum (W, M, P)

Z = X + iY komplexe Zufallsgröße auf (W, M, P)

Meßbarkeit überträgt sich

Verteilung von Z kann durch die gemeinsame Verteilung von X, Y charakterisiert werden

Erwartungswert von Z: formal summieren EZ = EX + iEY

Z_j = X_j + iY_j (j = 1, 2)
Z₁, Z₂ unabhängig: (X₁, Y₁ unabhängig von X₂, Y₂)

Betrag Anmerkung:

Darstellung komplexer Zahlen (Wdh.)

y z

algebraische Form:

z = x + iy _x

trigonometrische Form: ^y _r ^z

z = r(cos z + i sin z) ^z

^x

Expotentialform:

z = r e^iz

Definition: Sei X eine (reelle) Zufallsgröße auf dem

Wahrscheinlichkeitsraum (W, M, P). Dann bezeichnen wir die Abbildung t z_X(t) := E(e^itX), - < t < als charakteristische Funktion der Zufallsgröße X oder der Verteilung von X.

Bemerkung: Aufgrund von |e^itx| = 1 ist obiger Ausdruck absolut und gleichmäßig in t

konvergent. Zu jeder Zufallsgröße X existiert also die charakteristische Funktion z_X(t).

X diskrete Zufallsgröße:

z(t) = E (e^itX) , t I R

(absolute Konvergenz)

Beispiel: X sei zweipunktverteilt

P = P =

z(t) = e^-it1* + e^it1 = = cos t

X stetig:

Verteilung von X besitzt Dichte f_X

z(t) = E( e^itX) = , t I R

Konvergenz:  

(absolut konvergent und gleichmäßig in t)

X stetig: Verteilung von X besteht aus Dichte f_X

j(t) = E (e^itX) = e^itX f_X(x) dx        , t I R

g(x) = e^itx

Konvergenz: |e^itx| f_X(x) dx = f_X(x) dx = 1

Beispiel: X auf [0, 1] gleichmäßig verteilt:

Dichte f_X(x) =

j(t) = e^itx f_X(x) dx = e^itx *1 dx = , t I R

Eigenschaften charakteristischer Funktionen

j(0) = E e^itX = E e⁰ = e⁰ = 1

j(t)| = |E (e^itX)| |E^itX| = E*1 = 1 (qualitative Aussage)

j(-t) = t I R       (konjugiert komplex)

[jede charakteristische Funktion erfüllt (notwendigerweise) diese Bedingungen; sie sind indessen nicht hinreichend]

lineare Transformation von X:

Zufallsgröße Y =aX + b charakteristische Funktion ?

j_Y(t) = E (e^itY) = E (e^{it(aX + b)}) = E(e^itb e^itaX) = e^itb E(e^itaX) = e^itbj_X(at)          , t I R¹

Multiplikationssatz:

X, Y seien zwei unabhängige Zufallsgrößen

charakteristische Funktion der Summe Z = X + Y ?

j_Z(t) = E (e^itZ) = E (e^{it(X + Y)}) = E (e^itX e^itY) = (unter der Voraussetzung, daß X und Y unabhängig sind) = E (e^itX) E (e^itY) = j_X (t) * j_Y (t) , t I R

Satz: Die charakteristische Funktion der Summe endlich vieler vollständig

unabhängiger Zufallsgrößen ist gleich dem Produkt der charakteristischen Funktionen dieser Zufallsgrößen.

Beispiel: X sei Poisson-verteilt mit Parameter l > 0

j_X(t) = E (e^itX) = e^itk P = e^itk e^-l = e^-l

= ,t I R

Y sei Poisson-verteilt mit Parameter m > 0 und unabhängig von X.

Wie ist Z = X + Y verteilt ?

j_Z(t) = j_X(t) j _Y(t) = = exp[l(e^it-1) + m(e^it-1)] = exp [(l m) (e^it-1)]

charakteristische Funktion einer Poissonverteilung mit Parametern l m

Bemerkung: Falls j_Z die Verteilung von Z, eindeutig charakterisiert, so ist Z

Poisson-Verteilt mit dem Parameter l m

Eindeutigkeitssatz: Jede Verteilung ist durch ihre charakteristische Funktion

eindeutig bestimmt.

Erzeugung der Momente einer Zufallsgröße

Besitzt die Zufallsgröße X das Moment k-ter Ordnung m_k = EX^k, so existiert die k-te Ableitung von j_X und es gilt:

m_k =

Charakteristiken im 2-dimensionalen

Zufallsvektor (X, Y) auf dem Wahrscheinlichkeitsraum (W, M , P)

[P_(X,Y) (B) = P = P, B I L²]

Informationsverdichtung: Erwartungswert, Streuung (Varianz) verallgemeinern.

Erwartungsvektor: (EX, EY) ^y

(EX, EY)

_x

Varianz verallgemeinern:

zwei Zufallsgrößen X, Y aus D²X, D²Y aber auch Abhängigkeiten zwischen X und Y berücksichtigen.

Einführung der Kovarianz (Abweichungen)

cov (X, Y) = E(X - EX) (Y-EY) cov (X, Y) = D²X

Kovarianzmatrix:

symmetrisch, positiv definierte Matrix

Kovarianz normieren: z(X,Y) =

Aussage: Komponenten X und Y unabhängig E( X*Y) = (EX) (EY)

cov (X,Y) = 0

z(X, Y) = 0

D²(X + Y) = D²X + D²Y

(Anmerkung: +2[E (XY) - EX EY] = cov (X, Y))

Beispiel: 2-dimensionale Normalverteilung, angegeben durch die Dichte

der Verteilung von (X, Y):

f(x,y) =

y

m_y

m_x x

cov (X, Y) = z s_xs_y , z(x, y) = z

X N(m_x s_x , Y N(m_y s_y

Folgen von Zufallsgrößen

Markovsche Ungleichungen:

Es sei X eine fast sicher nicht negative Zufallsgröße: P = 1, für die der Erwartungswert EX existiert. Dann gilt für jede Zahl t > 0 die Abkürzung:

P

Beweis:

X ist diskret: Einzelwahrscheinlichkeiten P (i = 0, 1, 2, )

EX = x_i P =

X sei fast sicher

0 EX t

P

X sei stetig: Dichte f_X(x) > 0

EX = x f_X(x) dx = x f_X(x) dx = x f_X(x) dx + x f_X(x) dx

P = 0

x f_X(x) dx t f_X(x) dx = t P T Behauptung

Bemerkung: In dieser Ungleichung wird von der Verteilung von X lediglich der

Erwartungswert EX benutzt, daher ist die obige Abschätzung oft recht grob. Zu besseren Resultaten kommt man, wenn man auch die Summe D²X der Zufallsgrößen benutzen kann.

Tschebyscheffsche Ungleichung

Die Zufallsgröße X besitze Erwartungswert und Streuung.

Dann gilt für t > 0:

P

Beweis:          Unter Anwendung der Markovschen Ungleichung auf (X - EX)²,

t wird durch t² ersetzt:

P

Das Ereignis tritt genau dann ein,

wenn

t² dick gekennzeichnete Bereiche

auf der t-Achse entsprechen

genau dem markierten Bereich der

t²-Achse

t²

-t t t

Bemerkungen: Für t² D²X wird die Aussage dieser Ungleichung trivial, denn dann ist

Im Falle t = 3s = (den "Drei-Sigma-Grenzen") besagt die Tschebyscheffsche Ungleichung, daß für jede Zufallsgröße X - also für jede Verteilung - mit Existieren der Streuung gilt:

EX-3s EX EX+3s

P = 1 - P 1 - = 1 - = 1 - =

(quantitativ wichtige Aussage)

Bemerkung: Wenn die Wahrscheinlichkeit = ist, liegt X im Intervall

[EX-3s, EX+3s

Gesetze der großen Zahlen

Bernoulli-Schema: Serie von n unabhängigen Versuchen, Zufallsgröße X_n zählt

das Eintreten des Ereignisses A in der Serie.

P(A) = p X_n binominal verteilt mit den Parametern n, p

Ex_n = n · p , D²X_n = n · p (1 - p)

X_n: absolute Häufigkeit des Eintretens von A

relative Häufigkeit: h_n(A):=

Naturbeobachtung: Folge der relativen Häufigkeiten h_n(A) (n = 1, 2, ) ist stabil.

Erwartungswert und Streuung der relativen Häufigkeiten:

E h_n(A) = E = Ex_n = = p = P(A)

E h_n(A) = P(A) (n = 1, 2, )

[Erwartungswert d. relativen Häufigkeit von A ist gleich der Wahrscheinlichkeit von A]

D² h_n(A) = 0 für n (deterministische Konvergenz)

Die Varianz und damit die Abweichung der relativen Häufigkeit h_n(A) von der dem Experiment zugrunde liegende Wahrscheinlichkeit P(A), die wir als objektiv gegeben ansehen, wird immer kleiner. Mit Hilfe der Tschebyscheffschen Ungleichung läßt sich diese Abweichung sogar quantitativ erfassen:

Für e > 0 gilt: P = P =

Bernoullisches Gesetz der großen Zahlen:

Es sei A ein in einem zufälligen Versuch auftretendes Ereignis und h_n(A) die relative Häufigkeit des Eintretens von A in einer Serie von unabhängigen Wiederholungen dieses Versuches (n = 1, 2, ). Dann gilt:

P = 1

Man sagt: "h_n(A) konvergiert stochastisch gegen die Wahrscheinlichkeit P(A).

Bemerkungen:

Neben seiner unmittelbaren Bedeutung lehrt dieses Gesetz auch, daß jedes Ereignis positiver Wahrscheinlichkeit - wie klein diese auch sein mag - in einer genügend langen Versuchsserie mit einer beliebig nahe an Eins gelegenen Wahrscheinlichkeit mindestens einmal vorkommt: "Gesetz der großen Zahlen" - der Traum jeden Spielers.

Allgemein ist dieses Gesetz ein hervorragender Beleg für die adäquate Beschreibung realer zufälliger Phänomene durch die Wahrscheinlichkeitstheorie.

Verallgemeinerung: X_k; k = 1, 2, Folge von Zufallsgrößen

arithmetisches Mittel der ersten n Zufallsgrößen X_k:

Y_n =

Aussage: X₁, X₂, , X_n, Folge unabhängiger Zufallsgrößen mit gleichem

Erwartungswert Ex_k = m (k = 1, 2, ) und beschränkter Streuung D²X_k M

Für e > 0 gilt:             (*) P = s

Aussage: X₁, X₂, , X_k, paarweise unabhängige identisch verteilte

Zufallsgrößen , deren Erwartungswert und Streuung existieren. Auch dann gilt das Gesetz der großen Zahlen (*).

Wie wir schon beim Grenzwertsatz von de Moire-Laplace kennenlernten, sind auch Aussagen über Grenzverteilungen möglich.

Es sei (X_k) eine Folge unabhängiger, identisch verteilter Zufallsgrößen mit positiver Streuung.

Dann genügt die Folge (X_k) dem "zentralen Grenzwertsatz":

EX_k = m , D²X_k = s > 0 (k = 1, 2, )

Z_n = (n = 1, 2, )

P F(b) - F(a)

d.h. die Zufallsgröße Z_n = (n = 1, 2, ) sind asymptotisch normalverteilt, genauer N(0, 1) verteilt.

Bemerkung: Der Zentrale Grenzwertsatz manifestiert die enorme theoretische und

praktische Bedeutung der Normalverteilung. Ergibt sich eine Zufallsgröße aus der Überlagerung einer Vielzahl weitgehend unabhängiger zufälliger Effekte, so ist sie genähert normalverteilt.

Zur Bestimmung der asymptotischen Verteilung ist dann nur die Kenntnis der Erwartungswerte und Streuungen erforderlich.