Prawdopodobieństwo warunkowe i niezależność zdarzeń

Prawdopodobieństwo warunkowe

W poprzednim rozdziale przekonaliśmy się, w jaki sposób wyznaczać prawdopodobieństwa zdarzeń w momencie gdy mamy zadaną przestrzeń probabilistyczną. Zajmiemy się teraz następującym zagadnieniem: czasami, przy badaniu prawdopodobieństwa konkretnego zdarzenia, dysponujemy dodatkową informacją, która w istotny sposób zmienia warunki. Najlepiej to zilustrować na przykładzie.

Przykład W urnie jest pięć białych kul ponumerowanych liczbami 1, 2, 3, 4, 5 oraz trzy kule czarne ponumerowane liczbami 1, 2, 3. Losujemy jedną kulę.

a) jakie jest prawdopodobieństwo, że numer na niej jest parzysty?

b) Wiadomo, że wyciągnięta kula jest biała. Jakie jest prawdopodobieństwo, że numer na niej jest parzysty?

W podpunkcie a) odpowiedź brzmi $3/8$ : mamy osiem kul, z których trzy są podpisane parzystymi numerami. W podpunkcie b) dołożono dodatkową informację: wyciągnięta kula ma biały kolor. Rzecz jasna, informacja ta zmienia odpowiedź: jest pięć kul białych, wśród nich dwie o parzystych numerach, skąd dostajemy wynik $2/5$ . Formalnie, mamy do czynienia ze schematem klasycznym na

$\Omega=\{(1,b), (2,b), \ldots, (5,b), (1,c), (2,c), (3,c)\}.$

Określmy zdarzenia: A - wylosowano kulę o numerze parzystym, B - wylosowano kulę białą; zatem

$A=\{(2,b), (4,b), (2,c)\},\qquad B=\{(1,b), (2,b),\ldots,(5,b)\}$

i mamy

$\frac{2}{5}=\frac{|A\cap B|}{|B|}=\frac{|A\cap B|/|\Omega|}{|B|/|\Omega|}=\frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}.$

Powyższe rozważania sugerują następującą definicję.

Definicja Załóżmy, że $(\Omega,\F,\mathbb{P})$ jest przestrzenią probabilistyczną oraz $A,\,B$ są zdarzeniami takimi, że $\mathbb{P}(B)>0$ . Prawdopodobieństwem warunkowym (zajścia) zdarzenia $A$ pod warunkiem (zajścia) zdarzenia $B$ nazywamy liczbę

$\mathbb{}P(A|B)=\frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}.$

Uwaga: Jak łatwo sprawdzić, przy ustalonym zdarzeniu $B$ takim, że $\mathbb{P}(B)>0$ , prawdopodobieństwo warunkowe $\mathbb{P}(\cdot|B)$ jest nową miarą probabilistyczną na $(\Omega,\F)$ .

Twierdzenie [Prawdopodobieństwo iloczynu zdarzeń] Załóżmy, że $(\Omega,\F,\P)$ jest przestrzenią probabilistyczną oraz $A_1$ , $A_2$ , $\ldots$ , $A_n$ są zdarzeniami spełniającymi warunek $\mathbb{P}(A_1\cap A_2\cap\ldots\cap A_n)>0$ . Wówczas \begin{align*} &\mathbb{P}(A_1\cap A_2\cap \ldots \cap A_n)\\ &=\mathbb{P}(A_n|A_1\cap A_2\cap \ldots \cap A_{n-1})\mathbb{P}(A_{n-1}|A_1\cap A_2\cap \ldots A_{n-2})\ldots \mathbb{P}(A_2|A_1)\mathbb{P}(A_1). \end{align*}

Dowód:[Dowód] Wystarczy zastosować definicję prawdopodobieństwa warunkowego. □

Przykład W urnie znajduje się $n-1$ białych kul oraz jedna czarna. Losujemy po jednej kuli aż do momentu, gdy wylosujemy czarną kulę. jakie jest prawdopodobieństwo tego, że wykonamy $k$ losowań jeśli a) losujemy bez zwracania b) losujemy ze zwracaniem?

Oznaczmy białe kule przez $b_1$ , $b_2$ , $\ldots$ , $b_{n-1}$ , a czarną kulę przez $c$ . Mamy

$\Omega=\{(c),(b_1,c),(b_2,c),\ldots,(b_{n-1},c),(b_1,b_1,c),\ldots\},$

$\F=2^\Omega$ , a prawdopodobieństwo zadane jest poprzez określenie mas poszczególnych zdarzeń jednoelementowych (por. Przykład 2 z poprzedniego wykładu).

Rozważmy zdarzenie $A_i$ - $i$ -ta kula jest biała, $i=1,\,2,\,\ldots$ . Korzystając z powyższego twierdzenia, mamy \begin{align*} &\mathbb{P}(A_k'\cap A_{k-1}\cap A_{k-2}\cap \ldots \cap A_1)\\ &=\mathbb{P}(A_k'|A_{k-1}\cap \ldots\cap A_1)\mathbb{P}(A_{k-1}|A_{k-2}\cap \ldots \cap A_1)\ldots \mathbb{P}(A_2|A_1)\mathbb{P}(A_1). \end{align*}

a) Z warunków zadania wynika, że

$\mathbb{P}(A_i|A_{i-1}\cap \ldots\cap A_1)=\frac{n-i}{n-i+1},\quad \mathbb{P}(A_k'|A_{k-1}\cap\ldots\cap A_1)=\frac{1}{n-k+1},$

a zatem szukane prawdopodobieństwo wynosi

$\frac{1}{n-k+1}\cdot \frac{n-k+1}{n-k+2}\cdot \frac{n-k+2}{n-k+3}\cdot \ldots \cdot \frac{n-2}{n-1}\cdot \frac{n-1}{n}=\frac{1}{n}.$

b) Tym razem mamy

$\mathbb{P}(A_i|A_{i-1}\cap A_{i-2}\cap \ldots \cap A_1)=\frac{n-1}{n},$

a więc szukane prawdopodobieństwo jest równe

$\left(1-\frac{n-1}{n}\right)\cdot\frac{n-1}{n}\cdot \frac{n-1}{n}\cdot \ldots \cdot \frac{n-1}{n}=\frac{1}{n}\left(\frac{n-1}{n}\right)^{k-1}.$

Zajmiemy się teraz analizą doświadczeń ,,wieloetapowych'', w których mamy do czynienia z losowaniem w kilku krokach, a przestrzeń probabilistyczna jest zadana poprzez specyfikację prawdopodobieństw warunkowych związanych z poszczególnymi krokami (por. przykład poniżej). Zacznijmy od definicji.

Definicja Mówimy, że rodzina zdarzeń $(B_k)_{k=1}^n$ jest rozbiciem (skończonym) zbioru $\Omega$ , jeśli $B_1\cup B_2\cup \ldots \cup B_n=\Omega$ oraz zdarzenia $B_1,\,B_2,\,\ldots,\,B_n$ są parami rozłączne. Analogicznie definiujemy rozbicie przeliczalne $\Omega$ .

Twierdzenie [Wzór na prawdopodobieństwo całkowite] Załóżmy, że $(\Omega,\F,\P)$ jest przestrzenią probabilistyczną oraz $A\in \F$ oraz $(B_k)_k$ jest rozbiciem $\Omega$ (skończonym lub przeliczalnym), takim, że $\mathbb{P}(B_k)>0$ dla wszystkich $k$ . Wówczas

$\mathbb{P}(A)=\sum_k \mathbb{P}(A|B_k)\mathbb{P}(B_k).$

Dowód:[Dowód] Zdarzenia $A\cap B_1$ , $A\cap B_2$ , $\ldots$ , są parami rozłączne i dają w sumie $A$ , a zatem

$\mathbb{P}(A)=\sum_k \mathbb{P}(A\cap B_k)=\sum_k \mathbb{P}(A|B_k)\mathbb{P}(B_k). \qedhere$

□

Twierdzenie [Wzór Bayesa] Przy założeniach jak wyżej, jeśli $\mathbb{P}(A)>0$ , to dla każdego $k$ ,

$\mathbb{P}(B_k|A)=\frac{\mathbb{P}(A|B_k)\mathbb{P}(B_k)}{\sum_n \mathbb{P}(A|B_n)\mathbb{P}(B_n)}\quad \left(=\frac{\mathbb{P}(A|B_k)\mathbb{P}(B_k)}{\P(A)}\right).$

Dowód:[Dowód] Wzór wynika natychmiast z definicji prawdopodobieństwa warunkowego oraz wzoru na prawdopodobieństwo całkowite. □

Przykład Dane są urny I oraz II. W urnie I znajduje się $b_1$ kul białych oraz $c_1$ kul czarnych, zaś w urnie II - $b_2$ kul białych i $c_2$ kul czarnych. Losujemy urnę, a następnie kulę z tej urny.

a) Jakie jest prawdopodobieństwo, że kula jest biała?

b) Załóżmy, że wyciągnięta kula jest biała. Jakie jest prawdopodobieństwo tego, że losowano z I urny?

Mamy dwa etapy doświadczenia: losowanie urny oraz losowanie kuli z danej urny. Wprowadźmy zdarzenia $A$ - wyciągnięto białą kulę, $B_1$ - wylosowano urnę I, $B_2$ - wylosowano urnę II. Mamy $B_1\cap B_2=\emptyset$ , $B_1\cup B_2=\Omega$ , a więc rodzina $(B_i)_{i=1}^2$ jest rozbiciem $\Omega$ . Z warunków zadania wynika, że

$\mathbb{P}(B_1)=\mathbb{P}(B_2)=\frac{1}{2}>0,\quad \mathbb{P}(A|B_1)=\frac{b_1}{b_1+c_1},\quad \mathbb{P}(A|B_2)=\frac{b_2}{b_2+c_2}.$

a) Korzystając ze wzoru na prawdopodobieństwo całkowite mamy

$\mathbb{P}(A)= \mathbb{P}(A|B_1)\mathbb{P}(B_1)+\mathbb{P}(A|B_2)\mathbb{P}(B_2) =\frac{1}{2}\left(\frac{b_1}{b_1+c_1}+\frac{b_2}{b_2+c_2}\right).$

b) Na mocy wzoru Bayesa,

$\mathbb{P}(B_1|A)=\frac{\mathbb{P}(A|B_1)\mathbb{P}(B_1)}{\mathbb{P}(A)} =\frac{b_1/(b_1+c_1)}{b_1/(b_1+c_1)+b_2/(b_2+c_2)}.$

Niezależność zdarzeń

Zacznijmy od intuicji. Załóżmy, że $A$ , $B$ są zdarzeniami, przy czym $\mathbb{P}(B)>0$ . Wówczas zdarzenia $A$ , $B$ powinny być niezależne, jeśli informacja o tym, że zaszło zdarzenie $B$ nie wpływa na prawdopodobieństwo zajścia zdarzenia $A$ ; tzn. niezależność powinna być równoważna równości $\mathbb{P}(A|B)=\mathbb{P}(A)$ , czyli $\mathbb{P}(A\cap B)=\mathbb{P}(A)\mathbb{P}(B).$ Przyjmujemy to jako definicję.

Definicja Załóżmy, że $(\Omega,\F,\mathbb{P})$ jest przestrzenią probabilistyczną. Zdarzenia $A$ , $B$ są niezależne, jeśli

$\mathbb{P}(A\cap B)=\mathbb{P}(A)\mathbb{P}(B).$

Uwaga: Jeśli $\mathbb{P}(A)=0$ , to dla dowolnego $B\in \F$ zdarzenia $A$ oraz $B$ są niezależne. Ta sama teza zachodzi gdy $\mathbb{P}(A)=1$ .

Zdefiniujemy teraz niezależność większej liczby zdarzeń. Zacznijmy od przypadku skończonego. Intuicyjnie, zdarzenia $A_1$ , $A_2$ , $\ldots$ , $A_n$ są niezależne jeśli każdy podukład tych zdarzeń jest niezależny oraz zdarzenia $A_n$ , $A_1\cap A_2\cap \ldots A_{n-1}$ są niezależne. jak łatwo zauważyć, powyższe warunki wymuszają równość

$\mathbb{P}(A_{i_1}\cap A_{i_2}\cap \ldots \cap A_{i_k})= \mathbb{P}(A_{i_1})\mathbb{P}(A_{i_2})\ldots\mathbb{P}(A_{i_k})$

dla dowolnego $k=2,\,3,\ldots,\,n$ i dowolnego rosnącego ciągu $1\leq i_1<i_2<\ldots<i_k\leq n$ . Przyjmujemy to jako definicję.

Definicja Mówimy, że zdarzenia $A_1$ , $A_2$ , $\ldots$ , $A_n$ są niezależne, jeśli dla wszystkich $2\leq k\leq n$ oraz dowolnego ciągu $1\leq i_1<i_2<\ldots<i_k\leq n$ zachodzi równość

$\mathbb{P}(A_{i_1}\cap A_{i_2}\cap \ldots \cap A_{i_k})= \mathbb{P}(A_{i_1})\mathbb{P}(A_{i_2})\ldots\mathbb{P}(A_{i_k}).$

Definicja Mówimy, że zdarzenia $A_1$ , $A_2$ , $\ldots$ , $A_n$ są niezależne parami, jeśli dla dowolnych różnych $i,\,j\in \{1,\,2,\,\ldots,\,n\}$ , zdarzenia $A_i$ oraz $A_j$ są niezależne.

Oczywiście niezależność ,,zespołowa'' (czy też ,,łączna'') zdarzeń $A_1$ , $A_2$ , $\ldots$ , $A_n$ pociąga za sobą ich niezależność parami. Implikacja w drugą stronę nie jest prawdziwa, co ilustruje następujący przykład.

Przykład Rzucamy dwa razy kostką. Niech $A$ - za pierwszym razem wypadła parzysta liczba oczek, $B$ - za drugim razem wypadła parzysta liczba oczek, $C$ - suma oczek jest parzysta. Bezpośrednio wyliczamy, iż

$\mathbb{P}(A)=\mathbb{P}(B)=\mathbb{P}(C)=\frac{1}{2}, \quad \mathbb{P}(A\cap B)=\mathbb{P}(B\cap C)=\mathbb{P}(C\cap A)=\frac{1}{4},$

a więc zdarzenia $A$ , $B$ , $C$ są niezależne parami. Nie są jednak niezależne zespołowo: mamy $A\cap B\subset C$ , a więc $\mathbb{P}(A\cap B\cap C)=\P(A\cap B)=1/4\neq \P(A)\P(B)\P(C)$ .

W przypadku dowolnej (być może nieskończonej) liczby zdarzeń, niezależność definiujemy następująco.

Definicja Załóżmy, że $\{A_i\}_{i\in I}$ jest pewną rodziną zdarzeń. Mówimy, iż zdarzenia te są niezależne, jeśli dla każdego $n$ oraz parami różnych $i_1$ , $i_2$ , $\ldots$ , $i_n \in I$ zdarzenia $A_{i_1}$ , $A_{i_2}$ , $\ldots$ , $A_{i_n}$ są niezależne.

Zdefiniujemy teraz pojęcie niezależności $\sigma$ -ciał.

Definicja Załóżmy, że $(\Omega,\F,\mathbb{P})$ jest przestrzenią probabilistyczną oraz $\F_1$ , $\F_2$ , \ldots, $\F_n$ są $\sigma$ -ciałami zawartymi w $\F$ . Mówimy, że $\sigma$ -ciała te są niezależne, jeśli dla dowolnych $A_1\in \F_1$ , $A_2\in \F_2$ , $\ldots$ , $A_n\in \F_n$ zachodzi warunek

$\mathbb{P}(A_1\cap A_2\cap \ldots \cap A_n)=\mathbb{P}(A_1)\mathbb{P}(A_2)\ldots\mathbb{P}(A_n).$

Twierdzenie Przy założeniach powyższej definicji, $\sigma$ -ciała $\F_1$ , $\F_2$ , $\ldots$ , $\F_n$ są niezależne wtedy i tylko wtedy, gdy dowolne $A_1\in \F_1$ , $A_2\in \F_2$ , $\ldots$ , $A_n\in \F_n$ są niezależne.

Dowód:[Dowód] $\Leftarrow$ oczywiste.

$\Rightarrow$ Mamy dowieść, że dla dowolnego $2\leq k\leq n$ oraz dowolnego ciągu $1\leq i_1<i_2<\ldots<i_k\leq n$ zachodzi równość

$\mathbb{P}(A_{i_1}\cap A_{i_2}\cap \ldots \cap A_{i_k})= \mathbb{P}(A_{i_1})\mathbb{P}(A_{i_2})\ldots\mathbb{P}(A_{i_k}).\leqno{(* )}$

Rozważmy zdarzenia $B_1$ , $B_2$ , $\ldots$ , $B_n$ dane przez

$B_i=\begin{cases} A_i & \mbox{jeśli }i=i_\ell \mbox{ dla pewnego }\ell,\\ \Omega & \mbox{w przeciwnym przypadku.} \end{cases}$

Wówczas $B_1\in \F_1$ , $B_2\in \F_2$ , $\ldots$ , $B_n\in \F_n$ , a zatem

$\mathbb{P}(B_1\cap B_2\cap \ldots \cap B_n)=\mathbb{P}(B_1)\mathbb{P}(B_2)\ldots\mathbb{P}(B_n),$

co jest równoważne (*). □

Przykład Rzucamy dwa razy kostką. Wprowadźmy standardową przestrzeń probabilistyczną opisującą to doświadczenie (por. poprzedni wykład). Rozważmy $\sigma$ -ciała

$\F_1=\{A\times \{1,2,3,4,5,6\}: A\subseteq \{1,2,3,4,5,6\}\},$

$\F_2=\{\{1,2,3,4,5,6\}\times B: B\subseteq \{1,2,3,4,5,6\}\}.$

Wówczas $\F_1,\,\F_2 \subset \F$ i $\F_1,$ $\F_2$ są niezależne: istotnie, dla dowolnych zdarzeń $A\times\{1,2,3,4,5,6\}\in \F_1$ , $B\times \{1,2,3,4,5,6\}\in \F_2$ mamy

$\mathbb{P}(A\times\{1,2,3,4,5,6\})=\frac{|A|\cdot 6}{36}=\frac{|A|}{6},\quad \mathbb{P}(\{1,2,3,4,5,6\}\times B)=\frac{6\cdot |B|}{36}=\frac{|B|}{6}$

oraz

$\mathbb{P}((A\times\{1,2,3,4,5,6\})\cap (\{1,2,3,4,5,6\}\times B))=\mathbb{P}(A\times B)=\frac{|A|\cdot |B|}{36}.$

Przykład Załóżmy, że $\sigma(A_1)$ , $\sigma(A_2)$ , $\ldots$ , $\sigma(A_n)$ będą $\sigma$ -ciałami generowanymi przez zdarzenia $A_1$ , $A_2$ , $\ldots$ , $A_n$ , odpowiednio (przypomnijmy: $\sigma(A)=\{A,A',\emptyset ,\Omega\}$ ). Wówczas jeśli $A_1$ , $A_2$ , $\ldots$ , $A_n$ są niezależne, to $\sigma(A_1)$ , $\sigma(A_2)$ , $\ldots$ , $\sigma(A_n)$ też są niezależne. Aby to wykazać, musimy sprawdzić, że dla dowolnych $B_i\in \F_i$ , $i=1,\,2,\,\ldots,\,n$ , zachodzi

$\mathbb{P}(B_1\cap B_2\cap \ldots \cap B_n)=\mathbb{P}(B_1)\mathbb{P}(B_2)\ldots\mathbb{P}(B_n).$

Jeśli co najmniej jedno ze zdarzeń $B_i$ jest zbiorem pustym, to powyższa równość jest spełniona: obie strony są równe $0$ . Jeśli dla pewnego $j$ mamy $B_j=\Omega$ , to możemy to zdarzenie pominąć po obu stronach. Zatem, wystarczy dowieść, że dla dowolnego ciągu $1\leq i_1<i_2<\ldots<i_k\leq n$ mamy

$\mathbb{P}(B_{i_1}\cap B_{i_2}\cap \ldots \cap B_{i_k})=\mathbb{P}(B_{i_1})\mathbb{P}(B_{i_2})\ldots \mathbb{P}(B_{i_k}),$

gdzie dla każdego $j$ , zdarzenie $B_{i_j}$ jest równe $A_{i_j}$ lub $A_{i_j}'$ . Poprzez prostą indukcję, wystarczy wykazać, że

$\mathbb{P}(A'_{i_1}\cap A_{i_2}\cap A_{i_3}\cap\ldots \cap A_{i_k})=\mathbb{P}(A_{i_1}')\mathbb{P}(A_{i_2})\mathbb{P}(A_{i_3})\ldots \mathbb{P}(A_{i_k}),$

co natychmiast wynika z niezależności zdarzeń $A_1$ , $A_2$ , $\ldots$ , $A_n$ : istotnie, \begin{align*} & \mathbb{P}(A_{i_1}'\cap A_{i_2}\cap A_{i_3}\cap\ldots \cap A_{i_k})\\ &= \mathbb{P}(A_{i_2}\cap A_{i_3}\cap\ldots \cap A_{i_k})- \mathbb{P}(A_{i_1}\cap A_{i_2}\cap A_{i_3}\cap\ldots \cap A_{i_k})\\ &=\mathbb{P}(A_{i_2})\mathbb{P}(A_{i_3})\ldots \mathbb{P}(A_{i_k})-\mathbb{P}(A_{i_1})\mathbb{P}(A_{i_2})\mathbb{P}(A_{i_3})\ldots \mathbb{P}(A_{i_k})\\ &=\mathbb{P}(A_{i_1}')\mathbb{P}(A_{i_2})\mathbb{P}(A_{i_3})\ldots \mathbb{P}(A_{i_k}). \end{align*}

Rozważmy teraz następujący problem. Załóżmy, że mamy $N$ doświadczeń, przy czym $i$ -te doświadczenie jest opisywane przez przestrzeń probabilistyczną $(\Omega_i,\F_i,\mathbb{P}_i)$ . W jaki sposób możemy zbudować przestrzeń $(\Omega,\F,\mathbb{P})$ dla doświadczenia polegającego na niezależnym przeprowadzeniu tych $N$ doświadczeń?

Oczywiście, jako zbiór $\Omega$ bierzemy $\Omega_1\times \Omega_2\times \ldots \Omega_N$ . Aby określić $\F$ , zwróćmy uwagę, iż $\sigma$ -ciało $\F_i$ jest reprezentowane, w kontekście powyższego zbioru $\Omega$ , przez klasę

$\F_i'=\{\Omega_1\times \Omega_2\times \ldots\times \Omega_{i-1}\times A_i \times \Omega_{i+1}\times \ldots\times \Omega_N:A_i\in \F_i\}.$

Stąd naturalny pomysł, by wziąć $\F=\sigma(\F_1',\F_2',\ldots,\F_N')$ , $\sigma$ -ciało generowane przez $\F_1',\,\F_2',\,\ldots,\,\F_N'$ . Innymi słowy, jako $\F$ bierzemy $\sigma$ -ciało produktowe $\F_1\otimes \F_2\otimes \ldots\otimes \F_N$ . Przejdźmy do określenia miary probabilistycznej $\P$ . Z powyższych postulatów, $\sigma$ -ciała $\F_1'$ , $\F_2'$ , $\ldots$ , $\F_N'$ mają być niezależne, a zatem poszukujemy takiego prawdopodobieństwa $\P$ , że dla dowolnych $A_i\in \F_i$ , $i=1,\,2,\,\ldots,\,N$ , \begin{align*} &\mathbb{P}(A_1\times A_2\times \ldots \times A_N)=\\ & \P\big((A_1\times \Omega_2\times \ldots\times \Omega_N)\cap(\Omega_1\times A_2\times \ldots\times \Omega_N)\cap \ldots \cap (\Omega_1\times \ldots\times \Omega_{N-1}\times A_N)\big)\\ &\qquad\qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad =\prod_{i=1}^N \P(\Omega_1\times \ldots \times A_i \times \ldots \times \Omega_N). \end{align*} Ponadto, chcemy by $\P(\Omega_1\times \ldots \times A_i\times \ldots \times \Omega_N)=\P_i(A_i)$ dla każdego $i$ . Podsumowując, poszukujemy takiego $\P$ , by dla dowolnych zdarzeń $A_1,\,A_2,\,\ldots,\,A_N$ jak wyżej zachodziła równość

$\mathbb{P}(A_1\times A_2\times \ldots \times A_N)=\P_1(A_1)\P_2(A_2)\ldots\P_N(A_N).$

Z teorii miary wiadomo, że istnieje dokładnie jedno takie prawdopodobieństwo $\P$ na $\F_1\otimes \F_2\otimes \ldots \otimes \F_N$ , i jest ono równe $\P_1\otimes \P_2\otimes \ldots \otimes \P_N$ - produktowi miar $\P_1$ , $\P_2$ , $\ldots$ , $\P_N$ .

Analogiczne rozumowanie można przeprowadzić w przypadku gdy mamy do czyniania z nieskończoną liczbą doświadczeń modelowanych przez przestrzenie probabilistyczne $(\Omega_i,\F_i,\mathbb{P}_i)$ .

Przykład [Schemat Bernoulliego] Załóżmy, iż dla każdego $i=1,\,2,\,\ldots,\,N$ mamy $\Omega_i=\{0,1\}$ , $\F^i=2^{\Omega_i}$ oraz $\mathbb{P}_i(\{1\})=p$ , gdzie $p\in [0,1]$ jest ustalonym parametrem. Widzimy, iż każda pojedyncza przestrzeń $(\Omega_i,\F_i,\mathbb{P}_i)$ modeluje doświadczenie w którym są dwa możliwe wyniki: $0$ i $1$ , interpretowane jako porażka i sukces (podkreślmy: prawdopodobieństwo sukcesu jest równe $p$ i nie zależy od numeru doświadczenia). Takie pojedyncze doświadczenie nazywamy próbą Bernoulliego. Na mocy powyższej konstrukcji, przestrzeń probabilistyczna

$(\{0,1\}^N,2^\Omega,\P)=(\Omega_1\times \Omega_2\times \ldots \times \Omega_N,\F_1\otimes \F_2\otimes \ldots\otimes \F_N,\P_1\otimes \P_2\otimes \ldots\otimes \P_N)$

modeluje ciąg niezależnych $N$ powtórzeń próby Bernoulliego. Ciąg ten nazywamy schematem Bernoulliego.

Zauważmy, iż dla dowolnego $\omega=(\omega_1,\,\omega_2,\,\ldots,\,\omega_N)\in \Omega$ mamy $\mathbb{P}(\{\omega\})=p^k(1-p)^{N-k}$ , gdzie $k$ jest liczbą jedynek w ciągu $\omega$ . Wynika stąd, iż jeśli określimy zdarzenie $A_k=\{$ liczba sukcesów jest równa $k\}$ , to

$\P(A_k)=\sum_{\omega\in A_k} \P(\{\omega\})=|A_k|p^k(1-p)^{N-k}={N \choose k} p^k(1-p)^{N-k}.$

Załóżmy, że $A_1$ , $A_2$ , $\ldots$ są pewnymi zdarzeniami; wówczas $\bigcap_{n=1}^\infty \bigcup_{m=n}^\infty A_m$ możemy interpretować jako ,,zaszło nieskończenie wiele spośród zdarzeń $A_1$ , $A_2$ , $\ldots$ ''. Okazuje się, że przy pewnych założeniach, zdarzenie to ma prawdopodobieństwo $0$ lub $1$ . Ściślej, zachodzi następujący fakt.

Lemat [Borela-Cantelli] Załóżmy, że $(\Omega,\F,\P)$ jest przestrzenią probabilistyczną oraz $A_1$ , $A_2$ , $\ldots \in \F$ .

(i) Jeśli $\sum_{n=1}^\infty \P(A_n)<\infty$ , to

$\P\Big(\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty A_m\Big)=0$

(a zatem z prawdopodobieństwem $1$ zachodzi skończenie wiele spośród $A_i$ ).

(ii) Jeśli $A_1$ , $A_2$ , $\ldots$ są niezależne i $\sum_{n=1}^\infty \P(A_n)=\infty$ , to

$\P\Big(\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty A_m\Big)=1.$

Dowód:[Dowód] (i) Mamy

$\P\Big(\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty A_m\Big)\leq \P\Big(\bigcup_{m=n}^\infty A_m\Big)\leq \sum_{m=n}^\infty \P(A_m)\xrightarrow{n\to\infty} 0.$

(ii) Udowodnimy, że zdarzenie przeciwne $\bigcup_{n=1}^\infty \bigcap_{m=n}^\infty A_m'$ ma prawdopodobieństwo $0$ . Wystarczy wykazać, iż $\P(\bigcap_{m=n}^\infty A_m')=0$ dla wszystkich $n$ (wówczas rozważane zdarzenie przeciwne będzie przeliczalną sumą zbiorów miary $0$ , a zatem także będzie miało miarę $0$ ). Korzystając z twierdzenia o ciągłości, mamy iż dla dowolnego $n$ ,

$\P\Big(\bigcap_{m=n}^\infty A_m'\Big)=\P\Big(\bigcap_{k=n}^\infty \bigcap_{m=n}^k A_m'\Big)=\lim_{k\to \infty}\P\Big(\bigcap_{m=n}^k A_m'\Big),$

co na mocy niezależności zdarzeń $A_1$ , $A_2$ , $\ldots$ jest równe

$\lim_{k\to \infty} \prod_{m=n}^k \P(A_m')=\lim_{k\to \infty} \prod_{m=n}^k (1-\P(A_m))\leq \limsup_{k\to \infty} e^{-\sum_{m=n}^k \P(A_m)}=0. \qedhere$

□

Na zakończenie zaprezentujemy pewien przydatny fakt, tzw. lemat o $\pi-\lambda$ układach. Aby podać pewną motywację, załóżmy, że $\mu$ , $\nu$ są miarami probabilistycznymi na pewnej przestrzeni mierzalnej $(\Omega,\F)$ . Przypuśćmy, iż chcemy wykazać, iż te miary są sobie równe: mamy więc sprawdzić, czy dla dowolnego $A\in \F$ zachodzi równość

$\mu(A)=\nu(A).$

Powstaje bardzo naturalne pytanie: czy wystarczy zweryfikować powyższą tożsamość dla pewnej szczególnej klasy zdarzeń $A$ , np. dla generatorów $\sigma$ -ciała $\F$ ? Okazuje się że zbiór generatorów nie jest na ogół dobrym wyborem: mianowicie trzeba założyć, że klasa ta jest dodatkowo $\pi$ -układem.

Definicja Załóżmy, że $\mathcal{K}$ jest niepustą klasą podzbiorów $\Omega$ . Mówimy, że $\mathcal{K}$ jest $\pi$ -układem, jeśli klasa ta jest zamknięta ze względu na branie skończonych iloczynów: z tego, że $A$ , $B\in\mathcal{K}$ wynika, że $A\cap B\in\mathcal{K}$ .

Definicja Załóżmy, że $\mathcal{L}$ jest pewną klasą podzbiorów $\Omega$ . Mówimy, że $\mathcal{L}$ jest $\lambda$ -układem, jeśli są spełnione następujące warunki:

$\Omega\in\mathcal{L}$ ,
jeśli $A,\,B\in \mathcal{L}$ i $A\subseteq B$ , to $B\setminus A\in\mathcal{L}$ ,
jeśli $A_1,\,A_2,\,\ldots$ jest wstępującym ciągiem elementów $\mathcal{L}$ , to $\bigcup_{n=1}^\infty A_n\in \mathcal{L}$ .

Lemat [o $\pi-\lambda$ układach] Jeśli $\mathcal{L}$ jest $\lambda$ -układem zawierającym $\pi$ -układ $\mathcal{K}$ , to $\mathcal{L}$ zawiera także $\sigma$ -ciało generowane przez $\mathcal{K}$ .

Dowód:[Dowód] Rozumowanie podzielimy na trzy części.

1) Zauważmy, że jeśli $\mathcal{L}$ jest $\lambda$ -układem oraz $A,\,B\in\mathcal{L}$ spełniają $A\cap B=\emptyset$ , to

$A\cup B=(A'\setminus B)'\in\mathcal{L},$

korzystając z (i) i (ii).

2) Jeśli $\mathcal{L}$ jest jednocześnie $\pi$ -układem oraz $\lambda$ -układem, to jest $\sigma$ -ciałem. Aby to wykazać, zauważmy, iż jeśli $A,\,B\in\mathcal{L}$ , to

$A\cup B=A\cup(B\setminus (A\cap B))\in \mathcal{L},$

na mocy 1) oraz warunków definiujących $\pi$ -układ i $\lambda$ -układ. Wobec tego, przez prostą indukcję, $\mathcal{L}$ będzie zamknięte ze względu na branie skończonych sum, a zatem jeśli $A_1$ , $A_2$ , $\ldots$ jest dowolnym ciągiem elementów z $\mathcal{L}$ , to

$\bigcup_{n=1}^\infty A_n=\bigcup_{n=1}^\infty \left(\bigcup_{k=1}^n A_k\right)\in\mathcal{L}.$

W ostatnim kroku skorzystaliśmy z tego, że $A_1$ , $A_1\cup A_2$ , $A_1\cup A_2\cup A_3$ , $\ldots$ jest wstępującym ciągiem elementów $\mathcal{L}$ .

3) Niech $\Lambda$ będzie klasą wszystkich $\lambda$ -układów zawierających $\mathcal{K}$ i połóżmy $\mathcal{L}_0=\bigcap_{\textbf{L}\in\Lambda} \textbf{L}$ . Wówczas $\mathcal{L}_0\in \Lambda$ oraz $\mathcal{K}\subseteq \mathcal{L}_0\subseteq \mathcal{L}$ . Wystarczy więc udowodnić, że $\mathcal{L}_0$ jest $\sigma$ -ciałem: na mocy 2), wystarczy wykazać, że $\mathcal{L}_0$ jest $\pi$ -układem. Weźmy dowolne $A\in \mathcal{K}$ i rozważmy klasę

$\mathcal{K}_1=\{B:A\cap B\in \mathcal{L}_0\}.$

Oczywiście $\mathcal{K}_1\supseteq \mathcal{K}$ , gdyż $\mathcal{K}$ jest $\pi$ -układem. Ponadto $\mathcal{K}_1$ jest $\lambda$ -układem:

$\Omega\in \mathcal{K}_1$ , bo $A\cap\Omega=A\in \mathcal{K}\subseteq\mathcal{L}_0$ ;
jeśli $B_1,\,B_2\in \mathcal{K}_1$ , $B_1\subseteq B_2$ , to

$A\cap (B_2\setminus B_1)=(A\cap B_2)\setminus (A\cap B_1)\in\mathcal{L}_0,$

a więc $B_2\setminus B_1\in\mathcal{K}_1$ ;
$B_1\subseteq B_2\subseteq \ldots \in \mathcal{K}_1$ , to

$A\cap \left(\bigcup_{n=1}^\infty B_n\right)=\bigcup_{n=1}^\infty (A\cap B_n)\in \mathcal{L}_0,$

skąd wynika, iż $\bigcup_{n=1}^\infty B_n\in\mathcal{K}_1$ .

Zatem $\mathcal{K}_1$ zawiera $\mathcal{L}_0$ , gdyż $\mathcal{L}_0$ jest najmniejszym $\lambda$ -układem zawierającym $\mathcal{K}$ . Wykazaliśmy więc, że dla dowolnego $A\in \mathcal{K}$ oraz dowolnego $B\in\mathcal{L}_0$ , $A\cap B\in \mathcal{L}_0$ . Następnie powtarzamy rozumowanie: ustalamy $B\in\mathcal{L}_0$ i definiujemy $\mathcal{K}_2=\{A:A\cap B\in\mathcal{L}_0\}$ . Mamy $\mathcal{K}_2\supseteq \mathcal{K}$ oraz $\mathcal{K}_2$ jest $\lambda$ -układem, skąd wynika, iż $\mathcal{K}_2\supseteq \mathcal{L}_0$ , a więc dla dowolnych $A,\,B\in\mathcal{L}_0$ zachodzi $A\cap B\in\mathcal{L}_0$ . Dowód jest zakończony. □

Jako zastosowanie, udowodnimy następujący fakt.

Twierdzenie Załóżmy, że $(\Omega,\F,\P)$ jest przestrzenią probabilistyczną. Przypuśćmy, iż rodzinę $\{\mathcal{F}_\gamma\}_{\in \Gamma}$ niezależnych $\sigma$ -ciał podzielono na $n$ podrodzin $\{\F_{\gamma^i}\}_{\gamma^i\in \Gamma^i}$ , $i=1,\,2,\,\ldots,\,n$ . Wówczas $\sigma$ -ciała

$\sigma\left(\{\F_{\gamma^1}\}_{\gamma^1\in \Gamma^1}\right),\,\sigma\left(\{\F_{\gamma^2}\}_{\gamma^2\in \Gamma^2}\right),\ldots,\sigma\left(\{\F_{\gamma^n}\}_{\gamma^n\in \Gamma^n}\right),$

generowane przez poszczególne podrodziny też są niezależne.

Dowód:[Dowód] Przeprowadzimy dowód dla $n=2$ ; dla większych $n$ rozumowanie jest analogiczne. Mamy więc dwie rodziny $\{\F_\gamma\}_{\gamma\in\Gamma}$ , $\{\mathcal{G}_\delta\}_{\delta\in \Delta}$ niezależnych pod- $\sigma$ -ciał $\F$ i musimy wykazać, że dla dowolnych $A \in \sigma(\{\F_\gamma\}_{\gamma\in\Gamma})$ , $B\in \sigma(\{\mathcal{G}_\delta\}_{\delta\in \Delta})$ zachodzi

$\mathbb{P}(A\cap B)=\mathbb{P}(A)\mathbb{P}(B).\leqno{(*)}$

Na mocy niezależności $\sigma$ -ciał, wzór (*) zachodzi dla zbiorów postaci

$A=A_{\gamma^1}\cap A_{\gamma^2}\cap \ldots \cap A_{\gamma^k},\qquad A_{\gamma^i}\in \F_{\gamma^i},\,i=1,\,2,\,\ldots,k,$

$B=B_{\delta^1}\cap B_{\delta^2}\cap \ldots \cap B_{\delta^\ell},\qquad B_{\delta^j}\in \mathcal{G}_{\delta^j},\,j=1,\,2,\,\ldots,\ell.$

Ustalmy $A$ jak wyżej i rozważmy klasę $\mathcal{K}=\{B:$ zachodzi (*) $\}$ . Mamy więc $\mathcal{K}\supseteq \{B_{\delta^1}\cap B_{\delta^2}\cap\ldots \cap B_{\delta^\ell}: B_{\delta^j}\in\mathcal{G}_{\delta^j}\}$ , i ta ostatnia klasa jest, rzecz jasna, $\pi$ -układem generującym $\sigma(\{\mathcal{G}_\delta\}_{\delta\in \Delta})$ . Ponadto $\mathcal{K}$ jest $\lambda$ -układem:

$\Omega\in\mathcal{K}$ , bo $\mathbb{P}(A\cap \Omega)=\P(A)\P(\Omega)$ .
jeśli $B_1,\,B_2\in \mathcal{K}$ i $B_1\subseteq B_2$ , to $B_2\setminus B_1\in \mathcal{K}$ : istotnie, \begin{align*} \P(A\cap (B_2\setminus B_1))&=\P\big((A\cap B_2)\setminus (A\cap B_1)\big)\\ &=\P(A\cap B_2)-\P(A\cap B_1)\\ &=\P(A)\big(\P(B_2)-\P(B_1)\big)=\P(A)\P(B_2\setminus B_1). \end{align*}
Jeśli $B_1\subseteq B_2\subseteq \ldots\in \mathcal{K}$ , to $\bigcup_{n=1}^\infty B_n\in\mathcal{K}$ , gdyż z twierdzenia o ciągłości, \begin{align*} \P\left(A\cap \left(\bigcup_{n=1}^\infty B_n\right)\right)&=\P\left(\bigcup_{n=1}^\infty(A \cap B_n)\right)\\ &=\lim_{n\to \infty} \P(A\cap B_n)\\ &=\lim_{n\to \infty} \P(A)\P(B_n)=\P(A)\P\left(\bigcup_{n=1}^\infty B_n\right). \end{align*}

Zatem na mocy lematu o $\pi-\lambda$ układach, $\mathcal{K}$ zawiera $\sigma(\{\mathcal{G}_{\delta}\}_{\delta\in \Delta})$ , czyli (*) zachodzi dla dowolnego zbioru $A$ postaci $A_{\gamma^1}\cap A_{\gamma^2}\cap\ldots\cap A_{\gamma^k}$ oraz $B\in \sigma(\{\mathcal{G}_{\delta}\}_{\delta\in \Delta})$ . Następnie, powtarzamy rozumowanie: ustalamy $B\in \sigma(\{\mathcal{G}_{\delta}\}_{\delta\in \Delta})$ i definiujemy $\mathcal{L}=\{A:$ zachodzi (*) $\}$ . Klasa $\mathcal{L}$ zawiera wszystkie zbiory postaci $A_{\gamma^1}\cap A_{\gamma^2}\cap \ldots \cap A_{\gamma^k}$ , które tworzą $\pi$ -układ generujący $\sigma(\{\F_{\gamma}\}_{\gamma\in \Gamma})$ . Tak jak wyżej, sprawdzamy, że $\mathcal{L}$ jest $\lambda$ układem, a zatem z lematu o $\pi-\lambda$ układach, $\mathcal{L}\supseteq \sigma(\{\F_\gamma\}_{\gamma\in\Gamma})$ . Wobec tego (*) zachodzi dla wszystkich $A\in \sigma(\{\F_\gamma\}_{\gamma\in\Gamma})$ oraz $B\in \sigma(\{\mathcal{G}_\delta\}_{\delta\in \Delta})$ , skąd dostajemy żądaną niezależność $\sigma$ -ciał. □

Zadania

1. Grupa $n$ osób ( $n\geq 3$ ), wśród których są osoby $X$ , $Y$ i $Z$ , ustawia się losowo w kolejce. Jakie jest prawdopodobieństwo tego, że

a) $X$ stoi bezpośrednio przed $Y$ , jeśli $Y$ stoi bezpośrednio przed $Z$ ?

b) $X$ stoi przed $Y$ , jeśli $Y$ stoi przed $Z$ ?

2. Z talii 52 kart losujemy 5 kart bez zwracania. Obliczyć prawdopodobieństwo tego, że mamy dokładnie $3$ asy, jeżeli wiadomo, że

a) mamy co najmniej jednego asa;

b) mamy asa czarnego koloru;

c) mamy asa pik;

d) pierwszą wylosowaną kartą jest as;

e) pierwszą wylosowaną kartą jest czarny as;

f) pierwszą wylosowaną kartą jest as pik.

3. W urnie znajdują się trzy białe i cztery czarne kule. Losujemy kulę, wyrzucamy bez oglądania, a następnie losujemy kolejną kulę z urny.

a) Jakie jest prawdopodobieństwo, że druga kula jest biała?

b) Załóżmy, że za drugim razem wyciągnięto białą kulę. Jakie jest prawdopodobieństwo, że za pierwszym razem wylosowano czarną kulę?

4. W populacji jest 15 $\%$ dyslektyków. Jeśli w teście diagnostycznym uczeń popełni 6 lub więcej błędów, to zostaje uznany za dyslektyka. Każdy dyslektyk na pewno popełni co najmniej 6 błędów w takim teście, ale również nie-dyslektyk może popełnić więcej niż 5 błędów -- dzieje się tak z prawdopodobieńswem 0,1. Jasio popełnił w teście 6 błędów. Jakie jest prawdopodobieństwo, że jest dyslektykiem? Jakie jest prawdopodobieństwo tego, że w kolejnym teście też popełni co najmniej 6 błędów?

5. W pewnej fabryce telewizorów każdy z aparatów może być wadliwy z prawdopodobieństwem $p$ . W fabryce są trzy stanowiska kontroli i wyprodukowany telewizor trafia na każde ze stanowisk z jednakowym prawdopodobieństwem. $i$ -te stanowisko wykrywa wadliwy telewizor z prawdopodobieństwem $p_i$ $(i=1,2,3)$ . Telewizory nie odrzucone w fabryce trafiają do hurtowni i tam poddawane są dodatkowej kontroli, która wykrywa wadliwy telewizor z prawdopodobieństwem $p_0$ .

a) Obliczyć prawdopodobieństwo tego, że dany nowowyprodukowany telewizor znajdzie się w sprzedaży (tzn. przejdzie przez obie kontrole).

b) Przypuśćmy, że telewizor jest już w sklepie. Jakie jest prawdopodobieństwo, że jest on wadliwy?

6. Rzucamy dwa razy kostką. Rozważmy zdarzenia: $A$ -- za pierwszym razem wypadła liczba oczek podzielna przez $3$ ; $B$ -- suma wyrzuconych oczek jest parzysta; $C$ -- za każdym razem uzyskaliśmy tę samą liczbę oczek. Czy zdarzenia $A$ , $B$ są niezależne? Czy $A$ , $B$ , $C$ są niezależne?

7. Na $n$ kartonikach zapisano $n$ różnych liczb rzeczywistych. Kartoniki włożono do pudełka, starannie wymieszano, a następnie losowano kolejno bez zwracania. Niech $A_k$ -- $k$ -ta wylosowana liczba jest większa od poprzednich.

a) Udowodnić, że $\mathbb{P}(A_k)=1/k$ , $k=1,\,2,\,\ldots,\,n$ .

b) Udowodnić, że zdarzenia $A_1,\,A_2,\,\ldots,\,A_n$ są niezależne.

8. Dane są liczby całkowite dodatnie $m$ , $n$ oraz liczby $p,\,q\in (0,1)$ spełniające warunek $p+q=1$ . Dowieść, że

$(1-p^n)^m+(1-q^m)^n\geq 1.$

9. Wyznaczyć najbardziej prawdopodobną liczbę sukcesów w schemacie $n$ prób Bernoulliego z prawdopodobieństwem sukcesu $p$ .

10. Rzucono 10 razy kostką. Jakie jest prawdopodobieństwo tego, że w pierwszym rzucie otrzymano szóstkę, jeśli wiadomo, że

a) otrzymano trzy szóstki?

b) w następnych dziewięciu rzutach otrzymano same szóstki?

11. Rzucamy kostką aż do momentu gdy wyrzucimy piątkę bądź trzy razy szóstkę (łącznie, niekoniecznie pod rząd). Jakie jest prawdopodobieństwo, że rzucimy dokładnie $n$ razy?

12. Prawdopodobieństwo tego, że w urnie znajduje się $k$ kostek, wynosi $\frac{2^k}{k!}e^{-2}$ , $k=0,1,2,\ldots$ . Losujemy kolejno bez zwracania wszystkie kostki z urny i wykonujemy rzuty każdą z nich. Jakie jest prawdopodobieństwo, że uzyskamy $l$ szóstek?

13. Jakie jest prawdopodobieństwo tego, że liczba sukcesów w schemacie Bernoulliego $n$ prób z $p=\frac{1}{2}$ będzie podzielna

a) przez $3$ ?

b) przez $4$ ?

14. Niech $(\Omega,\F,\P)$ będzie przestrzenią probabilistyczną dla schematu $n$ prób Bernoulliego z prawdopodobieństwem sukcesu $p$ . Dla dowolnego $0\leq k\leq n$ , niech $A_k$ oznacza zdarzenie, iż jest dokładnie $k$ sukcesów. Wykazać, że dla dowolnego $B\in \F$ oraz każdego $k$ , prawdopodobieństwo warunkowe $\P(B|A_k)$ nie zależy od $p$ .

15. Rzucamy nieskończenie wiele razy monetą, dla której prawdopodobieństwo wypadnięcia orła wynosi $p\neq 1/2$ . Dla $n=2,\,4,\,\ldots$ , rozważmy zdarzenie $A_n$ - do rzutu $n$ włącznie wypadło tyle samo orłów co reszek. Udowodnić, że z prawdopodobieństwem $1$ zajdzie skończenie wiele spośród zdarzeń $A_1$ , $A_2$ , $\ldots$ .

16. Rzucamy nieskończenie wiele razy monetą, dla której prawdopodobieństwo wypadnięcia orła wynosi $p\in (0,1]$ . Udowodnić, że z prawdopodobieństwem $1$ wystąpi nieskończenie wiele serii złożonych ze $100$ orłów pod rząd.

17. Dane są dwie miary probabilistyczne $\mu$ , $\nu$ na $(\R,\mathcal{B}(\R))$ .

a) Załóżmy, że dla dowolnej liczby $t>0$ mamy $\nu([-t,t])=\mu([-t,t])$ . Udowodnić, że jeśli $A\in \mathcal{B}(\R)$ jest symetryczny względem $0$ , to $\mu(A)=\nu(A)$ .

b) Przypuśćmy, że $\mathcal{K}$ jest pewną klasą generującą $\mathcal{B}(\R)$ (tzn. spełniającą $\sigma(\mathcal{K})=\mathcal{B}(\R)$ ). Czy z tego, że $\mu(A)=\nu(A)$ dla każdego $A\in \mathcal{K}$ , wynika, iż $\mu=\nu$ ?