Prawa wielkich liczb

Prawa wielkich liczb

Prawa wielkich liczb mówią o zachowaniu granicznym ciągu średnich arytmetycznych

$$ \frac{X_1+X_2+\ldots+X_n}{n},\qquad n=1,\,2,\,\ldots,$$

przy rozmaitych założeniach dotyczących zmiennych. Zacznijmy od słabego prawa wielkich liczb (SPWL): termin ,,słabe'' bierze się stąd, iż badana jest zbieżność według prawdopodobieństwa.

Twierdzenie Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są zmiennymi losowymi całkowalnymi z kwadratem. Jeśli zmienne te są nieskorelowane oraz mają wspólnie ograniczoną wariancję, to

$$ \frac{X_1+X_2+\ldots+X_n-\E(X_1+X_2+\ldots+X_n)}{n} \to 0$$

według prawdopodobieństwa. W szczególności, jeśli zmienne $ X_i $ posiadają tę samą wartość oczekiwaną, to

$$ \frac{X_1+X_2+\ldots+X_n}{n}\xrightarrow{\mathbb{P}} \E X_1.$$
Dowód:[Dowód] Zauważmy, iż \begin{align*} &\E \left|\frac{X_1+X_2+\ldots+X_n-\E(X_1+X_2+\ldots+X_n)}{n}\right|^2\\ &=\mbox{\,Var\,}\left(\frac{X_1+X_2+\ldots+X_n-\E(X_1+X_2+\ldots+X_n)}{n} \right)\\ &=\frac{1}{n^2}\mbox{\,Var\,}\left(\sum_{k=1}^n X_k\right)\\ &=\frac{1}{n^2}\sum_{k=1}^n\mbox{Var\,}X_k\leq \frac{\sup_{k\geq 1}\mbox{\,Var\,}X_k}{n}. \end{align*} Wobec tego dla ustalonego $ \e>0 $ mamy, na mocy nierówności Czebyszewa, \begin{align*} & \mathbb{P}\left( \left|\frac{X_1+X_2+\ldots+X_n-\E(X_1+X_2+\ldots+X_n)}{n}\right|\geq \e\right)\\ &\leq \frac{\sup_{k\geq 1}\mbox{\,Var\,}X_k}{n\e^2}. \end{align*} Wystarczy zauważyć, że ostatnie wyrażenie zbiega do $ 0 $ gdy $ n\to  \infty $. Wynika stąd żądana zbieżność według prawdopodobieństwa. □

Jako przypadek szczególny, dostajemy tzw. słabe prawo wielkich liczb Bernoulliego. Mianowicie, rozważmy ciąg $ (\xi_n)_{n\geq 1} $ zmiennych losowych (niekoniecznie niezależnych), przy czym dla $ n\geq 1 $, zmienna $ \xi_n $ ma rozkład $ B(n,p) $, gdzie $ p\in (0,1) $ jest ustalonym parametrem. Wówczas

$$ \frac{\xi_n}{n}\xrightarrow{\P} p.$$

Istotnie, wystarczy wziąć ciąg $ (X_n)_{n\geq 1} $ niezależnych (a więc w szczególności nieskorelowanych) zmiennych losowych o tym samym rozkładzie dwupunktowym $ \mathbb{P}(X_i=1)=p=1-\P(X_i=0) $. Wówczas $ \xi_n\sim X_1+X_2+\ldots+X_n $, a więc dla $ \e>0 $, \begin{align*} \lim_{n\to \infty} \P\left(\left|\frac{\xi_n}{n}-p\right|>\e\right)= \lim_{n\to \infty} \P\left(\left|\frac{X_1+X_2+\ldots+X_n}{n}-p\right|>\e\right)=0. \end{align*}

Głównym wynikiem tego rozdziału jest tzw. mocne prawo wielkich liczb (MPWL) (Twierdzenie [link] poniżej), które mówi o zbieżności prawie na pewno. Zacznijmy od kilku przygotowawczych faktów.

Twierdzenie [Nierówność Kołmogorowa] Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $, $ X_n $ są niezależnymi i scentrowanymi zmiennymi losowymi całkowalnymi z kwadratem. Wówczas dla dowolnego $ \alpha>0 $,

$$ \P(\max_{1\leq k\leq n} |X_1+X_2+\ldots+X_k|\geq \alpha)\leq  \frac{1}{\alpha^2}\mbox{\,Var\,}(X_1+X_2+\ldots+X_n).$$
Dowód: Wprowadźmy oznaczenie $ S_0= 0 $ oraz $ S_k=X_1+X_2+\ldots+X_k $ dla $ k=1,\,2,\,\ldots,\,n $. Rozważmy zdarzenia

$$ A_k=\{|S_j|<\alpha \mbox{ dla }j<k\,\,\mbox{ oraz }\,\,|S_k|\geq  \alpha\},$$

$ k=1,\,2,\,\ldots,\,n $. Jak widać, dla dowolnego $ k $ mamy $ A_k\in  \sigma(X_1,X_2,\ldots,X_k) $. Ponadto, zdarzenia $ A_1 $, $ A_2 $, $ \ldots $, $ A_n $ są parami rozłączne i dają w sumie $ B:=\{\max_{1\leq k\leq  n}|S_k|\geq \alpha\} $. Dalej, \begin{align*} \mbox{Var\,}S_n&=\E S_n^2\\ &=\int_B S_n^2\mbox{d}\P+\int_{B'} S_n^2 \mbox{d}\P\\ &\geq \int_B S_n^2\mbox{d}\P\\ &=\sum_{k=1}^n \int_{A_k} S_n^2\mbox{d}\P\\ &=\sum_{k=1}^n \int_{A_k} (S_k+S_n-S_k)^2 \mbox{d}\P\\ &=\sum_{k=1}^n \left[\int_{A_k} S_k^2\mbox{d}\P+ 2\int_{A_k} (S_n-S_k)S_k\mbox{d}\P+\int_{A_k}(S_n-S_k)^2\mbox{d}\P\right]\\ &\geq \sum_{k=1}^n \left[\int_{A_k} S_k^2\mbox{d}\P+ 2\int_{\Omega} (S_n-S_k)S_k1_{A_k}\mbox{d}\P\right]. \end{align*} Ale dla dowolnego $ k $ zmienne $ S_n-S_k $ oraz $ S_k1_{A_k} $ są niezależne (pierwsza z nich to $ X_{k+1}+X_{k+2}+\ldots+X_n $, a druga z nich zależy wyłącznie od $ X_1,\,X_2,\,\ldots,\,X_k $). Stąd

$$ \int_{\Omega}  (S_n-S_k)S_k1_{A_k}\mbox{d}\P=\E (S_n-S_k)S_k1_{A_k}=\E(S_n-S_k)\E  S_k1_{A_k}=0.$$

Zatem, kontynuując,

$$ \mbox{Var\,}S_n\geq \sum_{k=1}^n\int_{A_k}S_k^2\mbox{d}\P\geq  \sum_{k=1}^n  \int_{A_k}\alpha^2\mbox{d}\P=\alpha^2\sum_{k=1}^n\P(A_k)=\alpha^2\P(B). $$

Dowód jest zakończony. □

Twierdzenie (#) Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ jest ciągiem niezależnych, scentrowanych zmiennych losowych całkowalnych z kwadratem. Jeśli $ \sum_{n=1}^\infty \mbox{\,Var\,}X_n<\infty $, to $ \sum_{n=1}^\infty  X_n $ jest zbieżny p.n.
Dowód:[Dowód] Jak łatwo sprawdzić, mamy \begin{align*} &\P\left(\sum_{n=1}^\infty X_n\mbox{ jest rozbieżny}\right)\\ &=\P\left(\exists_{\gamma \in \mathbb{N}_+} \forall_n \sup_{k\geq 0}|X_n+X_{n+1}+\ldots+X_{n+k}|>\frac{1}{\gamma}\right)\\ &=\P\left(\bigcup_{\gamma \in \mathbb{N}_+} \forall_n \sup_{k\geq 0}|X_n+X_{n+1}+\ldots+X_{n+k}|>\frac{1}{\gamma}\right). \end{align*} Wystarczy więc wykazać, że dla każdego $ \gamma\in\mathbb{N}_+ $,

$$ \mathbb{P}\left(\forall_n \sup_{k\geq  0}|X_n+X_{n+1}+\ldots+X_{n+k}|>\frac{1}{\gamma}\right)=0. \leqno{(*)}$$

Ale dla każdego $ n $, powyższe prawdopodobieństwo szacuje się z góry przez \begin{align*} & \mathbb{P}\left(\sup_{k\geq 0}|X_n+X_{n+1}+\ldots+X_{n+k}|>\frac{1}{\gamma}\right)\\ &=\lim_{m\to \infty} \mathbb{P}\left(\sup_{0\leq k\leq m}|X_n+X_{n+1}+\ldots+X_{n+k}|>\frac{1}{\gamma}\right)\\ &\leq \limsup_{m\to \infty} \gamma^2\sum_{k=0}^m \mbox{\,Var\,}X_{n+k} =\gamma^2\sum_{k=n}^\infty \mbox{Var\,}X_k. \end{align*} Jeśli teraz wziąć $ n\to \infty $, to z założenia powyższe wyrażenie zbiega do $ 0 $. Tak więc prawdopodobieństwo (*) musi wynosić $ 0 $. □

Lemat [Kronecker] Załóżmy, że $ (a_n)_{n\geq 1} $ jest ciągiem liczbowym takim, że szereg $ \sum_{n=1}^\infty a_n/n $ jest zbieżny. Wówczas $ (a_1+a_2+\ldots+a_n)/n\to 0 $.
Dowód:[Dowód] Oznaczmy $ S_n=\sum_{k=1}^n a_k/k $. Wówczas $ a_n=n(S_n-S_{n-1}) $ dla wszystkich $ n $ oraz \begin{align*} \frac{a_1+a_2+\ldots+a_n}{n}&=\frac{S_1+2(S_2-S_1)+\ldots+n(S_n-S_{n-1})} {n}\\ &=\frac{nS_n-S_1-S_2-\ldots-S_{n-1}}{n}\to 0. \qedhere \end{align*} □

Przechodzimy do głównego twierdzenia.

Twierdzenie [MPWL Kołmogorowa](#) Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ jest ciągiem niezależnych zmiennych losowych o tym samym rozkładzie.

(a) Jeśli $ X_n\in L^1 $ i $ m=\E X_1 $, to

$$ \frac{X_1+X_2+\ldots+X_n}{n} \to m \quad \mbox{p.n.}$$

(b) Jeśli $ X_n\notin L^1 $, to

$$ \P\left(\limsup_{n\to  \infty}\left|\frac{X_1+X_2+\ldots+X_n}{n}\right|=\infty\right)=1.$$
Dowód: (a) Przypuśćmy najpierw, że zmienne $ X_1 $, $ X_2 $, $ \ldots $ są całkowalne z kwadratem. Wówczas teza wynika z dwóch powyższych pomocniczych faktów. Istotnie, korzystając z Twierdzenia [link], szereg $ \sum_{n=1}^\infty \frac{X_n-m}{n} $ jest zbieżny p.n., gdyż

$$ \mbox{\,Var\,}\frac{X_n-m}{n}=\frac{\mbox{Var\,}X_n}{n^2},$$

i wystarczy skorzystać z lematu Kroneckera.

Rozważmy teraz przypadek ogólny. Wprowadźmy nowy ciąg $ (X_n')_{n\geq 1} $ zmiennych losowych, zadanych przez

$$ X_n'(\omega)=X_n(\omega)1_{(-n,n)}(X_n(\omega))= \begin{cases} X_n(\omega) & \mbox{jeśli }|X_n(\omega)|<n,\\ 0 & \mbox{jeśli }|X_n(\omega)|\geq n. \end{cases}$$

Wówczas $ X_1' $, $ X_2' $, $ \ldots $ są niezależnymi zmiennymi losowymi całkowalnymi z kwadratem. Możemy napisać

$$ \frac{X_1+X_2+\ldots+X_n}{n}-m=I_n+II_n+III_n,$$

gdzie \begin{align*} I_n&=\frac{X_1+X_2+\ldots+X_n-(X_1'+X_2'+\ldots+X_n')}{n},\\ II_n&=\frac{X_1'+X_2'+\ldots+X_n'-(\E X_1'+\E X_2'+\ldots+\E X_n')}{n},\\ III_n&=\frac{\E X_1'+\E X_2'+\ldots+\E X_n'}{n}-m. \end{align*} Zbadajmy zachowanie każdego ze składników $ I_n $, $ II_n $, $ III_n $ gdy $ n\to \infty $. Na mocy twierdzenia Lebesgue'a o zmajoryzowanym przejściu do granicy,

$$ \E X_n'=\E X_n1_{\{|X_n|<n\}}=\E X_11_{\{|X_1|<n\}}  \xrightarrow{n\to\infty} \E X_1=m,$$

skąd wynika, że $ III_n\to 0 $. Następnie, zauważmy, że \begin{align*} \sum_{n=1}^\infty \P(X_n\neq X_n')&=\sum_{n=1}^\infty \P(|X_n|\geq n)\\ &=\sum_{n=1}^\infty \P(|X_1|\geq n)\\ &\leq \int_0^\infty \P(|X_1|\geq t)\mbox{d}t=\E |X_1|<\infty. \end{align*} Zatem z lematu Borela-Cantelli, z prawdopodobieństwem $ 1 $ zajdzie tylko skończenie wiele spośród zdarzeń $ \{X_n\neq X_n'\} $. Innymi słowy, dla prawie wszystkich $ \omega $, ciągi $ (X_n(\omega))_{n\geq  1} $ oraz $ (X_n'(\omega))_{n\geq 1} $ pokrywają się od pewnego miejsca. Stąd $ I_n\to 0 $ p.n.

Pozostało już tylko pokazać, że $ II_n\to 0 $ p.n. Na mocy lematu Kroneckera, wystarczy udowodnić, że szereg $ \sum_{n=1}^\infty  (X_n'-\E X_n')/{n} $ jest zbieżny prawie na pewno. Skorzystamy z Twierdzenia [link]. Otóż \begin{align*} \mbox{Var\,}\left(\frac{X_n'-\E X_n'}{n}\right)&=\frac{1}{n^2}(\E (X_n')^2-(\E X_n')^2)\\ &\leq \frac{1}{n^2}\E (X_n')^2\\ &=\frac{1}{n^2}\sum_{k=1}^\infty \int_{\{k-1\leq |X_n'|

$$ \sum_{n=k}^\infty \frac{1}{n^2}=\frac{1}{k^2}+\sum_{n=k+1}^\infty  \frac{1}{n^2}\leq \frac{1}{k}+\int_k^\infty  \frac{1}{x^2}\mbox{d}x=\frac{2}{k}.$$

Wobec tego, uwzględniając to w powyższych rozważaniach, dostajemy

$$ \sum_{n=1}^\infty \mbox{Var\,}\left(\frac{X_n'-\E X_n'}{n}\right) \leq 2\sum_{k=1}^\infty \E |X_1|1_{\{k-1\leq |X_1|<k\}}=2\E  |X_1|<\infty.$$

Stąd teza (a).

(b) Mamy

$$  \frac{X_n}{n}=\frac{X_1+X_2+\ldots+X_n}{n}-\frac{n-1}{n} \frac{X_1+X_2+\ldots+X_{n-1}}{n-1}.$$

Wynika stąd, że jeśli ciąg $ \left((X_1(\omega)+X_2(\omega)+\ldots+X_n(\omega))/n\right)_{n\geq 1} $ jest ograniczony dla pewnego $ \omega $, to ciąg $ (X_n(\omega)/n)_{n\geq 1} $ także ma tę własność. Wobec tego, wystarczy wykazać, że

$$ \P\left(\mbox{ciąg }\left(\frac{X_n}{n}\right)_{n\geq 1}\mbox{ jest  nieograniczony}\right)=1.$$

Mamy

$$ \P\left(\left(\frac{X_n}{n}\right)\mbox{  nieograniczony}\right)=\P\left(\bigcap_{M\in \mathbb{N}} \left\{\frac{|X_n|}{n}>M\mbox{ dla nieskończenie wielu  $n$}\right\}\right),$$

a więc teza będzie zachodzić, jeśli udowodnimy, że dla każdego $ M\in \mathbb{N} $,

$$ \P\left(\frac{|X_n|}{n}>M\mbox{ dla nieskończenie wielu  $n$}\right)=1.$$

Zauważmy, że zdarzenia $ \{|X_n|/n>M\} $, $ n=1,\,2,\,\ldots $, są niezależne; ponadto \begin{align*} \sum_{n=1}^\infty \P(|X_n|/n>M)&=\sum_{n=1}^\infty \P(|X_1|>nM)\\ &=\sum_{n=1}^\infty \sum_{k=n}^\infty \P\left(kM<|X_1|\leq (k+1)M\right)\\ &=\sum_{k=1}^\infty \sum_{n=1}^k \P\left(kM<|X_1|\leq (k+1)M\right)\\ &=\sum_{k=1}^\infty k\P(kM<|X_1|\leq (k+1)M)\\ &\geq -1+\frac{1}{M}\sum_{k=1}^\infty (k+1)M\P\left(kM<|X_1|\leq (k+1)M\right)\\ &\geq -1+\frac{1}{M}\sum_{k=1}^\infty \int_{\{kM<|X_1|\leq (k+1)M\}} |X_1|\mbox{d}\P\\ &=-1+\frac{1}{M}\E |X_1|1_{\{|X_1|>M\}}=\infty. \end{align*} Zatem, z lematu Borela-Cantelli wynika teza. □

Omówimy teraz jedno z zastosowań mocnego prawa wielkich liczb, związane z tzw. dystrybuantą empiryczną.

Definicja Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są niezależnymi zmiennymi o tym samym rozkładzie z dystrybuantą $ F $. Wówczas $ n $-tą dystrybuantą empiryczną nazywamy \begin{align*} \mathbb{F}_n(t)&=\frac{1_{\{X_1\leq t\}}+1_{\{X_2\leq t\}}+\ldots+1_{\{X_n\leq t\}}}{n}\\ &=\frac{1_{(-\infty,t]}(X_1)+1_{(-\infty,t]}(X_2)+\ldots+1_{(-\infty,t]}(X_n)}{n}. \end{align*}

Zauważmy, że dla każdego $ \omega\in \Omega $, funkcja $ \mathbb{F}_n $ jest dystrybuantą (jako funkcja zmiennej $ t $). Poniższe twierdzenie jest jednym z podstawowych wyników statystyki matematycznej.

Twierdzenie [Gliwienko-Cantelli] Jeśli $ X_1 $, $ X_2 $, $ \ldots $, $ F $, $ \mathbb{F}_n $ są jak wyżej, to

$$ \sup_{t\in \R} |\mathbb{F}_n(t)-F(t)| \xrightarrow{n\to \infty} 0$$

prawie na pewno.

W dowodzie wykorzystamy następujący lemat (bez dowodu: pozostawiamy to jako ćwiczenie).

Lemat Załóżmy, że $ F $, $ F_1 $, $ F_2 $, $ \ldots $ są dystrybuantami oraz $ S $ jest zbiorem punktów nieciągłości funkcji $ F $. Załóżmy, że $ Q $ jest gęstym, przeliczalnym podzbiorem $ \R $ takim, że $ \lim_{n\to \infty}F_n(t) = F(t) $ dla każdego $ t\in Q $. Wówczas jeśli dla każdego $ t\in S $ mamy $ F_n(t)-F_n(t-) \to F(t)-F(t-) $, to

$$ \sup_{t\in \R} |F_n(t)-F(t)| \xrightarrow{n\to \infty} 0.$$
Dowód:[Dowód twierdzenia Gliwienki-Cantelli'ego przy założeniu lematu] Ustalmy dowolny gęsty przeliczalny podzbiór $ Q \subset \R $ i niech $ S $ będzie zbiorem punktów nieciągłości $ F $. Na mocy MPWL, dla każdego $ t\in Q $ mamy

$$ \mathbb{F}_n(t) \xrightarrow{n\to \infty} F(t)\quad \mbox{ prawie na pewno,}$$

gdyż $ \E 1_{(-\infty,t]}(X_1)=\P(X_1\leq t)=F(t) $. Podobnie, dla dowolnego $ t\in S $, \begin{align*} \mathbb{F}_n(t)-\mathbb{F}_n(t-)&=\frac{1_{\{t\}}(X_1)+1_{\{t\}}(X_2)+\ldots+1_{\{t\}}(X_n)}{n}\\ &\xrightarrow{n\to \infty} \E 1_{\{t\}}(X_1)=\P(X_1=t)=F(t)-F(t-). \end{align*} Zatem zbiór

$$ \Omega_0=\bigcap_{t\in Q}\{\mathbb{F}_n(t)\to F(t)\}\cap \bigcap_{t\in S}\{\mathbb{F}_n(t)-\mathbb{F}_n(t-)\to F(t)-F(t-)\}$$

jest pełnej miary, jako przeliczalne przecięcie zbiorów pełnej miary. Zatem, z lematu, dla każdego $ \omega\in \Omega_0 $ mamy zbieżność jednostajną $ \mathbb{F}_n\to F $. □

Na zakończenie tego rozdziału, omówimy wstępne wyniki związane ze zbieżnością szeregów niezależnych zmiennych losowych. Zacznijmy od następującego faktu.

Twierdzenie (#) Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są niezależnymi, wspólnie ograniczonymi zmiennymi losowymi (tzn. istnieje takie $ a>0 $, że $ |X_n|\leq a $ z prawdopodobieństwem $ 1 $ dla $ n=1,\,2,\,\ldots $). Jeśli szereg $ \sum_{n=1}^\infty X_n $ jest zbieżny prawie na pewno, to jest on także zbieżny w $ L^p $ dla dowolnego $ p\geq 1 $.
Lemat [Nierówność Hoffmana-Joergensena] Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są niezależnymi zmiennymi losowymi (być może o wartościach w $ \R^d $, bądź ogólniej, o wartościach w przestrzeni Banacha) i zdefiniujmy $ S_0=0 $, $ S_n=X_1+X_2+\ldots+X_n $, $ n\geq 1 $. Wówczas dla dowolnych $ s,\,t,\,a\geq 0 $, \begin{align*} &\P(\max_{1\leq k\leq n}|S_k|>s+t+a)\\ &\qquad \leq \P(\max_{1\leq k\leq n}|X_k|>a)+\P(\max_{1\leq k\leq n}|S_k|>s)\P(\max_{1\leq k\leq n}|S_n-S_k|>t/2). \end{align*}
Dowód: Niech $ \tau=\inf\{k\geq 1:|S_k|>s\} $ (przyjmujemy $ \inf\emptyset=\infty $). Zauważmy, że \begin{align*} &\{\max_{1\leq k\leq n}|S_k|>s+t+a\}\\ &\subseteq \{\max_{1\leq k\leq n}|X_k|>a\}\cup \bigcup_{j=1}^n \Big(\{\max_{1\leq k\leq n}|X_k|\leq a\}\cap \{\tau=j\}\cap \{\max_{1\leq k\leq n}|S_k|> s+t+a\}\Big)\\ &= \{\max_{1\leq k\leq n}|X_k|>a\}\cup \bigcup_{j=1}^n A_j. \end{align*} Ustalmy $ \omega\in A_j $. Mamy $ S_j(\omega)>s $; ponadto, $ |S_{j-1}(\omega)|\leq s $ oraz $ |X_j(\omega)|\leq a $, skąd wynika, na mocy nierówności trójkąta, iż $ |S_j|\leq s+a $. Następnie, mamy $ |S_\ell(\omega)|>s+t+a $ dla pewnego $ \ell>j $. Możemy więc napisać \begin{align*} s+t+a&<|S_\ell|\\ &\leq |S_j|+|S_\ell-S_j|\\ &\leq s+a+|S_n-S_\ell|+|S_n-S_j|\\ &\leq s+a+2\max_{j\leq k\leq n}|S_n-S_k|. \end{align*} Wnioskujemy stąd, że $ \max_{j\leq k\leq n}|S_n-S_k|>t/2 $. Wobec tego

$$ A_j\subset \{\tau=j\}\cap \{\max_{j\leq k\leq n}|S_n-S_k|>t/2\}$$

i przecinane zdarzenia są niezależne: istotnie, pierwsze z nich zależy tylko od zmiennych $ X_1 $, $ X_2 $, $ \ldots $, $ X_j $, podczas gdy drugie zapisuje się w terminach pozostałych zmiennych. Zbierając wszystkie powyższe fakty dostajemy iż

$$ \P(\max_{1\leq k\leq n}|S_k|>s+t+a)\leq \P(\max_{1\leq k\leq n}|X_k|>a)+\sum_{j=1}^n\P(\tau=j)\P(\max_{1\leq k\leq n}|S_n-S_k|>t/2)$$

i wystarczy już tylko zauważyć, że

$$ \sum_{j=1}^n \P(\tau=j)=\P(\tau<\infty)=\P(\max_{1\leq k\leq n}|S_k|>s).\qedhere$$

Dowód:[Dowód Twierdzenia [link]] Niech, jak wyżej, $ S_n=X_1+X_2+\ldots+X_n $, $ n=1,\,2,\,\ldots $. na mocy założeń, $ (S_n)_{n\geq 1} $ jest zbieżny p.n., a więc dla każdego $ \e\in (0,1) $ istnieje $ m $ takie, że

$$\P(\max_{m\leq k\leq n}|S_n-S_k|>\e/2)<\e$$

o ile tylko $ n>m $. Mamy \begin{align*} \E |S_n-S_m|^p&=p\int_0^\infty \alpha^{p-1}\P(|S_n-S_m|>\alpha)\mbox{d}\alpha\\ &=\sum_{r=0}^\infty p\int_{(r+1)(\e+a)>\alpha>r(\e+a)}\alpha^{p-1}\P(|S_n-S_m|>\alpha)\mbox{d}\alpha\\ &=p\int_0^{\e+a}\alpha^{p-1}\P(|S_n-S_m|>\alpha)\mbox{d}\alpha\\ &     +\sum_{r=1}^\infty p\int_{(r+1)(\e+a)>\alpha>r(\e+a)}\alpha^{p-1}\P(|S_n-S_m|>r(\e+a))\mbox{d}\alpha. \end{align*} Ale $ S_n-S_m=X_{m+1}+X_{m+2}+\ldots+X_n $, więc stosując nierówność Hoffmana-Joergensena do tych zmiennych, z parametrami $ s=(r-1)(\e+a) $, $ t=\e $ oraz $ a=a $, dostajemy \begin{align*} \P(\max_{mr(\e+a))&\leq 0+\P(\max_{m(r-1)(\e+a))\times\\ &     \times \P(\max_{m\e/2). \end{align*} Drugi czynnik szacuje się przez $ \e $, a zatem, przez prostą indukcję, dostajemy, że

$$ \P(|S_n-S_m|>r(\e+a))\leq \P(\max_{m<k\leq n}|S_n-S_m|>r(\e+a))\leq \e^r.$$

Wobec tego \begin{align*} \E |S_n-S_m|^p&\leq p\int_0^\e \alpha^{p-1}\mbox{d}\alpha+p\int_\e^{\e+a}\alpha^{p-1}\P(|S_n-S_m|>\e)\mbox{d}\alpha\\ &     +\sum_{r=1}^\infty p\int_{r(\e+a)}^{(r+1)(\e+a)}\alpha^{p-1}\e^r \mbox{d}\alpha\\ &\leq \e^p+(\e+a)^p\cdot \e+\e\sum_{r=1}^\infty \e^{r-1}((r+1)^p-r^p)(\e+a)^p\\ &\leq \e \cdot C, \end{align*} gdzie $ C $ jest pewną stałą zależącą tylko od $ p $ i $ a $. Wobec tego $ (S_n)_{m\geq 0} $ spełnia warunek Cauchy'ego w $ L^p $, a więc jest zbieżny w $ L^p $. □

Wprowadźmy następujące oznaczenie: dla zmiennej losowej $ X $ oraz $ a>0 $, niech

$$ X^a(\omega)=\begin{cases} a & \mbox{dla }X(\omega)>a,\\ X(\omega) & \mbox{dla }|X(\omega)|\leq a,\\ -a & \mbox{dla }X(\omega)<-a. \end{cases}$$
Twierdzenie [Kołmogorowa o trzech szeregach] Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są niezależnymi zmiennymi losowymi oraz $ a $ jest ustaloną liczbą dodatnią. Wówczas szereg $ \sum_{n=0}^\infty X_n $ jest zbieżny p.n. wtedy i tylko wtedy, gdy zbieżne są szeregi liczbowe

$$ \sum_{n=1}^\infty \E X_n^a,\quad \sum_{n=1}^\infty \,\mbox{Var}\,X_n^a,\quad \sum_{n=1}^\infty \P(|X_n|>a).$$

W dowodzie wykorzystamy następujący prosty fakt.

Lemat Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ są zmiennymi losowymi spełniającymi warunek $ \sum_{n=1}^\infty \P(|X_n|>a)<\infty $ dla pewnego $ a>0 $. Wówczas szereg $ \sum_{n=1}^\infty X_n $ jest zbieżny p.n. wtedy i tylko wtedy, gdy szereg $ \sum_{n=1}^\infty X_n^a $ jest zbieżny p.n.
Dowód:[Dowód] Na mocy lematu Borela-Cantelli, dla prawie wszystkich $ \omega $ ciągi $ X_n(\omega) $, $ X_n^a(\omega) $ pokrywają się od pewnego miejsca. Stąd natychmiast wynika teza. □
Dowód:[Dowód twierdzenia o trzech szeregach] $ \Leftarrow $ Na mocy lematu, wystarczy wykazać, że szereg $ \sum_{n=1}^\infty X_n^a $ jest zbieżny p.n. Zmienne $ X_n^a-\E X_n^a $ są scentrowane, niezależne, ograniczone oraz

$$ \sum_{n=1}^\infty\,\mbox{Var}\,(X_n^a-\E X_n^a)=\sum_{n=1}^\infty \,\mbox{Var}\,X_n^a<\infty,$$

a więc na mocy Twierdzenia [link] szereg $ \sum_{n=1}^\infty (X_n^a-\E X_n^a) $ jest zbieżny p.n. Ponieważ szereg liczbowy $ \sum_{n=1}^\infty \E X_n^a $ także jest zbieżny, wynika stąd teza.

$ \Rightarrow $ Przypuśćmy, wbrew tezie, że $ \sum_{n=1}^\infty \P(|X_n|>a)=\infty $. Wówczas na mocy lematu Borela-Cantelli, z prawdopodobieństwem $ 1 $ zachodzi nieskończenie wiele nierówności $ |X_n|>a $, co wyklucza zbieżność szeregu $ \sum_{n=1}^\infty X_n $, sprzeczność. Zatem $ \sum_{n=1}^\infty \P(|X_n|>a)<\infty $, a więc z powyższego lematu szereg $ \sum_{n=1}^\infty X_n^a $ jest zbieżny p.n. Korzystając z Twierdzenia [link], dostajemy, że szereg $ \sum_{n=1}^\infty X_n^a $ jest zbieżny w $ L^1 $ oraz $ L^2 $. Zatem, w szczególności, ciąg liczbowy

$$ \left(\E \sum_{n=1}^N X_n^a\right)_{N\geq 1}=\left(\sum_{n=1}^N \E X_n^a\right)_{N\geq 1}$$

jest zbieżny. Ponadto, to samo jest prawdą dla

$$ \left(\E \left(\sum_{n=1}^N (X_n^a-\E X_n^a) \right)^2 \right)_{N\geq 1}=\left(\,\mbox{Var}\,\left(\sum_{n=1}^N X_n^a\right)\right)_{N\geq 1}=\left(\sum_{n=1}^N \mbox{Var}\,X_n^a\right)_{N\geq 1}.$$

To zaś oznacza tezę. □

Przykład Załóżmy, że $ X_1 $, $ X_2 $, $ \ldots $ jest ciągiem niezależnych zmiennych losowych takich, że $ X_n $ ma rozkład wykładniczy z paramtrem $ \lambda_n $. Wyznaczymy warunek na ciąg $ (\lambda_n)_{n\geq 0} $ który jest równoważny zbieżności prawie na pewno szeregu $ \sum_{n=1}^\infty X_n $.

Na mocy twierdzenia Kołmogorowa, zbieżność p.n. ma miejsce wtedy i tylko wtedy, gdy

$$ \sum_{n=1}^\infty \P(|X_n^1|>1)<\infty, \quad \mbox{ czyli }\quad \sum_{n=1}^\infty e^{-\lambda_n}<\infty, \leqno{(1)}$$
$$\sum_{n=1}^\infty \E X_n^1<\infty, \quad \mbox{ czyli }\quad \sum_{n=1}^\infty \left(\frac{1-e^{-\lambda_n}}{\lambda_n}-e^{-\lambda_n}\right)<\infty, \leqno{(2)}$$
$$\sum_{n=1}^\infty \mbox{Var}\,X_n^1<\infty, \quad \mbox{ czyli }\quad \sum_{n=1}^\infty \left(\frac{1}{\lambda_n^2}-e^{-\lambda_n}-\frac{(1+\lambda_n)^2}{\lambda_n^2}e^{-2\lambda_n}\right)<\infty. \leqno{(3)}$$

Załóżmy teraz, że szereg $ \sum_{n=1}^\infty X_n $ jest zbieżny p.n. Wówczas z (1) mamy $ \lambda_n\to \infty $, co w połączeniu z (2) prowadzi to wniosku, iż $ \sum_{n=1}^\infty \frac{1}{\lambda_n}<\infty $.

Wykażemy, że warunek $ \sum_{n=1}^\infty \frac{1}{\lambda_n}<\infty $ jest dostateczny. Istotnie, wynika z niego, że $ \lambda_n\to \infty $, a stąd $ \sum_{n=1}^\infty \frac{1}{\lambda_n^2}<\infty $ (gdyż dla dostatecznie dużych $ n $ mamy $ \frac{1}{\lambda_n^2}\leq \frac{1}{\lambda_n} $). Dalej, mamy $ e^{-\lambda_n}\leq \frac{1}{1+\lambda_n}\leq \frac{1}{\lambda_n} $ oraz $ e^{-2\lambda_n}\leq \frac{1}{\lambda_n^2} $, skąd wynika już zbieżność wszystkich trzech szeregów w (1), (2) oraz (3).

Zadania

1. Dany jest ciąg $ (X_n)_{n\geq 1} $ niezależnych zmiennych losowych o rozkładzie Poissona z parametrem $ 2 $. Udowodnić, że ciąg

$$ \frac{X_1X_2+X_2X_3+\ldots+X_{n}X_{n+1}}{n+2009}, \qquad n=1,\,2,\,\ldots,$$

jest zbieżny p.n. i wyznaczyć jego granicę.

2. Dany jest ciąg $ (X_n)_{n\geq 1} $ niezależnych zmiennych losowych, przy czym dla $ n\geq 1 $ zmienna $ X_n $ ma rozkład jednostajny na przedziale $ (1/n,1] $. Udowodnić, że ciąg

$$ \frac{X_1+X_2+\ldots+X_n}{n},\qquad n=1,\,2,\,\ldots,$$

jest zbieżny p.n. i wyznaczyć jego granicę.

3. Dany jest ciąg $ (X_n)_{n\geq 1} $ niezależnych nieujemnych zmiennych losowych o tym samym rozkładzie. Udowodnić, że jeśli $ \mathbb{E}  X_1=\infty $, to

$$ \frac{X_1+X_2+\ldots+X_n}{n} \to \infty$$

prawie na pewno.

4. Dany jest ciąg $ (A_n)_{n\geq 1} $ niezależnych zdarzeń, $ p_n=\mathbb{P}(A_n) $. Udowodnić, że

$$  \frac{1_{A_1}+1_{A_2}+\ldots+1_{A_n}}{n}-\frac{p_1+p_2+\ldots+p_n}{n}  \to 0$$

według prawdopodobieństwa.

5. Dany jest ciąg $ (X_n)_{n\geq 1} $ niezależnych całkowalnych zmiennych losowych o tym samym rozkładzie. Udowodnić, że ciąg

$$ \frac{X_1+X_2+\ldots+X_n}{n},\qquad n\geq 1,$$

zbiega w $ L^1 $ do $ \mathbb{E} X_1 $.

6. Dany jest ciąg $ (N_n)_{n\geq 1} $ zmiennych losowych (niekoniecznie niezależnych), przy czym dla $ n\geq 1 $ zmienna $ N_n $ ma rozkład Poissona z parametrem $ n $. Wykazać, że $ N_n/n\to 1 $ w $ L^1 $.

7. Zmienne $ X_1 $, $ X_2 $, $ \ldots $ są niezależne i mają rozkład jednostajny na $ [-1,1] $. Czy ciąg

$$ \frac{X_1+X_2^2+\ldots+X_n^n}{n},\qquad n=1,\,2,\,\ldots,$$

jest zbieżny p.n.?

8. Obliczyć granice

$$ \lim_{n\to\infty} \frac{1}{2^n}\int_{-1}^1\int_{-1}^1\ldots\int_{-1}^1 \frac{x_1^2+x_2^2+x_3^3+x_4^4+\ldots+x_n^n}{x_1^2+x_2^2+\ldots+x_n^2}\mbox{d}x_1\mbox{d}x_2\ldots\mbox{d}x_n$$

oraz

$$ \lim_{n\to\infty} \int_0^1\int_0^1\ldots \int_0^1 f(\sqrt[n]{x_1x_2\ldots x_n})\mbox{d}x_1\mbox{d}x_2\ldots\mbox{d}x_n,$$

gdzie $ f:[0,1]\to \mathbb{R} $ jest ustaloną funkcją ciągłą.

9. Zmienne losowe $ X_1,\,X_2,\,\ldots $ są niezależne, przy czym dla $ n\geq 1 $ rozkład $ X_n $ zadany jest następująco:

$$  \mathbb{P}(X_n=0)=1/2,\,\mathbb{P}(X_n=1)=1/2-\frac{1}{4n^2},\,\,\mathbb {P}(X_n=n)=\frac{1}{4n^2}.$$

Udowodnić, że ciąg

$$ \frac{X_1+X_2+\ldots+X_n}{n}$$

jest zbieżny prawie na pewno i wyznaczyć jego granicę.

10. Zmienne $ \e_1 $, $ \e_2 $, $ \ldots $ są niezależne i mają rozkład Rademachera. Dowieść, że dla $ \alpha>1/2 $, ciąg

$$ \frac{\e_1+\e_2+\ldots+\e_n}{n^\alpha},\qquad n=1,\,2,\,\ldots$$

jest zbieżny p.n.

11. Udowodnić następujące twierdzenie o dwóch szeregach: jeśli $ (X_n)_{n\geq 1} $ jest ciągiem takich niezależnych zmiennych losowych całkowalnych z kwadratem, że szeregi liczbowe

$$ \sum_{n=1}^\infty \E X_n,\qquad \sum_{n=1}^\infty \,\mbox{Var}\,X_n$$

są zbieżne, to szereg $ \sum_{n=1}^\infty X_n $ jest zbieżny p.n.

12. Dany jest ciąg $ (X_n)_{n\geq 1} $ niezależnych zmiennych losowych takich, że

$$  \mathbb{P}(X_n=-n)=\mathbb{P}(X_n=n)=\frac{1}{n^3},\,\,\mathbb{P}(X_n=0) =1-\frac{2}{n^3}.$$

Udowodnić, że $ \sum_{n=1}^\infty X_n $ jest zbieżny p.n.

13. Dany jest ciąg $ (\e_n)_{n\geq 1} $ niezależnych zmiennych Rademachera. Jaki warunek musi spełniać ciąg $ (a_n)_{n\geq 1} $, by szereg $ \sum_{n=1}^\infty a_n\e_n $ był zbieżny p.n.?

14. Dany jest ciąg $ (X_n) $ niezależnych zmiennych losowych takich, że dla $ n\geq 1 $ zmienna $ X_n $ ma rozkład jednostajny na odcinku $ [-n,n] $. Dla jakich wartości parametru $ p>0 $ szereg

$$\sum_{n=1}^\infty \frac{X_n}{n^p}$$

jest zbieżny p.n.?