Kolmogorovの拡張定理は、可測空間の族(Xi,Bi) (i∈I)に対し、それらの直積空間上の確率測度を構成することができるという定理です。この定理は例えば確率論でマルコフ過程の存在を示す場合に用いられたりするのですが、英語のページを含めネット上で完全な証明が紹介されているものが見当たらなかったため、ここでは最も一般的な形で一から証明をしたいと思います。
ただし、次の2つの命題は既知とします(証明は測度論の教科書に載っていると思います)。
定理0.1(Hopfの拡張定理)
Xを任意の集合とし、FをX上の有限加法族、mをF上の有限加法的測度とする。この時、mがB(F)上の測度に拡張されるための必要十分条件は、mがF上で完全加法的であることである。
また、m(X)<∞ならばこの拡張は一意的である。
命題0.2
Xを任意の集合とし、FをX上の有限加法族、mをF上の有限加法的測度とする。この時、次は同値である。
(1) mはF上で完全加法的である。
(2) En∈F(n=1,2,⋯)が単調減少で
limn→∞En=∅
ならば、limn→∞m(En)=0である。
直積空間の定義
まずは記号の定義をして、Biの直積を定義します。
- (Xi,Bi) (i∈I)を可測空間の族とし、X=∏i∈IXi={w:I→⋃i∈IXi|w(i)∈Xi}をXiたちの直積空間とする。
- H⊂Iに対して、XH=∏i∈HXiと書く。
- πi:X→Xi;w↦w(i)をXの第i成分への射影とする。
- G⊂H⊂Iに対し、πF,G:XH↦XG;w↦w|GをXHからXGへの射影とする。ただし、w|GはwのGへの制限である。
定義1.1
X上の完全加法族B=σ(πi;i∈I)をBiの直積といい、B=⨂i∈IBiで表す。
上の記号と同様に、H⊂Iに対してBH=⨂i∈HBi書くことにします。
定義1.2
有限集合F=i1,⋯,in⊂IおよびAk∈Bik(k=1,2,⋯,n)に対し、
CF=Ai1×⋯×Ain×XI∖F(=πi1−1(A1)∩⋯∩πin−1(An))の形の集合を柱状集合(cylinder set)という。
直積完全加法族は、柱状集合(cylinder set)によって生成されます。
命題1.3
柱状集合全体をCとおくと、B=σ(C)である。
このことから、Iが有限集合の時、定義1は有限個の直積完全加法族の定義
Bi1⊗⋯⊗Bin=σ(A1×⋯×An;Ak∈Bik)と矛盾しないことがわかります。
(証明)B=σ(πi;i∈I)=σ(πi−1(A);A∈Bi,i∈I)=σ(A×XI∖{i};A∈Bi,i∈I)だから、B⊂σ(C)は明らかである。
一方、任意の柱状集合はF={i1,⋯,in}⊂I,Ak∈Bikに対して、CF=πi1−1(A1)∩⋯∩πin−1(An)と書けるから、σ(C)⊂Bもわかる。□
これを使うと、次のことが示せます。
系1.4
G⊂H⊂Iに対して、
BH=BG⊗BH∖G
である。
(証明)BG⊗BH∖G=σ(E×F;E∈BG,F∈BH∖G) であるが、E,FがそれぞれXG,XG∖Hの柱状集合の時、E×FはXH上の柱状集合だから、BH⊂BG⊗BH∖Gである。
一方、E×XG∖H,XG×F∈BHだから、E∈BG,F∈BH∖GなるE,Fに対してもE×XG∖H,XG×F∈BHである。よって、E×F=E×XG∖H∩XG×F∈BHとなるから、BG⊗BH∖G⊂BHである。□
コンパクト族
次に、コンパクト族という概念を定義します。
定義2.1
集合族Sが次の性質を満たすとき、Sをコンパクト族(compact class)という。
(性質) XがSの可算部分集合で、有限交叉性をもつならば、⋂S∈XS≠∅である。
ここで、Xが有限交叉性をもつとは、任意の有限個のS1,S2,⋯,Sn∈Xに対し、n⋂i=1Si≠∅となることである。
コンパクト空間上の閉集合からなる族は、有限交叉性をもてば空でない共通部分を持つので、ハウスドルフ空間上のコンパクト集合全体はコンパクト族になります。
例2.2
Xをハウスドルフ空間とするとき、X上のコンパクト集合全体Kはコンパクト族である。
(証明) K1,K2,⋯をX上のコンパクト集合で有限加法性を持つものとする。このときXのハウスドルフ性から、K1∩Kn (n=1,2,⋯)はコンパクト空間K1上の閉集合で、有限交叉性を持つから、∞⋂n=1K1∩Kn=∞⋂n=1Knは空でない。よって示すべきことを得る。□
次の補題はKolmogorovの拡張定理の証明で使われます。
補題2.3
Sをコンパクト族とする。この時、 M={S1∪⋯∪Sn|S1,⋯,Sn∈S}T={∞⋂j=1Aj|Aj∈M} とおくと、TはSを含む集合族で、有限和と可算個の共通部分に関して閉じている最小の集合族であり、さらにTもコンパクト族である。
(証明) 前半は明らかであるから、Tがコンパクト族であることを示す。{B1,B2,⋯}をTの有限交叉性を持つ部分集合とし、 Bk=∞⋂j=1Ajk, Ajk∈MAjk=S1jk∪S2jk∪⋯∪Sϕ(j,k)jk, Sijk∈S とおく。この時、 A(n)jk={Sijk|i=1,2,⋯,ϕ(j,k),Sijk∩n⋂k=1Bk≠∅} とすると有限交叉性からk≤nの時これは空でなく、さらに単調減少な有限集合だから、Ajk=∞⋂n=kA(n)jk≠∅である。さらに、A=∞⋃j,k=1Ajkとおくとこれは可算集合で、Sijk∈Aに対して、 Sijk∩n⋂k=1Bk≠∅ (k≤n) だから、任意のnに対して、 ⋂k≤nSijk≠∅ すなわちAは有限交叉性を持つ。よってSのコンパクト性から、 ⋂Sijk∈ASijk≠∅ 今任意のj,kに対してSijk∈Aなるiが存在することから、 ∞⋂k=1Bk=∞⋂j,k=1Ajk⊃⋂Sijk∈ASijk≠∅ となるので、Tはコンパクト族である。□
半代数
次に、完全加法族よりも弱いクラスである半代数を定義します。半代数上の有限加法的集合関数は、有限加法族上の有限加法的測度に拡張できます。
定義3.1
集合Xの部分集合族Sが次の条件を満たすとき、Sを半代数(semi-algebra)という。
(1) ∅,X∈S
(2) A,B∈Sならば、A∩B∈S
(3) A,B∈Sならば、 A∖B=n∑j=1Sj, Si∩Sj=∅ (i≠j) なるSj∈S (S1,S2,⋯)が存在する。
補題3.2
Sを集合X上の半代数とすると、
{S1+⋯+Sn|S1,⋯,Sn∈S, Si∩Sj=∅(i≠j)}
はSを含む最小の有限加法族である。
(証明) F={S1+⋯+Sn|S1,⋯,Sn∈S, Si∩Sj=∅(i≠j)}
の有限加法性を示せばよい。
(i) ∅,X∈Fは明らかである。
(ii) A=S1+⋯+Sn∈Fとすると、
Ac=S1c∩⋯∩Snc
であるが、定義10.8(3)より各Sic∈Fだから、(2)よりAc∈Fである。
(iii) A,B∈Fとし、
A=S1+⋯+Sn, S1,⋯,Sn∈S, B=T1+⋯+Tm Si,Ti∈S
とおくと、
A∩B=∑i,jSi∩Tj∈F
だから(ii)と合わせて、
A∪B=(Ac∩Bc)c∈F
を得る。□
命題3.3
Sを集合X上の半代数とし、m:S→[0,∞]が
(i) m(∅)=0
(ii) A,B,A∩B∈S, A∪B=∅ ⟹ m(A+B)=m(A)+m(B)
を満たすとする。この時、mはSを含む最小の有限加法族F上の有限加法的測度μに拡張できる。
(証明) 上の補題により、Fの元はA=S1+⋯+Sn, S1,⋯,Sn∈S, Si∩Sj=∅(i≠j)の形に表示できるので、これに対して μ(A)=n∑j=1m(Sj) と定める。これがwell-definedであることを示そう。A=S′1+⋯+S′mを別な表示とすると、 n∑j=1m(Sj)=n∑j=1n∑i=1m(Sj∩S′i)=m∑i=1m(S′j) だから、μはwell-definedである。さらに定義からμは明らかに有限加法的だから、これがmのFへの拡張である。□
さらに、この拡張されたμは適切な条件の下で完全加法的になります。
命題3.4
(1) Fを集合X上の有限加法族とし、μをF上の有限加法的測度でμ(X)<∞なるものとする。この時、K⊂Fなるコンパクト族Kが存在して、
μ(A)=sup{μ(K);K∈K,K⊂A} (A∈F)
が成り立つならば、μは完全加法的である。
(2) Sを集合X上の半代数とし、m:S→[0,∞]が命題3.3の条件およびm(X)<∞を満たすものとする。この時、K⊂Sなるコンパクト族Kが存在して、
m(A)=sup{m(K);K∈K,K⊂A} (A∈S)
が成り立つとならば、命題3.3のμは完全加法的である。
(証明) (1)命題0.2により、An∈Bが単調減少でlimn→∞An=∅とするとき、limn→∞μ(An)=0となることを示せばよい。
仮定より、
Kn∈K, Kn⊂An, μ(Kn)+ϵ2n≥μ(An)
なるKnが存在する。この時
∞⋂n=1Cn⊂∞⋂n=1An=∅
であることから、Kのコンパクト性より、
N⋂n=1Kn=∅
なる番号Nが存在する。よって、n≥Nに対して、
An=n⋂j=1An∖n⋂j=1Kn⊂n⋃j=1(An∖Kn)
であるから、
μ(An)≤n∑j=1μ(An∖Kn)=n∑j=1{μ(An)−μ(Kn)}≤n∑j=1ϵ2n≤ϵ (n≥N)
ϵ>0は任意だからμ(An)→0 (n→∞)を得る。
(2) (1)より、
K′⊂Fなるコンパクト族K′が存在して、
μ(A)=sup{μ(K);K∈K′,K⊂A} (A∈F)
が成り立つことを示せばよい。
K′={K1∪⋯∪Kn|K1,⋯,Kn∈K}
とおくと、これは補題10.6で定まるコンパクト族に含まれるから、K′もコンパクト族である。さらに、A=n∑j=1Sj∈F (Sj∈S),ϵ>0に対し、
m(Sj)≤m(Kj)+ϵ2j, Kj∈K,Kj⊂Sj
となるKjをとり、K=∑j=1Kjとおけば、
μ(A)≤μ(K)+ϵ, K∈K′,K⊂A
でϵ>0は任意だから、
μ(A)=sup{μ(K);K∈K′,K⊂A}
が従う。□
Kolmogorovの拡張定理
以上の準備の下で、Kolmogorovの拡張定理が証明できます。柱状集合全体Cが半代数となり、定理の仮定よりC上では有限加法的な確率測度が定義できるので、上の命題3.4とHopfの拡張定理を使ってそれをσ(C)上の確率測度に拡張するというのが証明の流れです。
定理4.1(Kolmogorovの拡張定理)
(Xi,Bi)i∈Iを空でない可測空間の族とし、有限集合F∈Iに対しBF上の確率測度PFが定まっていて、次の条件を満たすとする。
(1) (一致条件) 任意の有限集合F⊂G⊂Iに対して、
PF(A)=PG∘π−1G,F(A)=PG(A×XG∖F)
となる。ただし、πG,FはXGからXFへの射影である。
(2) 任意のi∈Iに対して、Ki⊂Biなるコンパクト族Kiが存在して、
Pi(A)=sup{Pi(K);K∈Ki,K⊂A} (A∈Bi)
が成り立つ。ただし、Pi=P{i}である。
この時、B=⨂i∈IBi上の確率測度Pで、任意の有限集合F⊂Iに対して、
PF(A)=P∘π−1I,F(A)=PG(A×XI∖F) (A∈BF)
となるものが一意的に存在する。
(証明) (存在) Cを柱状集合全体とし、 A1×⋯×An×XI∖F∈C (F={i1,⋯,in}⊂I, Ak∈Bik) に対して、 P(A1×⋯×An×XI∖F)=PF(A1×⋯×An) と定める。一致条件によりこれはwell-definedである。この時Cが半代数、PがC上で有限加法的であり、さらにK⊂Cなるコンパクト族Kが存在して、 (∗) P(A)=sup{P(K);K∈K,K⊂A} (A∈C) と書けることを順に示そう。これを示せば、命題3.4(2)によりPはCを含む最小の有限加法族上の完全加法的な有限加法測度に拡張され、したがってHopfの拡張定理によりB=σ(C)上の確率測度に拡張されることが従う。
Cが半代数であること:∅,X∈Cは定義より明らかである。また、 A=A1×⋯×An×XI∖F∈C (F={i1,⋯,in}⊂I, Ak∈Bik)B=B1×⋯×Bm×XI∖G∈C (G={j1,⋯,jm}⊂I, Ak∈Bjk) とすると、 A∩B=∏i∈F∩G(Ai∩Bi)×∏i∈F∖GAi×∏i∈G∖FBi×XI∖F∪G∈C またこれより、 A∖B=A∩Bc=A∩(B1c×⋯×Bm×XI∖G+⋯+B1×⋯×Bmc×XI∖G) はCの元の有限個の直和であるから、Cが半代数であることが従う。
Pの有限加法性: F={A×XI∖F|F⊂I:有限集合,A∈BF} とし、有限集合F⊂I,A∈BFに対し、 P(A×XI∖F)=PF(A) とおくと、これはPのF上への拡張になっているから、F上での有限加法性を示せばよい。まずP(∅)=0は明らかであり、また、有限集合F,Gに対し、 A′=A×XI∖F,B′=B×XI∖G∈F,A′∩B′=∅ とおけば、 A′+B′=(A×XF∖G+B×XG∖F)×XI∖(F∪G)∈F であり、 P(A′+B′)=PF∪G(A×XF∖G+B×XG∖F)=PF∪G(A×XF∖G)+P(B×XG∖F)=PF(A)+PG(B)=P(A′)+P(B′) だからPは有限加法的である。
(∗)を満たすコンパクト族Kの存在:まず、 K0={K×XI∖{i}|i∈I,K∈Ki} がコンパクト族であることを示そう。{Kn×XI∖in}∞n=1をK0の加算部分集合で、共通部分を持たないものとする。この時、 Qi={⋂j:ij=inKj(i=i1,i2,⋯)Xi(その他) と定めると、 ∏i∈IQi=∞⋃n=1Kn×XI∖in=∅ だから、Qi=∅なるi∈Iが存在する。各Xiは空でないから、あるinに対してQin=⋂j:ij=inKj=∅であり、Kinのコンパクト性から{Kj|ij=in}は有限交叉性を持たない。よってある番号Nが存在して∞⋃n=1Kn×XI∖in=∅となるから、K0はコンパクト族である。
次に、K1をK0から補題2.3の方法で構成されるコンパクト族とし、K=C∪K1とおく。K1はコンパクト族であるから、Kもコンパクト族であることに注意する。このKが条件を満たすことを示そう。
F⊂Iを空でない有限集合とし、 A=∏i∈FAi×XI∖F∈C とおく。ϵ>0に対し、 Ki⊂Ai,Ki∈Ki,P(Ai)≤P(Ki)+ϵ|F| (i∈F) なるKiをとり、 K=∏i∈FKi×XI∖F=⋂i∈FKi×XI∖{i} とするとK_i \times X_{I \backslash \{i\}} \in \mathcal{K}_0で\mathcal{K}_1は有限個の共通部分について閉じているから、K \in \mathcal{K}_1である。これとK \in \mathcal{C}によりK \in \mathcal{K}である。また、 \begin{align*} P(A \backslash K)&=P\left(\sum_{i \in F}\left(A_i \backslash K_i\times \prod_{j \in F \backslash \{i\}}A_j\times X_{I \backslash F}\right)\right)\\ &=\sum_{i \in F}P_F\left(A_i \backslash K_i\times \prod_{j \in F \backslash \{i\}}A_j\right)\\ &\leq \sum_{i \in F}P_F\left(A_i \backslash K_i\times X_{F\backslash \{i\}}\right) =\sum_{i \in F}P_{i}\left(A_i \backslash K_i\right)\\ &=\sum_{i \in F}\{P_{i}\left(A_i\right)-P_{i}\left(K_i\right)\}\\ &\leq \sum_{i \in F}\frac{\epsilon}{|F|}=\epsilon \end{align*} で\epsilon>0は任意だから、(*)が成り立つ。
以上より、Pが\mathcal{B}上の確率測度に拡張できることが示された。
(一意性) 条件は満たすPは、上で定めた\mathcal{C}上における確率測度の拡張でなければならず、この一意性はHopfの拡張定理から従う。□
完備可分距離空間の場合
各X_iが完備かつ可分な距離空間ならば、上の定理の(2)の条件は不要になります。
定義5.1
(X,\mathcal{O})を位相空間、\mathcal{B}(X)=\sigma(\mathcal{O})をXのBorel集合族とし、Pを\mathcal{B}(X)上の確率測度とする。
(1) 任意のA \in \mathcal{B}(X)および\epsilon>0に対して、ある閉集合Fおよび開集合Gが存在して、
\begin{align*}
F \subset A \subset G,~P(G-F)<\epsilon
\end{align*}
が成り立つとき、Pは正則(regular)であるという。
(2) 任意の\epsilon>0に対して、あるコンパクト集合K \in \mathcal{B}(X)が存在して
\begin{align*}
P(K)>1-\epsilon
\end{align*}
が成り立つとき、Pは緊密(tight)であるという。
(もしXがハウスドルフ空間ならば、コンパクト集合Kは閉集合であり、常に\mathcal{B}(X)に属します。)
Sが完備可分距離空間ならば、\mathcal{B}(S)上の確率測度は正則かつ緊密になります。
命題5.2
(S,d)を距離空間とし、Pを\mathcal{S}=\mathcal{B}(S)上の確率測度とする。この時、次が成り立つ。
(1) Pは正則である。
(2) Sが完備かつ可分ならば、Pは緊密である。
(証明)
\begin{align*}
B(x,r)=\{y \in S|d(x,y)< r\},~\overline{B}(x,r)=\{y \in S|d(x,y)\leq r\}
\end{align*}
とする。
(1)\begin{align*}
\mathcal{G}=\{A \in \mathcal{S}|F \subset A \subset G,~P(G-F)<\epsilon なる閉集合F,開集合Gが存在する\}
\end{align*}
とおき、\mathcal{S}\subset \mathcal{G}を示せばよい。まずAが閉集合の時はF=Aとすればよく、また
\begin{align*}
G_n=\{x \in S|d(x,A)<1/n\}=\bigcup_{a \in A}\{x \in S|d(x,a)<1/n\}
\end{align*}
とおけばAが閉集合であることから\displaystyle \bigcap_{n=1}^\infty G_n=\overline{A}=Aである。よってある番号Nが存在してP(G_N)=P(A)+\epsilonとなり、G_Nは開集合であるからG=G_Nとすれば条件を満たす。以上より、任意の閉集合が\mathcal{G}に含まれることが示された。
次に、\mathcal{G}が完全加法族であることを示そう。
(i) \emptyset \in \mathcal{G}は明らか。
(ii) A \in \mathcal{G}とし、F \subset A \subset G,P(G-F)<\epsilon なる閉集合F,開集合Gをとると、G^c \subset A^c \subset F^cでP(F^c-G^c)=P(F^c\cap G)=P(G-F)<\epsilonだからA^c \in \mathcal{G}である。
(iii) A_1,A_2, \cdots \in \mathcal{G}とし、\epsilon>0に対して\displaystyle F_j \subset A_j \subset G_j,P(G_j-F_j)<\frac{\epsilon}{2^{j+1}}なる閉集合F_j,開集合G_jをとり、
\begin{align*}
A=\bigcup_{j=1}^\infty A_j,~F=\bigcup_{j=1}^N F_j,~G=\bigcup_{j=1}^\infty G_j
\end{align*}
とおく。ここで、Nは
\begin{align*}
P\left(\bigcup_{j=1}^\infty F_j\right)-P\left(\bigcup_{j=1}^N F_j\right)<\frac{\epsilon}{2}
\end{align*}
なる番号Nである。この時Fは閉集合、Gは開集合であり、
\begin{align*}
P(G-F)&=P\left(\bigcup_{j=1}^\infty G_j-\bigcup_{j=1}^\infty F_j\right)
+P\left(\bigcup_{j=1}^\infty F_j-\bigcup_{j=1}^N F_j\right)\\
&\leq P\left(\bigcup_{j=1}^\infty (G_j-F_j)\right)+\frac{\epsilon}{2}\leq \sum_{j=1}^\infty \frac{\epsilon}{2^{j+1}}+\frac{\epsilon}{2}=\epsilon
\end{align*}
以上より\mathcal{G}は閉集合全体を含む完全加法族だから\mathcal{S}\subset \mathcal{G}を得る。
(2) \{x_1,x_2,\cdots\}をSの稠密部分集合とし、\epsilon>0,k=1,2,\cdotsに対し、
\begin{align*}
P\left(\bigcup_{j=1}^{n_k}\overline{B}\left(x_j,\frac{1}{k}\right)\right)>1-\frac{\epsilon}{2^k}
\end{align*}
なるn_kをとる。この時、
\begin{align*}
K=\bigcap_{k=1}^\infty\bigcup_{j=1}^{n_k}\overline{B}\left(x_j,\frac{1}{k}\right)
\end{align*}
とすると、これは閉集合ゆえに完備で、さらに全有界だからコンパクトであり、
\begin{align*}
P(K^c)&=P\left(\bigcup_{k=1}^\infty\bigcap_{j=1}^{n_k}\overline{B}\left(x_j,\frac{1}{k}\right)^c\right)\\
&\leq \sum_{k=1}^\infty P\left(\bigcap_{j=1}^{n_k}\overline{B}\left(x_j,\frac{1}{k}\right)^c\right)
\leq \sum_{k=1}^\infty \frac{\epsilon}{2^k}=\epsilon
\end{align*}
よってPは緊密である。□
命題5.3
(S,d)を完備可分距離空間とし、Pを\mathcal{B}(S)上の確率測度とする。この時任意のA \in \mathcal{B}(S)に対して、
\begin{align*}
P(A)=\sup\{P(K)|K \subset A,K:コンパクト\}
\end{align*}
が成り立つ。
(証明) A \in \mathcal{B}(S)とする。仮定よりPは緊密かつ正則であるから、任意の\epsilon>0に対して \begin{align*} P({K_0}^c)<\frac{\epsilon}{2},~P(A\backslash F)<\frac{\epsilon}{2} \end{align*} なるコンパクト集合K_0および閉集合F \subset Aが存在する。この時K=K_0 \cap F(\subset A)とおけば、これはコンパクト集合の閉部分集合だからコンパクト集合であり、 \begin{align*} P(A \backslash K)\leq P(A \backslash K_0)+P(A \backslash F)\leq P({K_0}^c)+P(A \backslash F)<\epsilon \end{align*} \epsilon>0は任意だから、示すべきことを得る。□
例2.2、定理4.1、命題5.3により次の結果を得ます。
系5.4
S_i~(i\in I)を完備可分距離空間とし、有限集合F \subset Iに対してP_Fを\mathcal{B}(S_F)上の確率測度とする。さらに定理4.1(1)の一致条件が成り立つならば、\displaystyle \mathcal{B}=\bigotimes_{i \in I}\mathcal{B}_i上の確率測度Pで、任意の有限集合F\subset Iに対して、
\begin{align*}
P_F(A)=P\circ \pi_{I,F}^{-1}(A)=P_G(A \times X_{I\backslash F})
\end{align*}
となるものが一意的に存在する。