勉強の記録 #001 - KSの自己満足勉強日記

ブログ2日目。

本ブログの目的は私のアウトプットだということは昨日述べたところであるが, とりあえず1日坊主にならなくて安心している。

では, 本題の勉強の記録に入る。

一昨日くらいから, 測度論的確率論というものを勉強している。

というのも, 私は修士課程で機械学習をメインに勉強しているのだが, その根幹の理論が確率論なのだ。

確率論というと, 高校で扱うような確率をイメージされると思う。私が勉強している機械学習の本 (PRML) も, 高校レベルに毛が生えた程度の確率論をベースに議論を進めている。

ただ, どうしてもPRMLの説明は曖昧に見える。特に, 連続確率分布と離散確率分布の扱いが未だにしっくりときていない。

そこで, 測度論的確率論を勉強しようと思い立ったのである。

以前から, 確率論のしっかりとした定式化には, 測度論が必須であるというのは耳にしていた。しかし, 私は相当な怠け者であるため, それを勉強しようというモチベーションが湧かずにいたのである。実は, 本ブログの開設のきっかけは, 測度論を勉強する動機付けを行おうと思ったことだ。(なんと, はてなブログはTexコマンドが使えるらしい！)

少々話が逸れてしまったが, 数学の話題に移るとしよう。

昨日今日で, [1] を用い, $\sigma$ -集合体という概念を勉強した。

まずは定義から。

定義 ([1] p.8 による。)

$\Omega$ を空でない集合とする。次の条件(B.1), (B.2), (B.3)を満たす $\Omega$ の部分集合族 $\mathcal{B}$ を, $\Omega$ 上の $\sigma$ -集合体という。

(B.1) $\Omega\in\mathcal{B}$

(B.2) $A\in\mathcal{B} \Longrightarrow \Omega\setminus A\in \mathcal{B}$

(B.3) $A_1, A_2, \cdots \in\mathcal{B} \Longrightarrow \bigcup_{k=1}^{\infty} A_k\in\mathcal{B}$

私なりの定義の解釈を書いておく。

まずはこの定義を導入する必要性について。確率を考える対象である「事象」という, 曖昧なものをなんとか厳密に定式化したいという気持ちを感じた。というのも, $\Omega$ という, "空でない"というかなりゆるい条件しかついていない集合(これが全事象に対応する？)を直接扱うのではなく, $\Omega$ の部分集合の集まりを考えることで, 扱いやすくしているのでは？と思った。これはあくまでも現時点での感想なので, 今後印象が変わるかもしれない。確かに, 位相空間論の開集合の定義のときも, 部分集合族を考えていた。部分集合族を考えるというのは, 得体の知れない集合を扱いやすくするためのよくあるテクニックなのかもしれない。

次に, (B.1)~(B.3)の各条件の気持ちについてだが, 「 $\mathcal{B}$ は確率という指標で測れる集合たちの集まりであって欲しい」というものを感じた。具体的には, (B.1)は「全事象の確率を考えたい」, (B.2)は「余事象の確率を考えたい」, (B.3)は「和事象の確率を考えたい」だと思う。他にも, 例えば「空事象の確率を考えたい」という気持ちもありそうだが, これは(B.1), (B.2)を組み合わせれば表現できる。つまり, (B.1)~(B.2)は確率に対する最低限の要請を抽出したものだと思う。まさに「数学」という感じだ。

定義からすぐに導かれる重要な性質も掲載しておこう。

補題 ([1]p.10 補題2.1 による。)

(B.4) $A_k, k\in\mathbb{N} \Longrightarrow \bigcap_{k=1}^{\infty}A_k\in\mathcal{B}$

(B.5) $A_k, k\in\mathbb{N}\Longrightarrow \limsup_{k\rightarrow\infty}\in\mathcal{B}$

(B.6) $A_k, k\in\mathbb{N}\Longrightarrow \liminf_{k\rightarrow\infty}\in\mathcal{B}$

ただし, $\ \limsup_{k\rightarrow\infty}:=\bigcap_{n=1}^{\infty}\bigcup_{n=k}^{\infty}A_k, \ \liminf_{k\rightarrow\infty}:=\bigcup_{n=1}^{\infty}\bigcap_{n=k}^{\infty}A_k\$ とする。

この補題の証明は略式で書いておこうと思う。

(B.4)については, $\sigma$ -集合体の定義(B.2)と(B.3)を繰り返し用いることで証明できる。

(B.5)については, $D_k:=\left\{ \begin{array}{ll} \emptyset\ \ (1\leq k\leq n-1)\\ A_k \ (n\leq k)\end{array} \right.$ とすれば, $\emptyset, A_k\in\mathcal{B}$ と(B.3)より, $E_n:=\bigcup_{k=n}^{\infty}A_k=\bigcup_{k=1}^{\infty}D_k\in\mathcal{B}$ である。よって, $\bigcap_{n=1}^{\infty}\bigcup_{n=k}^{\infty}A_k=\bigcap_{n=1}^{\infty}E_n\in\mathcal{B}$ である。