統計学に主義はあってもいいけど，人を説得するときに使うものじゃないという気がする

以下の記事を読んで個人的に思ったことをまとめておく。
hidekatsu-izuno.hatenablog.com

　個人的な思いは，タイトルの通りだけどそれ以外にも色々思ったことがある。この文章はなにかの戦いに決着を付けるためのものでもないし，現状の交通整理をするためのものではない。また，私は渡辺研究室とはなんら関係ないし，この文章は渡辺先生を含め，関係者の総意を表すものではなく，独学で統計の理論を学んでいる個人の限定的な解釈に基づくものとして理解してください。内容についての責任はあくまでも書いた私にあります。ガーッと書いたので不正確な点もあるかもしれないので，その点は先にお詫びいたします（怖い議論は怖いので，優しくしてください）。

　「渡辺ベイズ解釈」というものは，便宜的に名前をつけたのかもしれないが，適切には思えない。渡辺先生が作ったのは，特異学習理論であって，特定のベイズ統計的な方法ではない。渡辺先生の定義によると，ベイズ推測は，統計モデルと事前分布の組から予測分布を作って，それが「真の分布（データが従う分布）」に近いだろうと考える方法である。そして，予測分布の真の分布による平均を汎化誤差を考えたり，自由エネルギーを考えて，としてその確率的な挙動を解明する方法論として，特異学習理論があるのだと思う。そして，特異学習理論のすごいところは，真の分布がわからかなくても，特異なモデルであっても，（かなり少ない仮定のもと）手元にあるデータのみから，汎化誤差や自由エネルギーの不偏推定量を計算できる，という点にある。
　そして，渡辺先生は，ベイズ統計学の構成要素である，真の分布・確率モデル・事前分布の３つについて，それらに依存しない数学的な構造を明らかにしたのであって，なにか新しい結果の解釈を見方を提供したわけではないと思う。真の分布を想定することの是非は議論があるかもしれないが，ポイントはそれが存在するというよりは，あると想定すると予測や汎化などの重要な概念が定義できる，ということだと思われる。ここで，確率モデル，事前分布は人間が設定するものであるし，正しい推測方法は存在しないということは繰り返し強調されている。また，真の分布を想定しているから特異学習理論の範囲が限定されているという意見もあるかもしれないが，この理論自体かなり広範囲で使える設定になっており，すごく強い制約には思われない。どの方法も多かれ少なかれ制約はあるだろうが，個人的には，特異学習理論の成果は現実でも広く使えるようなものに思われる。どうしてもこの仮定がいやなら，汎化誤差などについて，数学的な保証はない別の理論を使っても，もちろんよい。私は数理的に保証された安心できる方法を使いたいと思っているが，選択は分析者の自由だ。
　やや脱線してしまったが，確率モデルと事前分布が想定されていることが，ベイズ統計学の最小限の要求であると思われるし，それ以上の「解釈」の部分は，少なくとも渡辺先生の理論の中には存在しないと考えられる。また，データはなにかの分布から発生していると考えるのであれば，それは確率変数とみなすことに，特に問題があるわけではない。データを確率変数と考えなければ，汎化誤差のデータの出方についての平均なども考えられられないと思う。これは統計量の理論的な性質を明らかにするための設定としてのみならず，実際に手元にあるデータ（確率変数の実現値）を使って計算したものは，ゆらぎがあるものの一つの現れ方に過ぎない，という点を思い出させてくれる意味で意味があると思う。　そして，ベイズ統計なのにデータを定数として扱っていないとしても，汎化誤差の推定値を計算する場合には，データは確率変数の実現値として（いわゆる「定数」ではないが固定されたものとして），扱うわけで，実際のデータ解析上大きな違いがあるわけではない。
　また，予測の観点やデータの出自の構造を考えるというのは，統計に限らず，科学が目指すもののひとつなのではないかと思う。その意味で，渡辺先生のベイズの捉え方を，（一貫したものの見方としての）主義，としたいと考える事もできるのかもしれないが，普通の科学がどこでも目指していることなので，「主義」といって区別をつけることなのだろうか。さらに，他の推測法，たとえば最尤推測であっても，（モデルの）パラメタの推定値をプラグインして，予測を行うし（そのためにパラメタを推定する），やはり渡辺先生の独自のものではないと思う。
　以上のことから，渡辺先生の特有のベイズ統計学の解釈があるわけではなく，ベイズ統計学のうち数学的に定式化できる最小限度のパーツ（統計モデル・事前分布）を使って，予測を行ったときの数学法則を解明したのが重要な点であると思う。これは，ベイズ統計学の中の成果ではなく，数学を使ったベイズ統計学の評価についての成果といってよいと思われるため，やはり「渡辺ベイズ解釈」という言い方には疑問がある。

　また，主観的・客観的，という用語について，「主観確率がベイズ統計学を特徴づけている」というのが，よくあるベイズ主義と言われるようなものになっているが，必ずしもそうではないと思われる。先に述べたように，ベイズ統計学の論理構造の最小限の部分だけを見たときにには，主観確率を含む必要がないからである。私は，主観確率が間違っているとか使うべきでないと言いたいわけではない。
確率をどう解釈するかは分野や個人の自由だと思う。そこに「正しさ」はないと思う。しかし，「ベイズ統計学を採用したから確率の解釈を主観的にしてよい」，というのは違うと思う。こうした考え方は標準的ではないかもしれないが，統計的な数式上の推論の論理構造と，現実での解釈や意味を切り分けることは，むしろ，様々な統計的な方法の共通点や違いを理解する上で意味があると思う。また，確率の解釈を使い分けることによって，新しい発見ができるのであればそうすればいいし，とくに一つになにかの確率の解釈に固執しなくてもよいと私は思っている。しかし，こうしたが統計的手法を特徴づけていると考えることに，意義はあまり感じない。
　統計学が扱う範囲として，こうした確率の解釈も含むべき，と考えるのも一つの立場だと思う。しかし，統計的な方法が様々な分野で普及しており，各分野の関心に合わせて手法が開発されている状況で，統計がカバーすべき範囲というのは，様々にあって然るべきなのだろうと思う（機械学習ではデータは勝手に溜まっていくようなものだが，社会調査などではデータの取得方法から設計する必要がある，など）。その意味で，統計学の数学的な構造の部分を考えるというのは，どの分野でも共通してできる最小限の部分のように感じられる。数学的な成果としていえることはそれはそれとして，実際の分野で方法の前提や結果の具体的な解釈を考えていけばよいのではないかと思う。これは，むしろ数学でできることとできないことをきちんと区別した慎重な態度であろう。科学的なものとはなにかは私にはわからないが，現実とは関係のない数式としての統計のなかだけでなにかできるのではなく，現実のなかでのデータの取得方法や実験の方法などが関わってくるものだと思う。その意味で，統計結果の解釈は現実のデータをどうするのかという点において生じるものでしかないと思われる。モデルはモデルで，想像上の産物でしかない。しかし，そのモデルが現象を予測するとかよく機能したり，厳密なテストにパスして有用そうだと認識されるなど，実際のデータで確認されたときにはじめて意味や解釈がとなってくるように思われる。
　
　また，もとの記事では，「統計学とは哲学的概念を数学を使ってモデル化したものと捉えた方がよい」と述べて，「渡辺ベイズの主張は、～中略～（極端に言えば）ツールに過ぎない数学だけで何かが語れると思うのは相当に極端な態度に思える」といっているが，先に述べたように，特異学習理論により，ベイズ統計学の数学的な特徴を明らかにしたことで，現実によくある特異モデルでも安心して使える基盤を提供しているわけで，数学だけでなにかの現実を語っているわけではないと思う。むしろ，モデル（あるいは仮説）を現実のデータでテストするための非常に一般的な方法を提供している（余談だが，検定も情報量基準もモデル選択という意味で同じような枠組みとして考えられる）。予測や汎化というものはもしかしたら一般的な考え方ではないかもしれないし，「哲学的な概念」ではないかもしれないが，私には，渡辺先生の成果は極めてベイズ統計学がなぜ現実で機能するのかの保証を与えているように見えるし，かなり広い現実的な状況で一般に使える統計的なツールだと思う。統計学の一部の考え方が，「哲学的な概念の数学的なモデル」といえることもあるのかもしれないが，少なくとも渡辺先生の成果は，そういったたぐいのものには思われない。

　さらに，「「合理的な（逆向きの）推定 or 意思決定」という概念があり、その主要な実装としてベイズ統計学が存在しているのだ」と言っているが，ベイズ統計学の一部にこういう考え方があるのは否定しない。しかし，意思決定以外にも事後分布でモデルを平均することで予測分布を作って予測を行うという営みもあり，こうしたことは哲学的な概念が先に来ているというわけではないと思われる（予測が大事，という点を哲学的と呼ぶなら哲学的なものが先に来ているのかもしれないが，わざわざそういう必要はないように思われる）。さらに，ベイズ統計学が機能する理由は「主観にもとづいている」かどうかに関わらず，数学の定理として証明されている事柄である。意思決定と予測は目的が違うので，それぞれに合った確率の解釈をすればよいが，いいたいこととしては，「ベイズ統計学だから確率は主観的だ」ということは必ずしもそうではないということだ（渡辺先生成果がマイナーであり，無視できるものとみなしたい人もいるかもしれないが，WAICの成果などは順調に引用数が増えていて，かなり認知されていると考えて良いのではないかと思う）。もちろん，学習機（統計モデル＝ただの同時分布）が，どう判断するのかという点を強調して，主観確率的な解釈をしたければそうすればいいかもしれないが，最終的な結論は対して変わらないし，本質的なものには思われない。（脱線：こう考えると，最尤推定したパラメタを使った学習機の，”主観的な確率”というものを考えられそうだし，その意味でベイズじゃなくても主観的な確率になるのかな。）
　また，もとの記事の最後に，「頻度論に基づく統計学は「合理的な（逆向きの）推定 or 意思決定」のために作られていない」と述べられているが，これにも同意できない。頻度論的な，統計的仮説検定は，特定のデータが与えられたときに仮説の採択・可否を判断しているし，信頼区間に推定の正確さも評価しているし，まさに推論・意思決定のための道具であるように見える。また，先に述べたように，検定も仮説的なモデルをアセスメントするためのツールとして考えることもできる。この意味でベイズ統計学だろうと頻度論的な統計学だろうと同じことをやっている（もちろん，これは一部の活動が重なっているという事実を指摘しているだけで，両方の統計学の目的がすべてが同じというわけでない）。こうしたこともあり，統計の主義を分ける必要はやはり，特にないと考えられる。もちろん，現場の状況によって何を使えるのか，使えないのかを選択する必要があるが，それは統計的な主義が決めることではないと考えられる。

　とくにまとまった文章ではないが，「渡辺ベイズ」として言及されていることについて，ディフェンドする形になった。いずれにせよ言いたいこととしては，
１．統計が扱う範囲はかならずしもコンセンサスがあるわけではないので，モデルや数学的な部分と，主義の部分は分けて考えて，とくに主義的なものは現実場面に即して考えたほうがよいのでは，
２．主義はあるかもしれないが，それは例えばベイズ統計を選択したから一緒にくっついてくるものというわけではない，
３．主義があるから，統計的なものの良さが決まるわけではない，
４．「渡辺ベイズ」という用語は適当には思われない，
５．個人の自由でどの主義に依拠するかは好きにすればよいが，人にまでそれを強要しないでほしい，
ということだ。統計を使う人は，使いたい理論や主義を使って色々と解釈を頑張ればいいんじゃないかな。