氏    名  前 原 洋 祐 (まえはら  ようすけ)

学位論文題目  一般化アンサンブル学習における重み正規化手法に関する研究

論文内容の要旨

 高度情報化が進む今日において,人間が持つ学習能力を計算機上で実現するための手法である機械学習に関する研究が盛んに行われている。機械学習の一手法であるニューラルネットワークは学習により非線形関数近似を行うシステムであり,学習を行ったニューラルネットワークは汎化能力,つまり,学習データ以外の未知データに対しても望ましい結果を出力できる能力を持つ。一方,ニューラルネットワークのパラメータ数,学習回数が適切でなければ,過学習を引き起こしてしまい,汎化能力が低下する。この問題を回避し,汎化能力を向上させるためのひとつの手法としてアンサンブル学習が挙げられる。アンサンブル学習は学習済みの予測器群を重み付きで足し合わせるという簡単なアルゴリズムにも関わらず単一の予測器よりも高い汎化能力を持つことが知られている。
 アンサンブル学習の代表的な手法として,逐次的に予測器とその重みを決定するブースティングと,並列的に予測器を構成して各予測器の重みを一括で決定するバギングに大別される。本論文で着目するバギングの典型的な手法として算術平均をとる単純アンサンブルと,重み付き平均をとる一般アンサンブルがあり,これらは非線形回帰モデルにより定式化されている。一方,これとは別にバギングは指数型混合形式の確率モデルにより定式化されている。このモデルではアンサンブル学習は3段階のカルバック情報量の最小化と対応し,従来モデルでは正値に制限された重みパラメータは負値を許容する。そのため,指数型混合形式の確率モデルは従来モデルよりも幅広い表現が可能である。しかし,実際に重みを推定した際に,重みパラメータが各予測器の混合の割合に対応すると考えると正規化手法が必要となる。正規化を行わない場合,重みパラメータにより各予測器を評価することができない。
 本研究においては,指数型混合形式の確率モデルに基づくアンサンブル学習の重み付けを行う。さらに負値を含む場合の正規化手法をいくつか提案し,計算機実験を行った。その結果,アンサンブル学習において正負の重みが混在する場合には正規化前後で符号が保たれる手法が適当であることを示した。さらに他分野への応用として,物質工学の分野で X線顕微鏡や電子顕微鏡による計測時に失われるフーリエ位相に起因する位相問題を取り上げた。失われた位相の回復は位相回復と呼ばれる。その手法にアンサンブル学習のアルゴリズムを導入した。その結果,今後の位相回復の理論的研究にアンサンブル手法を基盤とした解析が有効であることを示した。

論文審査結果の要旨

 情報ネットワークの発達により扱うデータは肥大し続けている。それに対応すべく計算機処理能力は飛躍的に向上し,データ解析能力が大幅に向上している。そのような計算能力の向上に加えて,データの統計的構造や規則性を見出す適切な学習アルゴリズムの構築は,今もなお重要である。80年代の学習可能なニューラルネットワークの出現により,非線形近似に基づくデータ学習が確立され,ニューラルネットワークの学習が多くの応用分野において用いられてきた。しかしながら,限られたデータから汎化性のある学習結果を得ることは,現在でも研究課題として残っている。一般には,パラメータ数を制限することや過剰に近似しない学習手法,さらには,学習済みの予測器を組み合わせる手法が提案されている。予測器を組みわせる方法はアンサンブル学習法と呼ばれ,90年代に汎化性の良さが実験・理論の両面から支持されるようになった。本論文は,最近提案された指数型混合確率モデルに基づくアンサンブル学習を理論基盤として,アンサンブル学習における情報量最小化に基づく予測器の重み配分手法に具体的アルゴリズムを与え,計算機実験を通じてその有効性を検証したものである。
 本論文は全5章から構成されている。第1章は序論として,研究背景,研究目的および本論文の概要について,特にニューラルネットワークの学習の起源的研究から,アンサンブル学習における2つの重要な研究であるバギングとブースティングに至るまでの研究の系譜が述べられている。第2章では,ニューラルネットワークの概要が述べられている。第3章では,アンサンブル学習の概要が述べられており,バギングとブースティングについて,それぞれの詳細な特徴が述べられている。そして,本論文の基盤となる指数型混合確率モデルに基づくアンサンブル学習について,その定式化・解析的結果などの詳細が述べられている。そして,主要結果である重み正規化手法の提案と,有効性を確認するための数値実験と有効性の検証が行われている。第4章においては,提案手法を構造解析などの分野で行われている回折強度のみから実像を求める位相回復に応用し,その有効性を確認している。第5章では,結論と今後の課題が述べられている。
 これまでの体積による除算による正値の重みづけに対し,指数型混合確率モデルにおいては正負の値が混在する重みにおける正規化手法が必要とされる。本論文においては,符号を変えない新たな正規化手法を提案し,その解析的妥当性を示し,機械学習用データベースのデータを用いた計算機実験から実用的な有効性を確認するなど,多くの有用な工学的知見を与えている。さらには,情報工学から物質構造解析の分野に視点を移し,今なお問題とされる位相問題にアンサンブル手法を適用し提案手法の有効性を検証している。
 本研究によって得られた知見は工学上十分な価値があり,情報工学の分野に寄与するところ大であるので,本論文は博士(工学)の学位論文に値すると認められる。