Abstracts of Doctor Thesis 2001

平成13年度 情報科学研究科 博士学位論文内容梗概

Last Update : 2001.10.23 

吉田 亮

「Intraspecific Learning and Interspecific Evolution by Genetic Algorithms

 Spatial dynamic pattern formations or trails by organisms attract us, which remind us chaos and fractal. They seem to show the emergence of co-operation, job separation, or division of territories when evolutionary algorithms controls the reproduction, mutation, and crossing over of the organisms. Recent research in social insect behavior suggests that swarm intelligence comes from pheromone or chemical trails, and models based on self-organization can help explain how colony-level behavior emerges out of interactions among individual insects.

 This thesis consists of two parts. The first half is "From Intraspecific Learning to Interspecific Evolution of Social Insects by Genetic Programming" ;the latter half is "A Model of Mutual Associative Memory forEvolution of Communication by Genetic Algorithms".

 On the former, we try to explain the co-operative behaviors of social insect by means of density of organisms and their interaction with environment in a simple simulation. Next, we study that MDL-based fitness evaluation is effective for improvement of generalization of genetic programming. At last, interspecific and intraspecific mathematical models are examined to expand our research into interspecific evolution.

 On the latter half, Mutual Associative Memory is used as a memory of organism for the tool to investigate evolution and learning. Genetic Algorithms are used to evolve the weights of mutual associative memory. We got the result that evolution of learning can be observed when organisms change rule itself during their lifetime.

 The common conclusion of the above two seems to be that "If the interactions between organisms themselves, and between organisms and their environment were less than the upper limit, we could see that the speed of evolution is proportional to the interaction".

  --- "A slow sort of country !" said the Queen. "Now, here, you see, it takes all the running you can do, to keep in the same place. If you want to get somewhere else, you must run at least twice as fast as that !" "Through The Looking-Glass"  Lewis Carroll,1871 ---

吉岡 琢

 (Studies on learning algorithms for kernel models and their applications)」

 ニューラルネットワークの分野では, 与えられたデータから学習を行うための様々な手法が提案されており, 工学的問題に応用されている. 学習を行うための手法は, データを表現するための(数理)モデルと, モデルに対する学習アルゴリズムからなる. モデルの一つであるカーネルモデルは, カーネルの重み付き和として表現されるモデルである. カーネルとは2引数の関数であり, その一方を固定することによって,入力ベクトルに対する特徴抽出を行うことができる. カーネルモデルは, カーネルによる柔軟な特徴抽出を行うことができる一方, パラメータに関する線形性を利用した簡素な学習アルゴリズムを適用できるという利点がある. また, カーネル自身に対してパラメータを与えることも可能である. カーネルパラメータに対する学習も同時に行うことによって, モデルの柔軟性をより高めることができる. 以上の理由より, カーネルモデルは様々な工学的応用に関しても有効であると考えることができる.

 一般にモデルに対する学習は, 教師付き学習, 教師無し学習, 強化学習に分類することができる. 本論文では, 以上の学習法をカーネルモデルに対して適用し, それを工学的問題に応用した例を示す. まず最初に, 教師付き学習法の一つとして, 著者らが提案した代表点を用いたガウス過程回帰法について説明する. この手法では, 確率的解釈に基づいて, 線形パラメータとカーネルパラメータの学習が一般化EMアルゴリズムによって同時に行われる. 次に, パターン分類問題を解くための手法の一つであるサポートベクトルマシンを, タンパク質の細胞内局在部位の予測に適用した例を示す. サポートベクトルマシンでは, カーネルを高次元の特徴空間上における内積として扱い, 特徴空間上で線形分離問題を解くことによって, 非線形の分離関数を実現している. 教師無し学習を適用した例として, 高次元空間上のベクトルとして表される文書集合の視覚化に関する手法について述べる. この手法では, 混合主成分分析による特徴抽出に基づくカーネルが用いられ, 距離構造を保存するように線形パラメータの学習が行われる. 最後に, 強化学習のオセロへの応用について述べる. 強化学習は, オセロの戦略を自動的に獲得するために用いられる. オセロの戦略は盤面に対する評価関数によって決まるが, その評価関数は正規化ガウス関数カーネルを用いたネットワークによって表現される. 強化学習において評価関数は時間と共に変動する. 線形パラメータとカーネルパラメータは, 評価関数の変動に追随するように学習される. 以上の研究を通じて, 工学的応用におけるカーネルモデルの有効性について論じ,その適用範囲の広さを示す.

情報科学研究科 専攻長