「Intraspecific Learning and Interspecific Evolution by Genetic Algorithms
(進化的計算による社会生物学のシミュレーション)」
Spatial dynamic pattern formations or trails by organisms attract us,
which remind us chaos and fractal. They seem to show the emergence of
co-operation, job separation, or division of territories when evolutionary
algorithms controls the reproduction, mutation, and crossing over of the
organisms.
Recent research in social insect behavior suggests that swarm intelligence
comes from pheromone or chemical trails, and models based on
self-organization can help explain how colony-level behavior emerges out of
interactions among individual insects.
This thesis consists of two parts. The first half is "From Intraspecific
Learning to Interspecific Evolution of Social Insects by Genetic
Programming" ;the latter half is "A Model of Mutual Associative Memory
forEvolution of Communication by Genetic Algorithms".
On the former, we try to explain the co-operative behaviors of social
insect by means of density of organisms and their interaction with
environment in a simple simulation. Next, we study that MDL-based fitness
evaluation is effective for improvement of generalization of genetic
programming. At last, interspecific and intraspecific mathematical models
are examined to expand our research into interspecific evolution.
On the latter half, Mutual Associative Memory is used as a memory of
organism for the tool to investigate evolution and learning. Genetic
Algorithms are used to evolve the weights of mutual associative memory. We
got the result that evolution of learning can be observed when organisms
change rule itself during their lifetime.
The common conclusion of the above two seems to be that "If the
interactions between organisms themselves, and between organisms and their
environment were less than the upper limit, we could see that the speed of
evolution is proportional to the interaction".
--- "A slow sort of country !" said the Queen. "Now, here, you see, it
takes all the running you can do, to keep in the same place. If you want to
get somewhere else, you must run at least twice as fast as that !" "Through
The Looking-Glass" Lewis Carroll,1871 ---
「カーネルモデルを用いた学習法とその応用に関する研究
(Studies on learning algorithms for kernel models and their applications)」
ニューラルネットワークの分野では, 与えられたデータから学習を行うための様々な手法が提案されており, 工学的問題に応用されている. 学習を行うための手法は, データを表現するための（数理）モデルと, モデルに対する学習アルゴリズムからなる. モデルの一つであるカーネルモデルは, カーネルの重み付き和として表現されるモデルである. カーネルとは2引数の関数であり, その一方を固定することによって,入力ベクトルに対する特徴抽出を行うことができる. カーネルモデルは, カーネルによる柔軟な特徴抽出を行うことができる一方, パラメータに関する線形性を利用した簡素な学習アルゴリズムを適用できるという利点がある. また, カーネル自身に対してパラメータを与えることも可能である. カーネルパラメータに対する学習も同時に行うことによって, モデルの柔軟性をより高めることができる. 以上の理由より, カーネルモデルは様々な工学的応用に関しても有効であると考えることができる.
一般にモデルに対する学習は, 教師付き学習, 教師無し学習, 強化学習に分類することができる. 本論文では, 以上の学習法をカーネルモデルに対して適用し, それを工学的問題に応用した例を示す. まず最初に, 教師付き学習法の一つとして, 著者らが提案した代表点を用いたガウス過程回帰法について説明する. この手法では, 確率的解釈に基づいて, 線形パラメータとカーネルパラメータの学習が一般化EMアルゴリズムによって同時に行われる. 次に, パターン分類問題を解くための手法の一つであるサポートベクトルマシンを, タンパク質の細胞内局在部位の予測に適用した例を示す. サポートベクトルマシンでは, カーネルを高次元の特徴空間上における内積として扱い, 特徴空間上で線形分離問題を解くことによって, 非線形の分離関数を実現している. 教師無し学習を適用した例として, 高次元空間上のベクトルとして表される文書集合の視覚化に関する手法について述べる. この手法では, 混合主成分分析による特徴抽出に基づくカーネルが用いられ, 距離構造を保存するように線形パラメータの学習が行われる. 最後に, 強化学習のオセロへの応用について述べる. 強化学習は, オセロの戦略を自動的に獲得するために用いられる. オセロの戦略は盤面に対する評価関数によって決まるが, その評価関数は正規化ガウス関数カーネルを用いたネットワークによって表現される. 強化学習において評価関数は時間と共に変動する. 線形パラメータとカーネルパラメータは, 評価関数の変動に追随するように学習される. 以上の研究を通じて, 工学的応用におけるカーネルモデルの有効性について論じ,その適用範囲の広さを示す.