Hadoopデータセンタにおけるオークションメカニズムを用いた料金設定と計算資源割当て手法の設計と評価

真鍋 優 (1751113)


記憶容量の増大や計算性能の上昇といったハードウェアの発展に伴い,アプリケーションの取り扱うデータ量や計算量は日々増大している.そこで注目されているのが大規模なコンピュータクラスタにおいて処理を分散することで高速化を図るHadoop等の分散処理フレームワークである.

Hadoopは元来少人数での使用を想定されているため,大規模な計算資源を多人数で共有するには計算資源の割当てを行う新しいスケジューラが必要である.加えて,データセンタ等において商業目的でHadoopを運用するには,データセンタ管理者の収益を考慮した料金の設定手法が必要になる.本研究は利用者の入札に基づいたオークションにより計算資源の割当てを行うスケジューラを提案する.本提案手法は2つの要素から構成される.1つ目は,利用者が実行するアプリケーションの実行時間を予測するシステムである.アプリケーションの予測実行時間を利用者に提示することで,利用者がアプリケーション完了までの締め切りである期限と完了までに支払うことのできる金額である予算に合わせた評価額を設定することが可能になる.2つ目は利用者にとって自身の評価額をそのまま入札することが最適となるようなオークションメカニズムである.

本提案手法の評価実験として離散事象シミュレーションを実施した.評価実験では,Hadoopの標準スケジューラの1つであるFIFOスケジューラおよび先行研究で提案されたDynamic Priority parallel task scheduler(以後DPスケジューラ)と比較を行った.比較した項目は,予算内でアプリケーションを完了した利用者の割合である予算内完了率,期限内でアプリケーションを完了した利用者の割合である期限内完了率,データセンタ管理者の収益の3点である.評価実験では,提案手法は利用者の参加および離脱が頻繁な状況において,特にデータセンタ管理者の収益に関してDPスケジューラと比較した場合最大で約125%増加した.

本発表では,先行研究とその問題点について言及し,その問題を解決するべく,本研究において提案する手法について説明する.その後,上記の評価実験について,結果と考察を述べる予定である.