複数カメラで撮影したスポーツ映像ストリームの実時間編纂システム
藤澤和輝 (1451089)
2020年の東京オリンピックを機に，サッカーや野球などのスポーツ競技を対象とした新しいライブ中継の登場が期待されている．
IoT時代が本格化する中で，今後スポーツイベントにおいて，一般のスポーツの観戦者のスマートフォンカメラやウェアラブルデバイス，ドローン等から様々なアングル，ズームレべルで撮影された映像ストリームやTwitter等のSNSストリーム，観客席や実況席等から音声データストリームといった非構造化データストリームが場所や時間を問わずますます生成されることが予想される．
近年，特定の話題や興味に合った情報を収集しコンテンツとして編纂・提供するコンテンツキュレーション（以下，キュレーション）技術への注目が高まっている．
本論文では，一般のスポーツの観戦者が撮影した複数映像ストリームのキュレーションを人間が効率よく行えるよう支援する手法と，機械学習により自動で行う手法を提案する．
支援手法では，膨大な数の映像ストリームをキュレータが編纂するのを支援する為に，(1)複数の映像ストリームやSNSストリームをキュレータの価値観に合わせてスコア付けし，上位のもの数件のみを選別・表示する機能と，(2)それらのデータストリームからコンテンツとして出力・配信するデータストリーム(一つないし少数)を次々に切替えていく作業を支援する機能を提供する．
キュレーション自動化手法では，一般のスポーツの観戦者が撮影した複数映像ストリームを，ある価値に基づいてリアルタイムに自動で切替えるシステムを提案し性能を評価する．本論文では，TV局の放送するスポーツ中継の映像を価値が高いキュレーション結果の正解データとして，TV局が放送するようにリアルタイムに自動で切替えるシステムを構築する．
入力データは各映像ストリーム中の各区間データに対する画像特徴情報と，イニング数や打順等の試合進行情報といったメタ情報を用いる．
出力データは，各時刻における，TVで放送される映像に近い映像を撮影している一般の観戦者のカメラのID，すなわちカメラの切替えタイミングである．
評価実験として，高校野球を題材に，準決勝と決勝の二試合で，阪神甲子園球場で撮影した7台のカメラ映像に付与された画像特徴情報と試合進行情報，複数のTV局の放送映像を対象としてRandom Forestsを用いて切替えタイミング推定モデルを構築した．
提案手法を用いて，
学習に未使用の試合をキュレーションした結果，カメラマンやスイッチャーの独自性が反映されないベースカメラワーク間の切替えについて加重平均で85.3%，カメラマンが撮影する上で，決してルールから外れる事がない固定カメラワークの切替えについては99.7%のF値を得た．
これらの結果から，ベースカメラワークや固定カメラワークについて，ある試合の学習モデルで高い精度で切替えられること，その際付与するメタ情報の種類を減らした場合でも高い精度で切替えられること，また，同じTV局の会社を教師データとして学習に未使用の試合を高い精度で切替えられること，その際，教師データで会社を変えても高い精度で切替えられることが分かった．