| 中村 勇貴 | 1451079: M, 2回目発表 | 横矢 直和，加藤 博一，佐藤 智和，河合 紀彦 |
|
title: AR marker hiding considering specular reflection
abstract: Diminished reality methods have recently been proposed, which can remove AR markers from video in real time. Such methods first acquire the background image behind the AR marker using pre-capturing or image inpainting, and then superimpose the background image on the AR marker in each frame with adjustment of the intensity of the background image. As a result, the methods achieve natural diminished reality under ambient illumination changes. However, since the conventional methods adjust the intensities assuming that the surface on which the AR marker is placed is made of the material that does not produce specular reflection, they cannot deal with highlights on the image produced by specular reflection caused by camera motion. This study proposes a method to naturally remove an AR marker by estimating the illumination of the target environment from video and reflecting it to the intensity adjustment of the background image. In this presentation, I describe current progress, problems and future work. language of the presentation: Japanese 発表題目: 鏡面反射を考慮したARマーカ除去 発表概要: 近年, 現実世界のARマーカを映像からリアルタイムに除去することができる隠消現実の実現手法が提案されている. このような手法では, 事前撮影または画像修復の適用によりマーカの背景画像を取得し, 毎フレーム背景画像の輝度値を調整しマーカ上に合成することで, 環境の照明変化等にも対応したマーカ除去を実現している. しかし, 従来手法ではARマーカが置かれている場所は鏡面反射が起こりにくい材質でできているという仮定を用いて輝度調整を行っているため, カメラの移動に起因する鏡面反射により生じる画像中のハイライトには対応していない. そこで本研究では, 撮影画像から撮影環境の照明を推定し, それを背景画像の輝度調整に反映させることで自然にARマーカを除去する手法を提案する. 本発表では, 現段階の進捗, 問題点, および今後の方針を述べる. | ||
| 西崎 優弥 | 1451080: M, 2回目発表 | 横矢 直和，加藤 博一，佐藤 智和，河合 紀彦 |
|
title: Reproduction of motion parallax for indirect augmented reality
abstract: In mobile Augmented Reality (AR) applications using a smartphone, the geometric registration to accurately place virtual objects is one of the essential requirements. Conventionally, a method to solve this problem has been proposed and is called indirect AR．This method uses a pre-captured omnidirectional image and superimposes a virtual object on the image in advance. Therefore, this method cannot present the scene from different viewpoints, and users feel low realistic sensation because of the absence of motion parallax. This study proposes indirect AR with motion parallax according to moving viewpoints. In this presentation, I introduce the proposed system and examine the degree of realistic sensation obtained by the system with or without motion parallax. Finally, I describe future work. language of the presentation: Japanese 発表題目: 事前生成型拡張現実感における運動視差の再現 発表概要: スマートフォン等を用いたモバイル拡張現実感(Augmented Reality:AR)アプリケーションにおいて，仮想物体を意図通りの場所に正確に配置するための幾何学的整合性は満たすべき条件の一つである．従来，この問題を解決する手法として事前生成型ARが提案されているが，この手法は，事前撮影した画像を用いるため，撮影された地点からの景観のみしか提示できず，端末の移動に伴う運動視差が再現されず臨場感が低下する．本研究では，事前生成型ARに任意の視点からの映像を生成する自由視点画像生成技術を組み合わせることによって，端末の移動に応じた運動視差を再現する新たな事前生成型ARシステムを実現する．本発表では，実シーンにおいて本システムを実行した際，出力映像における運動視差の有無による臨場感の程度を観察し，考察するとともに今後の展望について述べる． | ||
| 高部 篤志志 | 1451064: M, 2回目発表 | 横矢 直和，小笠原 司，佐藤 智和，河合 紀彦 |
|
title: Moving object detection for a 3D point cloud and images measured by an on-vehicle system
abstract: 3D models of urban environment have been used for several applications such as Google Earth or a driving simulator. Such data are often measured by an on-vehicle system equipped with a camera, a range scanner, and GPS, capable of measuring 3D geometry (a 3D point cloud), RGB images and 3D positions of the vehicle. In the 3D modeling phase, 3D points of moving objects such as other vehicles and pedestrians on the streets lead to inaccurate 3D models. To solve this problem, this study proposes a moving object detection method using depth and photometric consistencies derived from the 3D point cloud, the RGB images and 3D positions of the vehicle. This presentation shows the proposed method and the current progress. Finally, I describe future prospects. language of the presentation: Japanese 発表題目: 車載システムにより計測された3次元点群および画像群を対象とした移動物体検出 発表概要: 近年，屋外実環境の3次元モデルを利用したアプリケーションとしてGoogl Earthやドライブシミュレータなどが広く利用されている．これらのアプリケーションに利用される3次元モデルは，カメラ，レーザレンジスキャナ，GPSなどを組み合わせた，車載システムを用いて計測される．しかし，測定時に屋外実環境に移動物体が含まれる場合，生成される3次元モデルに歪みが発生するといった問題がある．本研究では，この問題を解決することを目的に，3次元モデル生成の前処理としてレーザレンジスキャナによって取得される3次元点群データから生成される奥行情報の整合性と，撮影位置・姿勢情報が既知な複数の画像から得られる輝度情報の整合性を利用した，移動物体の自動検出を実現する．本報告では提案手法について説明し，現状の進捗状況について報告するとともに，今後の予定について述べる． | ||
| 宮本 拓弥 | 1451105: M, 2回目発表 | 横矢 直和，小笠原 司，佐藤 智和，河合 紀彦 |
|
title: Reduction of cumulative errors using aerial images in Visual SLAM
abstract: Visual SLAM (Simultaneous Localization and Mapping) methods have been proposed to obtain camera poses in AR applications and car navigation systems. These methods simultaneously localize camera poses and map the environment from motion parallax. However, SLAM has accumulative errors when taking long video. To solve this problem, a conventional study of Structure-from-Motion for offline processing proposed a camera pose estimation method that makes correspondences between ground-view and aerial images. However, such a method for online processing has not been proposed yet. On the basis of a direct method that reconstructs dense 3D data, which is one of the visual SLAM methods, this study proposes an online method for robustly estimating camera poses with edge information. language of the presentation: Japanese 発表題目: 地上撮影動画に対するVisual SLAMにおける航空写真を用いた蓄積誤差の軽減 発表概要: ARアプリケーションやカーナビゲーションシステムにおいて位置情報を取得するために, 動画像中の運動視差情報からリアルタイムにカメラ位置姿勢推定を行うVisual SLAMが利用されている. Visual SLAMは, 長時間動作させると誤差が蓄積する問題があった. オフライン処理を前提とするSfMに関する研究では, この誤差を軽減するために, 従来, 地上から撮影した動画と航空写真に対する特徴点の対応付けにより, カメラ位置姿勢を修正する手法が提案されている. しかし, オンライン処理による対応点の決定についてはこれまで実現されていない. 本研究では, 近年提案されているdirect methodと呼ばれる密な３次元形状を復元するVisual SLAMを基軸とし, エッジ情報を利用することでオンラインかつ頑健なカメラの位置合わせ手法を提案する. | ||