| 弥代 虎太朗 | M, 2回目発表 | サイバネティクス・リアリティ工学 | 清川 清, | 加藤 博一, | 内山 英昭, | Perusquia Hernandez Monica, | 平尾 悠太朗 |
|
title: Character Conversion System Enabling Appearance Selection for People in Video
abstract: In recent years, camera-equipped AR glasses and wearable devices have made it easier to record and share daily life. However, some people may not wish to appear in such footage as they actually look. This research aims to develop a system that allows people captured in video to be represented as characters or avatars of their choice. Existing 3D avatars can be used when available, but many users do not own one. Therefore, the system also generates an animatable 3D avatar from a single character image. By transferring the motion of the captured person to the generated avatar, the system preserves the actions and context of the original footage while allowing individuals to choose how they are visually represented. language of the presentation: Japanese 発表題目: 映像中の人物の外見選択を可能にするキャラクター変換システム 発表概要: 近年、カメラを搭載したARグラスやウェアラブルデバイスの普及により、日常生活を気軽に記録・共有できるようになっている。一方で、映像に実際の姿のまま映り込むことを望まない人もいる。本研究では、カメラ映像に映った人物を、その人が希望するキャラクターやアバターの姿へ置き換えるシステムの開発を目指す。既存の3Dアバターを所有している場合はそれを利用できるが、多くの利用者は自身の3Dアバターを持っていない。そこで、1枚のキャラクター画像から人物の動きに追従可能な3Dアバターを生成する。これにより、元の映像の動作や状況を保ちながら、映り込んだ人物が自分の望む姿で表現される映像共有の実現を目指す。 | |||||||
| 吉尾 陸汰 | M, 2回目発表 | インタラクティブメディア設計学 | 加藤 博一, | 清川 清, | 澤邊 太志, | Isidro Butaslac | |
|
title: Automatic Generation of General-Purpose AR Task Assistance Based on Existing Manuals
abstract: Augmented reality (AR) task assistance overlays work instructions onto real equipment and has been shown to reduce error rates, cognitive load, and task time. However, current systems require building a separate system for each target machine, which makes deployment to the wide variety of real-world devices costly. Recent work leverages LLMs to remove per-device engineering, but existing approaches either depend solely on the LLM's internal knowledge—causing frequent generation failures—or still require hand-placed AR content and fiducial markers. This research proposes a system that automatically transforms existing instruction manuals (PDFs or web pages) into interactive AR task assistance on a head-mounted display. A user only uploads the manual in advance; at runtime, the system retrieves and quotes the relevant procedures from the manual to generate grounded step-by-step guidance, and locates target parts with a vision-language model using part descriptions derived from the manual. The system also handles parts outside the user's field of view by pre-storing which face of the device each part is on, estimating the currently viewed face from visible parts, and guiding the user by voice until the target comes into view. This talk presents the current implementation on Meta Quest 3 and an evaluation plan covering generation success rate, step fidelity to the manual, robustness across manual formats, and the accuracy and responsiveness of AR overlay placement, as well as a planned user study on progress-aware adaptive dialogue. language of the presentation: Japanese 発表題目: 既存マニュアルに基づく汎用型AR作業支援の自動生成 発表概要: AR（拡張現実）による作業支援は、作業手順を実物の機器に重畳提示することで、エラー率・認知負荷・作業時間を低減する効果が示されている。しかし現状のARシステムは機器ごとに個別のシステム構築が必要であり、千差万別な形状・種類の機器への展開はコストの面で困難である。近年はLLMを活用して機器ごとの作り込みを不要にする研究が登場しているが、手順生成がLLMの内部知識のみに依存して失敗が多発する、あるいはARコンテンツの配置に手作業とARマーカーを要する、といった課題が残されている。そこで本研究では、既存の取扱説明書（PDFやWebページ）を、HMD上の対話的なAR作業支援へと自動で変換するシステムを提案する。ユーザは事前にマニュアルをアップロードするだけでよく、実行時にはシステムがマニュアルから該当手順を検索・引用して根拠付きの手順を生成し、マニュアル由来の部品の位置特徴を手がかりにVision-Languageモデルで対象部品を検出してARを配置する。さらに、各部品が機器のどの面にあるかを事前に保存し、視野内の部品からユーザが見ている面を推定することで、視野外の部品に対しても音声誘導により支援を継続できる。本発表では、Meta Quest 3上での現在の実装と、生成成功率・手順の忠実性・マニュアル形式に対する頑健性・AR重畳の精度と即応性に関する評価計画、および作業進捗に応じた対話的支援に関するユーザースタディの構想を報告する。 | |||||||
| WENG JUNMING | M, 2回目発表 | インタラクティブメディア設計学 | 加藤 博一, | 清川 清, | 澤邊 太志, | Isidro Butaslac | |
|
title: A Multi-User XR System for Watershed Flood Risk Discussion - Design and Evaluation of Real-Time Scenario Comparison and Multi-User Collaboration -
abstract: Helping residents perceive flood risk as personally relevant remains a core challenge in watershed flood management, as existing tools like hazard maps are 2D and static. Building on a validated AR/VR system for flood-prone communities, we present a multi-user XR platform featuring real-time flood scenario switching, synchronized VR flood playback, and user-user collaboration support. We investigate whether instant scenario comparison deepens residents' understanding and personal relevance (RQ1), and whether collaborative features enhance discussion and shared understanding (RQ2). A user study with local residents will evaluate the system, enabling direct comparison with prior baselines. language of the presentation: English | |||||||
| 遠藤 純音 | M, 2回目発表 | ソーシャル・コンピューティング | 荒牧 英治, | 清川 清, | 若宮 翔子, | 久田 祥平 | |
|
title: *** Persona-Driven Mobility Simulation Using LLMs: Satisfaction Evaluation for Decision-making Under Diverse Physical and Psychological Constraints ***
abstract: *** In the evaluation of transportation infrastructure, there is a growing need for methods that consider diverse attributes such as age, medical conditions, and disabilities. Conventional traffic simulations tend to focus heavily on optimizing physical travel efficiency and fail to adequately reflect individual physical and psychological burdens. In this study, we propose a mobility friction simulation method that combines Large Language Models (LLMs) with real-world transit data. This method estimates parameters—such as multipliers for physical exhaustion and stress accumulation, as well as bicycle aptitude—from the qualitative profiles of diverse personas. Along with these parameters, objective conditions including exact waiting times dynamically calculated from real timetable data, fares, and weather are presented to the LLM. The agent is then prompted to output its autonomous route selection, its internal conflicts during the decision-making process, and a final overall satisfaction score for the trip. We conducted an experiment using 100 randomly selected personas. By calculating the distribution of satisfaction scores from the simulation results and extracting the worst-case scenarios (the 5th percentile), we found that severe conflicts—such as "psychological fatigue from waiting for a bus for a long time" and "avoiding walking or cycling in bad weather"—were accurately reproduced in specific personas (e.g., individuals traveling with infants exhibiting respiratory symptoms, or those with specific medical conditions). As a result, this approach reveals underlying bottlenecks at specific transit hubs from both quantitative and qualitative perspectives, demonstrating its potential application in urban planning that considers the subjective well-being of transportation-disadvantaged individuals. *** language of the presentation: *** Japanese *** 発表題目: *** LLMによるペルソナ駆動型移動シミュレーション：多様な身体・心理的制約下での意思決定のための満足度評価 *** 発表概要: *** 交通インフラの評価において、年齢、疾患、障害などの多様な属性を考慮した手法が求められている。従来の交通シミュレーションは物理的な移動効率の最適化に偏りがちであり、個人の身体的・心理的な負担（移動摩擦）を十分に反映できていない。本研究では、大規模言語モデル（LLM）と現実の交通データを組み合わせた移動摩擦シミュレーション手法を提案する。 本手法では、多様なペルソナの定性的なプロフィールから体力消耗・ストレス蓄積の乗数や自転車適性などのパラメータを推定する。これらのパラメータとともに、現実の時刻表データから動的に算出された正確な待ち時間、運賃、天候などの客観的条件をLLMに提示し、エージェントに自律的な経路選択と、その過程での葛藤、および移動に対する最終的な総合満足度スコアを出力させる。 ランダムに選出した100体のペルソナを用いた実験を行った。シミュレーション結果から満足度スコアの分布を算出し、ワーストケース（5パーセンタイル）を抽出した結果、特定のペルソナ（例：呼吸器症状を持つ幼児連れや、特定の疾患を持つ者）において、「長時間のバス待ちによる心理的疲労」や「悪天候時の徒歩・自転車移動の回避」といった切実な葛藤が再現された。これにより、特定の乗り継ぎ地点に潜むボトルネックを定量・定性の両面から明らかにし、交通弱者の主観的ウェルビーイングを考慮した都市計画への応用可能性を示した。 *** | |||||||