| 志子田 直輝 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎 | 池田 和司 | 上垣外 英剛 |
|
title: How can CLIP learn structural information?
abstract: This study proposes a novel unsupervised learning approach to extract shared structural information between images and text. By adapting the "Syntactic Distance" technique, originally used for syntactic relationships in text, we aim to enhance CLIP's ability to capture and integrate complex spatial and semantic relationships. This approach addresses the limitations of existing Vision and Language (V&L) models, which often rely on large-scale labeled data and struggle with unfamiliar objects or intricate spatial configurations. Our preliminary experiments demonstrate the potential of our method to improve the performance and interpretability of V&L models in various tasks, including scene understanding and image generation. language of the presentation: Japanese 発表題目: CLIPはどのようにして構造情報を学習するか？ 発表概要: 本研究では、CLIPを用いて画像とテキストが共有する構造情報を教師なしで抽出する手法を検討する。大規模言語モデルから発展した大規模画像言語モデルは、多くのアプリケーションで高い性能を実現している。しかし、その仕組みには未解明の点が多く、信頼性や解釈性の観点から課題が残されている。特に、画像内に複雑な位置関係や未知の物体が含まれる場合、性能が大きく低下するという課題がある。そこで、大規模画像言語モデルの基盤技術の一つであるCLIPがより構造情報を強調した学習をするような改良を行う。モデルが画像とテキストを学習する際に構造情報を教師なしで抽出し、それを学習に活用する手法を提案する。実験結果から、教師なし学習による構造情報の抽出が可能であることが示唆された。今後は改善を重ね、視覚言語モデルの機序の理解向上に寄与することを目指す。 | |||||
| 神野 倫行 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎 | 池田 和司 | 上垣外 英剛 |
|
title: Towards Inductive Knowledge Graph Completion for Scientific Fields
abstract: The increasing volume of academic publications has created a growing need for structured and unified representations of published knowledge stored in a single integrated source. Knowledge graphs (KGs) are mathematical graphs that encode relationships between entities and are widely used to meet this need by storing relationships between entities representing scientific concepts. However, KGs often suffer from missing relationships, necessitating the use of knowledge graph completion (KGC) models to predict these missing links. KGC can be performed in two distinct settings: the transductive setting, where entities not seen during training are excluded from the test dataset, and the inductive setting, where the unseen entities are included in the test dataset. Previous research on scientific KGC has primarily focused on the transductive setting, despite the importance of evaluating inductive KGC models. Scientific progress inherently introduces new entities that are not present in training data, making inductive evaluation crucial. Inductive KGC models frequently utilize pretrained language models, and their performance has been shown to improve when textual descriptions of the entities are given in the input. However, no existing datasets of entity descriptions specifically tailored for scientific inductive KGC are available. To address this gap, we investigate methods for autonomously generating entity descriptions by measuring the mean reciprical rank (MRR) performance of an inductive KGC model, SimKGC, when provided with the generated descriptions. We apply the method that lead to the highest MRR performance to construct textual descriptions for entities in the widely used scientific KG, AI-KG. The resulting dataset is made publicly available to facilitate further advancements in inductive scientific KGC research. language of the presentation: English | |||||
| 夏見 昂樹 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎 | 池田 和司 | 上垣外 英剛 |
|
title: Efficient Minimum Bayes Risk Decoding with Knowledge Distillation Models and Matrix Completion
abstract: In translation tasks, minimum Bayes risk decoding, which selects the optimal hypothesis based on evaluation metrics, is gaining attention as opposed to methods that acquire a single most probable hypothesis from maximum a posteriori probability, such as beam search. Furthermore, probabilistic minimum Bayes risk decoding reduces the computational load of the score matrix, which was a problem in conventional methods, by decomposing it into a low-rank matrix for approximation. However, the computation using neural evaluation metrics for each element of the matrix still takes time and is a factor in the slowdown of decoding speed. Additionally, hypothesis-reference pair information not selected for score calculation is discarded, so there is a desire to effectively utilize this information. Therefore, this study attempts to improve decoding speed and translation accuracy by using neural evaluation metrics and their distilled models to perform matrix completion in a way that they agree with each other. language of the presentation: Japanese 発表題目: 知識蒸留モデルと合意をとる頑健な行列補完を用いた高速な確率的最小ベイズリスク復号法 発表概要: 翻訳タスクでは、ビームサーチなどの最大事後確率から単一の最確率仮説を獲得する手法に対して、評価指標に基づき最適な仮説を選択する最小ベイズリスク復号法が注目されている。さらに、確率的最小ベイズリスク復号法では、従来手法の問題点であったスコア行列の計算量を低ランク行列に分解し、近似することで削減した。しかし、依然として行列の各要素の計算でニューラルな評価指標を用いた際の計算は時間を要し、復号速度低下の要因である。また、スコア計算に選択されなかった仮説・参照ペア情報は破棄されるため、これらの情報を効果的に活用したい。そこで本研究では、ニューラルな評価指標とその蒸留モデルを用い、互いに合意をとるように行列補完を行うことで復号速度および翻訳精度の改善を試みる。 | |||||
| 佐藤 拓真 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎☆ | 吉野 幸一郎 | 河野 誠也 |
|
title: Towards Building Language Models Capable of Inferring Implicit Meanings
abstract: Language often conveys meanings beyond the "literal sense," and pragmatics is the field of study that addresses this type of meaning. Research on pragmatic inference has also been conducted in natural language processing (NLP). However, existing evaluation datasets primarily focus on the conclusions of inference processes, leaving the computational interpretation of pragmatic meaning opaque. Consequently, the structure and processes involved in meaning interpretation remain unexamined and unevaluated. To address this issue, the presenter’s research aims to develop a dataset specifically for pragmatic inference. This involves collecting information and knowledge required for deriving meanings, as well as explicitly outlining the inference processes. The methodology is grounded in theoretical frameworks from linguistic pragmatics. Using the developed dataset, the study evaluates the pragmatic inference capabilities of various language models, identifying the challenges they face. Based on this analysis, the research then proposes and implements strategies to enhance these models' pragmatic reasoning abilities. The ultimate goal is to enable NLP systems to acquire human-like pragmatic inference capabilities. language of the presentation: Japanese 発表題目:「言外の意味」を推論できる言語モデルの構築に向けて 発表概要: 言語には「文字通りの意味」を超えた言外の意味が存在する場合があり，語用論はこのようなタイプの意味を扱う学問領域である．自然言語処理においても語用論的推論の研究は行われてきたが，既存の評価データセットでは、計算機による語用論的意味の解釈過程は不透明であるまま推論の結論のみが導出されており、意味解釈の形式や過程を理解・評価することができていない．発表者の研究では，この課題に対応するため，語用論的推論に関するデータセットの構築を目指す．具体的には，各発話に対して，その意味が導出される際に必要な情報・知識や，導出過程を明示化するための情報を，言語学における語用論研究の理論に基づく方法で収集し，データセットを構築する．その後、本データセットによって各種言語モデルの語用論的推論能力の評価を行い，モデルが持つ課題の所在を明らかにする，次に、この分析を用いて、言語モデルの語用論的推論能力を改善するための方策を決定・実行し、自然言語処理システムにより人間らしい語用論的推論能力を獲得させることを目標とする． | |||||
| 森 清忠 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎☆ | 吉野 幸一郎 | 河野 誠也 |
|
title: Predictive Confidence Model Considering Semantic Similarity for Spoken Dialogue Systems
abstract: User Perceived Latency (UPL) is increased in spoken dialogue systems because the dialogue system generates a dialogue response to the user's utterance after detecting the end of the user's utterance. Predictive confidence models reduce UPL by estimating the probability that a predicted full utterance, derived from a partial utterance, is literally identical to the user's full utterance, allowing responses to be generated in advance. However, it is possible that humans do not accurately predict utterance literally during a dialogue, but generate their dialogue response in advance at the moment when their own dialogue response is uniquely determined. In this study, we attempt to improve the performance of the predictive reliability model by realizing this idea using semantic similarity. language of the presentation: Japanese 発表題目: 音声対話システムのための意味的類似度を考慮した予測信頼度モデル 発表概要: 音声対話システムではユーザの発話終了を検知した後に、対話モデルがユーザの発話に対して対話応答を生成するためユーザ知覚遅延 (UPL)が増加している。予測信頼度モデルは発話の一部からの完全な発話の予測がユーザの完全な発話と文字的に同じである確率を推定し、対話応答を事前に生成することでUPLを低下させる。しかし人間は対話中に相手の発話を文字的に正確に予測せず、自分の対話応答が一意に確定する瞬間に事前に対話応答を生成している可能性がある。本研究ではこの考え方を意味的類似度により実現し予測信頼度モデルの性能の向上を試みる。 | |||||
| 小松 秀輔 | M, 1回目発表 | 自然言語処理学 | 渡辺 太郎☆ | 吉野 幸一郎 | 河野 誠也 |
|
title: *** Torard Utilization of Entrainment in Prediction of Tolerance to Robots' Affectionate Behavior ***
abstract: *** Making robots able to interact with human socially is a critical challenge for their integration to the society. In human-human dialogues, the participants select their behavior considering various social factors such as relative power, age, and social distance. In order to make the users perceive robots to be more social and harmless, it is necessary for them be able to recognize those factors that human use to determine its behavior. In this study, we focus on social distance between the robot and the user and use entrainment as a indicator which reflects them indirectly. Using entrainment, we will attempt to predict the subjects' tolerance to the intimate actions made by the robot. *** language of the presentation: Japanese 発表題目: *** ロボットの親密行動への許容予測におけるエントレインメントの活用に向けて *** 発表概要: *** ロボットによる社会性のあるインタラクションの実現はロボットの社会への導入に向けて重要な課題である。人間同士の対話では話者同士は力関係、年齢、社会的距離などの様々なソーシャルファクターを考慮した上で振る舞いを選択している。ユーザにロボットが社会的、且つ無害であると認識させるためには人間が行動選択において活用しているそれらのファクターの認識を可能にする必要がある。本研究ではソーシャルファクターの中でもロボットとユーザとの間の社会的距離に焦点を当て、これを擬似的に測る指標としてエントレインメントを用いる。エントレインメントを活用し、被験者のロボットによる親密行動の許容を予測することを目指す。 *** | |||||
| 佐藤 敬介 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 松原 崇充 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title: Station-keeping Control of ROV in water flow based on Water Flow Coordinate System
abstract: This study proposes a new control method for the station-keeping control of a ROV in water flow. Conventional ROV control treats the effect of water flow as a disturbance, which makes it difficult to maintain position. In this study, we introduce the “Water Flow Coordinate System” and adopt the approach to adapt to water flow in the control of the ROV without treating water flow as a disturbance. This method aims to achieve stable positioning of the ROV even in water flow by combining path following control based on Lyapunov stability in the horizontal plane and PID control in the vertical direction. To verify the effectiveness of the proposed method, we conducted experiments in a pool environment where water currents were generated arbitrarily.Through the experiment, it was confirmed that the target object could be kept within the field of view of the camera attached to the front of the ROV. language of the presentation: Japanese 発表題目: 水流座標系に基づくROVの水流下における定点保持制御 発表概要: 本研究では，水流下におけるROVの定点保持制御のための新しい制御法を提案する．ROVにおける従来の制御では，水流の影響を外乱として扱っており，実環境における定点保持制御を困難にしていた．本研究では「水流座標系」を導入し，制御において水流を外乱として扱わず，水流の影響を軽減するアプローチを採用する．水流座標系を用いた水平面内でのリアプノフ安定性に基づく経路追従制御と鉛直方向のPID制御を組み合わせることで、水流下でもROVの安定した定点保持を実現することを目指す．提案法の有効性を検証するために，任意に水流を発生させることができるプールで実験を行った．実験結果より，提案手法を用いることでROVの前面に取り付けたカメラの視野内に目標物体を維持できることを確認した． | |||||||
| 三好 湧晴 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 松原 崇充 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title:State and parameter estimation of soft fingers using EnKF
abstract:Soft grippers have problems such as creep behavior and large variations in motion from trial to trial, making it difficult to realize human-like movements. It is known from previous research that the variability of motion can be expressed by incorporating stochastic elements in the model, and a state estimation method has also been proposed. In the actual grasping motion, the contact force has a great influence, and there is a close relationship between the contact force and viscoelastic parameters, which can be changed by various factors. Therefore, in this study, we consider a state estimation method that can simultaneously estimate viscoelastic parameters as well as states such as joint angles and angular velocities. language of the presentation:Japanese 発表題目:EnKFを用いた柔軟指の状態およびパラメータ推定 発表概要:ソフトグリッパはクリープ現象や試行ごとの運動のばらつきが大きいなどの問題があり, 人間のような繊細な動作の実現が難しい. 運動のばらつきはモデルに確率的要素を組み込むことで表現できることが先行研究により知られており, 状態推定法も提案されている. 実際の把持運動においては接触力が大きな影響を表すが, 接触力と粘弾性パラメータには密接な関係があり, 粘弾性パラメータはさまざまな要因で変化し得る. そこで本研究では, 関節角度や角速度といった状態だけでなく粘弾性パラメータも同時に推定できる状態推定法を検討する. | |||||||
| 森本 奏多 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 松原 崇充 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title: Visual Presentation of the Teleoperated Robot with Communication Delay
abstract: Considering communication delays in vehicle teleoperation is important to reduce operational instability. A passivity-based teleoperation method has been proposed in a previous study to address this issue. This method compensates for the passivity of the system by transmitting the operator's steering input and the vehicle's angular velocity output via transformation to wave variables, and reduces the operator's oversteering due to the delay in the operational image by changing the viewpoint of the image. The proposed method has been validated in a simulation environment and its effectiveness has been confirmed. However, it has not been tested on a real vehicle and its effectiveness in a real environment is unknown. This study verifies the effectiveness of this method when adapted to a real vehicle. Experiments on an experimental vehicle showed that the velocity output of the vehicles became unstable. The experimental results suggest that the method is not suitable for implementation on actual vehicles and that the wave transformation may need to be improved. language of the presentation: Japanese 発表題目: 通信遅延を伴う遠隔操作ロボットの視覚提示 発表概要: 車輛の遠隔操作において通信遅延を考慮することは，操作の不安定性を低減するうえで重要である．この課題に対処するための先行研究として，受動性に基づく遠隔操作手法が提案されている．この手法では，操作者の操舵入力と車輛の角速度出力を波動変数への変換を介して送受信することでシステムの受動性を補償するとともに，操作映像の遅延による操作者のオーバーステアリングを操作映像の視点を変更することにより低減している．この手法は，シミュレーション環境での検証によりその有用性が認められている．しかしながら，実際の車輛への適応は検証されておらず，実環境での有用性は不明である．そこで本研究では，この手法を実際の車輛にて適応した際の有用性について検証する．実験車輛を用いた実験により，車輛の速度出力が不安定となる様子が見られた．実験結果より，実機にこの手法をそのまま実装することは適しておらず，波動変数変換の改善が必要である可能性が示唆された． | |||||||
| 山本 愛奈 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 清川 清 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title: Relationship between motion sickness and reflex eye movements abstract: Motion sickness is thought to increase due to increased non-driving activities with the spread of self-driving cars. To address this issue, early detection of motion sickness is desired. Previous research has hypothesized that there is a correlation between motion sickness and the accuracy of reflex eye movements, but its effectiveness has been confirmed only for a limited number of movements. In this study, we evaluate the relationship between the degree of motion sickness and reflex eye movement accuracy when exposed to multiple different frequency vibrations. language of the presentation: Japanese 発表題目: 動揺病と反射眼球運動の関係 発表概要: 自動運転車の普及に伴って増加する運転外活動により乗り物酔いが増加すると考えられている．この対策に向け，動揺病の早期検出が望まれている．従来研究において動揺病と反射眼球運動の精度相関があるとの仮説が立てられているが，その有効性はごく限られた運動のみで確認されていた．本研究では，異なる複数の周波数振動に暴露された場合の動揺病の程度と反射眼球運動精度の関係を評価する． | |||||||
| 井出 優哉 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 清川 清 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title: Proposal for a Method to Reduce Motion Sickness in Passengers of Autonomous Personal Mobility Vehicles by Providing Predictive Information on Driving Behavior
abstract: In the near future, Autonomous Personal Mobility Vehicles (APMVs) are expected to be used in shared spaces with high pedestrian traffic. In such scenarios, frequent encounters with pedestrians may cause reactive movements of the APMV, potentially accelerating the onset of motion sickness in passengers. Therefore, this study investigates the effects of presenting the future trajectory of the APMV to passengers in order to promote compensatory actions and prevent the progression of motion sickness. language of the presentation: Japanese 発表題目: 運転行動の予告情報提示による自動運転パーソナルモビリティビークル乗客の動揺病低減手法の提案 発表概要: 近未来，自動運転パーソナルモビリティビークル（APMV）が歩行者の多い共有空間で使用されると考えられる．その際，歩行者との遭遇が頻繁に起こり，APMVの動きに対して受動的な動きをしてしまい，乗客の動揺病の進行が早まる可能性がある．そこで，本研究ではAPMVの将来経路を乗客に提示することによる，乗客の補償行動の促進および動揺病の進行防止の効果について調査する. | |||||||
| 大田 純志 | M, 1回目発表 | ヒューマンロボティクス | 和田 隆広 | 池田 和司 | 劉 海龍 | 織田 泰彰 | 本司 澄空 |
|
title: Gaze behavior analysis of pedestrian toward eHMI and passenger during interaction with APMV
abstract: To promote the widespread adoption of autonomous personal mobility vehicle (APMV), efforts have been made to improve communication between pedestrians and APMVs using external human machine interface (eHMI) equipped with voice interaction capabilities. Previous studies suggest that pedestrians not only interact with eHMIs but also face APMV passengers. Therefore, designing eHMIs that enable comfortable and reliable interactions is crucial. This study analyzes the impact of eHMI information presentation on pedestrians' subjective perceptions and gaze behavior when encountering APMV with passenger. language of the presentation: Japanese 発表題目: 自動運転パーソナルモビリティビークル（APMV）との遭遇時のeHMI及び搭乗者に対する歩行者の視線行動分析 発表概要: 自動運転パーソナルモビリティビークル（APMV）の普及を促進するため，音声会話機能搭載の外向けヒューマンマシンインタフェース（eHMI）を用いた歩行者とAPMVが遭遇する際のコミュニケーションの改善が試みられている．先行研究から，歩行者はeHMIだけでなく，APMVの搭乗者にも対面することを考慮した上で，快適かつ信頼性の高いインタラクションを実現するeHMIの設計が必要であると考えられる．本研究では，歩行者が搭乗者が存在するAPMVに遭遇する際の，eHMI情報提示有無による，歩行者の主観感覚の影響，および視線行動を分析する． | |||||||