対外発表(HCGシンポジウム2024)

M2の早川さん,百合草さん,M1の矢野さんが石川県金沢市で開催された電子情報通信学会 HCGシンポジウムにて下記の発表を行いました.

  • 百合草優伽,辻愛里,藤波香織.思い出振り返り支援のための同調的で親近感を与える実世界投影型エージェント,電子情報通信学会HCGシンポジウム2024,Paper ID C-1-2, 2024年12月11日.
システム利用イメージとバックエンドの関係.おもちゃを置くと,それがおもちゃであることを認識したうえで,それにあった発話「このおもちゃで遊びたいな」が出力される.

机の上に投影されるエージェントは,人の顔の向きや表情や周辺の音,タッチに反応して動きや表情を変えます.また,机に置いた物体を認識し,それに合った会話を生成します.実験を通じ,人への反応と物体への反応の両方がエージェントへの親近感を増すことが分かりました.

  • 矢野明日香,辻愛里,藤波香織.ユーザ状態を考慮したVR体験中の実世界アウェアネス支援システム,電子情報通信学会HCGシンポジウム2024,Paper ID P-1-19, 2024年12月11日.
VRアウェアネスシステムの機能構成.

VR体験中に,人の接近や机の上の飲み物を手に取る,重要なメールの通知,など仮想空間のコンテンツに没入していると実世界との関わりが困難になります.一方,ヘッドセットを外したり,実世界映像を全て透過することは没入を阻害することになります.本研究では没入を極力妨げずに,実世界の様子を伝えて(実世界アウェアネス),関わりやすくする手法を提案しています.本研究では,瞬きの同期率,瞳孔径,注視点,注視点の移動速度,手の位置, タスク進行度などを用いて総合的に判定したユーザ状態から支援のタイミングやレベルを決定するというアウェアネス支援を提案しています.

  • 早川侑花,藤波香織,山本淳一,辻愛里.ペグボード課題における自己効力感推定にむけた予期的注視指標の検討,電子情報通信学会HCGシンポジウム2024,Paper ID B-4-2, 2024年12月12日.
自己効力感が高いケースの注視点(赤丸)の移り変わり(左から右に時間が進む).

本研究では,作業に対する自信のほどを表す「自己効力感」の定量的な推定にむけ,巧緻性作業において手の動きに先立って目標地点に視線を向ける「予期的注視」に着目しています.ペグボード課題遂行時のデータ収集機器の開発と予期的注視指標の検討を行いました.データ収集のため,手の加速度および指先の圧力を測定する手袋型デバイスと据え置き型のペグ操作検出デバイスを開発しました.上の図は自己効力感が高いケースにおいて,ペグを右側から左側のボードに移動する場合の注視点(赤丸)を表しており,視線がペグを把持 する直前に操作対象のペグから移動先に瞬時に移動しています.一方,自己効力感が低いケースでは,視線は手の動きに先行して移動しながらもペグの移動経路を追従する傾向が窺えました.このように視線と手の動きの位置や時間の関係を定量化することで,自己効力感の定量化が可能になると考えています.

対外発表・受賞(GCCE2024)

博士3年の寺田君,修士2年の倉田君,修士1年の志田原さんが,北九州市で開催されたIEEE Global Conference on Consumer Electronics (GCCE2024)で以下の研究成果の発表を行いました.このうち志田原さんの研究がExcellent Poster Award (Silver Prize)を受賞しました(約160件中の2位).

  • Kandai Kurata, Airi Tsuji, and Kaori Fujinami, “Uh-Huh Duch: Self-Problem-Solving Support During Programming Through Interaction with a Doll Duck,” In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 689-690, 30 October 2024.
  • (Silver Prize of Excellent Poster Award) Moemi Shidahara, Airi Tsuji, and Kaori Fujinami, “A Preliminary Study on Mental Workload Estimation Through Movement Analysis Using Inertial Sensors: A Case of Floor Mopping”, In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 146-147, 29 October 2024.
  • Kenji Terada and Kaori Fujinami, “Improving Disease Forecast on Different Farms Using Sensing Agricultural Robot with XAI”, In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 411-415, 29 October 2024.

対外発表(FIT2024)

M1の志田原萌美さんが以下の論文発表を行いました.

志田原萌美,早川侑花,辻愛里,藤波香織.人とモノへの装着型センサを用いた行動計測によるメンタルワークロード推定〜床拭き掃除のケース〜,第23回情報科学技術フォーラム(FIT2024)予稿集,pp. 243-248, 2024年9月5日.

作業中の認知負荷(メンタルワークロード;MWL)が高いことで当該作業におけるヒューマンエラーの発生可能性が高まったり,負荷を高める要因による心身不調の発生,肥満や疲労・睡眠障害リスクの増大などの問題が生じます.本研究では,日常の作業中のMWL推定を目的とし,その一例としてフローリングワイパー掛けを取り上げました.頭部,手首,モップの柄に加速度/角速度センサをとりつけ,それらから得られる慣性データを入力,認知負荷の指標として用いられることが多いNASA-TLXおよび精神疲労尺度の主観評価値をそれぞれ出力とする回帰モデルを教師付機械学習により構築しました.そして,有効なセンサ取り付け部位が手首であること,個人特化型の回帰モデルを用いた場合には,最大可能誤差100のうち平均絶対誤差10.0以下になることを確認しました.

対外発表(ICCHP2024)

M2の早川侑花さんが以下の国際会議発表を行いました.

Yuka Hayakawa, Kaori Fujinami, Junichi Yamamoto, Airi Tsuji, “Self-efficacy Measurement Method Using Regression Models with Anticipatory Gaze for Supporting Rehabilitation”, In Proc. International Conference on Computers Helping People with Special Need 2024 (ICCHP 2024), LNCS Vol. 14751, Springer, Cham., 8-12 July, 2024. [link]

実験環境(回転変換マウス,視線計測装置)

手の精緻な動作が求められるタスクにおいて,それが達成できると信じる度合い(自己効力感)とが高くなるほど,視線が手に先行して動く性質(予期的注視)を利用して,自己効力感の定量化を目指した研究です.初期検討として,PC上で行う迷路とパズルの2つの課題に対して,マウスポインタとディスプレイ上の注視点座標を取得して,多変数回帰モデルを機械学習により作成して評価しました.マウスの難しさを制御するために意図的に動作方向とカーソル移動方向を変化させたマウス(回転変換マウス)を開発して利用しました.リハビリテーションにおけるペグボード訓練への適用を目指し,現在は研究を進めています.

対外発表(HCII2024)

OB廣川赳丸君の研究を以下の国際会議で発表しました.スマホに描画した2つの目玉により人の視線を誘導し,その視線の先にある物体を通じて情報を伝えるアンビエントディスプレイです.例えば物体が傘であれば雨の可能性を知らせます.環境中に設置される種のディスプレイはアンビエントディスプレイと呼ばれ,従来はそれ自体が開発の対象でした.本研究では,情報伝達側は既存の物体を用いることで,新たな開発をすることなく様々な情報源に対応できることを目指しました.また,使わなくなったスマホ端末の再利用も可能となります.

Takemaru Hirokawa, Airi Tsuji, and Kaori Fujinami, “Eyebient Displays: Ambient Displays by Gaze Guidance,” In Proceedings of the 12th International Conference on Distributed, Ambient and Pervasive Interactions (DAPI2024), a conference in the 26th International Conference on Human-Computer Interaction (HCII) 2024, LNCS Vol. 14719, Springer, Cham., 29 June – 4 July 2024. [link]

視線の先にある物体と情報の関連付け

視線誘導実験:(左)左の旗からの距離で経過時間を表すタイマー,(右)定期的な水分摂取を意識づけるリマインダー

視線誘導効果

対外発表・受賞(DICOMO2024)

情報処理学会 マルチメディア,分散,協調とモバイルシンポジウム(DICOMO 2024)にて下記の2件の発表を行い,倉田君がヤングリサーチャー賞を受賞しました.

  • 長瀬清之助,辻愛里,藤波香織.商品棚上方に設置したカメラによる行動計測にもとづく購買時の迷い状態の分類,マルチメディア,分散,協調とモバイルシンポジウム(DICOMO2024)講演論文集,pp. 679-689, 2024年6月27日.
  • (ヤングリサーチャー賞)倉田寛大,辻愛里,藤波香織.マルチモーダルデータを利用したプログラミング作業中の困惑状態推定,マルチメディア,分散,協調とモバイルシンポジウム(DICOMO2024)講演論文集,pp. 657-663, 2024年6月27日.

対外発表・受賞(ABC2024)

第6回行動と振る舞いの計算に関する国際会議(The 6th International Conference on Activity and Behavior Computing (ABC2024))にて以下の発表を行い,Best paper awardを受賞しました.

Tensei Muragi, Airi Tsuji, and Kaori Fujinami. A System for Assembly-Work-Confusion Recognition based on Gaze and Head Positional Information, Kitakyushu, Japan, May 30 2024. (link)

対外発表・受賞(第86回情報処理学会全国大会)

情報処理学会第86回全国大会(神奈川大にて開催)にて以下の9件の発表を行い,村儀君,菊地君,佐々木君(M2),長瀬君(B4)が学生奨励賞を受賞しました(★印).2010年に初めて受賞者が出てから41件(34人)目です.また,2012年度から12年連続受賞です.村儀君は3年連続,菊地君は2年連続の受賞です.

  • 志田原萌美,早川侑花,辻愛里,藤波香織.床拭き掃除中の道具と身体動作計測によるメンタルワークロード推定,情報処理学会第86回全国大会,2024年3月17日.
  • ★長瀬清之助,村儀天星,辻愛里,藤波香織.購買時の頭部動作および歩行軌跡計測にもとづく迷い状態の分類,情報処理学会第86回全国大会,2024年3月17日.
  • ★菊地怜,辻愛里,藤波香織.顔アイコンを用いた偽の聴衆反応提示によるオンライン講演者の快適度向上支援,情報処理学会第86回全国大会,2024年3月16日.
  • 都築あい,百合草優伽,辻愛里,藤波香織.植物の育成および他者とのインタラクションを用いたスマートフォンの使い過ぎ抑制支援,情報処理学会第86回全国大会,2024年3月16日.
  • ★村儀天星,辻愛里,藤波香織.手と視線の遷移を活用した組立作業中の迷いの有無と種別判定システム,情報処理学会第86回全国大会,2024年3月16日.
  • 田畑実由太,倉田寛大,辻愛里,藤波香織.複合現実空間における行動支援のための日常物エージェントとの愛情醸成,情報処理学会第86回全国大会,2024年3月15日.
  • 矢野明日香,山中瑞稀,辻愛里,藤波香織.VR体験中のコンテキストとユーザの反応を考慮した実世界アウェアネス支援,情報処理学会第86回全国大会,2024年3月15日.
  • ★佐々木耕平,辻愛里,藤波香織.複合現実空間における能動的触知覚を導入した記憶の宮殿型暗記支援システム,情報処理学会第86回全国大会,2024年3月15日.
  • 倉田寛大,辻愛里,藤波香織.マルチモーダルデータによるプログラミング作業時の困惑状態推定,情報処理学会第86回全国大会,2024年3月15日.

対外発表(UBI81)

M2の菊地君,佐々木君,村儀君,田中さんが情報処理学会ユビキタスコンピューティングシステム研究会第81回研究発表会にて以下の発表を行いました.

  • 菊地怜,辻愛里,藤波香織.顔アイコンを用いたダミーフィードバックによるオンライン講演者の自己評価向上支援,情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告,Vol.2024-UBI-81 No.3,2024年2月29日.
  • 佐々木耕平,辻愛里,藤波香織.複合現実感技術によるアクティブタッチを活用した記憶の宮殿型暗記支援システム,情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告,Vol.2024-UBI-81 No.4,2024年2月29日.
  • 村儀天星,辻愛里,藤波香織.手と視線の遷移を用いた組立作業中の迷いの種別とレベル判定システム,情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告,Vol.2024-UBI-81 No.9,2024年2月29日.
  • 田中咲希,辻愛里,Pekka Siirtola,Jaakko Suutala,Juha Röning,藤波香織.インクリメンタル学習の導入による黙読時の集中・非集中状態判別モデルの個人特化,情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告,Vol.2024-UBI-81 No.19,2024年2月29日.

対外発表(HCGシンポジウム2023)

M1の早川侑花さんが以下のタイトルで,電子情報通信学会ヒューマンコミュニケーショングループシンポジウム(HCGシンポジウム2023)で発表しました.

早川侑花,田中咲希,辻愛里,山本淳一,藤波香織.自己効力感の予測に向けた予期的注視を表す視線特徴と機械学習モデルの検討〜回転変換マウス使用中のデータから ~,HCGシンポジウム2023,2023年12月12日.

対外発表(IARIA Congress 2023)

2023年3月博士前期課程修了生の小林美月さんの研究を下記の学会で発表しました.

Mizuki Kobayashi and Kaori Fujinami, “An Exercise Recommendation System While Performing Daily Activities Based on Contextual Information”, In Proceedings of the 2023 IARIA Annual Congress on Frontiers in Science, Technology, Services, and Applications (IARIA Congress 2023), pp. 188-195, 13-17 November 2023. [paper link][slides link]

対外発表・受賞(GCCE2023)

博士1年の胡さんと修士1年の山中さんが,奈良市で開催されたIEEE Global Conference on Consumer Electronics (GCCE2023)で以下の研究成果の発表を行いました.このうち胡さんの研究がExcellent student paper award (Silver prize)を受賞しました(学会HP大学HP).

  • Yiduan Hu, Airi Tsuji, and Kaori Fujinami, “Anthropomorphism for Improving User Tolerance to System Errors in Environmental Behavior Change,” In Proceedings of the 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023), pp. 60-64, 10 October, 2023.
  • Mizuki Yamanaka, Airi Tsuji, and Kaori Fujinami, “Gaze-Guiding Agents That Support Parts Search While Watching Instructional Videos for Assembly Tasks,” In Proceedings of the 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023), pp. 65-69, 10 October, 2023.

対外発表(ABC’23)

修士2年の田中さんが視線活動による人間の集中状態識別の研究に関して以下の発表を行いました.

Saki Tanaka, Airi Tsuji, and Kaori Fujinami, “Eye-Tracking for Estimation of Concentrating on Reading Texts”, In Proc. of the 5th International Conference on Activity and Behavior Computing (ABC2023), 8 September 2023.

対外発表(FIT2023/農業環境工学関連学会)

社会人博士課程の寺田憲司さんが以下の学会で発表しました.

  • 寺田憲司,藤波香織,木下研吾.不整地対応小型ローバーを用いた病害予測観測手法の検討,農業環境工学関連学会2023年合同大会,2023年9月.
  • 寺田憲司,藤波香織.センシング農業ローバーを用いたマルチモーダル観測による桑畑の病害観測手法の検討,第22回情報科学技術フォーラム(FIT2023),2023年9月.

対外発表・受賞(UBI78)

M2の村儀君が情報処理学会ユビキタスコンピューティングシステム研究会第78回研究会にて次の発表を行いました.(2023-07-07追記:学生奨励賞を受賞しました)

  • 村儀天星,渡邊昭信,辻愛里,藤波香織.手と視線の連動性の活用と分類の階層化による組立作業中の迷いの検出と分類,情報処理学会ユビキタスコンピューティングシステム研究会 第78回研究発表会,情報処理学会研究報告 Vol. 2023-UBI-78 No. 3,pp. 1-8,2023年5月24日.
実験環境
視線遷移と手の位置の遷移が同時に起こる様子を表したヒストグラム

2022年9月のUBI75研究会で発表した研究は視線遷移だけでしたが,今回は手の動きも組み合わせて,組立作業中の迷いの状態を推定することを試みました.AOI(関心領域)に視線と手が同時に入る度合い(共起度合い)をヒストグラムに表し,ここから特徴量を算出して機械学習により分類器を構築しています.視線遷移だけの場合に0.700であったF値は,手の遷移を組み合わせることで0.735まで向上すること,タスクの違いをほとんど受けないことを確認しました.

対外発表・受賞(第85回情報処理学会全国大会)

情報処理学会第85回全国大会(電通大にて開催)にて以下の12件の発表を行い,小林さん(M2),菊地君,田中さん,村儀君(M1),倉田君,山中さん(B4)が学生奨励賞を受賞しました(★印).2010年に初めて受賞者が出てから37件(32人)目です.また,2012年度から11年連続受賞です.

  • 胡伊端,辻愛里,藤波香織,行動変容向け情報提示システムの誤動作に対する寛容性獲得のための擬人化-プラスチックごみの削減行動を例に,HAIシンポジウム2023,2023.3.3.
  • 佐々木耕平,辻愛里,藤波香織,複合現実感技術を用いた記憶の宮殿型暗記支援における触覚の効果検証,情報処理学会第85回全国大会,6ZE-01, 2023.3.4.
  • ★菊地怜,辻愛里,藤波香織,大規模オンライン発表における講演者の快適性向上のための聴衆反応の提示手法,情報処理学会第85回全国大会,5ZB-09, 2023.3.3.
  • 寺田憲司,藤波香織,マルチモーダル環境観測が可能な小型農業ローバーによる病害予測,情報処理学会第85回全国大会,5D-03, 2023.3.3.
  • ★田中咲希,辻愛里,藤波香織,テキスト黙読時の視線解析による集中・非集中状態識別モデルの個人化のための基礎調査,情報処理学会第85回全国大会,5ZE-06, 2023.3.3.
  • 早川侑花,田中咲希,辻愛里,藤波香織,山本淳一,回転変換マウス使用課題中の予期的注視の度合いを用いた自己効力感の推定,情報処理学会第85回全国大会,5ZE-05, 2023.3.3.
  • ★倉田寛大,佐々木耕平,辻愛里,藤波香織,uh-huh duck: 人形との相互作用によるプログラミング時の問題解決支援,情報処理学会第85回全国大会,4ZJ-01, 2023.3.3.
  • 百合草優伽,菊地怜,辻愛里,藤波香織,回想を促す実世界投影型エージェント実現のための親近感醸成,情報処理学会第85回全国大会,1ZE-07, 2023.3.2.
  • ★山中瑞稀,村儀天星,辻愛里,藤波香織,教示動画視聴時の視線誘導エージェントによる部品探索支援,情報処理学会第85回全国大会,1ZE-06, 2023.3.2.
  • 胡伊端,辻愛里,藤波香織,行動変容向けシステムの誤作動に対する寛容性醸成のための擬人化,情報処理学会第85回全国大会,2ZB-06, 2023.3.3.
  • ★村儀天星,渡邊昭信,辻愛里,藤波香織,組立作業中の迷いの有無と種別検出のための手と視線の連動性の活用,情報処理学会第85回全国大会,2ZB-05, 2023.3.2.
  • 廣川赳丸,市原禄朗,辻愛里,藤波香織,Eyebient Display: 視線誘導による日常物のアンビエントディスプレイ化機構,情報処理学会第85回全国大会,2ZB-04, 2023.3.2.
  • ★小林美月,辻愛里,藤波香織,コンテクストアウェアな運動推薦のための利用者主導型推薦ルール作成手法,情報処理学会第85回全国大会,2ZB-03, 2023.3.3.

対外発表(GCCE2022)

国際会議(IEEE Global Conference on Consumer Electronics: GCCE2022)において,以下の3件の発表を行いました.

  • Mizuki Kobayashi, Airi Tsuji, and Kaori Fujinami,”A Context-Aware Exercise Facilitation System While Doing Other Tasks”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 20 2022.
  • Akinobu Watanabe, Tensei Muragi, Airi Tsuji, and Kaori Fujinami,”Recognition of the States of Confusion During Assembly Work Based on Electrodermal Activity”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 19 2022.
  • Kaori Fujinami and Tensei Muragi, “Recognizing Confusion in Assembly Work Based on a Hidden Markov Model of Gaze Transition”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 19 2022.

対外発表・受賞(FIT2022)

社会人博士課程の渡邊君の皮膚電気活動を用いた組立作業中の迷い検出に関する研究,M2の小林さんの「ながら運動の推薦機構」に関する研究,M1市原君のヒナの摂食誘導システムに関する研究,M1の田中さんの読書中の視線解析による集中度推定の研究,計4件をFIT2022にて発表しました.なお,田中さんの研究はFIT奨励賞を受賞しました(2022−10−12更新).

  • 渡邊昭信,村儀天星,辻愛里,藤波香織;“皮膚電気活動計測による組立作業時の迷いの認識”,第21回情報科学技術フォーラム(FIT2022),2022年9月15日.
  • 小林美月,辻愛里,藤波香織;“利用者のコンテキストに応じた運動促進システム”,第21回情報科学技術フォーラム(FIT2022),2022年9月15日.
  • 市原禄朗,新村毅,藤波香織;“親鳥ロボットと物体検出を用いたヒナの摂食誘導システム”,第21回情報科学技術フォーラム(FIT2022),2022年9月15日.
  • (FIT奨励賞)田中咲希,辻愛里,藤波香織;“テキスト黙読時における視線情報を用いた集中状態・非集中状態の識別に関する調査”,第21回情報科学技術フォーラム(FIT2022),2022年9月14日.