2025年1月22日から24日まで東京ビッグサイトで開催されていた第11回ウェアラブルEXPOに大学・研究期間イノベーションフォーラムの一部として出展しました．本研究室からは，行動認識（人間の日常行動，動物の行動），デバイスの身体上の装着位置検出，組み立て作業中の迷い推定システム，日常生活行動における認知負荷推定，VRといった「ウェアラブル」に関する研究全般的な紹介を行いました．
ウェアラブルEXPO出展
投稿者: tuat-dlcl
対外発表（HCGシンポジウム2024）
M2の早川さん，百合草さん，M1の矢野さんが石川県金沢市で開催された電子情報通信学会 HCGシンポジウムにて下記の発表を行いました．
- 百合草優伽，辻愛里，藤波香織．思い出振り返り支援のための同調的で親近感を与える実世界投影型エージェント，電子情報通信学会HCGシンポジウム2024，Paper ID C-1-2, 2024年12月11日．
机の上に投影されるエージェントは，人の顔の向きや表情や周辺の音，タッチに反応して動きや表情を変えます．また，机に置いた物体を認識し，それに合った会話を生成します．実験を通じ，人への反応と物体への反応の両方がエージェントへの親近感を増すことが分かりました．
- 矢野明日香，辻愛里，藤波香織．ユーザ状態を考慮したVR体験中の実世界アウェアネス支援システム，電子情報通信学会HCGシンポジウム2024，Paper ID P-1-19, 2024年12月11日．
VR体験中に，人の接近や机の上の飲み物を手に取る，重要なメールの通知，など仮想空間のコンテンツに没入していると実世界との関わりが困難になります．一方，ヘッドセットを外したり，実世界映像を全て透過することは没入を阻害することになります．本研究では没入を極力妨げずに，実世界の様子を伝えて（実世界アウェアネス），関わりやすくする手法を提案しています．本研究では，瞬きの同期率，瞳孔径，注視点，注視点の移動速度，手の位置， タスク進行度などを用いて総合的に判定したユーザ状態から支援のタイミングやレベルを決定するというアウェアネス支援を提案しています．
- 早川侑花，藤波香織，山本淳一，辻愛里．ペグボード課題における自己効力感推定にむけた予期的注視指標の検討，電子情報通信学会HCGシンポジウム2024，Paper ID B-4-2, 2024年12月12日．
本研究では，作業に対する自信のほどを表す「自己効力感」の定量的な推定にむけ，巧緻性作業において手の動きに先立って目標地点に視線を向ける「予期的注視」に着目しています．ペグボード課題遂行時のデータ収集機器の開発と予期的注視指標の検討を行いました．データ収集のため，手の加速度および指先の圧力を測定する手袋型デバイスと据え置き型のペグ操作検出デバイスを開発しました．上の図は自己効力感が高いケースにおいて，ペグを右側から左側のボードに移動する場合の注視点（赤丸）を表しており，視線がペグを把持 する直前に操作対象のペグから移動先に瞬時に移動しています．一方，自己効力感が低いケースでは，視線は手の動きに先行して移動しながらもペグの移動経路を追従する傾向が窺えました．このように視線と手の動きの位置や時間の関係を定量化することで，自己効力感の定量化が可能になると考えています．
3年生が配属されました
当研究室19期生となる３年生6名が配属されました（岩本純，後藤きらり，田島和展，田中仁，樋泉丈太，村井礼明）．
対外発表・受賞（GCCE2024）
博士3年の寺田君，修士2年の倉田君，修士1年の志田原さんが，北九州市で開催されたIEEE Global Conference on Consumer Electronics (GCCE2024)で以下の研究成果の発表を行いました．このうち志田原さんの研究がExcellent Poster Award (Silver Prize)を受賞しました（約160件中の2位）．
- Kandai Kurata, Airi Tsuji, and Kaori Fujinami, “Uh-Huh Duch: Self-Problem-Solving Support During Programming Through Interaction with a Doll Duck,” In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 689-690, 30 October 2024.
- (Silver Prize of Excellent Poster Award) Moemi Shidahara, Airi Tsuji, and Kaori Fujinami, “A Preliminary Study on Mental Workload Estimation Through Movement Analysis Using Inertial Sensors: A Case of Floor Mopping”, In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 146-147, 29 October 2024.
- Kenji Terada and Kaori Fujinami, “Improving Disease Forecast on Different Farms Using Sensing Agricultural Robot with XAI”, In Proceedings of the 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), pp. 411-415, 29 October 2024.
論文採録（Poultry Science）
農学部の新村教授の研究グループとのニワトリの行動解析に関する共同研究がPoultry Science誌に採録されました．
Tsuyoshi Shimmura, Itsufumi Sato, Ryo Takuno, and Kaori Fujinami, “Spatiotemporal Understanding of Behaviors of Laying Hens Using Wearable Inertial Sensors,” Poultry Science, Vol. 102, Issue 12, 2024. [link]
この研究は本研究室の先行研究で実現した装着型の慣性センサ（加速度＋角速度センサ）による12種類のニワトリの行動認識結果を利用して，実際に動物行動学者が行動の分析を試みた結果となります．
ニワトリの背中に付けたマーカー検出による位置計測と行動認識結果を画像上にマッピングして「空間利用図」を作成することで「（いつ）どこで，どのような行動が発生するか」という行動とその発生場所の関係を視覚的に理解しやすくなります．
また，認識された短時間（約1秒）の行動の移り変わりをノードを行動，エッジを遷移確率とする「行動遷移図」として表現することで，1日の中での行動の移り変わり方を視覚的に捉えることが可能になります．従来は実験者が録画したビデオを目視で時間をかけて読み取るため多くの時間を要したり，その解決のためにサンプリングされた区間を読み取ることで稀で重要な遷移を見落とすなどの問題がありました．しかし，コンピュータにより大量の情報を瞬時に処理できるようになることで，これまでと質的に異なる解析が可能になると期待されます．この行動遷移図の解析は行動を記号化できれば，あらゆる行動パターンの解析に応用できるため，今後は野生動物や人間の行動パターン解析への応用も検討していきます．
対外発表（FIT2024）
M1の志田原萌美さんが以下の論文発表を行いました．
志田原萌美，早川侑花，辻愛里，藤波香織．人とモノへの装着型センサを用いた行動計測によるメンタルワークロード推定〜床拭き掃除のケース〜，第23回情報科学技術フォーラム（FIT2024）予稿集，pp. 243-248, 2024年9月5日．
作業中の認知負荷（メンタルワークロード；MWL）が高いことで当該作業におけるヒューマンエラーの発生可能性が高まったり，負荷を高める要因による心身不調の発生，肥満や疲労・睡眠障害リスクの増大などの問題が生じます．本研究では，日常の作業中のMWL推定を目的とし，その一例としてフローリングワイパー掛けを取り上げました．頭部，手首，モップの柄に加速度/角速度センサをとりつけ，それらから得られる慣性データを入力，認知負荷の指標として用いられることが多いNASA-TLXおよび精神疲労尺度の主観評価値をそれぞれ出力とする回帰モデルを教師付機械学習により構築しました．そして，有効なセンサ取り付け部位が手首であること，個人特化型の回帰モデルを用いた場合には，最大可能誤差100のうち平均絶対誤差10.0以下になることを確認しました．
研究室旅行@伊豆
2019年度以来，コロナ禍で中断していた研究室合宿を5年ぶりに実施しました．2泊3日で，伊豆高原に出かけ親睦を深めました．
対外発表（ICCHP2024）
M2の早川侑花さんが以下の国際会議発表を行いました．
Yuka Hayakawa, Kaori Fujinami, Junichi Yamamoto, Airi Tsuji, “Self-efficacy Measurement Method Using Regression Models with Anticipatory Gaze for Supporting Rehabilitation”, In Proc. International Conference on Computers Helping People with Special Need 2024 (ICCHP 2024), LNCS Vol. 14751, Springer, Cham., 8-12 July, 2024. [link]
実験環境（回転変換マウス，視線計測装置）
手の精緻な動作が求められるタスクにおいて，それが達成できると信じる度合い（自己効力感）とが高くなるほど，視線が手に先行して動く性質（予期的注視）を利用して，自己効力感の定量化を目指した研究です．初期検討として，PC上で行う迷路とパズルの２つの課題に対して，マウスポインタとディスプレイ上の注視点座標を取得して，多変数回帰モデルを機械学習により作成して評価しました．マウスの難しさを制御するために意図的に動作方向とカーソル移動方向を変化させたマウス（回転変換マウス）を開発して利用しました．リハビリテーションにおけるペグボード訓練への適用を目指し，現在は研究を進めています．
対外発表（HCII2024）
OB廣川赳丸君の研究を以下の国際会議で発表しました．スマホに描画した２つの目玉により人の視線を誘導し，その視線の先にある物体を通じて情報を伝えるアンビエントディスプレイです．例えば物体が傘であれば雨の可能性を知らせます．環境中に設置される種のディスプレイはアンビエントディスプレイと呼ばれ，従来はそれ自体が開発の対象でした．本研究では，情報伝達側は既存の物体を用いることで，新たな開発をすることなく様々な情報源に対応できることを目指しました．また，使わなくなったスマホ端末の再利用も可能となります．
Takemaru Hirokawa, Airi Tsuji, and Kaori Fujinami, “Eyebient Displays: Ambient Displays by Gaze Guidance,” In Proceedings of the 12th International Conference on Distributed, Ambient and Pervasive Interactions (DAPI2024), a conference in the 26th International Conference on Human-Computer Interaction (HCII) 2024, LNCS Vol. 14719, Springer, Cham., 29 June – 4 July 2024. [link]
視線の先にある物体と情報の関連付け
視線誘導実験：（左）左の旗からの距離で経過時間を表すタイマー，（右）定期的な水分摂取を意識づけるリマインダー
視線誘導効果
対外発表・受賞（DICOMO2024）
情報処理学会 マルチメディア，分散，協調とモバイルシンポジウム（DICOMO 2024）にて下記の2件の発表を行い，倉田君がヤングリサーチャー賞を受賞しました．
- 長瀬清之助，辻愛里，藤波香織．商品棚上方に設置したカメラによる行動計測にもとづく購買時の迷い状態の分類，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 679-689, 2024年6月27日．
- （ヤングリサーチャー賞）倉田寛大，辻愛里，藤波香織．マルチモーダルデータを利用したプログラミング作業中の困惑状態推定，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 657-663, 2024年6月27日．
対外発表・受賞（ABC2024）
第6回行動と振る舞いの計算に関する国際会議（The 6th International Conference on Activity and Behavior Computing (ABC2024)）にて以下の発表を行い，Best paper awardを受賞しました．
Tensei Muragi, Airi Tsuji, and Kaori Fujinami. A System for Assembly-Work-Confusion Recognition based on Gaze and Head Positional Information, Kitakyushu, Japan, May 30 2024. (link)
研究室公開＠皐槻祭
工学部学園祭（皐槻祭）にて，研究室の一般公開を行いました．6回に分けてツアーが巡回する形式で，毎回定員いっぱいの参加があり，約120名の方にデモ体験をしていただきました．
受賞（東京農工大学学生表彰）
博士後期課程1年の胡伊端さんが，令和5年度 東京農工大学学生表彰（学術研究活動部門（学術研究活動において，特に顕著な業績を挙げ，学会又は社会的に高い評価を受けた場合に授与））を受賞し，入学式にて表彰されました．
保護中: 【OB/OG】2023年度卒業式集合写真
対外発表・受賞（第86回情報処理学会全国大会）
情報処理学会第86回全国大会（神奈川大にて開催）にて以下の9件の発表を行い，村儀君，菊地君，佐々木君（M2），長瀬君（B4）が学生奨励賞を受賞しました（★印）．2010年に初めて受賞者が出てから41件（34人）目です．また，2012年度から12年連続受賞です．村儀君は3年連続，菊地君は2年連続の受賞です．
- 志田原萌美，早川侑花，辻愛里，藤波香織．床拭き掃除中の道具と身体動作計測によるメンタルワークロード推定，情報処理学会第86回全国大会，2024年3月17日．
- ★長瀬清之助，村儀天星，辻愛里，藤波香織．購買時の頭部動作および歩行軌跡計測にもとづく迷い状態の分類，情報処理学会第86回全国大会，2024年3月17日．
- ★菊地怜，辻愛里，藤波香織．顔アイコンを用いた偽の聴衆反応提示によるオンライン講演者の快適度向上支援，情報処理学会第86回全国大会，2024年3月16日．
- 都築あい，百合草優伽，辻愛里，藤波香織．植物の育成および他者とのインタラクションを用いたスマートフォンの使い過ぎ抑制支援，情報処理学会第86回全国大会，2024年3月16日．
- ★村儀天星，辻愛里，藤波香織．手と視線の遷移を活用した組立作業中の迷いの有無と種別判定システム，情報処理学会第86回全国大会，2024年3月16日．
- 田畑実由太，倉田寛大，辻愛里，藤波香織．複合現実空間における行動支援のための日常物エージェントとの愛情醸成，情報処理学会第86回全国大会，2024年3月15日．
- 矢野明日香，山中瑞稀，辻愛里，藤波香織．VR体験中のコンテキストとユーザの反応を考慮した実世界アウェアネス支援，情報処理学会第86回全国大会，2024年3月15日．
- ★佐々木耕平，辻愛里，藤波香織．複合現実空間における能動的触知覚を導入した記憶の宮殿型暗記支援システム，情報処理学会第86回全国大会，2024年3月15日．
- 倉田寛大，辻愛里，藤波香織．マルチモーダルデータによるプログラミング作業時の困惑状態推定，情報処理学会第86回全国大会，2024年3月15日．
対外発表（UBI81）
M2の菊地君，佐々木君，村儀君，田中さんが情報処理学会ユビキタスコンピューティングシステム研究会第81回研究発表会にて以下の発表を行いました．
- 菊地怜，辻愛里，藤波香織．顔アイコンを用いたダミーフィードバックによるオンライン講演者の自己評価向上支援，情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告，Vol.2024-UBI-81 No.3，2024年2月29日．
- 佐々木耕平，辻愛里，藤波香織．複合現実感技術によるアクティブタッチを活用した記憶の宮殿型暗記支援システム，情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告，Vol.2024-UBI-81 No.4，2024年2月29日．
- 村儀天星，辻愛里，藤波香織．手と視線の遷移を用いた組立作業中の迷いの種別とレベル判定システム，情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告，Vol.2024-UBI-81 No.9，2024年2月29日．
- 田中咲希，辻愛里，Pekka Siirtola，Jaakko Suutala，Juha Röning，藤波香織．インクリメンタル学習の導入による黙読時の集中・非集中状態判別モデルの個人特化，情報処理学会ユビキタスコンピューティングシステム研究会 第81回研究発表会研究報告，Vol.2024-UBI-81 No.19，2024年2月29日．
卒論・修論審査会
2/15に卒論審査会が開かれ5名全員が合格しました（追記 2024−03−26：都築さんが知能情報システム工学科 優秀卒業論文賞を受賞しました．）．
- 志田原萌美：慣性センサを用いた道具と身体の動作計測によるメンタルワークロード推定に関する研究
- 田畑実由太：複合現実空間における行動支援のための日常物エージェントとの愛情醸成に関する研究
- 都築あい：植物の育成および他者とのインタラクションを用いたスマートフォンの使い過ぎ抑制支援に関する研究
- 長瀬清之助：購買行動における頭部動作と歩行動作に着目した迷い状態の分類に関する研究
- 矢野明日香：VR体験中のコンテキストとユーザの反応を考慮した実世界アウェアネス支援に関する研究
2/16に修論審査会が開かれ4名全員が合格しました．
- 菊地怜：オンライン講演者の自己評価向上のための偽の聴衆反応提示手法に関する研究
- 佐々木耕平：複合現実空間における能動的触知覚を導入した記憶の宮殿型暗記支援システム
- 田中咲希：視線データに基づく集中状態・非集中状態識別モデルの領域特化に関する研究
- 村儀天星：手と視線の位置情報にもとづく組立作業中の迷いの種別とレベル判定に関する研究
対外発表（BTI研究会）
D1の胡伊端さんの行動変容システムの受容性を高めるためのシステムへの不信感払拭手法に関する研究を下記の研究会で発表しました．
胡伊端，辻愛里，藤波香織．行動変容システムの誤動作による不信感に対する寛容性醸成のための擬人化に関する研究，情報処理学会IoT行動変容学研究グループ第6回研究会（ポスター発表），2023年12月22日．
対外発表（HCGシンポジウム2023）
M1の早川侑花さんが以下のタイトルで，電子情報通信学会ヒューマンコミュニケーショングループシンポジウム（HCGシンポジウム2023）で発表しました．
早川侑花，田中咲希，辻愛里，山本淳一，藤波香織．自己効力感の予測に向けた予期的注視を表す視線特徴と機械学習モデルの検討〜回転変換マウス使用中のデータから ～，HCGシンポジウム2023，2023年12月12日．
対外発表（IARIA Congress 2023）
2023年3月博士前期課程修了生の小林美月さんの研究を下記の学会で発表しました．
Mizuki Kobayashi and Kaori Fujinami, “An Exercise Recommendation System While Performing Daily Activities Based on Contextual Information”, In Proceedings of the 2023 IARIA Annual Congress on Frontiers in Science, Technology, Services, and Applications (IARIA Congress 2023), pp. 188-195, 13-17 November 2023. [paper link][slides link]
