行動認識 – 東京農工大学日常生活コンピューティング研究室

論文採録（Poultry Science）

農学部の新村教授の研究グループとのニワトリの行動解析に関する共同研究がPoultry Science誌に採録されました．

Tsuyoshi Shimmura, Itsufumi Sato, Ryo Takuno, and Kaori Fujinami, “Spatiotemporal Understanding of Behaviors of Laying Hens Using Wearable Inertial Sensors,” Poultry Science, Vol. 102, Issue 12, 2024. [link]

この研究は本研究室の先行研究で実現した装着型の慣性センサ（加速度＋角速度センサ）による12種類のニワトリの行動認識結果を利用して，実際に動物行動学者が行動の分析を試みた結果となります．

ニワトリの背中に付けたマーカー検出による位置計測と行動認識結果を画像上にマッピングして「空間利用図」を作成することで「（いつ）どこで，どのような行動が発生するか」という行動とその発生場所の関係を視覚的に理解しやすくなります．

また，認識された短時間（約1秒）の行動の移り変わりをノードを行動，エッジを遷移確率とする「行動遷移図」として表現することで，1日の中での行動の移り変わり方を視覚的に捉えることが可能になります．従来は実験者が録画したビデオを目視で時間をかけて読み取るため多くの時間を要したり，その解決のためにサンプリングされた区間を読み取ることで稀で重要な遷移を見落とすなどの問題がありました．しかし，コンピュータにより大量の情報を瞬時に処理できるようになることで，これまでと質的に異なる解析が可能になると期待されます．この行動遷移図の解析は行動を記号化できれば，あらゆる行動パターンの解析に応用できるため，今後は野生動物や人間の行動パターン解析への応用も検討していきます．

対外発表・受賞（DICOMO2024）

情報処理学会マルチメディア，分散，協調とモバイルシンポジウム（DICOMO 2024）にて下記の2件の発表を行い，倉田君がヤングリサーチャー賞を受賞しました．

長瀬清之助，辻愛里，藤波香織．商品棚上方に設置したカメラによる行動計測にもとづく購買時の迷い状態の分類，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 679-689, 2024年6月27日．

（ヤングリサーチャー賞）倉田寛大，辻愛里，藤波香織．マルチモーダルデータを利用したプログラミング作業中の困惑状態推定，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 657-663, 2024年6月27日．

対外発表・受賞（第86回情報処理学会全国大会）

情報処理学会第86回全国大会（神奈川大にて開催）にて以下の9件の発表を行い，村儀君，菊地君，佐々木君（M2），長瀬君（B4）が学生奨励賞を受賞しました（★印）．2010年に初めて受賞者が出てから41件（34人）目です．また，2012年度から12年連続受賞です．村儀君は3年連続，菊地君は2年連続の受賞です．

志田原萌美，早川侑花，辻愛里，藤波香織．床拭き掃除中の道具と身体動作計測によるメンタルワークロード推定，情報処理学会第86回全国大会，2024年3月17日．
★長瀬清之助，村儀天星，辻愛里，藤波香織．購買時の頭部動作および歩行軌跡計測にもとづく迷い状態の分類，情報処理学会第86回全国大会，2024年3月17日．
★菊地怜，辻愛里，藤波香織．顔アイコンを用いた偽の聴衆反応提示によるオンライン講演者の快適度向上支援，情報処理学会第86回全国大会，2024年3月16日．
都築あい，百合草優伽，辻愛里，藤波香織．植物の育成および他者とのインタラクションを用いたスマートフォンの使い過ぎ抑制支援，情報処理学会第86回全国大会，2024年3月16日．
★村儀天星，辻愛里，藤波香織．手と視線の遷移を活用した組立作業中の迷いの有無と種別判定システム，情報処理学会第86回全国大会，2024年3月16日．
田畑実由太，倉田寛大，辻愛里，藤波香織．複合現実空間における行動支援のための日常物エージェントとの愛情醸成，情報処理学会第86回全国大会，2024年3月15日．
矢野明日香，山中瑞稀，辻愛里，藤波香織．VR体験中のコンテキストとユーザの反応を考慮した実世界アウェアネス支援，情報処理学会第86回全国大会，2024年3月15日．
★佐々木耕平，辻愛里，藤波香織．複合現実空間における能動的触知覚を導入した記憶の宮殿型暗記支援システム，情報処理学会第86回全国大会，2024年3月15日．
倉田寛大，辻愛里，藤波香織．マルチモーダルデータによるプログラミング作業時の困惑状態推定，情報処理学会第86回全国大会，2024年3月15日．

論文採録（Sensors and Materials）

2021年度博士前期課程修了生の段雨豪君の研究が論文誌Sensors and Materialsに採録され，掲載されました．身体の最大7カ所（図1 (a)）に装着した加速度センサで図1（(a)から(x)）のような23種の日常行動を認識するためのモデル（RandomForest，CNN-LSTM，CNN-Transformer）とセンサ装着位置の組み合わせ（1個から7個全ての計127通り）を調査しました（図2）．図2は全行動の平均が載っていますが，論文中では行動ごとの結果と認識モデルやGPU利用有無による処理速度の比較も示されています．これらの情報は，利用可能なセンサの数や装着場所，重点的に認識したい行動，オンライン処理性能などの要件に合わせて認識モデルや装着場所を選ぶ指針になります．

Yuhao Duan and Kaori Fujinami. Effect of combinations of sensor positions on wearable sensor-based human activity recognition, Sensors and Materials, Vol. 35, No. 7 (1), pp. 2175-2193, 2023. [link]

図2：センサ数（K），認識モデル（Model），センサ装着位置（T: 太股，W: 手首，U: 上腕，C: 胸部，L: 左側，R: 右側）ごとの精度（一人抜き交差検証時のF値）

対外発表・受賞（第85回情報処理学会全国大会）

情報処理学会第85回全国大会（電通大にて開催）にて以下の12件の発表を行い，小林さん（M2），菊地君，田中さん，村儀君（M1），倉田君，山中さん（B4）が学生奨励賞を受賞しました（★印）．2010年に初めて受賞者が出てから37件（32人）目です．また，2012年度から11年連続受賞です．

胡伊端，辻愛里，藤波香織，行動変容向け情報提示システムの誤動作に対する寛容性獲得のための擬人化-プラスチックごみの削減行動を例に，HAIシンポジウム2023，2023.3.3．
佐々木耕平，辻愛里，藤波香織，複合現実感技術を用いた記憶の宮殿型暗記支援における触覚の効果検証，情報処理学会第85回全国大会，6ZE-01, 2023.3.4．
★菊地怜，辻愛里，藤波香織，大規模オンライン発表における講演者の快適性向上のための聴衆反応の提示手法，情報処理学会第85回全国大会，5ZB-09, 2023.3.3．
寺田憲司，藤波香織，マルチモーダル環境観測が可能な小型農業ローバーによる病害予測，情報処理学会第85回全国大会，5D-03, 2023.3.3．
★田中咲希，辻愛里，藤波香織，テキスト黙読時の視線解析による集中・非集中状態識別モデルの個人化のための基礎調査，情報処理学会第85回全国大会，5ZE-06, 2023.3.3．
早川侑花，田中咲希，辻愛里，藤波香織，山本淳一，回転変換マウス使用課題中の予期的注視の度合いを用いた自己効力感の推定，情報処理学会第85回全国大会，5ZE-05, 2023.3.3．
★倉田寛大，佐々木耕平，辻愛里，藤波香織，uh-huh duck: 人形との相互作用によるプログラミング時の問題解決支援，情報処理学会第85回全国大会，4ZJ-01, 2023.3.3．
百合草優伽，菊地怜，辻愛里，藤波香織，回想を促す実世界投影型エージェント実現のための親近感醸成，情報処理学会第85回全国大会，1ZE-07, 2023.3.2．
★山中瑞稀，村儀天星，辻愛里，藤波香織，教示動画視聴時の視線誘導エージェントによる部品探索支援，情報処理学会第85回全国大会，1ZE-06, 2023.3.2．
胡伊端，辻愛里，藤波香織，行動変容向けシステムの誤作動に対する寛容性醸成のための擬人化，情報処理学会第85回全国大会，2ZB-06, 2023.3.3．
★村儀天星，渡邊昭信，辻愛里，藤波香織，組立作業中の迷いの有無と種別検出のための手と視線の連動性の活用，情報処理学会第85回全国大会，2ZB-05, 2023.3.2．
廣川赳丸，市原禄朗，辻愛里，藤波香織，Eyebient Display: 視線誘導による日常物のアンビエントディスプレイ化機構，情報処理学会第85回全国大会，2ZB-04, 2023.3.2．
★小林美月，辻愛里，藤波香織，コンテクストアウェアな運動推薦のための利用者主導型推薦ルール作成手法，情報処理学会第85回全国大会，2ZB-03, 2023.3.3．

対外発表（GCCE2022）

国際会議（IEEE Global Conference on Consumer Electronics: GCCE2022）において，以下の3件の発表を行いました．

Mizuki Kobayashi, Airi Tsuji, and Kaori Fujinami,”A Context-Aware Exercise Facilitation System While Doing Other Tasks”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 20 2022.

Akinobu Watanabe, Tensei Muragi, Airi Tsuji, and Kaori Fujinami,”Recognition of the States of Confusion During Assembly Work Based on Electrodermal Activity”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 19 2022.

Kaori Fujinami and Tensei Muragi, “Recognizing Confusion in Assembly Work Based on a Hidden Markov Model of Gaze Transition”, In Proc. of the 2022 IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), October 19 2022.

対外発表（HCII2022）

M2の小林さんの「ながら運動」に関する研究と2020年度修了の半谷さんのパブリックディスプレイに対する誘目性向上手法に関する研究をHCII2022併催の10th International Conference on Distributed, Ambient and Pervasive Interactions (DAPI2022)にてオンライン発表しました．

Mizuki Kobayashi, Airi Tsuji, and Kaori Fujinami, “An Exercise Promoting System for Exercising while Doing Desk Work”, In: Streitz, N.A., Konomi, S. (eds) Distributed, Ambient and Pervasive Interactions. Smart Living, Learning, Well-being and Health, Art and Creativity. HCII 2022. Lecture Notes in Computer Science, vol 13326. Springer, Cham. (online)

Chihiro Hantani, Airi Tsuji, and Kaori Fujinami, “A Study on Projection-Based Public Displays that Attract People with Peripheral Vision”, In: Streitz, N.A., Konomi, S. (eds) Distributed, Ambient and Pervasive Interactions. Smart Environments, Ecosystems, and Cities. HCII 2022. Lecture Notes in Computer Science, vol 13325. Springer, Cham. (online)

また，HCII2022のバーチャルポスター発表にて2020年度卒業の千葉君の胸部装着型プロジェクタの床上投影安定化に関する研究を発表しました．

Yuji Chiba, Airi Tsuji, and Kaori Fujinami, “A Preliminary Comparative Study on Image Stabilization Techniques Projected on the Floor through Chest-mounted Projector”, In: Stephanidis, C., Antona, M., Ntoa, S. (eds) HCI International 2022 Posters. HCII 2022. Communications in Computer and Information Science, vol 1583. Springer, Cham. (online)

論文採択（Sensors and Materials　2件）

本研究室からの論文2篇が論文誌（Sensors and Materials）に採録され，オンラインで公開されました．

Miki Kawato and Kaori Fujinami; “Acoustic-sensing-based Gesture Recognition Using Hierarchical Classifier”, Sensors and Materials, Vol. 32, No. 9, pp. 2981-2998, 2020. [link]
Trang Thuy Vu and Kaori Fujinami; “Personalizing Activity Recognition Models by Selecting Compatible Classifiers with a Little Help from the User”, Sensors and Materials, Vol. 32, No. 9, pp. 2999-3017, 2020. [link]

最初の川戸君（2020年3月博士前期課程修了）の論文は，机の上を指でなぞったときの音で0から9の数字，×，□，△，✓，R，m，・の17文字を識別するためのデバイスとデータ処理方法について考案したものです．認識方法は，従来からあるfeature engineering方式とニューラルネットワークによるfeature learning方式を比較し，さらに認識器の構成も2段階構成と1段階構成を比較しました．その結果，2段階構成のfeature engineering方式を用いることでも最良の0.854の精度（F値）を達成し，近年浸透著しいニューラルネットワークベースの手法が必ずしもベストではないことを示しました．行動認識のようなラベル付きデータを大量に得ることが困難な環境では，注意深く設計した特徴量を用いるfeature engineering方式が良いことが示唆されます．

2番目のVu（社会人博士3年）さんの論文は，スマホなど個人が携帯するデバイス上で行動認識を行う際に，一番最初に利用者から行動データを提供してもらい，既存の分類器の中から相性が良いものを選んで利用することで高精度な分類を実現するという本研究室で提案するCompatibility-based Classifier Personalizationと呼ぶ手法に関するものです．昨年発表した下記の論文では，最初に対象とする全ての行動のデータを提供してもらうことを前提としていましたが，種類が多いと利用者の負担が増大することが課題でした．今回発表した論文では，事前にハイパーパーパラメータチューニングの要領で収集すべき行動群を絞り込むことで，50%から70％程度の負担で済むことを示しました．

Trang Thuy Vu and Kaori Fujinami; “Understanding Compatibility-based Classifier Personalization in Activity Recognition”, In Proceedings of the 1st International Conference on Activity and Behavior Computing (ABC2019), pp. 97-102, May 2019.
Trang Thuy Vu and Kaori Fujinami; “Examining Hierarchy and Granularity of Classifiers in Compatibility-based Classifier Personalization”, In Proceedings of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019), pp. 553-554, 16 October, 2019.

Compatibility-based Classifier Personalization (CbCP)の概念図

対外発表＆受賞（PICom）

福岡（博多）で8月5〜8で開かれた2019 IEEE International Conference on Dependable, Automatic and Secure Computing (DASC), Pervasive Intelligence and Computing (PICom), Cloud and Big Data Computing (CBDCom), and Cyber Science and Technology Congress (CyberSciTech)において以下の2件のポスター発表を行いました．

Mitsuaki Saito and Kaori Fujinami; “Extensible On-Body Smartphone Localization: A Project Overview and Preliminary Experiment”.
Kaori Fujinami, Trang Thuy Vu, and Koji Sato; “A Framework for Human-centric Personalization of Context Recognition Models on Mobile Devices”.

また，藤波がBest Poster Awardを受賞しました．