タグ: activity recognition

論文採録（Poultry Science）

農学部の新村教授の研究グループとのニワトリの行動解析に関する共同研究がPoultry Science誌に採録されました．

Tsuyoshi Shimmura, Itsufumi Sato, Ryo Takuno, and Kaori Fujinami, “Spatiotemporal Understanding of Behaviors of Laying Hens Using Wearable Inertial Sensors,” Poultry Science, Vol. 102, Issue 12, 2024. [link]

この研究は本研究室の先行研究で実現した装着型の慣性センサ（加速度＋角速度センサ）による12種類のニワトリの行動認識結果を利用して，実際に動物行動学者が行動の分析を試みた結果となります．

ニワトリの背中に付けたマーカー検出による位置計測と行動認識結果を画像上にマッピングして「空間利用図」を作成することで「（いつ）どこで，どのような行動が発生するか」という行動とその発生場所の関係を視覚的に理解しやすくなります．

また，認識された短時間（約1秒）の行動の移り変わりをノードを行動，エッジを遷移確率とする「行動遷移図」として表現することで，1日の中での行動の移り変わり方を視覚的に捉えることが可能になります．従来は実験者が録画したビデオを目視で時間をかけて読み取るため多くの時間を要したり，その解決のためにサンプリングされた区間を読み取ることで稀で重要な遷移を見落とすなどの問題がありました．しかし，コンピュータにより大量の情報を瞬時に処理できるようになることで，これまでと質的に異なる解析が可能になると期待されます．この行動遷移図の解析は行動を記号化できれば，あらゆる行動パターンの解析に応用できるため，今後は野生動物や人間の行動パターン解析への応用も検討していきます．

対外発表・受賞（DICOMO2024）

情報処理学会 マルチメディア，分散，協調とモバイルシンポジウム（DICOMO 2024）にて下記の2件の発表を行い，倉田君がヤングリサーチャー賞を受賞しました．

  • 長瀬清之助，辻愛里，藤波香織．商品棚上方に設置したカメラによる行動計測にもとづく購買時の迷い状態の分類，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 679-689, 2024年6月27日．
  • （ヤングリサーチャー賞）倉田寛大，辻愛里，藤波香織．マルチモーダルデータを利用したプログラミング作業中の困惑状態推定，マルチメディア，分散，協調とモバイルシンポジウム（DICOMO2024）講演論文集，pp. 657-663, 2024年6月27日．

対外発表・受賞（ABC2024）

第6回行動と振る舞いの計算に関する国際会議（The 6th International Conference on Activity and Behavior Computing (ABC2024)）にて以下の発表を行い，Best paper awardを受賞しました．

Tensei Muragi, Airi Tsuji, and Kaori Fujinami. A System for Assembly-Work-Confusion Recognition based on Gaze and Head Positional Information, Kitakyushu, Japan, May 30 2024. (link)

対外発表（IARIA Congress 2023）

2023年3月博士前期課程修了生の小林美月さんの研究を下記の学会で発表しました．

Mizuki Kobayashi and Kaori Fujinami, “An Exercise Recommendation System While Performing Daily Activities Based on Contextual Information”, In Proceedings of the 2023 IARIA Annual Congress on Frontiers in Science, Technology, Services, and Applications (IARIA Congress 2023), pp. 188-195, 13-17 November 2023. [paper link][slides link]

論文採録（Sensors and Materials）

2021年度博士前期課程修了生の段雨豪君の研究が論文誌Sensors and Materialsに採録され，掲載されました．身体の最大7カ所（図1 (a)）に装着した加速度センサで図1（(a)から(x)）のような23種の日常行動を認識するためのモデル（RandomForest，CNN-LSTM，CNN-Transformer）とセンサ装着位置の組み合わせ（1個から7個全ての計127通り）を調査しました（図2）．図2は全行動の平均が載っていますが，論文中では行動ごとの結果と認識モデルやGPU利用有無による処理速度の比較も示されています．これらの情報は，利用可能なセンサの数や装着場所，重点的に認識したい行動，オンライン処理性能などの要件に合わせて認識モデルや装着場所を選ぶ指針になります．

  • Yuhao Duan and Kaori Fujinami. Effect of combinations of sensor positions on wearable sensor-based human activity recognition, Sensors and Materials, Vol. 35, No. 7 (1), pp. 2175-2193, 2023. [link]
図1：センサ装着位置（a）と認識対象の行動23種（(b)-(x)）
図2：センサ数（K），認識モデル（Model），センサ装着位置（T: 太股，W: 手首，U: 上腕，C: 胸部，L: 左側，R: 右側）ごとの精度（一人抜き交差検証時のF値）

対外発表・受賞（UBI78）

M2の村儀君が情報処理学会ユビキタスコンピューティングシステム研究会第78回研究会にて次の発表を行いました．（2023-07-07追記：学生奨励賞を受賞しました）

  • 村儀天星，渡邊昭信，辻愛里，藤波香織．手と視線の連動性の活用と分類の階層化による組立作業中の迷いの検出と分類，情報処理学会ユビキタスコンピューティングシステム研究会 第78回研究発表会，情報処理学会研究報告 Vol. 2023-UBI-78　No. 3，pp. 1-8，2023年5月24日．
実験環境
視線遷移と手の位置の遷移が同時に起こる様子を表したヒストグラム

2022年9月のUBI75研究会で発表した研究は視線遷移だけでしたが，今回は手の動きも組み合わせて，組立作業中の迷いの状態を推定することを試みました．AOI（関心領域）に視線と手が同時に入る度合い（共起度合い）をヒストグラムに表し，ここから特徴量を算出して機械学習により分類器を構築しています．視線遷移だけの場合に0.700であったF値は，手の遷移を組み合わせることで0.735まで向上すること，タスクの違いをほとんど受けないことを確認しました．

論文採録（Sensors）

本学農学部の新村毅教授の研究グループとの共同研究がSensors誌に掲載されオンラインで公開されました．

  • Kaori Fujinami, Ryo Takuno, Itsufumi Sato, and Tsuyoshi Shimmura, “Evaluating Behavior Recognition Pipeline of Laying Hens Using Wearable Inertial Sensors”, Sensors 2023, Vol. 23, No. 11, Article No. 5077. [link]

雌鶏に慣性センサ（3軸加速度および3軸加速度）を装着し，羽繕いや飲水，尾振りなどの12種の日常行動を機械学習を用いて認識するための一連の機能（ウィンドウサイズおよび時間，特徴量，分類モデル，不均衡データの扱い）の構成方法を実験的に明らかにしました．最も良い構成で0.88の精度（F値）となりました．アニマルウェルフェアに配慮した雌鶏の飼育方法を開発するためのデータを非属人的に大量に収集することが可能になります．

対外発表・受賞（FIT2022）

社会人博士課程の渡邊君の皮膚電気活動を用いた組立作業中の迷い検出に関する研究，M2の小林さんの「ながら運動の推薦機構」に関する研究，M1市原君のヒナの摂食誘導システムに関する研究，M1の田中さんの読書中の視線解析による集中度推定の研究，計4件をFIT2022にて発表しました．なお，田中さんの研究はFIT奨励賞を受賞しました（2022−10−12更新）．

  • 渡邊昭信，村儀天星，辻愛里，藤波香織；“皮膚電気活動計測による組立作業時の迷いの認識”，第21回情報科学技術フォーラム（FIT2022），2022年9月15日．
  • 小林美月，辻愛里，藤波香織；“利用者のコンテキストに応じた運動促進システム”，第21回情報科学技術フォーラム（FIT2022），2022年9月15日．
  • 市原禄朗，新村毅，藤波香織；“親鳥ロボットと物体検出を用いたヒナの摂食誘導システム”，第21回情報科学技術フォーラム（FIT2022），2022年9月15日．
  • （FIT奨励賞）田中咲希，辻愛里，藤波香織；“テキスト黙読時における視線情報を用いた集中状態・非集中状態の識別に関する調査”，第21回情報科学技術フォーラム（FIT2022），2022年9月14日．

対外発表（HCII2022）

M2の小林さんの「ながら運動」に関する研究と2020年度修了の半谷さんのパブリックディスプレイに対する誘目性向上手法に関する研究をHCII2022併催の10th International Conference on Distributed, Ambient and Pervasive Interactions (DAPI2022)にてオンライン発表しました．

  • Mizuki Kobayashi, Airi Tsuji, and Kaori Fujinami, “An Exercise Promoting System for Exercising while Doing Desk Work”, In: Streitz, N.A., Konomi, S. (eds) Distributed, Ambient and Pervasive Interactions. Smart Living, Learning, Well-being and Health, Art and Creativity. HCII 2022. Lecture Notes in Computer Science, vol 13326. Springer, Cham. (online)
着座時のながら運動推薦システムの処理フロー
  • Chihiro Hantani, Airi Tsuji, and Kaori Fujinami, “A Study on Projection-Based Public Displays that Attract People with Peripheral Vision”, In: Streitz, N.A., Konomi, S. (eds) Distributed, Ambient and Pervasive Interactions. Smart Environments, Ecosystems, and Cities. HCII 2022. Lecture Notes in Computer Science, vol 13325. Springer, Cham. (online)
実験風景（床面と壁面に気付きやすさを工夫した情報を投影して評価）

また，HCII2022のバーチャルポスター発表にて2020年度卒業の千葉君の胸部装着型プロジェクタの床上投影安定化に関する研究を発表しました．

  • Yuji Chiba, Airi Tsuji, and Kaori Fujinami, “A Preliminary Comparative Study on Image Stabilization Techniques Projected on the Floor through Chest-mounted Projector”, In: Stephanidis, C., Antona, M., Ntoa, S. (eds) HCI International 2022 Posters. HCII 2022. Communications in Computer and Information Science, vol 1583. Springer, Cham. (online)

受賞（第84回情報処理学会全国大会優秀賞）

3月に開催された情報処理学会全国大会での以下の発表が大会優秀賞を受賞しました．大会優秀賞は一般・学生を含めた1556件の中から投票を経て上位10件が選ばれます．なお，宅野君の研究は昨年に続いて2年連続の受賞です．

宅野亮，佐藤逸史，新村毅，藤波香織；“鶏の行動学的分析を支援するための行動推定と行動パターンの可視化”，情報処理学会第84回全国大会，6Y-02，2022年3月5日（発表），2022年6月7日（受賞決定）(pdf)．

論文採録（Sensors）

修士2年の齋藤君の論文がSensors誌に採録されました．

  • Mitsuaki Saito and Kaori Fujinami. “New Position Candidate Identification via Clustering toward an Extensible On-Body Smartphone Localization System”, Sensors 2021, 21(4), 1276; https://doi.org/10.3390/s21041276 (link)

この論文は以下の携帯機器の所持位置逐次追加フレームワークの図中で，CとDの部分の実現方法に焦点を当てた研究です．新規性検出（A）で未知位置と判定されたデータがNovelty sample pool（C）に蓄積され，Dにおいてクラスタ数をあらかじめ決める必要がないクラスタリング手法であるDBSCANを用いて1つ以上の新規（未知）の所持位置を検出するというものです．新規の所持位置が検出されれば，あとは利用者に正解ラベル付けを依頼することで，利用中にその人特有の所持位置をシステムに追加して利用できるようになります．

携帯機器の所持位置の逐次追加フレームワーク．

なお，Aの構成方法については以下の論文で述べています．

  • Mitsuaki Saito and Kaori Fujinami; “Unknown On-Body Device Position Detection Based on Ensemble Novelty Detection”, Sensors and Materials, Vol. 32, No. 1, pp. 27-40, 2020. (link)
  • Mitsuaki Saito and Kaori Fujinami; “Evaluation of Novelty Detection Methods in On-Body Smartphone Localization Problem”, In Proceedings of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019), pp. 470-474, 16 October, 2019.
  • 齋藤光明，藤波香織；“アンサンブル型Novelty Detectionによる未知の携帯機器所持位置の検出”，情報処理学会ユビキタスコンピューティングシステム研究会 第62回研究発表会（UBI62），情報処理学会研究報告 Vol. 2019-UBI-62，No. 2，2019年6月6日．

Dの予備検証は以下の論文で述べています．

  • Mitsuaki Saito and Kaori Fujinami; “Applicability of DBSCAN in Identifying the Candidates of New Positions in on-Body Smartphone Localization Problem”, In Proceedings of the 2020 IEEE 9th Global Conference on Consumer Electronics (GCCE 2020), October 2020.
  • Mitsuaki Saito and Kaori Fujinami; “New Class Candidate Generation applied to On-Body Smartphone Localization”, In Activity and Behavior Computing. Smart Innovation, Systems and Technologies, vol. 204, pp. 81-98, Springer Singapore, 2021. (presented in the 2nd International Conference on Activity and Behavior Computing (ABC2020), 26-29 August 2020.)

論文採択（Sensors and Materials　2件）

本研究室からの論文2篇が論文誌（Sensors and Materials）に採録され，オンラインで公開されました．

  • Miki Kawato and Kaori Fujinami; “Acoustic-sensing-based Gesture Recognition Using Hierarchical Classifier”, Sensors and Materials, Vol. 32, No. 9, pp. 2981-2998, 2020. [link]
  • Trang Thuy Vu and Kaori Fujinami; “Personalizing Activity Recognition Models by Selecting Compatible Classifiers with a Little Help from the User”, Sensors and Materials, Vol. 32, No. 9, pp. 2999-3017, 2020. [link]

最初の川戸君（2020年3月博士前期課程修了）の論文は，机の上を指でなぞったときの音で0から9の数字，×，□，△，✓，R，m，・の17文字を識別するためのデバイスとデータ処理方法について考案したものです．認識方法は，従来からあるfeature engineering方式とニューラルネットワークによるfeature learning方式を比較し，さらに認識器の構成も2段階構成と1段階構成を比較しました．その結果，2段階構成のfeature engineering方式を用いることでも最良の0.854の精度（F値）を達成し，近年浸透著しいニューラルネットワークベースの手法が必ずしもベストではないことを示しました．行動認識のようなラベル付きデータを大量に得ることが困難な環境では，注意深く設計した特徴量を用いるfeature engineering方式が良いことが示唆されます．

音ジェスチャ入力デバイス
階層的分類器

2番目のVu（社会人博士3年）さんの論文は，スマホなど個人が携帯するデバイス上で行動認識を行う際に，一番最初に利用者から行動データを提供してもらい，既存の分類器の中から相性が良いものを選んで利用することで高精度な分類を実現するという本研究室で提案するCompatibility-based Classifier Personalizationと呼ぶ手法に関するものです．昨年発表した下記の論文では，最初に対象とする全ての行動のデータを提供してもらうことを前提としていましたが，種類が多いと利用者の負担が増大することが課題でした．今回発表した論文では，事前にハイパーパーパラメータチューニングの要領で収集すべき行動群を絞り込むことで，50%から70％程度の負担で済むことを示しました．

  • Trang Thuy Vu and Kaori Fujinami; “Understanding Compatibility-based Classifier Personalization in Activity Recognition”, In Proceedings of the 1st International Conference on Activity and Behavior Computing (ABC2019), pp. 97-102, May 2019.
  • Trang Thuy Vu and Kaori Fujinami; “Examining Hierarchy and Granularity of Classifiers in Compatibility-based Classifier Personalization”, In Proceedings of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019), pp. 553-554, 16 October, 2019.
Compatibility-based Classifier Personalization (CbCP)の概念図

農工融合研究プロジェクトに採択（野生動物AI）

東京農工大学内 農工融合研究支援制度（通称TAMAGO）に，藤波が分担者として参加する研究「野生動物に関する情報のAIを用いたデータ解析手法の開発」（代表：小池伸介 農学研究院准教授）が採択されました．（産学連携室による紹介）

藤波班は，これまで人間を対象として培ってきたウェアラブルセンサによる行動認識技術を用いて野生動物の行動認識に協力し，人間と野生動物の共存に貢献することを目指します．

対外発表（GCCE’19）

10/15-18に大阪で開催されたGlobal Conference on Consumer Electronics (GCCE’19)にて以下の発表を行いました．

  • Mitsuaki Saito and Kaori Fujinami; “Evaluation of Novelty Detection Methods in On-Body Smartphone Localization Problem”, In Proceedings of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019), pp. 470-474, 16 October, 2019.
  • Trang Thuy Vu and Kaori Fujinami; “Examining Hierarchy and Granularity of Classifiers in Compatibility-based Classifier Personalization”, In Proceedings of the 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE 2019), pp. 553-554, 16 October, 2019.

対外発表＆受賞（PICom）

福岡（博多）で8月5〜8で開かれた2019 IEEE International Conference on Dependable, Automatic and Secure Computing (DASC), Pervasive Intelligence and Computing (PICom), Cloud and Big Data Computing (CBDCom), and Cyber Science and Technology Congress (CyberSciTech)において以下の2件のポスター発表を行いました．

  • Mitsuaki Saito and Kaori Fujinami; “Extensible On-Body Smartphone Localization: A Project Overview and Preliminary Experiment”.
  • Kaori Fujinami, Trang Thuy Vu, and Koji Sato; “A Framework for Human-centric Personalization of Context Recognition Models on Mobile Devices”.

また，藤波がBest Poster Awardを受賞しました．