藤波研究室では，2009年度からシステム製作実験（3年後期）を担当しています．毎年，「現実世界の情報を利用したコンピュータの新しい使い方を考え出す」ことを統一テーマとして個々のテーマを設定しています．特に成果発表会を意識して，デモストーリーや見栄え，完成度の高さに注意して開発しており，毎年，発表会参加者から高く評価されています．新カリキュラム移行のため2020年度で終了しました．
以下では，これまでの成果を簡単に説明します．研究室での研究テーマなどは〔こちら〕から．
2019年度
テーマ1：SAR（空間的拡張現実感）ブロック崩し
本システムでは既存のゲームをプロジェクタ技術を使って拡張しました．仮想的なボールを打ち返すと当たった箇所にあるブロック（実物）が落ちてきます．そして当たった箇所のブロックの列も1段下がります．仮想ボールはマウスカーソル（仮想モード）だけでなく，ブロックを使った入力も可能です（物理モード）．物理モードではブロック以外の物体を障害物として途中に設置することでボールの跳ね返り方を変更することができます．ブロックはカメラ入力した画像処理により位置や向きを検出してゲームに反映しています．
テーマ2：教えて！スクワット先生〜加速度センサとマイクを用いたスクワットのフォーム改善支援システム〜
本システムでは，太ももと腰部に装着した2個の加速度センサを用いて装着者のスクワットの動きを測定し，マイク付きヘッドセットを用いて呼吸音を録音します．次にスクワットの動きの情報と呼吸の情報からスクワットのフォームが正しいかどうか，また呼吸のタイミングが正しいかどうかを判定します．最後にスクワットのフォーム判定結果と呼吸のタイミング判定結果をPC画面上に出力します．
2018年度
テーマ1：moBoook：プロジェクタを利用した飛び出る拡張絵本〜
本テーマでは，プロジェクターによる情報の実在化をテーマとし，飛び出す絵本の拡張版を開発しました．白紙の紙で飛び出す絵本を作成し，上からプロジェクターで情報を投影することによって絵（動画）を映し出すというものです．ユーザは指定された場所に絵本を置き，普通の絵本のように物語を読み進めていきます．基本のシナリオが終わるとユーザにアクションが求められるので，そこで絵本を触ると主人公を動かすことができるというものです．このシステムの特徴は，ユーザが絵本に仕掛けられたスイッチを押すことで主人公の動きを変えることができることで，押した場所に対応した動きを主人公がすることによって自分で物語を作っていく楽しさが生まれます．それに加え，どのアクションを行うかによってエンディングが変わるように設計したため，1つの本で様々な物語を楽しむことができます．
テーマ2：ARめんこ
現代の遊びはスマートフォンやタブレット，ゲームなどの電子機器での遊びを用いたものが増えてきており，昔ながらの体を使った遊びが減ってきているように思われます．このような体を使った遊びが現代の遊びに慣れた人にも楽しめるように作り替えた新しい遊びを作ることを目的としました．昔ながらの遊びから体を使う遊びとしてめんこを選び，めんこをデジタル化することとしました．めんこは通常，下に置いてある相手のめんこに自分のめんこを投げつけてめくる遊びですが，めくるにはある程度の技術や力が必要になります．これらのことから，めんこを元の型からより遊びやすいものに変えることで体を動かす遊びを残しつつ，新しく親しみやすい遊びを作ることとしました．そのために，リアリティを追求することとデジタルな楽しさを付与することを考え，リアリティの追求として遅延を出来る限り少なくすること，デジタル化を行うが実際にめんこを投げるステップは残すこと，めんこの落下位置に応じた映像選択を行い違和感をなくすこととしました．また，楽しさの付与としてステータスや属性，スキルなどのデータを用意し，その値によってめくれる判定を行うことでゲーム性を増し，どのめんこを選択するかなどの駆け引きなども行えるようにしたり，アニメーションを用いて実際のめんこでは味わえない視覚的効果によって楽しさを増すこととしました．
2017年度
テーマ1：AR金魚すくい〜プロジェクタを利用した拡張現実〜
本テーマでは仮想金魚すくいシステムを開発しました．仮想といってもVR空間内で閉じたものではなく，プロジェクタで仮想の水槽と魚を床に映し出し，手に持ったポイ（状の道具）を用いて魚をすくう行為をするもので，仮想空間と実空間が混じりあってできる新しいゲームの可能性を追求しようとしたものです．固定平面に水槽の枠や魚を投影するだけでなく，手に持って移動するポイに魚が入ると移動に追従して投影がなされます．ポイには加速度センサが搭載されており傾き検知によりすくう動作（ジェスチャ）の検出も行います．さらに，振動モータも搭載されており，すくった魚の大きさなどにより振動に変化を付けることで，視覚に加えて触覚的にもリアリティがあるフィードバックを実現しています．なお，デジタル化しているので，魚（生物）だけでなく，投影された「単位」をすくう（救う）ことも可能です．．
テーマ2：ダンベル君〜擬人化したダンベルとのコミュニケーションを用いた筋トレ促進システム〜
本テーマでは「形状変化型インタフェース」研究の一環として，ダンベルを物理的に擬人化して興味や愛情を持たせたりすることで，おそろかになりがちな筋トレを行うモチベーションを持続させることを狙ったものです．ダンベル本体には加速度センサが取り付けられており，運動の回数とともに正しさを計測します．ダンベルを置く台には上腕と前腕からなる腕が取り付けられており，前腕と上腕部はサーボモータにより接続され，ダンベルの動きに合わせて腕も屈伸します．また，継続してダンベル運動を行うことで，人間の方に筋肉が付くと同様に，ダンベルの腕も力こぶが出現します．
2016年度
テーマ1：てくてくだんごむし〜デバイス間を行き来する仮想ペット〜
本テーマでは，異なるディスプレイ空間をシームレスに繋いだアプリケーションとして，両空間に存在する仮想ペットを目指しました．床に向けてプロジェクタで投影した「地面」上を仮想ダンゴムシが移動する世界があり自由に動き回っています(a)，ダンゴムシの進行方向にスマホがあるとスマホの画面に移動します．両者にまたがっている最中もダンゴムシの体はその場所に応じて両方の空間に違和感なく描画されます(b)．また，ダンゴムシがいる最中にスマホを持ち上げると，振動を検知してダンゴムシは丸くなり，再び地面においてしばらくすると動き出します．地面においたときにスマホを傾けるとそちらの方向の投影面に丸くなった状態で転がり出るといった実際のダンゴムシとのインタラクションに見られる動きを再現しています．
テーマ2：すまちょ〜圧倒的にスマートな貯金箱〜
本テーマでは，IoT (Internet-of-Things)の例として，インターネットに繋がった貯金箱を開発しました．コインの種別が判定可能な貯金箱はTwitterクライアントにもなっており，入金されると喜び，しばらく入金されると入金して欲しい旨のツイートをします．Twitterをインフラに使っているために他のTwitterクライアントが搭載された端末で容易にそのツイートを受信可能です．今回は実装を見送りましたが，会話手順を決めておくことで他の貯金箱と「会話」をすることも出来ます．
2015年度
テーマ1：デプシス・ポンプをつかった人の影の風船化
本テーマでは，本来厳密に１対1に存在ししている物体（人）と影の関係を拡張し，影と相互作用（インタラクション）できるシステム（デプシス）を実現することを目指しました．つまり，見た目は人の影ですが，一部はコンピュータが作り出した仮想の影で，ホースをもった体験者（影を作り出す人）に別の人がホースに繋がったポンプに空気を注入するとそれに合わせて影を膨らませることが出来ます．人の体の周辺に仮想の影をマッピングするために深度カメラ（Kinect）を用いて骨格検出を行い，空気ポンプの注入状況を測るためにホース内にマイクロホンを設置しています．ポンプの動きという実世界の動きが仮想の影に反映され，それがポンプを動かす人に影響を与えるという点で，実世界と仮想世界の相互作用を実現した例です．
テーマ2：めがねくん：眼鏡デバイスを用いたデスクワーク中の健康管理システム
本テーマでは，眼鏡型デバイス（めがねくん）によりデスクワーク中の健康状態管理を自然な状態で可能にすることを目指しました．化学実験用ゴーグルに，瞬きを計測するためのまぶたの動きに伴う距離変化を検出するフォトリフレクタと，頭部の動きを検出するための3軸加速度センサ，制御用の超小型Arduino（Pro mini），スマートフォンとの連携のためのBluetoothモジュールを搭載しており，眼鏡単体で計測が可能です．検出した瞬きや頭部の動き情報はスマートフォンに送信され，仮想のキャラクタ（めがねくん）が利用者に休憩や首を回して凝りを和らげることを促すメッセージを出します．
2014年度
テーマ1：P.M.P：ジェスチャ認識を用いたプレゼン支援機能
本テーマでは，身振り手振りでスライドプレゼンテーション最中のスライド送りを制御することを目指しました．深度センサ（Kinect）により発表者の骨格情報を取得し，特定のジェスチャを骨格状態の遷移から認識します．そして，画像の集合で表されたプレゼンテーションを進ませたり戻したりします．また，スライド中の3次元モデルを回転させたり拡大縮小させたりして説明するために，Unityを用いて3次元モデルの操作を実現しました．
テーマ2：ポッとも：花の状態を通訳する花瓶
本テーマでは，Internet-of-Thingsの一例として， 花瓶に生けられている花に愛着を持ってもらうために， 花瓶が自身の状態をセンシングしてインターネット上の人間とコミュニケーションをするシステムを開発しました．光量や水量が十分でないと，花瓶はユーザが接近したときに震動したり表情を形成するよう配置されたLEDが点灯して通知し（実世界でのユーザとのインタラクション），Twitterを通じて自身の「心情」を呟きます（仮想世界でのインタラクション）．このようにあ，デジタル化しTwitterというインフラに統合することで人とモノのコミュニケーションが成立します．システムは，ArduinoにEthernetシールドを搭載しているため，中継のPCなしにモノ単体で動作可能です．
2013年度
テーマ1：AURORA：物体形状に動的に対応した情報投影
本テーマでは，動的なプロジェクションマッピングを目指しました．東京駅に代表されるプロジェクションマッピングは事前の詳細な投影位置決めが重要となりますが，時間がかかる作業となるうえ，形状が時々刻々と変化する物体には対応することができません．本テーマでは，深度センサを用いて取得した物体形状の情報をもとに投影内容を変化させます．すなわち，高さに応じて投影する色を変化させます．また，プロジェクタの性質上，距離が離れるにつれて投影がそのサイズが大きくなり狙い通りの位置に指定した色を出力することが出来なくなるので，距離に応じて画素数を変化させています．
テーマ2：諷ring：さりげなく伝える風鈴型警告器
本テーマでは，日常空間に浸透したモノを用いた情報伝達を目指しました．ネット上に存在する情報源（天気予報）とデバイスが存在する空間の状態（温度，湿度）をもとに警告内容を決定し，本物の風鈴の音や風鈴に設置されたLEDの色や点滅により，警告を伝達します．外部の制御用PCを必要とせずに，風鈴自体がネット上の情報取得，温度/湿度センサからのデータ取得・解析を行い，制御を行います．また，ユーザの詳細情報取得要求を考慮して，自動提供・手動取得という2段階のインタラクションを提供します．手動取得はユーザが風鈴の音や点滅の詳細を知りたい場合に，スマートフォンを通じて取得することを可能にするもので，風鈴自体の短冊に印刷されている2次元マーカー（QRコード）を端末で読み取り，風鈴へのアクセス情報を得て，端末のWebブラウザで詳細情報を閲覧します．風鈴にはArduinoが搭載されており，ミニWebサーバが搭載されています．また，風鈴の中の玉はモーターにつながっており，任意のタイミングで音を発生させることが出来ます．
2012年度
テーマ1：エリオカート：仮想空間を走るラジコンカーの開発
本テーマでは，物理世界を走るラジコンカーと仮想空間が作り出す情報の融合を目指しました．システムは，ラジコンカーが走っている場所を認識して（便宜的にラジコンに視覚マーカーを貼付），プロジェクタを通じて仮想的な氷や悪路を作り出します．すると，それに応じてラジコンカーがユーザの操作とは別に振る舞いを変えます（例：スピンする，コース外に出ようとすると止まる）．ラジコンカーとしては，赤外線リモコンで制御できる「チョロQハイブリッド」を用いており，前進・後退・停止・左右の操縦に必要なリモコンコードを学習することで，自作のプログラムからコントロールできるようになっています．
テーマ2：T to T:協調型音楽ゲームのための入力装置の開発
本テーマでは，プレイを通じて他者とのコミュニケーションを深めることができるようなゲーム用入力インタフェースの開発を目指しました．特に，音感リズムゲームと呼ばれるジャンルを対象としました．具体的には，１）ゲーム中に声を掛け合うなど，協力あるいは共同でタスクをこなさなければならない要素を導入することで「協調性」を発揮できるようにすること，２）協力あるいは共同でタスクをこなすことで達成感や難易の感想を共有することで，ゲーム後のコミュニケーションを活性化するようにすること，をポイントとしました．右図にあるような筒状のデバイスにはそれぞれ３カ所に「握り」を検知するセンサを取り付けてあり，どこを握っているかを把握することができます．画面に出される指示に従い２人のプレイヤが棒を握ります．
2011年度
テーマ1：i-Fukuwarai: 伝統的な遊びの拡張
本テーマでは，「デジタルな遊び(ビデオゲームなど)」と「アナログな遊び(伝統的な遊び)」 の 2 つの遊びの形態を融合した，どの世代でも楽しめるようなツールを開発することで，あらゆる 世代の人でも楽しみつつ世代を越えたコミュニケーションを取ることを目指しました．本システムの特徴は，自分自身の顔の画像（またはあらかじめ用意した任意の顔画像）を用いて福笑いをすることができる点にあります．通常の福笑いに見られる紙のパーツを手で配置する際の手触りを残すことを重視して，a)のような各パーツを用意してあります．パーツには一意に識別可能なように可視マーカがつけられれており，位置と方向を机上のカメラを通じて認識します．紙パーツの配置結果は，あらかじめ取り込みパーツ部分を除去して肌色で塗りつぶしておいた顔領域上に，配置され平滑化処理されます．
テーマ2：プレゼンテーション支援ツール for Anrdoid携帯
本テーマでは，スマートフォン（Android携帯）パワーポイントを用いたプレゼンテーションを支援することをめざしました．現在でもレーザーポインタにスライド送り機能が合体した製品が販売されていますが，本テーマではページ送り戻しや指示棒機能 (a) といったそれらに共通の機能に加えて，残り時間の通知(b)や特定ページへのジャンプ(c)などディスプレイとタッチ入力といった高機能なスマートフォンのUIを生かしたものとなっています．また，発表時の聴衆に与える印象も考慮して，誤タッチや端末画面の注視をしなくても済むような操作性を目指しました．あらかじめ，パワーポイント資料をJPEGで画像として保存して，Android端末側に保存しておくことで，サムネイルを見ながらスライドのジャンプを迅速に行うようにすることで，画面の注視時間を減らすようにしました．なお，本テーマの成果物は， 東工大・像情報工学研究所および（社）映像情報メディア学会主催のモバイルアプリコンテスト2012にて優秀賞を受賞しました．
2010年度
テーマ1：Interactive Ant: 拡張現実感を用いた仮想アリとのインタラクション
本テーマでは，プロジェクタで机上に投影されたアリの群れのアニメーションに，障害物を置いたりエサをやるといった現実世界で見られる操作を加えることで仮想世界と物理世界とのインタラクションを実現します．巣穴から出たアリはエサを見つけるとフェロモンを残して巣穴に戻ります．それを検知した他のアリが次々と集まりだし，やがて「仮想アリの道」ができます．この道は，障害物（カラー粘土塊）を置いてもそれを回避するように再生成されます．さらに，ルーペを置くと，ルーペ内部のアリの像が拡大表示されます．障害物や餌を載せたスプーン，ルーペは物理世界に存在する物体ですが，それらの種別や位置の特定はマーカーを使わずに物体そのものを認識することで実現しているので，より自然な状態を表現することが出来ます．
テーマ2：SmartUmbrella: 便利傘
本テーマでは，既存の日常物に新たな価値を付加するというコンセプトに基づき，傘に知覚・出力（I/O）機能を付加しました．傘は持ち歩いていることが分かるように加速度センサと，携帯電話（Androidスマートフォン）との連携および携帯電話との距離を電波強度から推定するためのWiFiモジュール（シングルボードコンピュータ：PhidgetSBC）が搭載されています．
アプリケーションとしては，１）携帯電話を通じて取得した降雨予報に基づいて帯同を促すようにLEDを点灯させる「天気情報通知機能」，２）コンビニなどで傘立てに置いたまま去っていくことを防ぐ「置き忘れ防止機能」，３）傘の持ち主との携帯電話とのペアリングにより持ち主以外が持ち去ろうとする（ペアの携帯電話が付近にない）ことを防止する「盗難防止機能」を実装しました．
2009年度
テーマ1：拡張現実感を利用した思い出管理・利用システム
旅先で買ったお土産（物理オブジェクト）や撮った写真（電子オブジェクト），イベント情報などを「時間」や「場所」で関連づけて管理しておき，ヘッドマウントディスプレイ（HMD）を通して，目の前のお土産に付加して提示しようというものです．右図のようにお土産には，それを識別できるマーカーがつけられており，購入した時間や場所を関連づけることができ，コンピュータ上で管理することが出来ます．このお土産を中央にあるようなHMDを通じて見ると，その土産を買った場所の地図やそこで撮られた写真などが近くに重ね合わさった状態で見ることが出来ます．マーカーの処理と情報表示はARToolkit+OpenGLを利用しています．
さらに，マーカーをつけた手袋で特定の写真を指定して，それを同じくマーカーが付いたデジタルフォトフレームに重ねると（ドラッグ&ドロップ）そこに写真を表示することが出来ます．この操作はマーカー同士の位置関係で認識しています．
テーマ2：インタラクティブな仮想ペットの実現
たまごっちのような仮想ペットは電子デバイス上に存在しますが，インタラクションの手段はボタンを押すような単純な動作に限られています．このテーマでは，仮想ペットが存在する物理オブジェクトをたたいたり，明るさを変えたりといった実世界で発生したイベントを入力として，仮想ペットを制御します．下図のように，プロジェクタを通じて水槽と仮想ペットの映像をタスクリーンに投影します．物理世界とのインタラクションを実現するために，タッチ位置を最大73分割して取得できるスクリーンを開発しました．同種の仮想ペットはBoidアルゴリズムにより自律的に群れを形成して移動しますが，スクリーンをタッチすると群れの形状が変化します．
また，スクリーンの四隅にはライトで照らされている場所を検出するために光センサを配置し， RFIDタグが付いた「仮想エサ」を与えたことを検知するためにRFIDリーダーを配置しました．光を当てた場所にある「藻状生物」は長さによって活性度が変化します（d, e）．一方，仮想エサが検出されるとえさ箱の近くに寄ってきて，体が大きくなったり分裂して数が増えたりします（f）．
