本研究室では,機械学習やニューラル・ネットワーク等の人工知能(AI)の基盤技術を導入して,視覚的コンテンツを生成/編集/解析する新たな手法を探求しています.アニメーションやイラスト等のグラフィカルなメディア表現だけでなく,その現実世界への実体化,および新たな付加価値を創出する数理・解析モデルやアプリケーション等を幅広く開拓しています.


研究内容


学部3年生向けの研究室紹介

活動状況

沿革

1994: 豊橋技術科学大学・情報工学系・情報処理大講座に マルチメディア情報処理研究室 [Multi-Media Information Processing lab.](金子研)の創設
1998: 画像工学研究室 [Visual Computing Lab.] に改称(金子・栗山研)
2005: 英語名を Visual Agent Lab. に改称(栗山研)
2011: 学内再編により,名称をグラフィックスメディア研究室に改称
2018: 英語名を Visual AI Lab. に改称

共同/受託研究

刺繍機製造会社, 広告用LEDボード製作会社, アニメーション制作会社, 自動車製造会社, 鍛造工業, 弁護士事務所, IPA, CREST, 東三河地区NPO, 他

寄附金

人工知能研究振興財団, 日比科学技術振興財団, 東海産業技術振興財団, 栢森情報科学振興財団, 松下視聴覚教育研究財団, 放送文化基金, 堀情報科学振興財団, 他

科研費一覧

構成員

教授:栗山 繁

助教:募集中


  • 秘書:横山 浩子

修士2年:

  • 鬼塚 慎吾
  • 木佐 省吾
  • 高筒 飛輝
  • 出口 風人

修士1年:

  • 高橋 遼
  • 高橋 大貴
  • 藤原 玖嶺
  • Ho Quan Xiu
  • 和田 崚佑

学部4年:

  • 伊藤 圭壱
  • 幸家 大和
  • 高橋 直暉
  • 田村 敏輝
  • CHANVONGNARAZ KHAMPASITH
  • 二葉 知泰

OB/OG

歴代教員:

教員の卒業生:

過去の客員教員/研究員:

  • 岩崎 洋平(熊本高専・准教授)
  • 佐藤 恵一(函館高専・准教授)
  • Yi Li(LAAS-CNRS)

OB/OG全リスト

進行中のプロジェクト

機械学習に基づくモーションデータの識別と生成

人間の動きを3次元計測して得られるモーションキャプチャデータに対して最先端の深層学習・パターン認識技術を導入し,舞踏やスポーツ,および技能訓練に役立つシステムの構築や,人物動作の識別,自動生成などの技術に取り組んでいます.

ジェスチャ動作のスタイルリターゲット

Avatar Gesture

化身(アバタ)を用いたコミュニケーションにおけるジェスチャの表現力を高めるために,個性的な動きを実時間で付与する技術を開拓しています.

生成的な深層学習に基づく動作の生成

Motion synthesis with GAN

生成型深層学習の敵対的な学習を用いて,人物の多様な動きを生成する手法を開発しています.

深層学習に基づく人物モーションの生成と編集,画像電子学会論文誌
Deep Compact Motion Manifold に基づくモーションの生成と編集

熟練動作の可視化とアダプテーション

Tennis Training System

スポーツや技能動作のコツを可視化するシステムや,複雑な目的動作を適応的に生成する手法を,首都大学東京および九州工業大学の研究室と共同で開発しています.

Development and evaluation of a self-training system for tennis shots with motion feature assessment and visualization (The Visual Computer)
Motion Adaptation with Cascaded Inequality Tasks (SIGGRAPH Conference on Motion, Interaction and Games 2019)

機械学習に基づく画像生成・編集・工芸への応用

大量のイラスト画像やフォント画像,および自然画像等から最先端の機械学習を用いて特徴を捉え,個々の画像に新たな情報や価値を創出する,生成的な技術を開拓しています.

漢字画像の高品位な刺繍変換

Kanji Embroidery

漢字のフォント画像の特徴を深層学習を用いて抽出し,機械刺繍用のデータへと高品位に自動変換する技術を企業と共同で開発しています.

漢字フォント画像からの刺繍データの自動生成(FIT2019)

静止画像の動画化

Animating Landscape

静止画像の時間変化を深層学習によって学習し,タイムラプス動画を1枚の静止画像から自動生成する技術を開発しました.

Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis, ACM Transactions on Graphics (SIGGRAPH ASIA 2019)
色と動き情報の学習による静止画像からのシネマグラフ生成,情報処理学会 CGVI 研究会【優秀研究発表賞】

光源の色推定に基づく画像メディア処理への応用

カラーLED照明は公共や生活の空間に新たな体験やコミュニケーション手段をもたらすメディアとしての価値創造が求められています.本プロジェクトでは画像データに基づく電飾イルミネーションの調光技術やカラー照明下のシーン解析技術などを開拓し,先進的な画像処理技術に基づくオプティカル・メディアの創成を目指しています.

カラー照明シーン画像の色推定

画像解析・認識技術と深層学習技術を応用して,シーンを照らす複数種類のカラー照明の光源色を推定・シミュレーションする技術を開拓しています.

屋内照明景観の認知的な再現

カラー照明で照らされた屋内の色味を,通常のカメラで撮影した画像で再現するのは困難です.本プロジェクトでは,HDR画像を用いて色味を認知的に自然に再現する画像変換・合成技術を開発しました.

有彩色照明シーンの色情報を考慮したダイナミックレンジ圧縮, 電子情報通信学会論文誌
Restoration of color appearance by combining local adaptations for HDR images, AIC2015

カラー照明による色彩演出の色印象再現,照明学会全国大会【優秀ポスター発表者賞】

終了したプロジェクト

イラスト画像の情報学

最先端の機械学習を用いて特徴を捉え,イラスト画像に対する新たな応用を創出する技術を開拓しました.

イラスト画像の低解像度化に伴う認知評価指標

イラスト画像をダウンサンプリングしてピクセルアートを生成する際に生じる画質の劣化を,視覚認知的な実験に基づき指標化する手法を提案しました.

イラスト画像の低解像度化に対する認知的な画質評価指標

スタイルに基づくイラスト画像検索

クリップアート等のイラスト素材画像からスタイルの特徴を抜き出し,類似したスタイルの画像を検索・分類・ランキング表示する手法を開発しました.また,スタイル特徴量に基づくセグメンテーションや,色彩理論に基づく色特徴量の抽出手法などを開発しました.

教師なし距離計量学習を用いたイラスト描画スタイルの比較,電子情報通信学会論文誌
イラスト画像のスタイル識別子生成,情報処理学会論文誌【2015年度論文賞等】
An Unsupervised Approach for Comparing Styles of Illustrations 【Best Paper Award】
クリップアート画像のスタイル分類特徴量 - スタイルに基づくランキング -,VC/GCAD 合同シンポジウム【優秀研究発表賞】

画像処理技術のデジタルカラー調光への応用

本プロジェクトでは画像データに基づく電飾イルミネーションの調光技術やカラー照明下のシーン解析技術などを開拓しました.

イルミネーションの色域を考慮したカラー画像の色変換

LED光源で構成される装飾的なカラーイルミネーションの調光信号を画像の画素値から計算する際に,それらの色域の違いや色ズレを考慮した変換手法を提案しました.

LED点光源群への出力を考慮した画像の色変換最適化

スマートイルミネーション/自律型照明調光システム

画像解析・認識技術を応用して,電飾イルミネーションの表示品質を向上させる手法や,肖像画の自撮りを支援する移動ロボット型の照明システムなどを開発しています.また,省エネ性能を考慮したカラー照明の最適制御技術を開発しました.

顔画像からの照明条件の推定と照明ロボット制御への応用, 情報処理学会 CGVI 研究会【優秀研究発表賞】
WYSIWYG Light:実画像を用いた照明の最適制御,情報処理学会 UBI 研究会【優秀研究発表賞】
WISISYG Light demo

ビジュアル/オプティカルコード

2次元バーコードを用いる代わりに「美的な外観」の画像や絵柄をデジタルカメラ等で撮影することにより,埋め込まれた情報を読み取る技術を開発しました.また,2次元バーコードの不可視性を高めて画像に重畳する技術や,可視光(カラーLED光源)を用いたデータ伝送技術も開発しました.

流線コード

スマートフォンに表示されたカラーコードの残像を読み取ることにより,撮影画像のブレに影響を受けない,身振り動作を交えた情報伝送システムを開発しました.

流線コード:カラーパターンの残像を用いた情報伝達, 電子情報通信学会論文誌

照明カラー変調コード

色彩光源の時空間的な変化パターンをデジタルカメラの撮影動画から認識する技術を発展させ,カラーLED光源を用いた広告システムやイルミネーションに情報を埋め込んで配信するアプリケーションを開発しました.

色調整可能な照明と物体反射光の動画撮影によるデータ送受信,電子情報通信学会論文誌
Virtual Gashapon demo

擬態化バーコード

デジタル広告システム等の大型モニターに表示された映像に動的に変化するバーコード映像を埋め込み,スマートフォンでの撮影動画から情報を読み取る対話的なメディアシステムを開発しました.

Mimetic code using successive additive color mixture, IEICE Transactions on Information and Systems

テクスチャ画像コード

IEEE CG&A

参照画像のパターンマッチによりテクスチャ画像を自動生成する技術を応用して,ドット化された情報コードをテクスチャ画像中に目立たなく埋め込む技術を開発しました.

Texture Synthesis for Mobile Data Communications, IEEE Computer Graphics and Applications

イラスト輪郭線コード

Contour Code

イラストの輪郭線の色を微小に変色する技術を用いて,情報コードの埋め込みと安定な読み取りの技術を開発しました.

図形輪郭線の明度変化を用いた情報埋込,電子情報通信学会論文誌
複数の図形輪郭線の明度変化を用いた情報埋め込み,情報科学技術フォーラム講演論文集

色復元コード

フレーム枠上のビジュアルコードから画像色空間の特徴量を読み出し,撮影画像から原画像の色を復元する技術を開発しました.

色特徴のコード化を用いたカメラ撮影画像の色復元,電子情報通信学会論文誌
Color Restoration with Visual Feature Code, , IWAIT 2011

ヒューマノイド・アニメーションの知的生成

モーションキャプチャ・データに基づく仮想人間の動作や人体変形の生成技術として,核ノルム最適化,空間統計学,神経振動子等のモデルを導入した手法を提案しました.

スパース最適化に基づく体表面変形アニメーション(向井智彦氏[首都大学東京]との共同)

High Dynamic Range Images

核ノルム最適化手法を用いた,線形ダイナミクスに基づく体表面の変形を事例学習によってモデル獲得し,実時間で再生できる手法を開発しました.

Efficient Dynamic Skinning with Low-Rank Helper Bone Controllers, ACM Transactions on Graphics (SIGGRAPH 2016)

空間統計学に基づく動作補間

SIGGRAPH 2005 Pacific Graphics 2007

類似した複数のデータを,空間統計学で提唱された Kriging というデータ補間手法を用いて精度良く合成する手法を開発しました.その研究成果は SIGGRAPH 2005 で論文として口頭発表しました.また,同手法をデータのテンソル積変換に応用した,高精度の圧縮手法も開発しました.
Geostatistical Motion Interpolation, ACM Transactions on Graphics (SIGGRAPH 2005)
SIGGRAPH demo movie
さらにこの手法を多重線型モデルに基づく動作生成の詳細度制御へと発展させ,実時間での高精度かつ効率的な動作補間法を開発しました.
Multilinear motion synthesis with level-of-detail controls, Pacific Graphics 2007

モーションデータの強化学習を用いた動作生成

IEICE 2004

人体構造に合致した階層的な強化学習法を導入して,モーションデータから任意の動きを合成する手法を開発しました.
動作データ学習を用いた仮想人間のキーフレームアニメーション,電子情報通信学会論文誌
モーションデータによる目的関数推定法を用いた仮想人間の動作生成,情報科学技術フォーラム【FIT 船井ベストペーパー賞】
Extensive and Efficient Search of Human Movements with Hierarchical Reinforcement Learning, Computer Animation 2002 (CA 2002)

人体骨格の隠れ構造を用いたデータ駆動型逆運動学

ITE 2005

手先や足先の終端効果器を操作して動きを生成する際に,逆運動学で計算される動きを実測データに近づけるために仮想の副次的な骨格構造を学習する手法を開発しました.

逆運動学の副次骨格を用いた動作生成機構,映像情報メディア学会誌

神経振動子に基づく自律的歩行生成

IEICE 2004

歩行動作のアニメーションにバイオメカニクスの分野で提案された神経振動子のモデルを導入し,物理的な外乱等に対する自律的な動作制御法を開発しました.

神経振動子を用いた歩行アニメーションの自動生成,電子情報通信学会論文誌
Physiological Gaits Controls with a Neural Pattern Generator, The Journal of Visualization and Computer Animation

モーションデータの編集と検索

大量に蓄えられた動作データの検索技術や目的に応じた高度な編集技術を開発することにより,素材コンテンツとしての再利用技術を開拓しました.動作データの配信システム ToMoLoW(TOyohashi MOtion Library On Web)を開発し,可視化技術を用いたデータの直観的な検索機構と共にネット上に一般公開しています.

タイムライン表示を用いた動作データの伝播的編集技術

Symposium on Computer Animation 2009

人間の動作に含まれる姿勢をタイムライン上に効率的に可視化し,類似した動きに対する伝播的な編集機能を備えた対話的なシステムを開発しました.
Pose-Timeline for Propagating Motion Edits, Symposium on Computer Animation (SCA 2009)

リミテッド・アニメーション製作におけるモーションデータの活用

Nodame

日本のアニメーション製作で導入されたコマ落としの手法によって生み出される「リミテッド・アニメーション」の作風を,モーションキャプチャされたデータを自動的にコマ抜きして再現するシステム(MoCaToon:左図)を,戦略的創造研究推進事業(CREST)で開発しました.そのシステムを使用して,アニメーション製作会社および早稲田大学と共同でTV放映作品(のだめカンタービレ)を製作しました.
キャラクタアニメーション制作の高能率化手法,映像情報メディア学会誌
「のだめカンタービレ巴里編」指揮者, CREST「銀河鉄道物語」

帰納的推論モデルに基づくモーションデータの検索

CASA2009

大量のモーションデータから人の動きの規則を自動生成し,機能的な推論計算エンジンを用いて所望のデータを検索する技術を開発しました.

Generating Concise Rules for Retrieving Human Motions from Large Datasets, Computer Animation and Social Agents (CASA2009)

Motion Map:自己組織化マップを用いた大量モーションデータの対話的検索

SCA 2004

大量のモーションデータから抽出された姿勢を自己組織化マップを用いて表示し,対話的にデータ検索するシステムを開発しました.

Motion Map: Image-based Retrieval and Segmentation of Motion Data, Symposium on Computer Animation (SCA2004)

動作・行動のシミュレーション

モーションキャプチャデータを用いて人間の動作や行動をシミュレーションして解析に役立てる技術を開発しました.

認知心理学に基づく群衆シミュレーション

SCA 2004

群知能の行動アルゴリズムとパーソナルスペースの認知モデルを用いて,密度の高い群衆の振る舞いをモーションデータの自動合成を用いてシミュレーションする技術を開発しました.

Psychological Model for Animating Crowded, Computer Animation and Virtual Worlds (Special issue CASA 2005)
心理モデルを用いた集団歩行の自動生成,映像情報メディア学会誌

運動技能の可視化解析システム

IWAIT

空手や水泳等の計測が困難なスポーツにおける動作の推定方法やテニス動作における認知的な動作解析手法等を開発しました.

Animations of Real Swimming via Motion Reconstruction, IWAIT 2011
特徴学習を用いた空手組手の動作識別, 情報科学技術フォーラム

ウェブ上での行動シミュレーション

SIGGRAPH 2003 Web Graphics

動作のシミュレーションにより工場の設備環境の設計を支援するシステムを,ウェブ・アプリケーションとしての開発が可能なミドルウエアとして,情報処理推進機構(IPA)の「未踏ソフトウェア創造事業」により開発しました.

Extensible Task Simulation with Motion Archive, Transactions on Information and Systems of IEICE
Extensible Behavior Simulation with Motion Archive, SIGGRAPH2003 Web Graphics