以iPi Mocap Studio 2搭配單台Kinect捕捉動作至3dsMax CAT

本文主要以單台Kinect搭配 iPi Recorder 2 擷取深度影像並使用iPi Mocap Studio 2捕捉人體動作資料,並以3dsMax搭配MotionBuilder使CAT骨架系統使用該動作資料。
使用Kinect來做動作捕捉雖然不是最好、最精確的解決方案,但是能以較小的空間、較少的裝置來進行動作捕捉,算是種能普及、家用的動作擷取方式。
想必此種方式能為小型工作室、實驗單位節省較大經費、空間的動作捕捉系統成本。


動作捕捉系統主要有以下幾種類型

  • 電磁式
  • 機械式
  • 光學式
  • 被動光學式
  • 超音波式
  • 光纖式
  • 陀螺儀式
  • 影像式
在這裡談的Kinect使採用影像式的方式,以紅外線脈衝照射物體反射,搭配CMOS圖像感測器接收反射紅外線,來進行深度資料的分析辨識。
iPi Mocap Studio 2能同時分析多台Kinect的深度資料,以免某些人體動作會出現遮擋的姿勢,而缺少某些角度的深度資料,造成部分動作無法分析辨識。
這裡示範主要以單台Kinect,就不為雙台Kinect的處理多加描述。

首先要先下載並安裝iPi Recorder以及iPi Mocap Studio,iPi Recorder是拿來錄製深度資料用、iPi Mocap Studio則是拿來解析深度資料以及輸出動作資料檔。
並且要安裝Kinect for Windows SDK,讓Windows能夠正常驅動Kinect。
而後開啟iPi Recorder進行影像錄製的動作。

iPi Recorder
iPi Recorder 軟體介面
基本的設定完後會進入Evaluation的設定區域,這邊應該是為了校正背景的地面、高度,調校完後盡可能不要移動到裝置,並且在移動到之後再回到此處重新調校。
調校完後就可以開始錄製了,錄製時盡可能讓整個身體都能讓裝置讀取到,並且注意腳掌不要被遮擋,大動作注意盡可能不要有跑到身後而缺少部分深度資料的情況,可以盡可能面對裝置,真的無法避免則考慮使用雙Kinect,以不同角度擷取到被遮擋部分的深度資料。
並建議在要判讀的動作前,擺T-Pose,在擷取動作時比較好對應第一個位置。

左手被軀體遮擋而缺少部分深度資料,且腳掌也稍微沒有判讀到

錄製完畢之後則換使用iPi Mocap Studio 2來進行動作資料的捕捉。

第一步:
讀入方才由iPi Recorder錄製的深度資料

File -> New Project
第二步:
使用Move工具,將骨骼重心調整貼近捕捉到的深度資料,再使用右方面板Tracking的Refit Pose,將骨骼對應到第一個T-Pose,以便進行接下來的追蹤。
並於下方時間軸將兩條時間軸調整為您要擷取的區段。
附註:可從上方工具列的Video將錄製到的背景影片關閉顯示。


第三步:
於右方工作面板點擊 Track Forward 前向追蹤,如果要中途停止則點擊 Pause Tracking 停止追蹤。
可由中間的  Tracking resolution 調整追蹤品質,預設是使用高品質,但速度會較慢。


第四步:
檢查細節並修正,是否出現遮擋而動作錯亂或判斷錯誤,可以使用上方工具列的Move、Rotate、IK調整姿勢,再使用Refit Pose對齊,並反覆調整以求骨骼正常。
而後再使用 Track Forward  或  Track Backward順向或逆向追蹤判斷。
也可使用上方選單的Edit -> Copy Pose 、Paste Pose或 Delete Pose 做姿勢的複製、貼上與清除。


第五步:
於右方工作面板 Post-processing: Jitter Remove 後置處理 清除抖動,可以從Options將腳稍微調整偏向Smooth,以免過度抖動。
設定完畢後按下Apply即開始修正處理,可按下Stop停止。


第六步:
於右方工作面板的Export選擇Export animation for 3D MAX Biped...,將目前動作資料存為Biped骨骼對應的動作檔案。


第七步:
將動作資料導入3dsmax 2013的Biped骨骼。


第八步:
將導入的Biped骨骼Send to MotionBuilder 2013。


第九步:
將要導入的CAT骨骼導入方才導入的MtionBuilder場景。


第十步:
於MtionBuilder給予Bipde,3dsmaxBipedTemplate

第十一步:
選擇方才匯入至MtionBuilder的CAT骨骼,並將Source選為Biped。

第十二步:
選擇其中一節CAT的骨骼後,按Updata,將目前CAT動畫資料導回3dsmax。





參考文獻:
林永祥(2010)。以 SOWT分析光學式動作擷取系統發展趨勢。2010年第三屆運動科學暨休閒遊憩管理學術研討會論文集。http://140.127.82.166/retrieve/10754/467.pdf

留言

這個網誌中的熱門文章

參加畢業展之設計類展場小心得

Unity 判斷兩物之間距離、角度,並注視目標

Action Game Maker 1.03 正體中文漢化版