增強現(xiàn)實中多目標3D跟蹤定位和WH-SIFT特征識別方法研究

由于目前大多數(shù)增強現(xiàn)實跟蹤定位技術(shù)主要采用純粹基于幾何信息的跟蹤定位方式，缺乏對場景的理解和對目標的識別。造成現(xiàn)有算法需要大量的人工干預，無法實現(xiàn)場景中的多目標跟蹤定位。此外，現(xiàn)有的特征提取匹配算法為保證特征對尺度、光照和視點變化的魯棒性，而采用高維數(shù)的強特征描述。強特征描述矢量的建立加大了系統(tǒng)的計算負載，降低了系統(tǒng)的實時性能。對需要進行大數(shù)據(jù)量處理的問題，如圖像檢索、大型三維模型的創(chuàng)建構(gòu)成性能瓶頸。針對以上問題，本課題采用Bag of features的物體識別模型在Randomized ferns分類器框架下，實現(xiàn)校園環(huán)境下的多目標識別。實驗結(jié)果表明，該算法實時性好，識別場景數(shù)量可多達1000個。在特征提取匹配算法方面，課題組采用Walsh-Hadamard核變換方法，在保持特征具有尺度、光照、視點不變性的同時，有效降低特征描述矢量的維數(shù)。在增強現(xiàn)實跟蹤定位方面，課題組對基于平面的跟蹤注冊算法以及基于模型的跟蹤注冊算法都進行了深入的研究與探索。完成了戶外復雜環(huán)境下的增強現(xiàn)實跟蹤注冊算法，并成功應(yīng)用于圓明園數(shù)字數(shù)重現(xiàn)項目。在完成課題基礎(chǔ)上，課題組超額完成了基于詞匯樹的目標識別算法，并成功應(yīng)用于基于手機平臺的移動增強現(xiàn)實系統(tǒng)中。同時課題組拓展研究了實時目標檢測算法，實現(xiàn)了手機端的蔬菜自動檢測算法。 課題的研究成果為構(gòu)建更高效、穩(wěn)定、能夠自適應(yīng)場景和環(huán)境的智能化增強現(xiàn)實平臺打下了基礎(chǔ)，拓展了系統(tǒng)的應(yīng)用領(lǐng)域和適用范圍。目前課題取得的多目標識別以及跟蹤定位算法研究成果已申請國家發(fā)明專利，并成功應(yīng)用到國家重大專項支持項目以及多項企業(yè)聯(lián)合項目。

目前大多數(shù)增強現(xiàn)實跟蹤定位技術(shù)主要采用純粹基于幾何信息的跟蹤定位方式，缺乏對場景的理解和對目標的識別。造成現(xiàn)有算法需要大量的人工干預，無法實現(xiàn)場景中的多目標跟蹤定位。此外，算法在實現(xiàn)特征識別時，為保證特征對尺度、光照和視點變化的魯棒性，而采用高維數(shù)的強特征描述。強特征描述矢量的建立加大了系統(tǒng)的計算負載，降低了系統(tǒng)的實時性能。對需要進行大數(shù)據(jù)量處理的問題，如圖像檢索、大型三維模型的創(chuàng)建構(gòu)成性能瓶頸。針對以上問題，課題采用Bag of features的物體識別模型在Randomized ferns分類器框架下，實現(xiàn)復雜場景下的多目標識別與跟蹤定位。同時采用Walsh-Hadamard核變換方法，在保持特征具有尺度、光照、視點不變性的同時，有效降低特征描述矢量的維數(shù)。課題的研究成果將為構(gòu)建更高效、穩(wěn)定、能夠自適應(yīng)場景和環(huán)境的智能化增強現(xiàn)實平臺打下基礎(chǔ)，拓展系統(tǒng)的應(yīng)用領(lǐng)域和范圍。

本書主要內(nèi)容為：由3dmax創(chuàng)建角色模型，并通過Unity3D和Vuforia工具進行實際場景互動，實現(xiàn)增強現(xiàn)實應(yīng)用。概述增強現(xiàn)實相關(guān)技術(shù)背景和實現(xiàn)方法，通過一個項目實例從頭到尾深入剖析具體創(chuàng)作流程和方法。

多目標跟蹤技術(shù)是計算機視覺、圖像理解領(lǐng)域的核心研究之一,其在視頻監(jiān)控、視頻分析及檢索、運動分析及合成等領(lǐng)域發(fā)揮了重要作用。由于在跟蹤過程中，目標形態(tài)的變化、遮擋的存在、復雜的環(huán)境制約及運動的相互影響等使得對多運動目標的跟蹤變得更加困難。在本研究中，申請人擬采用交互模型來對目標的運動進行預測，并通過半監(jiān)督的在線學習方法進行自適應(yīng)特征選擇，實現(xiàn)對多目標的實時魯棒跟蹤。首先，使用交互模型可以對多目標的運動提供較為準確的估計；其次，通過在線特征選擇和遮擋分析為跟蹤目標構(gòu)建具有自適應(yīng)性的表觀模型；然后，在跟蹤過程中將交互模型與基于半監(jiān)督CovBoost的在線特征選擇、在線隨機森林遮擋判別分析器結(jié)合起來，提出一種基于交互模型和在線特征選擇的多目標跟蹤器，將跟蹤中的關(guān)鍵問題（運動建模和表觀建模）統(tǒng)一到一個多目標跟蹤框架下；最后實現(xiàn)實時準確的多目標跟蹤，并嘗試拓展到視頻監(jiān)控、智能交通等實際社會民生應(yīng)用中。

第 1章　增強現(xiàn)實技術(shù)概述

1.1　什么是 AR　2

1.2　AR 設(shè)備　3

1.3　AR 的多種表現(xiàn)形式　3

1.4　AR 的應(yīng)用實例　4

1.4.1　AR 導航　4

1.4.2　支付寶 AR 實景紅包　4

1.4.3　Pokémon Go　5

1.4.4　蛋生世界　6

1.5　AR 的發(fā)展歷程　6

1.6　本章小結(jié)　7

1.7　練習　8

第　2章 增強現(xiàn)實技術(shù)實現(xiàn)方法

2.1　識別方式　10

2.2　AR 應(yīng)用的基本運行過程　10

2.3　AR SDK 與Unity 3D 簡介　11

2.4　Vuforia、Unity 3D的下載與安裝　12

2.4.1　Vuforia 注冊　12

2.4.2　Vuforia 下載　13

2.4.3　Unity 3D 下載與安裝　14

2.5　本章小結(jié)　16

2.6　練習　16

第3章　初識Unity 3D

3.1　Unity 3D 簡介　18

3.2　認識 Unity 3D 的界面　18

3.2.1　工程創(chuàng)建　18

3.2.2　Hierarchy（層級視圖）　19

3.2.3　Scene（場景視圖）　21

3.2.4　Inspector（觀察者視圖）　22

3.2.5　操作工具　23

3.2.6　Project（項目視圖）　25

3.3　Unity 的資源導入　27

3.4　本章小結(jié)　30

3.5　練習　31

第4章　Unity 3D的用戶界面基礎(chǔ)

4.1　Unity UGUI 簡介　33

4.2　Canvas 和Rect Transform　33

4.2.1　創(chuàng)建 Canvas　33

4.2.2　Rect Transform 簡介　35

4.2.3　Rect Transform 與Transform的區(qū)別　36

4.3　EventSystem　37

4.4　UGUI 控件簡介　38

4.4.1　UI Text　38

4.4.2　UI Image　40

4.4.3　UI Button　42

4.5　本章小結(jié)　46

4.6　練習　46

第5章　粒子系統(tǒng)與動畫系統(tǒng)

5.1　粒子系統(tǒng)的創(chuàng)建　49

5.2　粒子系統(tǒng)參數(shù)　51

5.2.1　基本屬性　51

5.2.2　Emission 組件　55

5.2.3　Shape 組件　56

5.3　動畫的切割　56

5.4　Animator 組件　59

5.5　動畫狀態(tài)機　60

5.6　本章小結(jié)　64

5.7　練習　65

第6章　腳本語言開發(fā)基礎(chǔ)

6.1　認識腳本開發(fā)　67

6.2　Unity 腳本的生命周期　68

6.3　訪問游戲?qū)ο蠛徒M件　70

6.3.1　掛載腳本　70

6.3.2　獲取游戲?qū)ο蟆?1

6.3.3　獲取任意對象　72

6.4　Time 類簡介　73

6.5　本章小結(jié)　74

6.6　練習　75

第　7章 創(chuàng)建一個簡單的AR應(yīng)用

7.1　Unity 工程的創(chuàng)建　77

7.2　添加識別圖與模型素材　78

7.2.1　注冊識別圖　78

7.2.2　導入模型和識別圖　81

7.3　在場景中放置模型和圖片　82

7.3.1　放置 ARCamera　82

7.3.2　放置 Image Target　83

7.3.3　放置模型　84

7.4　測試 AR效果　85

7.5　本章小結(jié)　86

7.6　練習　87

第　8章 讓模型動起來

8.1　Unity 3D 動畫系統(tǒng)簡介　89

8.2　動畫剪切　91

8.2.1　動畫編輯模式　91

8.2.2　對動畫進行剪切　92

8.3　使用動畫狀態(tài)機　94

8.3.1　創(chuàng)建狀態(tài)機　94

8.3.2　創(chuàng)建動畫狀態(tài)　95

8.3.3　向狀態(tài)中加入動畫　96

8.4　對動畫添加觸發(fā)事件　98

8.5　用腳本和按鈕控制動畫的播放　100

8.5.1　創(chuàng)建按鈕　100

8.5.2　控制腳本的創(chuàng)建與編寫　103

8.5.3　腳本和事件的添加　105

8.6　本章小結(jié)　106

8.7　練習　107

第9章　聲音的添加

9.1　Audio Source 組件與Audio Listener 組件　109

9.2　添加背景音樂與模型聲音　109

9.2.1　添加聲音組件　109

9.2.2　添加音頻文件　110

9.3　用腳本和按鈕來控制聲音的播放　111

9.3.1　聲音控制腳本的創(chuàng)建與編寫　111

9.3.2　給腳本音頻變量賦值　113

9.4　本章小結(jié)　114

9.5　練習　114

第　10章 讓模型走起來

10.1　碰撞器簡介　116

10.2　射線簡介　117

10.3　添加模型移動的腳本　118

10.3.1　創(chuàng)建地面和碰撞器　118

10.3.2　給模型添加標簽　119

10.3.3　移動腳本的編寫　121

10.4　本章小結(jié)　122

10.5　練習.......................................122

第　11章 特效的添加

11.1　粒子系統(tǒng)簡介.......................124

11.2　特效的添加...........................124

11.2.1　創(chuàng)建一個粒子系統(tǒng) .....124

11.2.2　粒子材質(zhì)的添加和

修改　.............................126

11.3　用腳本控制特效...................127

11.4　本章小結(jié)...............................129

11.5　練習.......................................129

第　12章 應(yīng)用下載

12.1　Android平臺........................131

12.1.1　JDK和SDK的安裝 ...131

12.1.2　工程的打包 .................132

12.1.3　APK包的簽名 ............134

12.2　iOS平臺................................136

12.3　本章小結(jié)...............................137

12.4　練習.......................................137

第　13章 綜合實例

13.1　準備工作...............................139

13.2　導入素材...............................140

13.3　添加動畫...............................142

13.4　添加聲音...............................146

13.5　添加特效和背景...................146

13.6　添加交互功能.......................148

13.7　添加脫卡功能.......................150

13.8　打包下載...............................1512100433B