視覺知覺學(xué)習(xí)與視覺信息加工的空間參考坐標(biāo)

知覺學(xué)習(xí)效應(yīng)的特異性和遷移性通常被用來探討知覺學(xué)習(xí)發(fā)生的神經(jīng)機(jī)制。視覺知覺學(xué)習(xí)通常特異于視覺刺激在視野中（或視網(wǎng)膜坐標(biāo)上）的位置，這一特異性提示了與視網(wǎng)膜位置有嚴(yán)格映射關(guān)系的視皮層可能參與了知覺學(xué)習(xí)的過程。然而這一思路忽略了基于視網(wǎng)膜以外的其他空間坐標(biāo)系的視覺加工過程。我們之前的研究發(fā)現(xiàn)，運(yùn)動方向辨別知覺學(xué)習(xí)不僅特異于刺激的視網(wǎng)膜位置，還特異于刺激間的相對空間位置（Zhang and Li, PNAS, 2010），這一結(jié)果暗示了知覺學(xué)習(xí)可能涉及到多種不同的神經(jīng)過程。本項(xiàng)目通過創(chuàng)新性實(shí)驗(yàn)設(shè)計(jì)，進(jìn)一步探討知覺學(xué)習(xí)的內(nèi)在機(jī)制與不同空間坐標(biāo)系下視覺信息加工的機(jī)制問題。具體研究包括：1）使用心理物理法，通過引入眼動的實(shí)驗(yàn)范式揭示了朝向知覺學(xué)習(xí)中的空間坐標(biāo)位置特異性成分，而且這種空間成分只在訓(xùn)練的朝向和訓(xùn)練的視網(wǎng)膜位置才能觀察到。隨后的實(shí)驗(yàn)發(fā)現(xiàn)，被試對訓(xùn)練刺激的注意越強(qiáng)，這種空間特異性學(xué)習(xí)成分就越大。這些發(fā)現(xiàn)提示：一方面，知覺學(xué)習(xí)可能并不是單一皮層機(jī)制的改變所導(dǎo)致的，而更可能涉及到注意網(wǎng)絡(luò)等高級腦區(qū)與低級視覺皮層之間的相互作用（Zhang et al., 2013）。在最近的一篇綜述里我們對這一觀點(diǎn)進(jìn)行了更詳細(xì)的闡述（閻，等，2015）。另外一方面，這些結(jié)果說明視覺系統(tǒng)并不一定需要一種外顯（獨(dú)立與眼注視）的空間參考坐標(biāo)來表征基本的視覺屬性，眼動伴隨的注意再影射（attention remapping）過程與低級的視網(wǎng)膜坐標(biāo)皮層表征機(jī)制的相互作用，也能實(shí)現(xiàn)基本視覺屬性的在空間參考坐標(biāo)系的表征。2）使用人顱內(nèi)電生理記錄的方法，考察頓悟式知覺學(xué)習(xí)的神經(jīng)機(jī)制，初步結(jié)果顯示視覺頓悟式學(xué)習(xí)可能同時涉及到負(fù)責(zé)注意調(diào)控的頂葉皮層與枕顳葉視皮層。3）為了直接地探討多種不同的神經(jīng)過程在知覺學(xué)習(xí)中的作用，我們已在獼猴V1區(qū)植入微電極陣列，目前正在試圖通過群體神經(jīng)元活動的改變，來揭示知覺訓(xùn)練如何獨(dú)立地提高知覺的準(zhǔn)確性和精確性兩種知覺能力的神經(jīng)機(jī)制。這些研究揭示了知覺訓(xùn)練對知覺能力的提高是多方面的，能夠多線程和多層級的影響皮層的加工過程，這對于我們理解皮層可塑性具有重要意義。 2100433B

傳統(tǒng)的視知覺學(xué)習(xí)研究通常會考察學(xué)習(xí)效應(yīng)在視網(wǎng)膜坐標(biāo)下的位置特異性，從而推測與視網(wǎng)膜位置有嚴(yán)格映射關(guān)系的早期視覺皮層的可塑性。這一傳統(tǒng)的思路忽略了視覺加工實(shí)際上涉及到多種坐標(biāo)系下的信息表征及其可能的可塑性變化。我們最近的研究發(fā)現(xiàn)視知覺學(xué)習(xí)會特異于刺激間的相對空間位置（PNAS，2010），這對于探討知覺學(xué)習(xí)的神經(jīng)機(jī)制和多種坐標(biāo)系下的視覺加工過程具有重要意義。本項(xiàng)目旨在通過創(chuàng)新性實(shí)驗(yàn)設(shè)計(jì)，進(jìn)一步探討知覺學(xué)習(xí)的參考坐標(biāo)以及多坐標(biāo)系下視覺信息加工和知覺學(xué)習(xí)的腦機(jī)制。具體研究包括1）使用心理物理法，從行為上探討多坐標(biāo)系下知覺學(xué)習(xí)過程的普遍性和注意在其中的作用，這將有助于揭示知覺學(xué)習(xí)的內(nèi)在神經(jīng)機(jī)制。2）使用病人顱內(nèi)電生理記錄的方法，考察視皮層中多坐標(biāo)系信息加工的神經(jīng)機(jī)制。3）使用病人顱內(nèi)電生理記錄的方法，考察知覺學(xué)習(xí)對視皮層信息加工能力的調(diào)節(jié)作用。這些研究對于認(rèn)識視覺加工過程和及其可塑性具有重要意義。

視覺空間指的是在人類視線中的空間。但與四維空間不同的是，它不僅強(qiáng)調(diào)了長，寬，高及時間這四個量之間的關(guān)系，還強(qiáng)調(diào)了視覺源點(diǎn)（觀察者）的空間位置。它所表示的是視線中的空間，也就是說，當(dāng)我們在構(gòu)建空間模型時，注重的將不再是整個空間的排列，而是視覺源點(diǎn)與外界空間的相對關(guān)系。根據(jù)這一特性，在以視覺空間的基礎(chǔ)上，今后將會有許多理論的生成。

虛擬空間會議(Virtual space TeleconJ[erencingt簡稱VST)系統(tǒng)是虛擬現(xiàn)實(shí)技術(shù)與計(jì)算機(jī)網(wǎng)絡(luò)和多媒體相結(jié)合的產(chǎn)物，它突破了傳統(tǒng)的地域觀念，利用虛擬現(xiàn)實(shí)技術(shù)，將不同地點(diǎn)與會終端的局部會場合成個共同的虛擬空間。

虛擬會議空間的合成包括視覺空間空成和聽覺空間合成兩個方面。視覺空間的合成又分為會場構(gòu)造和與會者視頻合成兩部分。

虛擬會場構(gòu)造

我們研制的VST系統(tǒng)利用增強(qiáng)現(xiàn)實(shí)技術(shù)對與會站局部會議空間進(jìn)行空間上的擴(kuò)展，使之與計(jì)算機(jī)生成的虛拭環(huán)境無縫融臺，構(gòu)造具有沉浸感、真實(shí)感、超越地域概念的虛擬會議空間，虛擬會議空間由各個與會站點(diǎn)的局部會場和所有與會者共享的全局虛擬會場構(gòu)成。

1. 局部會場局部會場包括與會者和局部場景的布置，是虛擬空間會議系統(tǒng)中實(shí)際存在的會議空間。我們設(shè)計(jì)了一個半沉浸式的虛擬現(xiàn)實(shí)環(huán)境 在與會者正面用三十大屏幕拼接起來。這種設(shè)計(jì)不僅能夠?qū)崿F(xiàn)虛擬會議空間合成的空間感與真實(shí)感，同時能夠允許本地多個與會者共享同一個虛擬會場，支持更多與會者的會議研討應(yīng)用虛擬會場的實(shí)時繪制由三臺計(jì)算機(jī)共同完成．我們使用基于一般透視投影變換的多屏虛擬會場繪翩技術(shù)，以保證相鄰屏幕邊緣顯示場景的空間連續(xù)性。

2. 全局會場

3. 全局虛擬會場包括計(jì)算機(jī)生成的虛擬環(huán)境．與會者的替身以丑可操縱的虛擬物體組成全局虛擬會場可以栗用基于圖形和基于圖象的方法生成。

• 基于圖形的繪制(graphics—based rendering）用計(jì)算機(jī)圖形學(xué)方法構(gòu)造3D 環(huán)境．根據(jù)與會者在空間中所她的位置和觀察方向，計(jì)算其視角內(nèi)的場景，經(jīng)投影變換顯示相應(yīng)的視區(qū)該方法優(yōu)點(diǎn)是與會者具有鮮明的3D空間感，缺點(diǎn)是構(gòu)造逼真的3D場景十分困難，而且實(shí)時繪制場景歪需要專門的硬件設(shè)備。

• 基于圖象的繪制(image—based rendering)采用圖象的方法生成場景．計(jì)算機(jī)處理速度只與圖象的分辨率有關(guān)，而與場景的復(fù)雜度無關(guān)．在基于田象構(gòu)造的虛擬會場中，不同與會者所處的空間位置不同，以及與會者頭部的移動引起的視點(diǎn)變化，使得所觀察到的會場也有所不同，也就是說要使與會者能夠與會場環(huán)境進(jìn)行交互，就必須解決在基于圖象的虛擬環(huán)境中自由漫游的問題這實(shí)際上就是由一維已知的圖象生成任意規(guī)點(diǎn)的新視圖的過程，這種技術(shù)稱為視點(diǎn)合成(view synthesis)。

計(jì)算機(jī)立體視覺

計(jì)算機(jī)視覺是利用計(jì)算機(jī)實(shí)現(xiàn)人的視覺功能，對客觀世界的三維信息進(jìn)行感知和解釋的一門學(xué)科。計(jì)算機(jī)視覺研究的目的是要使計(jì)算機(jī)具有通過二維圖像認(rèn)知三維環(huán)境信息的能力，包括目標(biāo)物體的形狀、位置、姿態(tài)、運(yùn)動等。

立體視覺是計(jì)算機(jī)視覺的一個重要分支，它從兩個或多個視點(diǎn)去觀察同一場景，獲得在不同視角下的一組圖像，通過不同圖像中對應(yīng)像素問的視差獲取物體表面三維點(diǎn)的坐標(biāo)，從而推斷出場景中目標(biāo)物體的空間幾何形狀和位置。

人眼立體空間

虛擬三維空間是現(xiàn)實(shí)世界的數(shù)字化三維空間，而人眼立體視覺空間則是人眼視覺系統(tǒng)對于現(xiàn)實(shí)世界或虛擬世界所形成的三維立體構(gòu)象。傳統(tǒng)上人眼直接觀察現(xiàn)實(shí)世界，確立了人眼立體視覺空間與現(xiàn)實(shí)世界之間的幾何對應(yīng)關(guān)系。

在立體測量過程中，人們根據(jù)體驗(yàn)到的視覺三維模型(視模型)，利用雙測標(biāo)切準(zhǔn)視模型上的同名像點(diǎn)，由三角交會而獲得對應(yīng)的空間坐標(biāo) 。這種行之有效的觀測實(shí)踐暗示了視模型具有可測性，也即視模型中的點(diǎn)元必然與虛擬三維空間中的點(diǎn)元存在一定聯(lián)系。

當(dāng)前測量是從幾何光學(xué)角度出發(fā)，采用小孔成像模型，建立了雙目立體成像模型。以該成像模型為基礎(chǔ)，重點(diǎn)考慮了平行視軸立體觀察模式，給出了雙目視差的表示形式，建立了虛擬空間點(diǎn)元與屏幕同名矢量及網(wǎng)膜同名矢量之間的一一映射關(guān)系。這一映射關(guān)系實(shí)質(zhì)上揭示了人眼視覺空間與虛擬三維空間的內(nèi)在一致性，為傳統(tǒng)上人眼立體視覺在立體測圖中的作用提供了一種數(shù)學(xué)描述。上述理論分析對于虛擬地理環(huán)境條件下進(jìn)行立體觀測具有指導(dǎo)意義，為按需測量的發(fā)展提供了一套理論工具和分析方法。