近日，香港理工大學(xué)柴揚(yáng)和華中科技大學(xué)何毓輝教授造出一款動(dòng)態(tài)視覺(jué)傳感器，實(shí)現(xiàn)了高級(jí)別的動(dòng)態(tài)視覺(jué)處理。

本次研究結(jié)合了動(dòng)態(tài)視覺(jué)傳感器和傳感器內(nèi)計(jì)算，通過(guò)充分利用兩者的優(yōu)點(diǎn)，他們還設(shè)計(jì)出一款動(dòng)態(tài)傳感器內(nèi)計(jì)算架構(gòu)。該架構(gòu)可以大幅提高運(yùn)算效率，實(shí)現(xiàn)低延時(shí)、低功耗的運(yùn)動(dòng)識(shí)別。

這種直接在傳感器內(nèi)進(jìn)行實(shí)時(shí)處理和決策的方式，有望用于邊緣計(jì)算，以及用于那些對(duì)延遲高度敏感的場(chǎng)景比如無(wú)人駕駛汽車(chē)、機(jī)器人技術(shù)等領(lǐng)域，并能有效節(jié)省通信帶寬，此外還能增強(qiáng)數(shù)據(jù)的安全性和隱私性。

那么，相比現(xiàn)有的圖像傳感器、或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS，Complementary Metal Oxide Semiconductor），動(dòng)態(tài)視覺(jué)傳感器在捕捉動(dòng)態(tài)圖像時(shí)，在工作原理上有著哪些不同？

據(jù)了解，傳統(tǒng)相機(jī)所基于的標(biāo)準(zhǔn)圖像傳感器具有固定的幀率，不管像素點(diǎn)的光強(qiáng)是否發(fā)生變化，都會(huì)在每一幀記錄下所有像素的光強(qiáng)，因此會(huì)包含大量冗余的視覺(jué)數(shù)據(jù)。

另一方面，較長(zhǎng)的曝光時(shí)間限制了事件捕獲的延遲，導(dǎo)致所捕捉到的高速運(yùn)動(dòng)物體圖像存在模糊和過(guò)曝等問(wèn)題。

相比之下，受生物視網(wǎng)膜啟發(fā)的動(dòng)態(tài)視覺(jué)傳感器（DVS，Dynamic Vision Sensor），可以只針對(duì)場(chǎng)景中的相對(duì)變化區(qū)域作出反應(yīng)。

對(duì)于動(dòng)態(tài)視覺(jué)傳感器來(lái)說(shuō)，只有在像素點(diǎn)的位置發(fā)生光強(qiáng)變化的時(shí)候，才會(huì)產(chǎn)生脈沖信號(hào)從而生成稀疏數(shù)據(jù)，這樣一來(lái)就能大大減少數(shù)據(jù)的冗余量。

動(dòng)態(tài)視覺(jué)傳感器還具備超高的時(shí)間分辨率，能夠確保動(dòng)作信息被完整記錄下來(lái)。因此，它也能被用于檢測(cè)場(chǎng)景中的變化，輸出稀疏且重要的信息。

而對(duì)于傳感器內(nèi)的脈沖信號(hào)來(lái)說(shuō)，它是否也能被反饋給傳感器神經(jīng)元，從而做出相應(yīng)的調(diào)整？

對(duì)于這一問(wèn)題，答案是肯定的。為了執(zhí)行復(fù)雜的計(jì)算任務(wù)比如動(dòng)作識(shí)別，像素單元需要被擴(kuò)展到陣列級(jí)別，并通過(guò)單元之間合適的物理互連，構(gòu)建成脈沖神經(jīng)網(wǎng)絡(luò)（SNN，Spiking Neural Network）。

而每個(gè)子像素陣列，在連接之后可以輸出神經(jīng)元。在動(dòng)態(tài)場(chǎng)景中，當(dāng)像素點(diǎn)的光照強(qiáng)度發(fā)生變化時(shí)，子像素單元也會(huì)產(chǎn)生正負(fù)電流脈沖，來(lái)對(duì) LIF（leaky integrate and fire）神經(jīng)元中的電容進(jìn)行充放電。

一旦電容的積分電壓也就是神經(jīng)元的膜電位，達(dá)到神經(jīng)元的閾值時(shí)就會(huì)輸出脈沖。

來(lái)源：傳感器專家網(wǎng)