英國格拉斯哥大學研發1000fps刷新率單光源3D傳感方案
市面上用傳感器測量距離有多種方式,比如稀疏光子成像、非視距成像(NLOS)等。不管是基于超聲波傳感還是紅外線傳感,他們的相似之處在于都是通過計算聲波或光波到達某一表面并反射回來的時間來推算距離。
通常,基于光學傳感的3D掃描需要兩個或以上個攝像頭,以捕捉跟合成人眼雙目視差效果。或是通過光源陣列和多個單一的光傳感器來對空間中的物體進行3D識別和重建。
近期,英國格拉斯哥大學的科研人員提出了一種結合深度學習算法的低成本SPAD傳感方案。它的特點是只需要單一光源和傳感器,就能通過光線從場景反射回來的時間來進行3D測距。據悉,該方案的平均誤差僅為四分之一納秒,而且最遠可識別4米內的物體,刷新率高達1000fps。
專家表示:通常光子到達3米遠處任何表面并反射回來平均需要10納秒,但這個時間并不能直接反映出該表面的方向和角度。
而格拉斯哥大學科研人員在實驗初期進行測距時,獲得的圖像雖然比普通ToF攝像頭的要更模糊、缺少細節,但外觀輪廓比較清楚。接著,他們利用在同一場景訓練的神經網絡,來破解和優化3D掃描信號。
具體來講,該方案分為三個部分:1)脈沖光源;2)單點時間識別傳感器;3)圖像重建算法。科研人員在場景中用單一方向的脈沖激光源進行照射,接著單光子雪崩二極管(SPAD)將收集這些反射回的光線,并生成時間柱狀圖。然后,在使用人工神經網絡來通過單一的時間柱狀圖識別和重建3D場景。
在訓練神經網絡的過程中,科研人員將使用脈沖光源、ToF模組、SPAD傳感器,對空間中移動的人進行動態掃描。通過對比ToF模組識別到的3D數據和SPAD傳感數據重建的圖像,來完成對神經網絡的訓練。
為了驗證效果,科研人員首先通過數字模擬來進行分析。在一個20立方米空間,用類似于人形的物體擺出多種不同的姿勢,并利用時間測量法來重建3D圖像和時間柱狀圖。同時,也使用同步的ToF模組(也可以用LiDAR、立體成像或全息裝置)來收集對比數據。
結果顯示,通過SPAD方案重建的3D圖像比ToF方案缺少一些細節,但整體輪廓得以體現。接著,科研人員通過重復用時間柱狀圖重建,來進一步分析脈沖響應函數(IRF)對3D圖像分辨率的影響。結果發現,IRF響應時間變長,場景中3D圖像的輪廓也依然可以分辨。
不過也發現,該方案將依賴于在特定場景中訓練過的神經算法。也就是說,科研人員所訓練的神經網絡僅識別特定的靜態背景,同樣的物體或人物在其他背景中則不再識別。
由于在實驗中,算法訓練使用到的均為動態背景中移動的物體,所以目前只適合掃描設備固定在靜態背景中運行。盡管如此,這一方案的優勢在于刷新率高,可用于自動駕駛、基于筆記本電腦攝像頭和無線電天線的實時3D監控或是AR測距等場景。
此外,SPAD方案重建的圖像分辨率受訓練神經網絡時所使用的3D傳感器局限,而且圖像質量受到時間測距傳感器的刷新率決定。
未來,科研人員計劃繼續訓練神經網絡,以便于識別動態空間背景,同時也計劃向非視距成像(NLOS)領域延伸。



