（王耀南——中國(guó)工程院院士，機(jī)器人技術(shù)與智能控制專家）

?

高光譜技術(shù)，被譽(yù)為“未來(lái)視覺(jué)感知的顛覆性技術(shù)”。那么，高光譜機(jī)器視覺(jué)感知技術(shù)可以普及應(yīng)用嗎？本文結(jié)合現(xiàn)有資料和論壇發(fā)言，進(jìn)行了簡(jiǎn)單總結(jié)。

人類獲取的信息83%都來(lái)自視覺(jué)，由聽(tīng)覺(jué)、觸覺(jué)和其他的渠道獲取信息的占比僅有17%，所以視覺(jué)對(duì)于人類的重要性溢于言表。而機(jī)器視覺(jué)作為機(jī)器人的“高精密眼睛”，其之于機(jī)器人的作用就像視覺(jué)之于人類一樣重要。

2022年底，中國(guó)工程院院士王耀南在2022世界VR產(chǎn)業(yè)大會(huì)關(guān)鍵共性技術(shù)主題論壇上圍繞“高光譜機(jī)器視覺(jué)感知技術(shù)應(yīng)用及發(fā)展趨勢(shì)”發(fā)表演講。他指出，高光譜機(jī)器視覺(jué)技術(shù)正在迅速普及，在制藥行業(yè)的產(chǎn)品檢測(cè)、食品生產(chǎn)的安全識(shí)別、建筑材料的質(zhì)量控制、醫(yī)學(xué)成像等場(chǎng)景中廣泛應(yīng)用，但距離真正實(shí)現(xiàn)“高精準(zhǔn)、看得清、更好用”仍面臨挑戰(zhàn)。

智能機(jī)器人的“高精密眼睛”

在日常生活中，人們通常是通過(guò)視覺(jué)器官（眼睛）獲取信息，再通過(guò)大腦來(lái)分析、處理這些信息，從而識(shí)別出物體。而高光譜成像的目標(biāo)是獲得包括從可見(jiàn)光到長(zhǎng)波、紅外光譜的精細(xì)光譜“指紋”，精確反映物質(zhì)獨(dú)特的光譜特性。作為智能機(jī)器人的“高精密眼睛”，高光譜機(jī)器視覺(jué)的發(fā)展對(duì)機(jī)器人的控制具有重要作用。

受不同生物的感光細(xì)胞具有差異啟發(fā)，高光譜成像與感知可將豐富的、不同波段的圖像信號(hào)映射到數(shù)字世界，是機(jī)器智能的重要支撐技術(shù)。“高光譜圖像能夠精準(zhǔn)反應(yīng)出物質(zhì)特征的光譜信息，這是它最大的優(yōu)勢(shì)，”王耀南表示，“近幾年，高光譜的發(fā)展非常迅速。過(guò)去高光譜主要是在搖桿應(yīng)用里面，今天我們把高光譜用到機(jī)器視覺(jué)，使機(jī)器人裝上了明亮精準(zhǔn)的眼睛，可以感知到可見(jiàn)光、紅外光?！?/p>

據(jù)了解，機(jī)器人的高光譜視覺(jué)研究主要包含兩部分內(nèi)容，一部分是成像感知，另一部分是自動(dòng)的光譜信息分析。成像技術(shù)實(shí)質(zhì)上是感光元件把光信息轉(zhuǎn)化為數(shù)字圖像信息，最早的光譜成像來(lái)自感光設(shè)備，目前低成本、小體積、高速率、低功耗的感光元件成為發(fā)展趨勢(shì)。近年來(lái)高光譜機(jī)器視覺(jué)的發(fā)展態(tài)勢(shì)從感知智能進(jìn)入到了認(rèn)知智能，從過(guò)去的 RGB 圖像變成今天的光譜圖像，已然進(jìn)入到一個(gè)計(jì)算智能成像的時(shí)代。目前高光譜相機(jī)及其相關(guān)技術(shù)已成為智能機(jī)器視覺(jué)領(lǐng)域研究的前沿方向。

高光譜機(jī)器視覺(jué)仍面臨挑戰(zhàn)

分析與認(rèn)知能力是機(jī)器人能否對(duì)環(huán)境中的有效信息加以處理與理解的重要標(biāo)志，是智能化發(fā)展的必經(jīng)途徑。王耀南認(rèn)為，高光譜機(jī)器視覺(jué)分析與認(rèn)知面臨著三大挑戰(zhàn)，主要涉及圖像特征提取、語(yǔ)義知識(shí)理解和自主適應(yīng)學(xué)習(xí)。

“首先要突破圖像特征的提取，過(guò)去我們主要是像素特征的提取，今天擴(kuò)展至邊緣、紋理、光譜等空間幾何等方面；第二，它已經(jīng)走向了圖像的推理，涉及語(yǔ)義知識(shí)的理解、語(yǔ)義的描述、高維的圖像特征等技術(shù)的突破。第三，要突破自適應(yīng)的學(xué)習(xí)，傳感器要具有學(xué)習(xí)性、能感知，還要能理解、能分析，讓人工智能真正融入到機(jī)器視覺(jué)里?！蓖跻险f(shuō)道。

近年來(lái)，通過(guò)大量研究，高光譜視覺(jué)傳感器的發(fā)展突破了兩項(xiàng)關(guān)鍵技術(shù)。第一項(xiàng)技術(shù)面向成像系統(tǒng)，成像系統(tǒng)圍繞復(fù)雜的目標(biāo)，能夠解決在多空間、大尺度下的成像問(wèn)題，可以同時(shí)捕捉三維空間和光譜維度的成像。第二項(xiàng)技術(shù)面向三維光譜數(shù)據(jù)分析，比如空間-光譜聯(lián)合分析、大數(shù)據(jù)分析和處理等。快速突破這兩項(xiàng)關(guān)鍵技術(shù)，有助于實(shí)現(xiàn)高光譜機(jī)器視覺(jué)技術(shù)的廣泛應(yīng)用。

“高光譜廣泛裝載在機(jī)器視覺(jué)以后，不僅能應(yīng)用到工業(yè)、農(nóng)業(yè)，還能應(yīng)用到無(wú)人駕駛、機(jī)器人、新藥研發(fā)、新產(chǎn)品質(zhì)量檢測(cè)等領(lǐng)域?！蓖跻媳硎尽１热鐬榱思铀俟I(yè)檢測(cè)速度，我們開(kāi)發(fā)了高光譜圖像處理的硬件系統(tǒng)，研制了工業(yè)高光譜儀器，包括高光譜的成像，成像儀器的處理特征識(shí)別等。再比如，高光譜機(jī)器視覺(jué)也被用在異物檢測(cè)方面，應(yīng)用于疫苗生產(chǎn)的柔性智能化工廠。而不同的應(yīng)用場(chǎng)景對(duì)高光譜成像的復(fù)雜性、多樣性提出了更大的挑戰(zhàn)。

未來(lái)首先要解決數(shù)據(jù)傳輸與處理問(wèn)題

王耀南指出：“隨著科學(xué)技術(shù)的進(jìn)步，未來(lái)高光譜機(jī)器視覺(jué)的發(fā)展首先需要解決的，也是最重要的一個(gè)問(wèn)題，就是數(shù)據(jù)傳輸與處理?！北热纾吖庾V儀器是聯(lián)網(wǎng)的，如此龐大規(guī)模的光譜圖像信息怎么同時(shí)傳輸，這就是一個(gè)需要解決的難題。

第二是光譜成像高分辨率問(wèn)題。高光譜最大的弱點(diǎn)就是分辨率比較低，不像可見(jiàn)光成像的分辨率比較高。合成孔徑雷達(dá)圖像的分辨率也比較低，但是它的探測(cè)精度比較高。每一種傳感器都有優(yōu)點(diǎn)和缺點(diǎn)，因此未來(lái)一個(gè)重要的研究方向就是新的成像方法和機(jī)理探索。

第三個(gè)是所有的高光譜成像儀器都向小型化和高可靠性轉(zhuǎn)變，要能夠裝載在不同的設(shè)備上，從單一的傳感器進(jìn)入到多傳感器信息融合，從數(shù)據(jù)處理方面到光譜數(shù)據(jù)處理，從模型驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)、知識(shí)驅(qū)動(dòng)的方向發(fā)展。

?