最早問(wèn)世的一批多光譜系統(tǒng)要么用于太空科學(xué)成像，要么用于繪畫(huà)和文物的分析和數(shù)字化處理。1972年發(fā)射的陸地衛(wèi)星1號(hào)(LANDSAT 1)裝備了一個(gè)四波段多光譜成像系統(tǒng)，包括可見(jiàn)光的綠色和紅色通道，以及兩個(gè)NIR波段。

到1999年發(fā)射陸地衛(wèi)星7號(hào)(LANDSAT 7)時(shí)，該系統(tǒng)已經(jīng)擴(kuò)展到8個(gè)多光譜波段，包括從可見(jiàn)光的藍(lán)色通道到熱紅外波段。這些以及隨后發(fā)射的多光譜衛(wèi)星主要用于農(nóng)業(yè)和環(huán)境分析，應(yīng)用范圍涵蓋海岸和洋流觀測(cè)、植被分析、干旱脅迫、燃燒/火災(zāi)影響地區(qū)監(jiān)測(cè)，甚至于云覆蓋模式的分析。從所用的光學(xué)元件到傳感器，這些都是極其復(fù)雜和昂貴的系統(tǒng)。

同樣，先進(jìn)的多光譜靜物相機(jī)多年來(lái)一直用于藝術(shù)和考古應(yīng)用領(lǐng)域。這些相機(jī)使用多達(dá)18個(gè)多光譜波段來(lái)繪制和初步識(shí)別藝術(shù)品上的顏料和修飾。這些圖像也用于對(duì)舊的和褪色的文件和文物進(jìn)行數(shù)字化和/或視覺(jué)增強(qiáng)處理。修復(fù)人員還可以使用多光譜成像技術(shù)來(lái)區(qū)分原始部分與修復(fù)部分，并選擇合適的修復(fù)程序。

隨著時(shí)間的推移，基于傅里葉變換光譜學(xué)、液晶可調(diào)濾波器、寬頻帶和窄頻帶濾波器等，已經(jīng)開(kāi)發(fā)出不同類(lèi)型的多光譜系統(tǒng)。隨著各種方法的改進(jìn)，它們的應(yīng)用范圍已經(jīng)從超高端的衛(wèi)星和藝術(shù)保護(hù)系統(tǒng)遷移到將分辨率、幀速率和性價(jià)比完美融合在一起的機(jī)器視覺(jué)相機(jī)，這使得它們得以用于廣泛的多光譜應(yīng)用。在本技術(shù)指南中，我們將重點(diǎn)介紹這些基于相機(jī)的多光譜成像技術(shù)，這些技術(shù)在機(jī)器視覺(jué)應(yīng)用中正變得越來(lái)越流行。

兩個(gè)(或多個(gè))獨(dú)立的相機(jī)(面陣掃描或線陣掃描)

為機(jī)器視覺(jué)設(shè)置增加更多光譜范圍的最初方法，是將多個(gè)相機(jī)對(duì)準(zhǔn)同一個(gè)目標(biāo)。例如，如果一個(gè)水果生產(chǎn)商想要檢驗(yàn)水果的顏色是否正常以及內(nèi)部是否存在損傷，除了彩色相機(jī)，他們可能還會(huì)在檢驗(yàn)設(shè)備中添加NIR相機(jī)。但是，將兩個(gè)圖像的光譜數(shù)據(jù)合并成單一的檢驗(yàn)步驟是極具挑戰(zhàn)性且很容易出錯(cuò)的任務(wù)。即使這兩個(gè)相機(jī)是緊挨著放置，由于光學(xué)視差的存在，要對(duì)齊兩個(gè)圖像的像素并非易事。因此，任何試圖“融合”這兩個(gè)圖像的嘗試通常都沒(méi)有成功。相反，大多數(shù)客戶將額外的光譜成像視為完全獨(dú)立的檢驗(yàn)步驟，相機(jī)、照明、拍攝和安裝(和費(fèi)用)之間沒(méi)有任何關(guān)聯(lián)，并且沒(méi)有辦法利用整個(gè)過(guò)程中使用的任何其他相機(jī)的圖像數(shù)據(jù)。

濾光輪相機(jī)(面陣掃描)

濾光輪相機(jī)(也稱(chēng)為基于多窄頻帶濾波器的成像儀)通過(guò)旋轉(zhuǎn)安裝在傳感器或鏡頭前面的濾光輪中的濾光片來(lái)捕獲多通道光譜圖像。這種濾光輪通?？芍С侄噙_(dá)12個(gè)波段。然后從多光譜圖像中估計(jì)每個(gè)像素的光譜反射率?；跒V光輪的相機(jī)的優(yōu)點(diǎn)是每個(gè)波段均可實(shí)現(xiàn)全空間分辨率。濾光片可以根據(jù)應(yīng)用要求定制，并且可以對(duì)濾光輪進(jìn)行修改。該系統(tǒng)的缺點(diǎn)是成像速度慢、耗時(shí)長(zhǎng)、圖像配準(zhǔn)復(fù)雜、幾何畸變復(fù)雜，以及高昂的濾光片定制成本。此外，向系統(tǒng)中添加機(jī)械元件(電動(dòng)輪)也可能帶來(lái)問(wèn)題，因?yàn)榭赡苄枰獙?duì)其進(jìn)行定期維護(hù)或更換。

(多光譜相機(jī)使用濾光輪捕捉多光譜圖像。通過(guò)旋轉(zhuǎn)安裝在鏡頭前面或傳感器和鏡頭之間的濾光輪進(jìn)行工作。)

像素化多光譜濾波陣列(面陣掃描)

使用拜耳彩色濾波陣列(CFA)和去馬賽克技術(shù)的單傳感器成像，是當(dāng)前緊湊型低成本彩色數(shù)字相機(jī)的理想配置。通過(guò)將CFA的概念擴(kuò)展到多光譜濾波陣列(MSFA)，人們可以在不增加尺寸或成本的情況下一次性獲得多光譜圖像，在某些情況下甚至可以獲得高光譜圖像。這種捕獲方法也稱(chēng)為快照馬賽克成像?？煺振R賽克傳感器可支持4至40個(gè)通道之間的任何VIS(可見(jiàn)光)、VIS-NIR和NIR-SWIR波長(zhǎng)。在批量生產(chǎn)中實(shí)現(xiàn)非常高的基于像素的一致性，是一項(xiàng)非常有挑戰(zhàn)性的任務(wù)。實(shí)際波段的串?dāng)_可能比較高，這會(huì)影響整體光譜靈敏度、與像素相關(guān)的噪聲參數(shù)，以及光譜重建的準(zhǔn)確性。這些濾光片的算法校正非常復(fù)雜。更重要的是，對(duì)多光譜濾波陣列進(jìn)行多光譜去馬賽克一直是一個(gè)非常有挑戰(zhàn)性的問(wèn)題，因?yàn)闉V波陣列中每個(gè)波段的采樣都非常稀疏。波段越多，各波段的空間準(zhǔn)確度越低。

(使用基于快照馬賽克傳感器的相機(jī)，只需一次拍攝就可以獲得多光譜圖像。)

兩個(gè)帶分束器的相機(jī)(面陣掃描)

在解決與多個(gè)獨(dú)立相機(jī)方法相關(guān)的問(wèn)題時(shí)，其中一種方法是引入分束器，該元件可以從一組共同的光學(xué)器件同時(shí)捕獲多個(gè)相機(jī)上的圖像。以兩個(gè)拜耳模式相機(jī)為例，可以捕獲兩個(gè)3波段的圖像并將其重構(gòu)為一個(gè)6通道(2倍RGB)光譜圖像。或者，拜耳相機(jī)可以與NIR相機(jī)相結(jié)合使用，產(chǎn)生4通道RGB+NIR輸出?？梢蕴砑宇~外的分束器和相機(jī)來(lái)捕獲額外的波段。這種方法可有效緩解與基本的多相機(jī)方法相關(guān)的圖像捕獲和圖像配準(zhǔn)問(wèn)題。光譜信息可以在捕獲的多個(gè)圖像之間進(jìn)行關(guān)聯(lián)和組合。最大的缺點(diǎn)是系統(tǒng)中有多個(gè)相機(jī)，這使得系統(tǒng)的體積比較大且成本高昂。此外，使用分束器也會(huì)造成光強(qiáng)度的損失。這種方法通常需要大功率照明，因此需要在高速和系統(tǒng)的光敏感度之間進(jìn)行權(quán)衡。

(使用了分束器的多光譜成像技術(shù)。外部分束器，可以讓多個(gè)相機(jī)同時(shí)捕獲圖像，但是存在光量受損的缺點(diǎn)。)

(通過(guò)棱鏡模組實(shí)現(xiàn)將一條光軸進(jìn)行分束成像的多光譜成像技術(shù)。前一分束器成像的進(jìn)化版本，既能實(shí)現(xiàn)同一光軸 ，也可以節(jié)約鏡頭等配件的數(shù)目。)

多傳感器二向色棱鏡式相機(jī)(面陣掃描或線陣掃描))

乍看上去，這種方法似乎與分束器方法非常相似，但是兩者之間存在著兩個(gè)非常重要的區(qū)別。首先，僅安裝傳感器(而不是完整的相機(jī))并將其與棱鏡面對(duì)齊。這使得該相機(jī)與之前介紹的多相機(jī)分束器成像系統(tǒng)相比，體積顯著減小。其次，棱鏡塊使用硬二向色涂層作為干涉濾光片，將入射光中適當(dāng)光譜范圍內(nèi)的光線投射到每個(gè)傳感器。因此，每個(gè)通道都接收在其需捕獲范圍內(nèi)的全部光線，無(wú)論這些光線在光譜的可見(jiàn)或不可見(jiàn)區(qū)域中是寬波段還是窄波段;而不是將相同的光線分成多個(gè)通道，造成強(qiáng)度的損失。與馬賽克方法不同，此方法可使每個(gè)波段都實(shí)現(xiàn)全空間分辨率。如今，在面陣掃描應(yīng)用場(chǎng)景中，此方法能夠在每波段以超過(guò)100 fps提供320萬(wàn)像素的分辨率，而在線陣掃描應(yīng)用場(chǎng)景中，此方法能夠在每波段以35 kHz提供8192像素。該方法的主要限制是棱鏡的尺寸，因此相機(jī)需要支持多個(gè)大型傳感器。這可能會(huì)限制可以利用的傳感器的最大分辨率和/或像素尺寸。

(在棱鏡式相機(jī)中，棱鏡塊由硬二向色涂層組成，是“天然”的干涉濾光片。這些濾光片主要負(fù)責(zé)分離入射光。棱鏡塊上的附加濾光片用于二次分離。)

多線相機(jī)(帶濾光片的三線、四線、TDI線陣掃描)

具備多線傳感器的線陣掃描相機(jī)也可用于多光譜應(yīng)用。配備三線RGB傳感器的線陣掃描相機(jī)已在彩色成像應(yīng)用中得到廣泛應(yīng)用。四線傳感器相機(jī)可以由R-G-B-NIR或R-G-B單色組成。這是實(shí)現(xiàn)多光譜成像的方法之一。多線傳感器的線條數(shù)可以從3到數(shù)十條不等。目前最流行的相機(jī)有8到16條線，每一行像素都有一個(gè)獨(dú)特的光譜帶通濾光片，因此可用于捕獲多達(dá)16個(gè)波段的多光譜圖像。同樣的技術(shù)可以擴(kuò)展到TDI傳感器，該傳感器由大約200條線組成，分為3或4個(gè)譜域。多線相機(jī)也可以在現(xiàn)有的RGB傳感器上安裝額外的濾光片。這種方法根據(jù)濾光片的數(shù)量，將水平線分辨率劃分為最多4個(gè)部分。通過(guò)將5個(gè)濾光片與一個(gè)RGB傳感器相結(jié)合，可以實(shí)現(xiàn)最多15個(gè)光譜波段。這種方法的缺點(diǎn)是，光譜通道數(shù)越多，系統(tǒng)的水平分辨率就越低。

(具備多線傳感器的線陣掃描相機(jī)可用于多光譜應(yīng)用，其中每一行像素都有一個(gè)獨(dú)特的光譜帶通濾光片。)

(該方法使用線陣掃描傳感器，通過(guò)在光學(xué)組件中添加額外的濾光片，可以將傳感器的水平分辨率劃分為多光譜域。此例中的三線傳感器被分為三個(gè)光譜分離，進(jìn)而形成一個(gè)9通道多光譜相機(jī)。)

用于多光譜成像的推掃式相機(jī)(線陣掃描)

推掃式方法通常用于高光譜相機(jī)，也可用于多光譜成像，能夠?yàn)榭刹东@的光譜波段的數(shù)量增加極大的靈活性。x-λ掃描，即跨越水平分辨率和多個(gè)波段同時(shí)進(jìn)行掃描，而沿傳輸方向(y軸)的掃描是連續(xù)的。使用這種技術(shù)可以逐行捕獲完整的空間和光譜信息。推掃式相機(jī)由三個(gè)主要部件組成：鏡頭、成像光譜儀和硅基圖像傳感器(在使用VIS-NIR的情況下)或InGaAs傳感器(在使用NIR-SWIR的情況下)。成像光譜儀由光分散單元和聚焦光學(xué)器件組成，是推掃式相機(jī)的關(guān)鍵組件。在成像光譜儀中，光線穿過(guò)輸入狹縫、準(zhǔn)直儀、分散單元，然后聚焦到圖像傳感器，從而提供單行的x-λ坐標(biāo)。如今，在實(shí)現(xiàn)高達(dá)1024像素線分辨率的同時(shí)，還可在5到224波段之間自由地選擇波長(zhǎng)。光譜范圍取決于使用的傳感器類(lèi)型，但VIS-NIR很受歡迎。雖然這種技術(shù)提供很好的靈活性，但缺點(diǎn)是隨著通道數(shù)量的增加，速度也會(huì)變慢。在使用全波段(224個(gè)波段)方法(一種高光譜方法)時(shí)，幀速率僅可達(dá)到500 Hz。這種速度對(duì)于許多工業(yè)應(yīng)用來(lái)說(shuō)太慢了。(利用推掃式高光譜相機(jī)技術(shù)可以進(jìn)行多光譜成像，在這個(gè)過(guò)程中會(huì)逐行捕獲完整的空間和光譜信息。)

用于多光譜成像的面陣掃描與線陣掃描

● 在上述多光譜成像方法中，只有極少的幾種可用于高速工業(yè)應(yīng)用。在面陣掃描中，多傳感器棱鏡式方法非常適合用于對(duì)高速、大批量生產(chǎn)的商品進(jìn)行檢驗(yàn)。其他面陣掃描方法，如像素化多光譜像素陣列(快照馬賽克)和基于濾光輪的方法，對(duì)于工業(yè)成像來(lái)說(shuō)太慢。除此之外，利用快照馬賽克相機(jī)獲取空間分辨率和對(duì)像素信息進(jìn)行重建也是非常有挑戰(zhàn)性的任務(wù)。

● 基于濾光輪的相機(jī)體積龐大，由多個(gè)移動(dòng)部件組成，這樣會(huì)降低該方法的穩(wěn)固性。盡管如此，與多傳感器棱鏡式方法相比，快照馬賽克和濾光輪方法可提供更多光譜波段。快照馬賽克技術(shù)適用于農(nóng)業(yè)、智能農(nóng)業(yè)、醫(yī)學(xué)成像等不需要較高空間準(zhǔn)確度的領(lǐng)域。基于濾光輪的相機(jī)特別適合用于對(duì)古畫(huà)和古典藝術(shù)品進(jìn)行數(shù)字存檔。多傳感器棱鏡式相機(jī)適用于精準(zhǔn)農(nóng)業(yè)、智能農(nóng)業(yè)、水果、蔬菜、肉類(lèi)、海鮮和工業(yè)產(chǎn)品(如食品和藥品包裝、電子產(chǎn)品和印刷電路板)的在線檢驗(yàn)。

● 對(duì)于利用線陣掃描相機(jī)進(jìn)行的多光譜成像，有兩種主要的方法非常有潛力。一種是使用推掃式高光譜傳感器，該傳感器允許從高光譜方法(225個(gè)光譜波段)縮減到多光譜方法(5個(gè)光譜波段，行頻為6.5 kHz)，這使得該方法可用于食品、回收和包裝貨物的檢驗(yàn)等工業(yè)中速應(yīng)用。

● 多傳感器棱鏡式多線傳感器方法可實(shí)現(xiàn)非常高的速度(像素4K，行頻高達(dá)77 kHz)，對(duì)可見(jiàn)光和NIR波段進(jìn)行同時(shí)成像，以獲得多達(dá)四個(gè)光譜波段的組合。由于具備出色的速度，此方法可用于所有基于帶式、通道式或自由落體式排序的高速應(yīng)用。