多光譜成像技術(shù)和相機(jī)選型

多光譜相機(jī)技術(shù)

第 一批多光譜系統(tǒng)要么用于太空科學(xué)成像，要么用于分析和數(shù)字化繪畫和文化遺產(chǎn)。1972 年發(fā)射的原始 LANDSAT 1 衛(wèi)星配備了四波段多光譜成像系統(tǒng)，包括可見的綠色和紅色通道以及兩個(gè) NIR 波段。

到 1999 年 LANDSAT 7 發(fā)射時(shí)，該系統(tǒng)已擴(kuò)展到八個(gè)多光譜波段，從可見藍(lán)光到熱紅外。這些多光譜衛(wèi)星和后續(xù)多光譜衛(wèi)星主要用于農(nóng)業(yè)和環(huán)境分析，包括沿海和洋流觀測、植被分析、干旱脅迫、燒毀/火災(zāi)影響區(qū)域，甚至云層覆蓋模式。從光學(xué)器件到所用的傳感器，這些都是極其復(fù)雜且昂貴的系統(tǒng)。

同樣，先進(jìn)的多光譜靜態(tài)相機(jī)多年來一直用于藝術(shù)和考古學(xué)。這些相機(jī)使用多達(dá) 18 個(gè)多光譜波段來繪制和初步識別藝術(shù)品上的顏料和修飾。這些圖像還用于數(shù)字化和/或視覺增強(qiáng)舊的和褪色的文件和文物。保護(hù)者還可以使用多光譜成像來區(qū)分原始部分和油漆部分，并選擇適當(dāng)?shù)谋Ｗo(hù)程序。

隨著時(shí)間的推移，基于傅里葉變換光譜、液晶可調(diào)濾波器、寬帶和窄帶濾波器等，已經(jīng)開發(fā)出不同類型的多光譜系統(tǒng)。隨著各種方法的改進(jìn)，它們已經(jīng)從超高端衛(wèi)星和藝術(shù)品保護(hù)系統(tǒng)遷移到機(jī)器視覺相機(jī)中，提供分辨率、幀速率和價(jià)格的組合，使其能夠用于廣泛的多光譜應(yīng)用。在本技術(shù)指南中，我們將重點(diǎn)介紹這些基于相機(jī)的多光譜成像技術(shù)，這些技術(shù)在機(jī)器視覺應(yīng)用中越來越受歡迎。

l  兩個(gè)（或更多）獨(dú)立相機(jī)（區(qū)域或線掃描）
為機(jī)器視覺設(shè)置增加更多光譜范圍的原始方法是將多臺相機(jī)對準(zhǔn)目標(biāo)。例如，如果水果生產(chǎn)商想要檢查顏色并查看是否有瘀傷，他們可能會在彩色相機(jī)之外在其設(shè)置中添加 NIR 相機(jī)。但將兩幅圖像的光譜數(shù)據(jù)組合到一個(gè)檢查步驟中極具挑戰(zhàn)性且容易出錯(cuò)。即使將兩臺相機(jī)緊挨著放置，仍會存在足夠的光學(xué)視差，幾乎不可能對齊兩幅圖像的像素。因此，任何“融合”兩幅圖像的嘗試通常都會失敗。相反，大多數(shù)客戶將額外的光譜成像視為完全獨(dú)立的檢查步驟，使用獨(dú)立的相機(jī)、照明、鏡頭和安裝（以及費(fèi)用），并且無法利用整個(gè)過程中使用的任何其他相機(jī)的圖像數(shù)據(jù)。

l  濾光輪相機(jī)（區(qū)域掃描）
濾光輪相機(jī)又稱為基于多個(gè)窄帶濾光片的成像儀，通過旋轉(zhuǎn)安裝在傳感器或鏡頭前面的濾光輪中的濾光片來捕獲多通道光譜圖像。這種濾光輪通?？梢灾С侄噙_(dá) 12 個(gè)波段。然后根據(jù)多光譜圖像估算每個(gè)像素的光譜反射率?；跒V光輪的相機(jī)的優(yōu)勢在于每個(gè)波段的全空間分辨率?？梢愿鶕?jù)應(yīng)用要求定制濾光片，并且可以修改濾光輪。該系統(tǒng)的缺點(diǎn)包括成像速度慢且耗時(shí)、圖像配準(zhǔn)復(fù)雜、幾何失真復(fù)雜以及定制濾光片成本高。還有一個(gè)問題是，在系統(tǒng)中添加機(jī)械元件（電動輪），可能需要定期維護(hù)或更換。

像素化多光譜濾波器陣列（區(qū)域掃描）
使用拜耳彩色濾波器陣列 (CFA) 和去馬賽克的單傳感器成像已在當(dāng)前的緊湊型低成本彩色數(shù)碼相機(jī)中得到充分應(yīng)用。通過將 CFA 的概念擴(kuò)展到多光譜濾波器陣列 (MSFA)，人們可以一次性獲取多光譜圖像，在某些情況下甚至可以獲取高光譜圖像，而無需增加尺寸或成本。這種捕獲方法也稱為快照馬賽克成像?？煺振R賽克傳感器可以支持 VIS (可見光)、VIS-NIR 和 NIR-SWIR 波長中的 4 到 40 個(gè)通道。在批次間制造中實(shí)現(xiàn)非常高的基于像素的一致性一直具有挑戰(zhàn)性。真實(shí)世界波段可能具有相對較高的串?dāng)_，這會影響整體光譜靈敏度、像素相關(guān)的噪聲參數(shù)和光譜重建的準(zhǔn)確性。這些濾波器的算法校正非常復(fù)雜。更重要的是，由于濾波器陣列中每個(gè)光譜帶的采樣非常稀疏，多光譜濾波器陣列的多光譜去馬賽克一直是一個(gè)具有挑戰(zhàn)性的問題。波段越多，每個(gè)波段的空間精度就越低。

兩個(gè)帶有分束器的相機(jī)（區(qū)域掃描）
解決與多個(gè)獨(dú)立相機(jī)方法相關(guān)的問題的一種方法是引入一個(gè)分束器元件，該元件可以從一組通用光學(xué)器件同時(shí)捕獲多個(gè)相機(jī)上的圖像。例如，使用兩個(gè)拜耳模式相機(jī)，可以捕獲兩個(gè) 3 波段圖像并將其重建為 6 通道（2 倍 RGB）光譜圖像。或者可以將拜耳相機(jī)與 NIR 相機(jī)組合以產(chǎn)生 4 通道 RGB+NIR 輸出?？梢蕴砑宇~外的分束器和相機(jī)來捕獲額外的波段。這種方法緩解了與基本多相機(jī)方法相關(guān)的圖像捕獲和圖像配準(zhǔn)問題。光譜信息可以在多個(gè)捕獲的圖像之間關(guān)聯(lián)和組合。最 大的缺點(diǎn)是，如果系統(tǒng)中有多個(gè)相機(jī)，系統(tǒng)會變得非常龐大且昂貴。此外，使用分束器會損失光強(qiáng)度。這種方法通常需要高功率照明，因此需要在高速度和系統(tǒng)的光靈敏度之間進(jìn)行權(quán)衡。

多傳感器二向色棱鏡相機(jī)（區(qū)域或線掃描）
乍一看，這似乎與分束器方法非常相似，但有兩個(gè)非常顯著的區(qū)別。首先，只有傳感器，而不是完整的相機(jī)，被安裝并對準(zhǔn)到棱鏡面。與前面描述的多相機(jī)分束器成像系統(tǒng)相比，這顯著減小了尺寸。其次，棱鏡塊使用硬二向色涂層，充當(dāng)干涉濾光片，將入射光的適當(dāng)光譜范圍引導(dǎo)到每個(gè)傳感器。因此，每個(gè)通道不會將相同的光分裂到多個(gè)通道并從而降低其強(qiáng)度，而是接收其需要捕獲的范圍的全部光量，無論是可見光還是不可見光區(qū)域中的寬帶還是窄帶。與馬賽克方法不同，可以實(shí)現(xiàn)每個(gè)波段的全空間分辨率。在區(qū)域掃描場景中，如今分辨率可達(dá) 3.2 MP，每波段速度超過 100 fps，而在線掃描中，相機(jī)可在 35 kHz 下實(shí)現(xiàn)每波段 8192 像素。這種方法的主要限制是棱鏡的尺寸（因此相機(jī)的尺寸）需要支持多個(gè)大型傳感器。這可能會限制可使用的傳感器的最 大分辨率和/或像素大小。

多線相機(jī)（帶濾波器的三線、四線、TDI 型線掃描）
帶有多線傳感器的線掃描相機(jī)也可用于多光譜應(yīng)用。帶有三線 RGB 傳感器的線掃描相機(jī)常用于彩色成像應(yīng)用。四線傳感器相機(jī)可以由 RGB-NIR 或 RGB-單色組成。這是實(shí)現(xiàn)多光譜成像的方法之一。多線傳感器上的線數(shù)可以從 3 條到幾十條不等。當(dāng)今最流行的相機(jī)有 8 到 16 條線，其中每條像素線都有一個(gè)獨(dú)特的光譜帶通濾波器，因此可以捕獲多達(dá) 16 個(gè)波段的多光譜圖像。相同的技術(shù)可以擴(kuò)展到 TDI 型傳感器，它由近 200 條線組成，分為 3 或 4 個(gè)光譜域。多線相機(jī)還可以在現(xiàn)有的 RGB 傳感器上安裝額外的光學(xué)濾光片。這種方法將水平線分辨率分為最多 4 個(gè)部分，具體取決于光學(xué)濾光片的數(shù)量。通過將 5 個(gè)光學(xué)濾鏡與 RGB 傳感器相結(jié)合，最多可以實(shí)現(xiàn) 15 個(gè)光譜波段。這種方法的缺點(diǎn)是光譜通道數(shù)越多，系統(tǒng)的水平分辨率就越低。

用于多光譜成像的推掃式相機(jī)（線掃描）
傳統(tǒng)上用于高光譜相機(jī)的推掃式方法也可應(yīng)用于多光譜成像，為可捕獲的光譜波段數(shù)量增加了極大的靈活性。x-λ 掃描（即跨越水平分辨率和多個(gè)波段）同時(shí)進(jìn)行，而沿傳輸方向（y 軸）的掃描是連續(xù)的。這項(xiàng)技術(shù)可以逐行捕獲完整的空間和光譜信息。推掃式相機(jī)由三個(gè)主要部件組成：鏡頭、成像光譜儀和硅基圖像傳感器（對于 VIS-NIR）或 InGaAs 傳感器（對于 NIR-SWIR）。成像光譜儀由光色散單元和聚焦光學(xué)元件組成，是推掃式相機(jī)的關(guān)鍵部件。在成像光譜儀中，光線穿過輸入狹縫（準(zhǔn)直器）到達(dá)色散單元，然后聚焦到圖像傳感器上，提供單線的 x-λ 坐標(biāo)。如今，線分辨率可以達(dá)到 1024 像素，波長可在 5 到 224 個(gè)波段之間自由選擇。光譜范圍取決于所用傳感器的類型，但 VIS-NIR 很受歡迎。雖然這項(xiàng)技術(shù)提供了良好的靈活性，但缺點(diǎn)是速度會隨著通道數(shù)量的增加而增加。在全范圍（224 個(gè)波段）中，這是一種高光譜方法，幀速率僅為 500 Hz。對于許多工業(yè)應(yīng)用來說，這太慢了。

多光譜成像的區(qū)域掃描與線掃描

在所解釋的多光譜成像方法中，只有極少數(shù)方法可用于高速工業(yè)應(yīng)用。在區(qū)域掃描中，基于多傳感器棱鏡的方法非常適合檢查高速生產(chǎn)的批量產(chǎn)品。其他區(qū)域掃描方法，如像素化多光譜像素陣列（快照馬賽克）和基于濾光輪的方法，對于工業(yè)成像來說太慢了。除此之外，使用快照馬賽克相機(jī)的空間分辨率和像素信息重建也非常具有挑戰(zhàn)性。

基于濾光輪的相機(jī)體積龐大，由多個(gè)活動部件組成，這降低了該方法的穩(wěn)健性。話雖如此，與基于多傳感器棱鏡的方法相比，快照馬賽克和濾光輪方法提供了更多的光譜波段。快照馬賽克適用于不需要良好空間精度的農(nóng)業(yè)、智能農(nóng)業(yè)和醫(yī)學(xué)成像應(yīng)用?；跒V光輪的相機(jī)特別適合舊畫和古典藝術(shù)的數(shù)字存檔?；诙鄠鞲衅骼忡R的相機(jī)非常適合精準(zhǔn)農(nóng)業(yè)、智能農(nóng)業(yè)、水果、蔬菜、肉類、海鮮等商品的在線檢查以及食品和藥品包裝、電子產(chǎn)品和印刷電路板等工業(yè)品。

對于使用線掃描相機(jī)進(jìn)行多光譜成像，有兩種主要方法具有良好的潛力。一種是使用 Pushbroom 高光譜傳感器，它允許從高光譜方法（225 個(gè)光譜帶）縮小到多光譜方法（5 個(gè)光譜帶，6.5kHz 線速率），這使得該方法可用于工業(yè)中速應(yīng)用，例如檢查食品、回收和包裝貨物。

基于多傳感器棱鏡的線傳感器方法可實(shí)現(xiàn)極高的速度（4K 像素下最 高可達(dá) 77 kHz），并可同時(shí)對可見光和近紅外波段進(jìn)行成像，最多可組合四個(gè)光譜波段。速度使得該方法可用于所有基于皮帶、通道或自由落體分揀的高速應(yīng)用。

第三種方法 - 使用帶有光學(xué)濾波器的標(biāo)準(zhǔn)三線線傳感器，降低水平線分辨率，并實(shí)現(xiàn) 6 到 12 個(gè)通道 - 多年來一直試圖進(jìn)入印刷、食品、陶瓷和紡織品檢測領(lǐng)域，但由于校準(zhǔn)程序復(fù)雜、精度低和 API 難以使用而未能成功。

選擇多光譜成像相機(jī)技術(shù)時(shí)的主要考慮因素

易于設(shè)置（系統(tǒng)集成）-使用多光譜成像比使用標(biāo)準(zhǔn)機(jī)器視覺相機(jī)復(fù)雜得多。為了設(shè)置和集成多光譜成像系統(tǒng)的不同組件，重要的是要擁有良好的專業(yè)知識，不僅要了解相機(jī)，還要了解涉及光源、要檢查的物體的性質(zhì)以及數(shù)據(jù)處理和圖像數(shù)據(jù)校正產(chǎn)生的瓶頸的校準(zhǔn)程序。整個(gè)系統(tǒng)集成可能不像高光譜系統(tǒng)那么復(fù)雜，但這實(shí)際上取決于用戶希望通過多光譜成像系統(tǒng)實(shí)現(xiàn)什么。

速度和分辨率：工業(yè)檢測程序需要高吞吐量。許多多光譜系統(tǒng)的讀出架構(gòu)和結(jié)構(gòu)在速度上受到限制。速度取決于波長通道的數(shù)量、使用的多光譜技術(shù)類型和接口。光譜帶的數(shù)量越多，捕獲高速應(yīng)用所需的光量就越困難?？臻g分辨率對于多光譜成像來說也是一個(gè)挑戰(zhàn)，尤其是在檢測小物體時(shí)?；诳煺振R賽克傳感器的相機(jī)使用插值從單個(gè)像素值估計(jì)缺失的空間信息，但在檢測較小的缺陷尺寸時(shí)，這種方法并不十分準(zhǔn)確。每個(gè)應(yīng)用可能需要在可能的多光譜通道數(shù)量和可實(shí)現(xiàn)的速度和分辨率之間進(jìn)行不同的權(quán)衡。

光譜波段數(shù)量：應(yīng)用所需的光譜波段數(shù)量實(shí)際上取決于待檢測物體的性質(zhì)、所需的檢測精度以及使用額外的光譜估計(jì)技術(shù)在圖像處理方面可以實(shí)現(xiàn)的精度。在某些應(yīng)用中，例如紅色邊緣檢測或 NDVI 分析，可以清楚地知道需要紅色和 NIR 區(qū)域中的哪些波段來從植物中捕獲所需的數(shù)據(jù)。對于光譜數(shù)據(jù)眾所周知的塑料和有機(jī)材料，情況也是如此。另一個(gè)例子是熒光內(nèi)窺鏡檢查，其中 ICG 吸收和熒光反射波段是已知的。在這種情況下，可能不需要超出有限數(shù)量的波段。但是，也有一些應(yīng)用涉及要檢查的不同材料的混合，或者需要多個(gè)光譜帶來準(zhǔn)確識別特定波長帶，或者基于多光譜成像的光譜顏色測量應(yīng)用。這樣的應(yīng)用需要相對較多的光譜波段。

靈活性：靈活或可擴(kuò)展的多光譜系統(tǒng)主要適用于在同一臺機(jī)器上檢查不同類型材料的應(yīng)用。靈活性允許用戶根據(jù)應(yīng)用需求調(diào)整多光譜成像系統(tǒng)。這種靈活性主要體現(xiàn)在所需的光譜波段數(shù)量上，這會增加或降低成像系統(tǒng)的速度。某些系統(tǒng)的靈活性也意味著較低的穩(wěn)健性，因?yàn)榭赡苄枰鼡Q變化或移動的部件（例如，在濾光輪方法中，濾光輪可以輕松更換，但它會在系統(tǒng)中增加一個(gè)移動組件，這會影響系統(tǒng)的穩(wěn)健性）。另一方面，有些相機(jī)在制造時(shí)具有靈活性，但在產(chǎn)品完成后就沒有靈活性了。多傳感器棱鏡式相機(jī)在制造過程中具有靈活性，可以根據(jù)硬二向色涂層和基本棱鏡參數(shù)選擇相機(jī)所需的光譜響應(yīng)。但是，一旦制造了棱鏡傳感器組件，就無法更改。基于快照馬賽克傳感器的相機(jī)具有相同的邏輯。一旦多光譜濾波器陣列固定在傳感器上，在檢查任務(wù)期間就無法更換或修改。

處理多光譜數(shù)據(jù)立方體和數(shù)據(jù)流：多光譜成像的挑戰(zhàn)之一是處理多光譜數(shù)據(jù)立方體。這遠(yuǎn)沒有高光譜數(shù)據(jù)立方體復(fù)雜，高光譜數(shù)據(jù)立方體每個(gè)像素可能有幾百個(gè)光譜，但比處理傳統(tǒng)的 RGB 相機(jī)系統(tǒng)更復(fù)雜。系統(tǒng)架構(gòu)必須能夠正確處理、過濾和解釋多光譜數(shù)據(jù)。光譜通道數(shù)越少，這就越簡單。第二個(gè)挑戰(zhàn)可能來自從相機(jī)到處理站的數(shù)據(jù)流所使用的方法。在多流的情況下，其優(yōu)點(diǎn)是可以獨(dú)立控制各個(gè)數(shù)據(jù)流，挑戰(zhàn)在于在應(yīng)用軟件上管理這一點(diǎn)。處理多流需要能夠同時(shí)處理兩個(gè)或更多個(gè)流的軟件架構(gòu)。僅為單流設(shè)計(jì)的軟件期望設(shè)備發(fā)送單幀或同時(shí)可用的多部分有效載荷。因此，對于單幀和多部分有效載荷，用戶都可以調(diào)用單個(gè)函數(shù)并從一個(gè)流中獲取圖像。但是，也有一些平臺，例如 JAI 的 eBUS Player，它可以在只讀模式下第二次或第三次打開相機(jī)設(shè)備并處理多個(gè)數(shù)據(jù)流。

系統(tǒng)成本 –決策的一個(gè)驅(qū)動因素始終是成本。緊湊、用戶友好、量產(chǎn)的相機(jī)比高度專業(yè)化和笨重的系統(tǒng)成本更低。成本還取決于需要執(zhí)行的檢查任務(wù)。與研究、高科技或科學(xué)成像中的應(yīng)用相比，由最終消費(fèi)者或接近最終消費(fèi)者驅(qū)動的應(yīng)用（例如食品和農(nóng)業(yè)檢查）對價(jià)格更為敏感。如今，高端高光譜成像系統(tǒng)的起價(jià)約為每臺相機(jī)系統(tǒng) 20,000 歐元。量產(chǎn)的多光譜相機(jī)應(yīng)遠(yuǎn)低于 10,000 歐元，才能具有商業(yè)吸引力。基于多臺相機(jī)的多光譜相機(jī)比其他方法（例如基于多傳感器棱鏡的相機(jī)或基于多光譜陣列的相機(jī)）更昂貴。同樣重要的是要注意，成本討論必須權(quán)衡并根據(jù)多光譜成像可以提供的價(jià)值來解決或簡化現(xiàn)有成像問題。