單目視覺 SLAM 系統(tǒng)-DROID-SLAM

基于特征的單目視覺 SLAM 系統(tǒng)（稱為ORB-SLAM）被認(rèn)為是值得信賴且全面的。它利用了旋轉(zhuǎn)的BRIEF（二進(jìn)制魯棒獨(dú)立基本特征）和定向FAST（來自加速分段測試的特征）特征檢測器（ORB）

與其他基于立體視覺的技術(shù)相比，它只需要一個單鏡頭相機(jī)，使其成為技術(shù)上更簡單的解決方案，具有更簡單的校準(zhǔn)方法。

普林斯頓大學(xué)提出了一種基于深度學(xué)習(xí)的全新SLAM系統(tǒng)。通過使用密集束調(diào)整層， DROID-SLAM包括對相機(jī)姿勢、相機(jī)角度和像素級深度的重復(fù)迭代調(diào)整。“可微循環(huán)優(yōu)化啟發(fā)設(shè)計(jì)”（DROID）是一種端到端可微設(shè)計(jì)，融合了傳統(tǒng)方法和深度網(wǎng)絡(luò)的優(yōu)點(diǎn)，使得 DROID-SLAM 具有強(qiáng)大的性能和泛化能力。它包括重復(fù)的迭代更新，在光流的RAFT基礎(chǔ)上進(jìn)行擴(kuò)展，同時提供兩項(xiàng)重大改進(jìn)。

首先，它迭代地更新相機(jī)姿態(tài)和深度，而不是 RAFT 的[循環(huán)全對場變換]光流迭代更新。與僅適用于兩幀的 RAFT 相比，DROID-SLAM 的更 新允許對所有相機(jī)姿勢和深度圖進(jìn)行全局聯(lián)合細(xì)化，這對于減少長軌跡和回環(huán)的漂移是必要的。

其次，可微的密集束調(diào)整（DBA）層計(jì)算相機(jī)姿勢和密集每像素深度的高斯-牛頓更新，以最 大限度地滿足最 新光流估計(jì)的合規(guī)性。該層創(chuàng)建 DROID-SLAM 中相機(jī)姿勢和深度圖的每次更新。由于 DBA 層使用了幾何約束，單目系統(tǒng)無需重新訓(xùn)練即可接受立體或 RGB-D 輸入，這也提高了準(zhǔn)確性和魯棒性。

DROID-SLAM 準(zhǔn)確，顯著優(yōu)于早期研究，并且具有彈性，災(zāi)難性故障顯著減少。盡管是在單目視頻上進(jìn)行訓(xùn)練的，但它可以使用立體或 RGB-D 視頻在測試中表現(xiàn)更好

系統(tǒng)概述：

初始化：收集幀直到計(jì)數(shù)達(dá)到 12，累積它，然后通過在捆綁調(diào)整的特定時間戳之后在關(guān)鍵幀之間創(chuàng)建邊緣來初始化幀圖。

前端：它維護(hù)關(guān)鍵幀的集合和存儲可見關(guān)鍵幀之間邊緣的幀圖。借助平均光流測量的 3 個最近鄰進(jìn)行特征提取和圖形創(chuàng)建。通過計(jì)算平均光流幅度并刪除冗余幀來計(jì)算幀對之間的距離。

后端：全局捆綁調(diào)整是后端的主要操作。首先，在時間相鄰的關(guān)鍵幀之間添加邊緣。然后按照流量增加的順序從距離矩陣中采樣新的邊。

迭代發(fā)生在密集的捆綁調(diào)整上。它使用 PyTorch 來利用自動微分引擎。在推理時，我們使用自定義 CUDA 內(nèi)核，該內(nèi)核利用問題的塊稀疏結(jié)構(gòu)，然后對縮小的相機(jī)塊執(zhí)行稀疏Cholesky 分解。

最后的話

SLAM 系統(tǒng)是 3D 對象實(shí)時地圖繪制領(lǐng)域的游戲規(guī)則改變者。它在許多領(lǐng)域都有許多應(yīng)用，它將減少健康和其他領(lǐng)域的大量風(fēng)險。DROID-SLAM 是最 新、最 高效的 SLAM 算法之一，性能良好。盡管 SLAM 的計(jì)算成本非常昂貴，但正在進(jìn)行的許多類型的研究肯定會降低成本。