3 月 13 日訊，谷歌 AI 在其官方博客上發布了一款名為 MediaPipe Objectron 的算法框架，利用這個算法框架，只要一部手機，就能實時從 2D 視頻里識別 3D 物品的位置、大小和方向。這一技術可以幫助機器人，自動駕駛汽車，圖像檢索和增強現實等領域實現一系列的應用。

　　我們知道，3D 數據集相對于 2D 來說，非常有限。

　　為了解決這個問題，谷歌 AI 的研究人員使用移動增強現實(AR)會話數據(session data)，開發了新的數據 pipeline。

　　目前來說，大部分智能手機現在都具備了增強現實的功能，在這個過程中捕捉額外的信息，包括相機姿態、稀疏的 3D 點云、估計的光照和平面。

　　為了標記 groud truth 數據，研究人員構建了一個新的注釋工具，并將它和 AR 會話數據拿來一起使用，能讓注釋器快速地標記對象的 3D 邊界框。

　　MediaPipe 是谷歌去年 7 月份發布的一個多媒體框架，它在安卓、IOS 網頁等各種平臺上都能應用機器學習媒體模型。昨日 MediaPipe 發布 0.7 版，并加入了移動端試試 3D 檢測模型。目前 MediaPipe 包含人臉檢測、手部檢測、頭發分割和視頻自動橫豎屏轉換等功能。主要用于構建處理不同形式的感知數據。

　　在計算機視覺領域里，跟蹤 3D 目標是一個棘手的問題，尤其是在有限的計算資源上，例如，智能手機上。由于缺乏數據，以及需要解決物體多樣的外觀和形狀時，而又僅有可 2D 圖像可用時，情況就會變得更加困難。

　　為了解決這個問題，谷歌 Objectron 團隊開發了一套工具，可以用來在 2D 視頻里為對象標注 3D 邊界框，而有了 3D 邊界框，就可以很容易地計算出物體的姿態和大小。注釋器可以在 3D 視圖中繪制 3D 邊界框，并通過查看 2D 視頻幀中的投影來驗證其位置。對于靜態對象，他們只需在單個幀中注釋目標對象即可。

　　為了補充現實世界的訓練數據以提高 AI 模型預測的準確性，該團隊還開發了一種名為 AR Synthetic Data Generation（增強現實合成數據生成）的新穎方法。它可以將虛擬對象放置到具有 AR 會話數據的場景中，允許你利用照相機，檢測平面和估計照明，來生成目標對象的可能的位置，以及生產具有與場景匹配的照明。這種方法可生成高質量的合成數據，其包含的渲染對象能夠尊重場景的幾何形狀并無縫地適配實際背景。

　　通過上述兩個方法，谷歌結合了現實世界數據和增強現實合成數據，將檢測準確度度提高了 10%。

　　增強現實合成數據生成的一個示例：虛擬白褐色谷物盒渲染到真實場景中，緊鄰真實藍皮書。

　　準確度的提升是一方面，谷歌表示，當前版本的 Objectron 模型還足夠“輕巧”，可以在移動設備上實時運行。借助 LG V60 ThinQ，三星 Galaxy S20 +和 Sony Xperia 1 II 等手機中的 Adreno 650 移動圖形芯片，它能夠每秒處理約 26 幀圖像，基本做到了實時檢測。

　　接下去，谷歌團隊表示：" 我們希望通過與更多的研究員和開發者共享我們的解決方案，這將激發新的應用案例和新的研究工作。我們計劃在未來將模型擴展到更多類別，并進一步提高設備性能。"