近年來，機器人已經越來越普遍的成為人們生活家庭中的小幫手，而來自卡耐基梅隆大學 （CMU） 的四個科學家，發現家庭機器人應用在現實生活中和實驗差距很大，在一篇論文中，他們強調：機器人一般都生活在實驗室里，在真實的場景中生活場景幾乎為0。

　　為什么機器人動作數據不會像我們在計算機視覺和自然語言處理等其他重要領域中看到的那樣獲得類似的收益？

　　許多方法聲稱實驗室中收集的數據是真實數據。但是面對現實多樣化的場景，很多機器人顯得力不從心。因此，機器人在試驗過程中的數據采集信息就需要從實驗室設置轉移到現實世界的人們家中。

　　對此，科學家們決定把這些機器人帶去開房。通過在多個看不見的家中對機器人進行物理執行指令，將家庭數據集訓練的模型顯示與實驗室收集的數據訓練的基線模型進行對比，找到解決機器人在實驗室數據之外，遇到狀況怎么處理和解決目前一些廉價機器人對于日常生活中做事和面對指令反應不準確的問題。

　　經濟適用機器人

　　由于收集模擬數據比實時機器人實時成本低得多，所以目前的機器人大多的數據驅動方法主要集中在使用模擬器上，這種模擬器不是使用手工設計的模型，而是集中于大規模數據集的收集，但模擬器與現實世界之間存在廣泛的“現實差距”。因此，科學家決定推動在多個機器人實驗室中收集真實世界的物理交互數據，主要目的是要將硬件成本下降。

　　為了這個目的，科學家們把機器人進行了改造，機械手臂上先建立一個低于3K美元組裝的低成本移動機械手把，再逐步加上雙軸手腕，兩指電動夾具，還有移動底座。傳感器方面，配置了英特爾R200 RGB攝像頭，以及幫攝像頭轉脖子的云臺。至于機器人的大腦搭載了i5－8250U的CPU和8G的RAM，一次充電可運行約3小時。底座中的電池用于為底座和臂提供動力。只需一次充電，系統可以運行1．5小時。這樣每臺“只要”三千美元，比別的 （兩萬美元的） 機器人經濟多了。

　　由于廉價的電動機，突出了降低成本的一個不可避免的后果－那就是無法準確的控制。現有的機器人采集數據集多種多樣存在很多誤差，這種誤差稱之為機器人工作的噪聲，并把噪聲模擬為潛在變量并使用兩個網絡：預測可能的噪聲預測執行的動作。

　　機器人平面抓取原則

　　平面抓取訓練原則遵循Imagenet預訓練的卷積神經網絡作為初始化，分為3個結構：

　　1、抓取預測網絡 （GPN） ，基于對象的圖像塊推斷抓握角度，再決定用什么姿勢抓取。而采用經濟的機器人，收集的數據會有很多噪音

　　2、噪音建模網絡 （NMN） ，估計給定圖像的潛在噪聲場景和機器人信息這兩組數把噪音分離出去。

　　3、邊緣化層 （Marginalization Layer） ，計算最終的抓握角度，把兩股數據流結合起來，以便給出更好的決策。

　　機器人潛在噪聲模型

　　科學家們為確保數據測試得多樣化，舉出六個家庭來進行平面抓取。每個家庭都有幾個環境，使用多個機器人并行收集數據。由于是在具有非結構化視覺輸入的家庭中收集數據，所以使用了物體檢測器。這導致在雜亂和不同背景中對象的邊界框預測，于是僅對2D位置并丟棄對象類信息進行記錄。一旦在圖像空間中獲取到物體的位置，就首先對其進行抓取采樣，然后從嘈雜的PointCloud計算3D抓取位置。

　　由于欠約束機器人只有5個DOF，所以運動規劃管道經過精心設計。在收集訓練數據時，將各種各樣的物體分散開，讓移動基地隨機移動和抓取物體。基座被限制在2米寬的區域，以防止機器人與其操作區域之外的障礙物碰撞，然后對采集的數據集進行定量評估。

　　對于定量評估，可以使用三種不同的測試設置：

　　1、二進制分類（保留數據）：通過對對象執行隨機抓取來收集保持測試集。

　　在給定位置和抓握角度的情況下，測量二元分類的性能。模型必須預測掌握是否成功。這種方法允許評估大量模型而無需在真實機器人上運行它們。

　　2、真正的低成本手臂（Real－LCA）：通過評估學習模型在低成本手臂上的物理抓取性能。

　　3、Real Sawyer（Real－Sawyer）：測量學習模型在工業機器人手臂（Sawyer）上的物理抓取性能。由于Sawyer是更準確和更好的校準，因此評估Robust－Grasp模型過程中不會解開數據中的噪聲。

　　機器人從模型訓練到數據集整合評估都對無法完全適應外界，因此，采集現實世界的數據，來實時的訓練機器人實際技能，這是一個泛化和艱難的過程，很期待和機器人共同生活的世界，你們期待嗎？