展廳迎賓機(jī)器人小腦技術(shù)的演進(jìn)：視覺-語(yǔ)言模型進(jìn)行模仿學(xué)習(xí)

傳統(tǒng)的機(jī)器人控制方法依賴于精確的動(dòng)力學(xué)模型和專家知識(shí)，難以適應(yīng)非結(jié)構(gòu)化環(huán)境的不確定性和復(fù)雜性。近年來(lái)，學(xué)習(xí)型控制的發(fā) 展使得機(jī)器人能夠從數(shù)據(jù)中學(xué)習(xí)控制策略，但其泛化能力和魯棒性仍 難以滿足復(fù)雜場(chǎng)景需求。大模型為機(jī)器人控制引入了豐富的先驗(yàn)知識(shí) 和泛化能力，有望進(jìn)一步突破傳統(tǒng)控制方法的局限性。整體上看，目前展廳迎賓機(jī)器人的“小腦”核心技術(shù)正在從基于模型的控制方法向基于學(xué)習(xí)的控制方法演進(jìn)。

在強(qiáng)化學(xué)習(xí)領(lǐng)域，大模型為引入先驗(yàn)知識(shí)和提高樣本效率提供了 新的思路。以 LanguagePlan 為例，該模型利用 GPT-3 根據(jù)任務(wù)描述 生成抽象的行動(dòng)計(jì)劃，如“先走到門口，然后打開門，再走出房間”。 然后，LanguagePlan 將該行動(dòng)計(jì)劃嵌入到狀態(tài)空間中，作為額外的觀 察信息，用于訓(xùn)練一個(gè)分層強(qiáng)化學(xué)習(xí)智能體。實(shí)驗(yàn)表明，LanguagePlan 能夠顯著提高樣本效率和泛化性能，加速?gòu)?fù)雜任務(wù)的學(xué)習(xí)。類似地，LOFT、T-EBM 等模型也展示了利用語(yǔ)言模型引導(dǎo)策略學(xué)習(xí)的能力。

在模仿學(xué)習(xí)方面，視覺-語(yǔ)言模型為機(jī)器人學(xué)習(xí)復(fù)雜技能提供了新的范式。以 CLIP-ASAP 為例，該模型首先利用 CLIP 將視頻幀編 碼為語(yǔ)義特征，然后通過(guò)因果語(yǔ)言建模學(xué)習(xí)動(dòng)作與視覺變化之間的關(guān) 系。在控制階段，CLIP-ASAP 根據(jù)語(yǔ)言指令和當(dāng)前視覺觀察，預(yù)測(cè)下 一時(shí)刻的關(guān)鍵幀，并將其傳遞給低層控制器執(zhí)行。實(shí)驗(yàn)表明，CLIPASAP 能夠?qū)W習(xí)復(fù)雜的長(zhǎng)期技能，如烹飪、家政等，且具有很強(qiáng)的泛化能力，能夠根據(jù)不同的指令組合技能。類似地，R3M、Pix2R 等模 型也展示了利用視覺-語(yǔ)言對(duì)齊進(jìn)行模仿學(xué)習(xí)的能力。

盡管大模型在機(jī)器人控制中展現(xiàn)出了廣闊的應(yīng)用前景，但如何進(jìn) 一步提高其實(shí)時(shí)性、魯棒性和可解釋性仍然是亟待解決的問(wèn)題。此外， 如何將控制與感知、決策和規(guī)劃更緊密地結(jié)合，構(gòu)建端到端的自主系 統(tǒng)，也是未來(lái)的重要研究方向。