上海交大劉景全團(tuán)隊(duì)和盧策吾團(tuán)隊(duì)合作發(fā)表MEMS視觸覺(jué)融合多模態(tài)人機(jī)交互新進(jìn)展

2024-12-05 11:41:58上海交通大學(xué)閱讀量：15531      我要評(píng)論

　　近日，上海交通大學(xué)電子信息與電氣工程學(xué)院微米納米加工技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室劉景全團(tuán)隊(duì)和上海交通大學(xué)人工智能學(xué)院盧策吾團(tuán)隊(duì)在人機(jī)交互領(lǐng)域取得重要進(jìn)展，相關(guān)成果以“Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array”(使用深度學(xué)習(xí)驅(qū)動(dòng)的可拉伸觸覺(jué)陣列捕捉可形變物體的力學(xué)交互)為題，在國(guó)際著名期刊《Nature Communications》上發(fā)表。

研究背景

　　觸覺(jué)感知是獲取環(huán)境信息的重要渠道之一，在人機(jī)交互、虛擬現(xiàn)實(shí)、遠(yuǎn)程醫(yī)療和人形機(jī)器人等領(lǐng)域有重要研究?jī)r(jià)值。對(duì)于人形機(jī)器人而言，捕捉復(fù)雜操作任務(wù)中手與可形變物體之間的觸覺(jué)數(shù)據(jù)并進(jìn)一步估計(jì)手-物狀態(tài)是一個(gè)巨大挑戰(zhàn)。為解決上述問(wèn)題，首先需要借助人機(jī)交互界面捕捉人類(lèi)操作過(guò)程，再將經(jīng)驗(yàn)遷移給機(jī)器人。傳統(tǒng)的人機(jī)交互識(shí)別通常只能生成語(yǔ)義結(jié)果，如識(shí)別手勢(shì)代表的字母，識(shí)別物體的種類(lèi)和位置。因此，研究一種具有更高維度的精準(zhǔn)、分布式人機(jī)交互界面，將有助于動(dòng)態(tài)捕捉人類(lèi)操作可形變物體的過(guò)程，這對(duì)推動(dòng)人類(lèi)通用操作能力向機(jī)器智能操作的遷移具有重要的研究?jī)r(jià)值和應(yīng)用潛力。

　　亮點(diǎn)內(nèi)容

　　該研究提出了一種全新的視覺(jué)-觸覺(jué)聯(lián)合記錄和追蹤系統(tǒng)ViTaM(Visual-Tactile recording and tracking system for Manipulation)。該系統(tǒng)配備了具有1152個(gè)力感知通道的柔性MEMS觸覺(jué)手套，基于正/負(fù)拉阻效應(yīng)克服了感知可形變物體時(shí)的應(yīng)變干擾問(wèn)題，實(shí)現(xiàn)了精準(zhǔn)、分布式的觸覺(jué)感知；同時(shí)，該研究通過(guò)視覺(jué)與觸覺(jué)的聯(lián)合深度學(xué)習(xí)，重建了動(dòng)態(tài)的手-物操作狀態(tài)，一定程度上促進(jìn)了智能體在人機(jī)交互中的理解能力進(jìn)步，尤其是在涉及力學(xué)交互的方面，向人類(lèi)多模態(tài)感知的水平邁近了一步。

圖1 深度學(xué)習(xí)驅(qū)動(dòng)的觸覺(jué)手套可捕捉與可形變物體的力學(xué)交互

　　該團(tuán)隊(duì)研制的基于正/負(fù)拉阻效應(yīng)的復(fù)合式薄膜，通過(guò)工藝調(diào)控，可以使得兩種薄膜對(duì)所受應(yīng)變表現(xiàn)出方向相反、幅值近似的電學(xué)特性，從而對(duì)雙電極的對(duì)稱(chēng)響應(yīng)實(shí)時(shí)檢測(cè)，區(qū)分出傳感器所受的壓力與應(yīng)變，并通過(guò)自適應(yīng)校準(zhǔn)輸出電壓與受力的關(guān)系曲線(xiàn)，最終達(dá)到對(duì)應(yīng)變干擾的主動(dòng)抑制效果。經(jīng)測(cè)試，力測(cè)量精度達(dá)到97.6%，相較于未校準(zhǔn)時(shí)提升了45.3%，這對(duì)精準(zhǔn)感知可形變物體的受力具有較強(qiáng)的幫助。

圖2 具有應(yīng)變干擾抑制能力的觸覺(jué)手套設(shè)計(jì)、制造和測(cè)試方法

　　研究團(tuán)隊(duì)還提出了一種視覺(jué)-觸覺(jué)聯(lián)合深度學(xué)習(xí)框架，旨在處理多模態(tài)數(shù)據(jù)序列、動(dòng)態(tài)重建手-物狀態(tài)，以及恢復(fù)可形變物體的幾何細(xì)節(jié)。該工作在包含剛性體和可形變物體的6類(lèi)共24種物體上進(jìn)行了訓(xùn)練和實(shí)驗(yàn)，所有序列的平均重建誤差僅為1.8厘米，表明了該系統(tǒng)在操作不同形變程度的物體時(shí)，具有較強(qiáng)的普適性，能夠有效復(fù)現(xiàn)人類(lèi)操作的經(jīng)驗(yàn)。

圖3 視覺(jué)-觸覺(jué)聯(lián)合學(xué)習(xí)框架的流程

圖4 基于ViTaM系統(tǒng)的手-物重建結(jié)果

　　圖4展示了基于ViTaM系統(tǒng)進(jìn)行手-物重建的結(jié)果，分別從有無(wú)應(yīng)變干擾抑制方面、連續(xù)形變方面以及純視覺(jué)與視觸融合多模態(tài)方面進(jìn)行了分析，顯示出視覺(jué)-觸覺(jué)聯(lián)合深度學(xué)習(xí)具有明顯的優(yōu)勢(shì)。最后展示了在真實(shí)世界中收集的視覺(jué)-觸覺(jué)數(shù)據(jù)重建的序列結(jié)果，證明了該方法在處理多幀數(shù)據(jù)時(shí)的時(shí)空一致性。

　　未來(lái)，ViTaM系統(tǒng)將被集成到人形機(jī)器人的電子皮膚中，實(shí)現(xiàn)與周?chē)h(huán)境的無(wú)縫互動(dòng)，提升機(jī)器人靈巧操作能力，推動(dòng)機(jī)器人從操作特定物體到通用操作場(chǎng)景的技術(shù)進(jìn)步。

　　研究團(tuán)隊(duì)

　　上海交通大學(xué)電院劉景全教授和人工智能學(xué)院盧策吾教授為該論文的共同通訊作者，博士后姜春蓬和博士后徐文強(qiáng)為共同第一作者。該工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃和國(guó)家自然科學(xué)基金等項(xiàng)目資助。

　　劉景全教授團(tuán)隊(duì)長(zhǎng)期致力于可穿戴/可植入柔性電子器件與微系統(tǒng)的研制，旨在充分運(yùn)用多學(xué)科交叉優(yōu)勢(shì)，解決醫(yī)療健康和極端環(huán)境中的重大需求，發(fā)表論文有Sci. Adv. 2021、Adv. Mater. 2021、Adv. Funct. Mater. 2023、ACS Nano 2023、Small 2019、和Biosens. Bioelectron. 2024等。

　　盧策吾教授團(tuán)隊(duì)長(zhǎng)期致力于具身智能、計(jì)算機(jī)視覺(jué)和智能機(jī)器人相關(guān)領(lǐng)域的研究和系統(tǒng)研發(fā)，擁有國(guó)際先進(jìn)水平的開(kāi)源人工智能框架和數(shù)據(jù)集，相關(guān)研究工作發(fā)表在計(jì)算機(jī)領(lǐng)域頂級(jí)期刊和會(huì)議：Nature、Nature Machine Intelligence、TPAMI和CVPR等，獲得科學(xué)探索獎(jiǎng)(獲獎(jiǎng)理由：具身智能貢獻(xiàn))。

上一篇：半導(dǎo)體所在PZT光電子材料與器件領(lǐng)域取得重大突破

下一篇：我國(guó)科研人員在揮發(fā)性有機(jī)物(VOCs)吸附回收技術(shù)理論方面取得重要進(jìn)展

版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來(lái)源：化工機(jī)械設(shè)備網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來(lái)源：化工機(jī)械設(shè)備網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來(lái)源（非化工機(jī)械設(shè)備網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來(lái)源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問(wèn)題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

全部評(píng)論

昵稱(chēng) 驗(yàn)證碼匿名