新加坡的科學家開發(fā)了一種AI系統(tǒng)，該系統(tǒng)通過將可穿戴皮膚樣傳感器與計算機視覺結(jié)合起來來識別手勢。

在過去十年中，人類手勢識別系統(tǒng)已經(jīng)走了很長一段路。如今，該技術(shù)適合許多尖端應用，例如醫(yī)療領(lǐng)域的手術(shù)機器人。但是，手勢識別的精度可能會受到可穿戴式傳感器發(fā)送的數(shù)據(jù)質(zhì)量差的困擾，這通常是由于它們的大小以及與佩戴者的接觸不良所致。 

現(xiàn)在，來自新加坡南洋理工大學（NTU Singapore）的科學家表示，他們已經(jīng)開發(fā)了一種人工智能（AI）系統(tǒng)，該系統(tǒng)可以通過將可拉伸的類似皮膚的應變傳感器與計算機視覺技術(shù)相結(jié)合來識別手勢。

此處顯示的是透明的，可拉伸的應變傳感器，它粘附在穿戴者的皮膚上。在屏幕上的圖像中，根本看不到傳感器。圖片由NTU新加坡提供

“受生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)

為了應對這一挑戰(zhàn)，南大新加坡團隊開發(fā)了一種“生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)將類似皮膚的可拉伸應變傳感器與AI系統(tǒng)結(jié)合使用。這些技術(shù)結(jié)合在一起，類似于人腦共同處理皮膚的感覺和視覺的方式。 

生物啟發(fā)系統(tǒng)由三種神經(jīng)網(wǎng)絡方法組成，在《自然電子》中有更詳細的說明。甲卷積神經(jīng)網(wǎng)絡，這對于早期視覺處理機器學習網(wǎng)絡中，軀體感覺信息處理的多層神經(jīng)網(wǎng)絡，并且一起融合了視覺和體感的信息的備用神經(jīng)網(wǎng)絡。 

受生物啟發(fā)的體感視覺響應啟發(fā)的學習框架。圖片（修改后）由Nature Electronics提供結(jié)合起來，這將創(chuàng)建一個能夠更準確，更有效地識別人類手勢的系統(tǒng)。

伸縮應變傳感器

為了捕獲可靠的感官數(shù)據(jù)，南大新加坡團隊制造了一種由單壁碳納米管制成的透明，可拉伸的應變傳感器。傳感器靈活，可以輕松粘附在皮膚上，無法在照片中看到。  

體感視覺數(shù)據(jù)收集的流程圖。圖片（修改后）由Nature Electronics提供

研究人員說，與無法與皮膚充分接觸以收集準確數(shù)據(jù)的剛性可穿戴傳感器相比，這是一個重大改進。由于新加坡團隊的傳感器與皮膚齊平，因此該設備具有高質(zhì)量的信號采集功能，對于高精度識別至關(guān)重要。 

引導機器人穿過迷宮

作為概念驗證，該團隊通過控制機器人并僅用手勢引導其穿過迷宮，就測試了他們的生物啟發(fā)式AI系統(tǒng)。與僅基于視覺的識別系統(tǒng)產(chǎn)生的六個識別錯誤相比，該手勢識別系統(tǒng)以零錯誤引導機器人穿過迷宮。

即使在惡劣的條件下（例如高水平的背景噪音和光線不足）進行測試，也可以保持團隊AI系統(tǒng)的準確性。在黑暗中，該系統(tǒng)的識別精度幾乎達到97％。 

NTU新加坡的科學家將計算機視覺和類似皮膚的電子設備結(jié)合在一起，引導機器人穿過迷宮。圖片由NTU新加坡提供

該研究小組現(xiàn)在正在探索在醫(yī)療，娛樂和家庭康復等各種應用中基于其AI系統(tǒng)構(gòu)建VR和AR系統(tǒng)的可能性。