• <button id="ya44c"></button>
    <label id="ya44c"></label>
  • <tbody id="ya44c"></tbody>
  • 您的位置:首頁>VR資訊>行業領域

    用力反饋手套為AR/VR元宇宙提供觸感體驗

    編輯:VR視角 發布時間:2021-11-17 10:14:34 0

    映維網 2021年11月17日)從今年三月開始,Meta的Reality Labs Reasearch開始通過系列博文來探討人機交互(HCI)的未來。在第一篇博文中,團隊為增強現實眼鏡構思了一個情景感知AI界面的十年愿景。它能夠利用你選擇共享的信息來提供主動幫助,支持你查找并與周圍的人保持聯系。在第二篇博文中,團隊介紹了關于人機交互方面的進一步研究:將基于手腕的輸入與可用但有限的人工智能相結合,從而動態地適應你和你的環境。

    延伸閱讀:暢想未來AR交互愿景,Facebook要創造“新鼠標”革命

    延伸閱讀:Facebook:超低摩擦輸入,“腕帶”是AR交互的未來

    日前,團隊撰寫了本系列博文的最后一篇,介紹了其在觸覺手套,柔性機器人技術、微流體技術、手部追蹤、觸覺渲染和感知科學方面的進展。下面是映維網的整理:

    Meta深度分享:用力反饋手套為AR/VR元宇宙提供觸感體驗


    Reality Labs Reasearch有一支團隊專門負責為增強現實和虛擬現實發明未來的交互。他們不僅僅只是在尋找前面數年的機會?;谄湓诟呒夹g領域的專業知識,這群有志之士正在為我們10年到15年后的數字世界打造一個愿景。他們的工作是創造未來的技術,幫助我們實現與這數字世界進行無摩擦的交互。

    團隊的研究人員、工程師和設計師正在進行長期的研發工作,而從中誕生的技術不僅有可能從根本上改變增強現實和虛擬現實的進程,而且有可能影響醫學和太空旅行等各個領域。

    這是下一個人機交互時代的中心,這是一個大膽的研究項目,并旨在解決元宇宙的核心挑戰之一:我們如何觸及虛擬世界?

    1. 通過觸覺手套來觸碰數字世界

    想象一下,你正在與朋友的超逼真虛擬化身一起進行虛擬拼圖。當你從桌面拿起一塊虛擬拼圖時,你能夠感覺到它確實存在于自己的手中。當你拿著拼圖進行判斷時,你能夠感覺到拼圖邊緣的銳利和表面的光滑。然后當你把它放在正確的位置時,你會感到滿意的咔嗒聲。

    再想象一下,你正坐在一家咖啡館里工作。一個虛擬的屏幕和鍵盤出現在你面前,其中虛擬鍵盤匹配雙手的尺寸和面前的可用空間,并且可以根據你的喜好輕松個性化。你可以感覺到每次敲打鍵盤時的咔噠聲,以及虛擬按鍵的邊緣。你的文本鍵入就像如同操作完物理鍵盤一樣簡單。

    這種體驗將如何增強你與虛擬世界的聯系呢?在元宇宙中,它們會對你的生產能力或執行任何行動的能力產生何種影響呢?

    今天最接近這一點的體驗是Quest的手部追蹤功能。它可允許你在虛擬現實中看到雙手的數字版本,然后利用它們來操縱虛擬對象。但是,你沒有任何一點觸感。如果沒有觸覺反饋,我們在虛擬世界中的操作就不能像在現實世界中那樣靈巧。我們這項研究的目的正是要改變這種狀況。

    Meta深度分享:用力反饋手套為AR/VR元宇宙提供觸感體驗


    肖恩·凱勒(Sean Keller)是Reality Labs Reasearch的創始人和負責人,他在七年的時間里將其發展成擁有數百名世界級專家的團隊。

    這位研究實驗室的總監解釋道:“手在解決AR和VR交互方面的價值非常巨大。我們用手與他人交流,了解世界,并在其中采取行動。如果我們能將雙手完整呈現在AR和VR之中,我們就可以像真實世界一樣觸摸、感覺和操縱虛擬對象,無需學習新的交互方式?!?/span>

    凱勒的目標是發明柔軟、輕巧的觸覺手套,并解決AR/VR交互問題的兩個方面:幫助計算機準確理解和反映佩戴者的手部動作,并為佩戴者再現一系列復雜、細微的感覺(例如壓力、紋理和振動),從而創造用手感覺虛擬對象的效果。

    要想成功,這種手套需要時尚、舒適、經濟、耐用,并且完全可定制。你可以將它們與VR頭顯配對,以獲得身臨其境的體驗,比如在元宇宙中參加音樂會或暢玩撲克游戲。最終,它們同樣可以與AR眼鏡配對。

    這種手套不僅僅是一個外設,它能夠令虛擬世界變得有形。但真正的新型觸覺手套需要在一系列的科學和工程學科中實現突破性的進展。

    凱勒指出:“我們幾乎是從零開始創造這門學科的一切。我們正在學習人類是如何感知觸覺,以及他們是如何完成任務。我們正在研究如何適配人手的各種形狀和大小,同時保持與用戶的機械耦合。我們正在探索柔性機器人和儀器追蹤系統的極限。我們正在研究和采用與過去完全不同的全新柔性材料和制造技術?!?/span>

    面對這一巨大的挑戰,凱勒和團隊首先提出的問題是:如何創造出可信的觸覺。

    Meta深度分享:用力反饋手套為AR/VR元宇宙提供觸感體驗


    為了提供真實的觸覺,觸覺手套需要安裝數百個執行器(微型電機),并以協調一致的方式移動,從而為佩戴者提供仿佛自己正在觸摸一個虛擬對象的感覺。但現有的機械執行器產生了太多的熱量,所以不適合全天候穿戴。它們同時太大、僵硬、昂貴、耗電,無法呈現真實的觸覺。

    開始工作兩年后,團隊遇到了傳統電氣、金屬部件方面的限制。他們假設通過柔軟、柔韌的執行器來代替機械執行器,而且這種執行器由全新的材料制成,可以根據佩戴者的動作改變形狀。

    但是,這種執行器在當時根本不存在。

    Reality Labs Reasearch硬件工程總監特里斯坦·特魯特納(Tristan Trutna)解釋道:“你絕對不能夠在手上安裝1000個微型電機和電線。即使你擁有無限的資源,你都無法做到。從物理的角度來看,這并不合適。質量太大,熱量太大。如果你需要在不同距離的不同位置施加數千個有形的力,你要么只能是通過氣動、液壓或高密度電動執行器?!?/span>

    團隊轉向了柔性機器人和微流體技術等常用于假肢和PoC診斷設備的新興領域。

    在過去的兩年中,他們在氣動執行器和電活性執行器兩方面都取得了重大突破。作為說明,氣動執行器利用氣壓來產生力,而電活性執行器則在電場作用下改變形狀或尺寸。

    為了控制這種新的柔性執行器,團隊正在構建世界第一個高速微流控處理器:位于手套的一個微型微流控芯片,它能夠告訴閥門何時打開和關閉,從而控制移動執行器的氣流。

    研究科學家安德魯·斯坦利(Andrew Stanley)指出:“我們與更廣泛的微流體領域的不同點在于,我們強調足夠輕、快速和可穿戴。對于觸覺交互,當虛擬現實或增強現實發生事件時,執行器需要非??斓貙χ讣饧訅?。大多數微流體過程發生在秒級,而我們則是毫秒級。我們可以實現更快的響應時間。通過我們的流體邏輯電路,我們能夠通過減少控制大量執行器所需的機電閥數量來消除系統中的重型機電部件?!?/span>

    2. 觸覺渲染:構建虛擬環境的精確圖片

    但即使有了控制氣流的方法,系統都需要知道何時何地傳遞正確的感覺。這就需要先進的手部追蹤技術,以便計算機能夠準確地知道手在虛擬場景中的位置,你是否與虛擬對象接觸,以及手如何與對象交互。

    它同時需要一種能夠根據人手位置和對虛擬環境的理解(包括虛擬對象的紋理、重量和剛度),在合適時間向執行器發送正確指令的新型渲染軟件。

    Meta深度分享:用力反饋手套為AR/VR元宇宙提供觸感體驗


    Reality Labs Reasearch軟件工程師弗雷斯特·史密斯(Forrest Smith)表示:“人們通常認為‘渲染’是視覺效果,但我們使用‘渲染’一詞來表示觸覺。我們正在做的是獲取這個虛擬世界的狀態,以及你與它的交互,然后將其渲染到執行器,以便你能感受到相應的感覺?!?/span>

    工程師賈斯汀·克拉克(Justin Clark)則進一步指出:“為了呈現與對象的實時交互,我們需要模擬相應的物理現象?!?。

    物理引擎確定手在與虛擬對象交互時應經歷的力的方向、大小和位置。然后,觸覺渲染算法將所述信息與觸覺設備的特征(例如其各個執行器的位置和屬性)結合起來,以便向設備發送正確的指令。

    軟件工程師安德魯·多克森(Andrew Doxon)補充道:“其中一個挑戰是構建能夠與不同類型執行器協同工作,并支持廣泛觸覺體驗的軟件。最終,我們還需要允許人們能夠以創建視覺或音頻內容的方式來創建觸覺內容的開發工具?!?/span>

    3. 結合聽覺、視覺和觸覺反饋

    當團隊繼續工作到第四年時,面前出現了第三個挑戰:要令紋理和感覺起效,必須以模仿現實的方式模擬觸摸物理,但又不能完全再現真實世界的物理。

    盡管觸覺手套可以提供有價值的反饋,但它們不能完全阻止你在嘗試抓住虛擬對象時閉合手指,或阻止人手穿過虛擬桌子(穿模)。

    于是,研究人員轉向感知科學和多感官集成:一項關于人類感官是如何協同工作以建立我們對世界理解的研究。

    用戶體驗研究科學經理索菲·金(Sophie Kim)解釋了團隊是如何利用人類的感知能力來創造令人信服的感覺。她說道:“我們的大腦非常擅長于接收一點觸覺信號、一點視覺信號、一點聽覺信號,然后就能將它們融合在一起并允許你獲得一種感覺,并確信自己手中確實是有一個物體?!?/span>

    為了幫助我們理解在AR/VR中實現感官統合的感覺,感知研究科學家婕西·哈契·奧布萊恩(Jess Hartcher-O’Brien)以操縱立方體為例進行了解釋:“如果我拿起一個立方體,我已經對它的材料類型和可能的重量有了假設。我拿著它,我驗證了材料,所以我結合了關于其材料特性的視覺線索和來自第一次接觸瞬間的觸覺反饋。當我去操縱物體時,我的大腦會識別摩擦力和慣性,并能計算出物體的密度或重量。根據對我手臂運動的觀察,我的視覺系統正在進行更新。然后,本體感告訴我手臂在空間中的位置、移動的速度以及我的肌肉正在做什么?!?/span>

    觸覺手套甚至可以允許佩戴者的感知系統相信它正在感受物體的重量,方法是用執行器輕輕地拉動佩戴者手指的皮膚,以模擬對手持對象的引力。但這一切都必須安排得恰到好處。

    在2017年末的一個實驗中(如視頻所示),一系列由不同材料制成的虛擬球體(木材、大理石、泡沫)從天而降,而團隊使用指尖上的一個振動旋轉裝置來提供觸覺反饋。當球落在被試的虛擬手指尖上時,每個球都會提供獨特的視覺、聽覺和觸覺反饋線索。

    凱勒指出:“所有的時間安排和設計都正好契合這種視聽觸覺體驗。你會感覺到那是一塊泡沫、木頭或大理石。你可以感受到材料在落下時接觸手指的感覺。當我體驗到這一點時,那種感覺真是棒極了?!?/span>

    4. 智能紡織品:舒適度與定制性相結合

    隨著項目的成熟,團隊開始解決手套的舒適性,以及將傳感器和機器執行器集成到手套材料中的挑戰。顯然,一只僵硬、笨重或不舒適的手套,又或者是一只容易脫落的手套會立即打破佩戴者的任臨場感。為了避免這種情況,手套需要輕便、柔軟、耐用。

    工藝工程師凱瑟琳·希利(Katherine Healy)解釋說:“我們意識到我們需要將新技術小型化,并將其設計成多功能系統。這樣做可以讓我們在更少的空間內適應更多的環境,做更多的事情。這對于實現舒適的形狀參數至關重要?!?/span>

    Meta深度分享:用力反饋手套為AR/VR元宇宙提供觸感體驗


    材料小組開始發明新的廉價聚合物,如塑料和硅樹脂等柔性材料。它們舒適、可拉伸,但在分子水平上能夠進行定制,以產生新的功能。這就需要全新的制造技術來將所述新材料轉變成真正精細的纖維,然后再將其縫合和編織成手套。

    研究科學家經理克莉絲蒂·喬斯特(Kristy Jost)補充道:“但是,單靠電導紗線并無法帶來我們在虛擬現實中交互所需的全部功能,所以我們正在探索如何在同一纖維或織物中構建多種功能,包括導電、電容和傳感功能,并實現更纖細、更耐磨的形狀?!?/span>

    打造一個纖細、輕盈的觸覺手套是一個挑戰,定制這種手套以適應數十億人又是另一回事。

    所以,材料小組同時在探索允許每只手套都能實現定制,以獲得最大觸覺精度和舒適度的制造技術。這樣做意味著開發設計和制造微型驅動器的新方法,并創造新的編織和刺繡工藝,從而將它們精確地嵌入手套中。

    希利指出:“如今,手套是由熟練的工程師和技術人員單獨制造。他們制造子系統,并通過手工組裝手套。我們盡可能使用半自動化工藝,但大規模生產這種手套需要發明新的制造工藝?!?/span>

    5. 創造未來:Reality Labs才剛剛起步

    在虛擬現實和增強現實中提供可信觸覺體驗所需的一些技術尚不存在,但Reality Labs Research正不斷推動最新技術的發展,創造新的突破,從而令觸覺手套變成現實。

    研究科學家經理尼古拉斯·科隆尼斯(Nicholas Colonnese)表示:“我相信觸覺在AR/VR和元宇宙的人機交互革命中將是至關重要的拼圖。未來,我們可能會在虛擬現實中渲染用于與虛擬按鈕交互的‘觸覺點擊’,或在AR中為你選擇的運動提供實時訓練指導,或在元宇宙中與朋友打招呼時共享自定義‘觸覺表情握手’?!?/span>

    Reality Labs Research的觸覺手套項目在一開始像是一次登月計劃,但隨著團隊成功創新并實現跨越數十個學科的研究飛躍,它的可行性越來越高。

    凱勒表示:“當我們開始觸覺手套項目時,我們問自己是否可以開發一種能夠大規模生產且價格合理的消費設備,并且幫助人們在任何地方都能體驗到任何有形的界面。我們當時無法做到這一點,所以我們必須發明新的材料、新的傳感器和執行器、新的集成和系統方法、新的渲染算法、新的物理引擎。這在當時是不可能完成的任務,但我們已經創造了一條可以幫助我們達到這一目標的可行道路?!?/span>

    在過去的七年中,凱勒和團隊勇敢地面對未知,并開創了新技術、新技術和新學科。但是,他們才剛剛開始。

    特魯特納指出:“這項研究的可能性是巨大的。盡管我們專注于制造觸覺手套,但我們在流體切換和控制方面取得的突破,更不用說柔性機器人技術,它們可能會在lab-on-chip診斷、微流控生物化學、甚至可穿戴和輔助設備方面為醫療行業帶來根本性的進步?!?/span>

    凱勒補充道:“Reality Labs Research是創新的鍛造廠。這是成為一名應用研究人員的最佳場所之一,因為你有一個反饋回路,你有一種方法來評估你正在發現、學習和構建的事物的影響。最終,你會看到你所創造的一切實際上是如何影響人們和人們的生活。這是一項非常有回報的工作,而你在Reality Labs這樣的地方將能夠看到最后?!?/span>


    來源:映維網

    長按指紋識別二維碼關注VR視角

    免責聲明:【VR視角】登載此文出于傳遞更多信息之目的,文章僅代表作者個人觀點,與VR視角(www.on-weekends.com)無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
    本文鏈接:http://www.on-weekends.com/show-1295.html
    未注明來源的文章,皆為本站原創或自網絡搜集整理,如需轉載或摘編請注明來源VR視角并保留本文鏈接地址。

    VR視角
    國內領先的VR(虛擬現實)平臺
    ↓長按下方按鈕復制并添加客服微信號↓
    c4229834
    X
    午夜乱人伦精品视频在线,漂亮的岳坶三浦理惠子,真实嫖中年下岗妇女,欧美成aⅴ人高清怡红院