與星瞳一起跳舞！騰訊先鋒探索虛實互動新玩法

11月3日-11月5日期間，時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店(騰訊電競聯(lián)名店)舉辦線下生日活動，期間騰訊先鋒與星瞳IP、競鵝酒店展開技術合作，共同解鎖沉浸感十足的“AI虛實互動體驗”，邀請線下觀眾與星瞳在虛擬場景中實時“斗舞”。這也是騰訊先鋒基于其虛實互動技術打造的“云渲染+虛實互動”新玩法的線下首發(fā)落地。

未來，騰訊先鋒虛實互動技術還將通過TV客戶端觸達更廣泛的用戶，帶來更具趣味性、專業(yè)性的大屏健身交互體驗。

打破虛實界限，邀你與星瞳共舞

從2018年首次亮相，到與國樂大師方錦龍先生同臺表演，再到參與國產(chǎn)原創(chuàng)動漫形象舞臺競演節(jié)目《2060》，虛擬人星瞳從虛擬世界走來，以愈發(fā)鮮活的形象與現(xiàn)實世界產(chǎn)生互動。

而競鵝酒店是騰訊電競與歐愉科技共同打造的電競酒店品牌，酒店擁有濃厚的虛擬人及虛實互動氛圍，擁有國內首個電競虛擬主理人V姐全方位服務、電競主題數(shù)字互動體驗、正版電競IP主題房等一系列電競數(shù)字IP體驗空間。這次生日活動就落地在競鵝酒店，借助騰訊先鋒自研的虛實互動技術，觀眾首次以“真實形象”進入星瞳的世界，與她共舞一曲。

在互動環(huán)節(jié)，參與體驗的觀眾只需站在互動區(qū)域，其真人形象就能夠通過手機攝像頭投射在虛擬場景中，其在現(xiàn)實世界中的一舉一動也會實時同步至屏幕中，舞蹈挑戰(zhàn)開始后，系統(tǒng)通過判斷觀眾的骨骼姿勢進行打分評級。

簡單易上手且自由度極高的操作，極具沉浸感、趣味性的交互玩法讓觀眾直呼過癮，同時無需穿戴設備和綠幕背景，僅通過普通手機攝像頭就能在虛擬世界實時互動的低門檻體驗，也讓觀眾對這一技術走進自家客廳充滿了期待。為了打造優(yōu)質的AI虛實互動體驗，騰訊先鋒在其自研虛實互動技術里綜合應用了諸多技術能力，包括實時無綠幕摳圖、姿態(tài)估計與動作捕捉、實時云端視頻流媒體AI通用處理架構。

其中，實時無綠幕摳圖技術，繞過了設備的限制，能夠在云端進行實時4K視頻發(fā)絲級摳圖。換句話說，無需綠幕或設備算力，只需普通的手機攝像頭，也能在虛擬世界中實時呈現(xiàn)高質量的真實人物形象，并且?guī)士蛇_60FPS，足以滿足普通用戶在虛擬場景實時互動的需求。

而在姿態(tài)估計與動作捕捉方面取得的技術突破，則進一步降低了AI虛實互動體驗的門檻，不僅擺脫了對特殊場地和拍攝設備的依賴，也無需額外的可穿戴設備，僅通過手機或是普通的RGB攝像頭，即可實現(xiàn)包括身體、手部和表情在內的高精度動作捕捉以及虛擬形象表演驅動。結合深度神經(jīng)網(wǎng)絡的視覺AI動捕技術和端云協(xié)同的多視角拍攝與計算能力，能夠進一步提高精度及穩(wěn)定性，精準還原肢體律動。同樣，該技術也是完全基于云端計算，無需額外算力。

上述兩大技術能力都對“云”提出了極高的要求，面對隨之而來的延時、畫質、跨終端等實際問題，騰訊先鋒打造了實時云端視頻流媒體AI通用處理架構，整合硬件編解碼和高效神經(jīng)網(wǎng)絡推理框架，構建了完整的視頻流媒體處理與云端低延遲AI計算方案，并且支持先鋒云游戲kunpeng、ampere、x86+nvidia gpu等多種平臺, 適配不同gpu集群部署，支持邊緣節(jié)點部署調度。 在騰訊先鋒云游戲云計算能力的加持下，“云渲染+虛實互動”玩法的鏈路延遲基本可穩(wěn)定在100毫秒以下，并且可實現(xiàn)單機64路視頻流的實時動作捕捉，使得用戶隨時隨地在虛擬世界進行交互成為可能。

多場景創(chuàng)新融合，探索云游戲技術的無限可能

多年來，騰訊先鋒在云游戲領域進行了深入的探索，在關鍵技術、應用場景、內容生態(tài)等方面積累了豐碩的成果，并持續(xù)豐富用戶的娛樂互動體驗，不斷拓寬云游戲的可能性。

云游戲的愿景之一就是降低設備門檻，打破不同設備間的隔閡，讓用戶隨時隨地獲得極致的體驗。在服務玩家的過程中，騰訊先鋒持續(xù)發(fā)力無縫跨場景連接，圍繞縮短內容到用戶的“距離”，進行了全方位的優(yōu)化，跨端解決方案日趨完善：支持手Q、微信登錄一鍵授權，打通移動、PC、TV大屏等多終端的游戲體驗，是國內少有的全終端云游戲生態(tài)平臺。同時通過定制化游娛套裝, 騰訊先鋒解決了移動游戲在大屏端的交互問題，讓用戶體驗更加“絲滑”，促進多用戶場景的滲透。

基于多年來沉淀的云游戲技術能力，騰訊先鋒也在不斷拓展技術的邊界，尋求新的突破。此前，騰訊先鋒參與了“云游長城”項目中“數(shù)字長城”的制作，為其提供云游戲技術支持，幫助數(shù)以億計的數(shù)字資產(chǎn)成功“上云”，并通過獨有的云游戲傳輸流控算法在移動端打造3A級的觀看效果和交互體驗。這也是全球首次將云游戲技術應用于人類文化遺產(chǎn)保護。

今年9月，高新視頻互動場景創(chuàng)新國家廣播電視總局實驗室正式啟動，在上海市廣播電視局的指導下，騰訊先鋒將聯(lián)合行業(yè)共建單位聚焦高新視頻云互動數(shù)字場景創(chuàng)新應用開展相關研究，為豐富高新視頻內容供給、培育智慧廣電新視聽提供重要支撐。

騰訊先鋒還在積極拓展云互動與社交、演藝、文創(chuàng)、運動等領域的創(chuàng)新融合，打造低門檻的虛實互動體驗。此次與星瞳IP的技術合作，為大眾打開了近距離接觸云游戲技術的新窗口，以極致的用戶體驗又一次刷新了外界對于這一技術的認知與想象空間。

未來，云游戲技術將被應用于更多數(shù)字場景之中。借助云游戲技術，用戶可以與數(shù)字人、KOL等同場景實時互動，或是與身處不同空間的用戶同屏互動，抑或是豐富XR領域的內容生態(tài)，提升可玩性，解鎖更多創(chuàng)新玩法。

可以預見，在云游戲技術的底盤之上，不僅可以誕生各種各樣的游戲服務，持續(xù)提升用戶娛樂體驗，也可以與更多非游戲行業(yè)創(chuàng)新結合，以豐富的形態(tài)滲透進大眾生活，帶來全新的數(shù)字體驗，釋放無限可能。