郭一璞 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號 QbitAI

“當(dāng)5G到來時(shí)，普通用戶的流量不再是限制看直播的因素，就像短視頻今日的火熱一樣，整個(gè)直播市場會有5~10倍的巨大增長空間?！?/p>

這是虎牙CEO董榮杰最新給出的機(jī)遇判斷，他十分看好5G對整個(gè)直播業(yè)的助力作用。有了5G，流量不設(shè)限，用戶心里沒負(fù)擔(dān)，而在通信基礎(chǔ)設(shè)施之上，借助AI技術(shù)衍生出的諸多新應(yīng)用，也將會是直播的新生機(jī)。

比如，虎牙自己上周就一口氣推出了小程序開放平臺和虛實(shí)結(jié)合開放平臺HERO兩大平臺，前者讓第三方開發(fā)者們都能利用虎牙技術(shù)接口開發(fā)直播中使用的各類小程序應(yīng)用，后者則使得各家都能讓自己的IP“活過來”，在虛實(shí)結(jié)合中成為直播的主角。

如果說，前幾年的直播還是聚焦在優(yōu)質(zhì)公會、主播的“單兵作戰(zhàn)”，那么在近幾年，隨著技術(shù)要求的不斷提高和更多潛在的衍生技術(shù)應(yīng)用，直播平臺的競爭已經(jīng)進(jìn)入了圍繞主播、公會、賽事、活動(dòng)的“集群作戰(zhàn)”時(shí)代。

新技術(shù)、新能力、新應(yīng)用作為現(xiàn)代武器，給單一主播公會的能力乘上了巨大的倍數(shù)，而對于平臺而言，技術(shù)加持的直播“集團(tuán)軍”，更需要如同制造業(yè)產(chǎn)業(yè)鏈一般成體系、成規(guī)模的運(yùn)作方式。

虎牙也展露了他們在這個(gè)新時(shí)代的技術(shù)野心。兩大平臺發(fā)布后，量子位也和虎牙CTO賴立高、AI總經(jīng)理許佳聊了聊虎牙在這兩大新發(fā)布背后的技術(shù)與實(shí)踐。

IP數(shù)字化，重現(xiàn)真實(shí)世界

借助生成對抗網(wǎng)絡(luò)（GAN）、語音合成等AI技術(shù)的虛擬主播，虎牙并非業(yè)內(nèi)頭一家，然而應(yīng)用在直播上，卻是開天辟地之舉。

究其緣由，還是業(yè)務(wù)驅(qū)動(dòng)，“很多真人主播確實(shí)在才藝上可能擅長一點(diǎn)，但我們在業(yè)務(wù)上有很多對于真人不會的才藝進(jìn)行賦能的需求”許佳談到，而虎牙的第一個(gè)數(shù)字人“數(shù)字晚玉”的原型虎牙主播晚玉，本身確實(shí)是沒有跳舞技能的游戲主播，而數(shù)字人的存在補(bǔ)充了晚玉的技能樹。

而實(shí)現(xiàn)“讓數(shù)字人跳舞”這個(gè)功能，則是基于兩種方式，一種是捕捉真人舞蹈演員的動(dòng)作，另一種是把已有的舞蹈視頻中的動(dòng)作提煉出來。

未來，除了在外觀細(xì)節(jié)上重現(xiàn)真人的外表，虎牙技術(shù)團(tuán)隊(duì)也在準(zhǔn)備加入語音識別等NLP功能。

基于此，虎牙打造了虛實(shí)結(jié)合開放平臺HERO，“從技術(shù)上看，我們做的是非常通用的流程，現(xiàn)在有很多IP，你可以把你的形象拿過來，我們通過驅(qū)動(dòng)技術(shù)把這些形象驅(qū)動(dòng)起來，渲染給觀眾。我們的方案是平臺，能夠把所有的已經(jīng)有的數(shù)字人IP拿到我們的平臺，通過我們的驅(qū)動(dòng)渲染，最后呈現(xiàn)給觀眾?！痹S佳介紹。

也就是說，用通用的方法給各種IP創(chuàng)建虛擬形象，實(shí)現(xiàn)技術(shù)上可復(fù)制，降低成本和使用門檻。

而這一切，歸根結(jié)底是在重現(xiàn)真實(shí)世界，不僅包括人物，也包括真實(shí)世界中的場景。

正如許佳所言，虎牙主要的AI技術(shù)方向是“把直播間的物理世界結(jié)構(gòu)化”，不僅包含人臉和人體，也有針對場景的理解。

直播內(nèi)容生態(tài)與技術(shù)的淵源

重現(xiàn)物理世界的技術(shù)基礎(chǔ)，則是要應(yīng)用在行業(yè)側(cè)，基于主播、觀眾、流量的虎牙生態(tài)支撐，AI技術(shù)能夠創(chuàng)造更多應(yīng)用?！盎⒀赖膬?yōu)勢是有主播、有用戶，有流量，一旦效果可以觸動(dòng)用戶，將會產(chǎn)生很強(qiáng)的驅(qū)動(dòng)力?！辟嚵⒏哒f，“直播把兩個(gè)空間的信息做了互通，但是距離感還是很大的，網(wǎng)絡(luò)逐步降低時(shí)延感，數(shù)字化進(jìn)一步提升空間融合，并能打開更多交互方式，消除人際隔閡?！?/p>

而在這片由主播、公會、觀眾等有機(jī)元素構(gòu)成的生態(tài)中，內(nèi)容生產(chǎn)金字塔的不同位置，其技術(shù)利用能力有著天差地別。

“虎牙是一個(gè)直播平臺，我們有大主播、超大主播和小主播，平臺在能力上會想辦法降低成本，讓更多的主播用上最新的技術(shù)，”賴立高說，“現(xiàn)在頭部主播自己有很多的投入，有很多的能力和工具，但這些能力難普及到中小主播，因此我們有第三方開發(fā)者給他們提供幫助?！边@也是虎牙小程序開放平臺的意義與價(jià)值之一。

而幫助中小主播和公會，也意味著對成本和門檻的要求。

由于數(shù)字虛擬人正處在驗(yàn)證市場過程中，因此虎牙技術(shù)團(tuán)隊(duì)一直在降低AI數(shù)字人的門檻，做到不用太高端的攝像頭等硬件也，可以將任意一名主播乃至觀眾的數(shù)字人形象重現(xiàn)出來，這樣，在未來的直播中，主播和觀眾可能都是數(shù)字虛擬化的了，能像觀看現(xiàn)場演出一樣出現(xiàn)在同一個(gè)場景中。

“今天展示的AI技術(shù)，把虛擬的數(shù)字人形象和現(xiàn)實(shí)中結(jié)合，我們現(xiàn)在看到的是從觀眾的維度，但從主播的內(nèi)容生產(chǎn)角度看，未來可能整個(gè)直播間內(nèi)無論是主播還是直播背景都是數(shù)字化的，觀眾信息可以虛擬化進(jìn)到里面，和主播在同一空間進(jìn)行游戲式的互動(dòng)。像玩云游戲一樣體驗(yàn)直播，這也許是AI+5G+AR在直播的最佳詮釋?！辟嚵⒏哒f。

虎牙對直播寄予的不僅僅是娛樂能力。賴立高強(qiáng)調(diào)，虎牙對直播的定義不是純娛樂，直播的價(jià)值在于和行業(yè)的連接，具體是娛樂還是其他功能服務(wù)，虎牙不會設(shè)定限制。

此外，在虎牙的直播互動(dòng)中，技術(shù)在平臺的運(yùn)營上也時(shí)刻都在發(fā)揮著作用。比如談及推薦機(jī)制，賴立高感觸頗深：“信息流和短視頻的推薦邏輯相對清晰，原因在于內(nèi)容的生產(chǎn)和消費(fèi)是分開的，用戶消費(fèi)的時(shí)候，內(nèi)容已經(jīng)是確定的，重點(diǎn)是選擇看什么。對直播推薦來說，復(fù)雜度更大，我們花了兩年時(shí)間去試錯(cuò)，才尋找到比較合適的評估模型?！?/p>

鎖定優(yōu)秀AI人才

支撐龐大直播生態(tài)的技術(shù)體系，對人才的需求自然不低。

不過，在技術(shù)人才的招聘方面，除了技術(shù)上的優(yōu)秀之外，虎牙也十分看重候選人對直播業(yè)務(wù)的熱情，以便形成技術(shù)閉環(huán)。

“我們認(rèn)為很多技術(shù)一定要形成閉環(huán)，在過去我們看到AI，可能是做一個(gè)特定的東西，但是閉環(huán)會出問題。我們花了很長時(shí)間去探索AI在直播里起什么作用，怎么落地，我們的業(yè)務(wù)開發(fā)部門會用AI去做內(nèi)容檢測、識別、推薦、風(fēng)控等，基本上常規(guī)業(yè)務(wù)系統(tǒng)都盡量去做智能決策，AI普及是比較廣的。核心是AI真正起到驅(qū)動(dòng)作用，這個(gè)地方如何形成閉環(huán)，是一個(gè)系統(tǒng)工程，我們花了很長時(shí)間去思考，以算力與網(wǎng)絡(luò)為突破口，去重構(gòu)直播的底層技術(shù)架構(gòu)。這對人才的專業(yè)能力與自驅(qū)力要求是非常高的?！辟嚵⒏哌@樣說。

而落到實(shí)處，曾經(jīng)是騰訊T4的許佳有著宏大的想法，除了目前的視頻理解和視頻生成類算法人才，也正在朝著語音方面進(jìn)軍，“視覺和語音方面，我們對于優(yōu)秀的、有潛力的年輕人一直在積極的招募著，”這位虎牙AI的負(fù)責(zé)人坦言。

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)