簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
如今,能像打游戲一樣,控制真人網球運動員的每一個動作,“贏得”比賽:
甚至能一幀幀控制,制作一個0失誤的彈球游戲視頻:
還可以像夾娃娃機一樣,想讓視頻中的機器人夾爪往哪動,它就往哪動:
制作各種視頻,現在就像是打游戲一樣簡單,效果還非常逼真。
果然,這又是AI的“功勞”。
只需要敲幾下鍵盤,就能控制視頻中某個目標的方法,叫做“可玩視頻生成器” (playable video generation)。
也就是說,不需要視頻剪輯技巧,只需要用幾個鍵來指示動作標簽,用戶就能像“打游戲”一樣,控制目標的每一幀動作,制作出視頻來,效果絲滑流暢。
不過,與游戲不同的是,這種方法甚至可以通過AI預測動作,來控制真實視頻中的目標。
這是怎么做到的?
作者們利用自監督的方法,讓模型學習了大量無標簽視頻。
也就是說,給出一組無標簽視頻,讓模型學習出一組離散的動作,和一個能通過這些動作、生成視頻的模型。
為此,作者設計了一種encoder-decoder結構CADDY,其中預測的動作標簽則起到瓶頸層(bottleneck)的作用。
這些可播放視頻生成結構,由若干組件組成,其中編碼器E,從輸入視頻序列中,提取幀特征。
而時序模型,則采用遞歸神經網絡R、和用來預測輸入動作標簽的網絡A,用于估計目標連續的動作狀態。
最后,用解碼器D,來重構輸入幀,就能生成可控制的視頻模型了。
當然,想要讓模型達到開頭那樣的效果,還需要對應的視頻數據集。
作者們用了3個數據集來訓練,分別是RoboNet、Atari Breakout和Tennis。
RoboNet數據集,是伯克利人工智能研究所(BAIR)做的一個機械臂數據集,共有1500萬個視頻幀。
這個數據集,包含各種機器人的攝像記錄、機械臂姿勢、力傳感器讀數和夾爪狀態。
而Atari Breakout,則是一個彈球游戲,這是一個非常簡單的2D像素游戲,玩家通過控制平板左右移動,讓彈球準確地彈掉天花板上的磚塊,以此得分。
這一游戲,已經專門為AI設立了一個排行榜,目前得分最高的仍然是谷歌DeepMind的MuZero。
而能控制模型一幀幀生成游戲視頻的CADDY模型,也是通過這個游戲訓練出來的。
也就是說,只要玩得夠慢,絕對能“0失誤”做出“完美彈球游戲視頻”來。(細思極恐)
至于網球數據集,作者們是在油管下載的(還需要安裝youtube-dl),通過油管上的網球視頻,做出真人可控的錄像來。
說不定,將來還能操作自己喜歡的網球巨星,來與好友進行一場世界級的“實戰”博弈。
此外,既可以通過項目地址來下載上述的三個模型,也可以自己準備想用的視頻數據集(要求MP4格式),來訓練出目標可控的視頻。
具體到模型運行上,作者們推薦用Linux系統來運行模型,訓練的話,最好自帶1個或以上兼容CUDA的GPU。
此外,模型提供Conda環境和Dockerfile,用于配置所需要的庫。
準備好后,就能進行模型訓練和評估了。
目前,這一模型的“彈球游戲”版在線Demo已出,玩家可以通過控制左、右、或保持,這三種動作,來讓彈球準確地擊打到平板上。
如果你是手殘黨,用這個demo制作出來的視頻,絕對能讓你體會到游戲0失誤的快樂。
文末附demo鏈接,趕緊上手試試吧~
這個“可玩視頻生成器”的一作Willi Menapace,是來自特倫托大學的博士生,主修深度學習和計算機視覺應用,尤其對圖像和視頻生成方向的研究特別感興趣。
二作Stephane Lathuili′ere,是巴黎理工學院的助理教授,主要的研究方向是強化學習、和深度學習中的回歸問題,包括圖像和視頻生成。
共同二作Sergey Tulyakov,來自Snap的首席科學家,主要研究方向包括機器學習中的風格轉換、逼真對象操作和動畫、視頻合成、預測和重新定位等。
Aliaksandr Siarohin和Elisa Ricci,分別是來自特倫托大學的博士生和助理教授,主要研究方向包括計算機視覺、機器人和機器學習等。
項目地址:
https://willi-menapace.github.io/playable-video-generation-website/
在線demo:
https://willi-menapace.github.io/playable-video-generation-website/play.html
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們,第一時間獲知前沿科技動態
序超均勻態
超均勻流體
“彈珠”模型
圖5:(A)二維底板上,由外力矩驅動下高速旋轉的陀螺滿足“碰撞激發”的條件。(B)結構因子S(q)顯示陀螺集群是一種超均勻流體。(C)陀螺集群的密度漲落的譜函數和簡單硬球模型圖4B基本相同。
總之,作者通過提出了一個簡單的“彈珠”模型研究了超均勻流體的形成機理,發現只要滿足相互的“碰撞激發”和“摩擦耗散”這兩個條件就可以產生超均勻流體態。為了進一步地證明結論的普適性,作者還展示了如何利用自驅動的“陀螺”集群實現超均勻流體,這對實驗具有極強的指導意義。在理論上作者也做出了突出貢獻,不僅首次發現了超均勻流體的流體力學方程,還提出了啟發性的諧振子模型來幫助理解超均勻流體態。從材料學角度上看,這種超均勻流體有望成為一種具有“自修復”和“自適應”的智能活性流體材料,比如活性“光子液體”。這種流體材料不僅具有像光子晶體一樣的光學性質,而且活性“光子液體”即使受到機械損傷,也可以自我修復,同時也可隨著外場驅動的變化改變自己的光學性質,是不是很科幻呢?
文章信息
Qun-Li Lei and Ran Ni; Hydrodynamics of random-organizing Hyperuniform Fluids,Proc. Natl Acad. Sci. (USA), (2019), https://www.pnas.org/content/early/2019/10/29/1911596116
倪冉教授課題組網站:
http://www.ntu.edu.sg/home/r.ni
參考文獻
[1].A Bird’s-Eye View of Nature’s Hidden Order,Quanta Magazine(July 12, 2016)
[2].從鳥眼看見大自然的隱藏秩序——漫步于秩序與隨機之間的超均勻性,《數理人文》雜志2017第12期
[3]. 具有局域巨漲落的超均勻流體 —— 一種新的活性流體態,《知社學術圈》微信公眾號
[4].http://www.cs.huji.ac.il/~raananf/projects/kdm/results.html
點擊https://www.pnas.org/content/early/2019/10/29/1911596116查看論文
《QQ炫舞》手游由原班端游制作團隊歷經3年精心打磨,游戲傳承了端游原汁原味的音舞體驗,并在畫面美術以及玩法上做到了全面的提升與突破。《QQ炫舞》手游采用了日系清新唯美的畫風,玩法上除了保留端游經典的傳統模式之外,還新加入了星動模式、彈珠模式、泡泡模式等適合移動端操作的玩法。無論你是追求浪漫搭配的顏值控,還是尋找音舞操作感的技術黨,都可以在《QQ炫舞》手游感受到制作團隊的滿滿誠意。目前《QQ炫舞》手游官網正在開放不刪檔預約活動,成功報名預約的玩家就可以獲得價值999元的預約大禮包!
圖1:QQ炫舞手游不刪檔預約
官方預約地址:http://x5m.qq.com/act/a20170925book/index.html
原班人馬打造 傳承十年情懷
《QQ炫舞》曾經是一款現象級的音舞網游,原作端游即將伴隨玩家走過十個年頭,最高260萬同時在線、歷史累計注冊玩家超過3億,足以說明《QQ炫舞》這款游戲在音舞界的霸主地位。《QQ炫舞》手游完美復刻了原作的經典玩法,玩家可以在休閑模式中體驗經典帶來的那一份感動,跳躍的音符、熟悉的舞步、加上海量潮流曲庫力求讓玩家在移動端,也能找回昔日熟悉的炫舞體驗。
圖2:經典玩法傳承十年情懷
指尖譜寫樂章 讓音符彈起來
“星動模式”是《QQ炫舞》手游一個全新的玩法模式,可以完美適應移動端的操作手法,也是目前游戲的主打模式。游戲中音樂將變成充滿節奏感的音符墜落,玩家可以通過敲擊、滑動、長按等不同操作來展現自己的技術手法,隨著音符的COMBO連擊,玩家的角色同時會開始展現自己的舞步。爽快的音符節奏打擊感,配合上曼妙迷人的舞姿,全新“星動模式”玩法必將使你沉迷其中。
圖3:星動模式讓音符動起來
“彈珠模式”模式考驗著玩家愛對于音樂節奏的把控能力,這一玩法在移動端將“指尖與音符”的互動操作表現到了極致。全網獨創的彈珠模式根據游戲節奏,玩家可以通過敲擊與長按承接這些跳躍的音符,可以讓節奏音符真切的動起來。除此之外還可以滑動彈開節奏音符,讓音符可以與玩家之間進行互動。這個模式極大豐富了《QQ炫舞》手游的玩法,增強了游戲的整體趣味性,對于追尋新鮮感的玩家來說,一定不可以錯過。
圖4:ALL COMBO專屬特效
隨機呈現是“泡泡模式”最大的特點,對玩家的微操和手速有著較高要求,你的移動設備的頻幕有多大,音符出現的范圍面積便有多大。無論在落點的感知、節奏的把握,以及承接音符的手速都有著全面的難度提升。除了加入大量音舞模式外,游戲中的對戰玩法也十分豐富多彩,如事務所、休閑局、歡樂局、排位賽、雙人排位賽極大豐富了玩家選擇的自由度。
圖5:多模式對戰豐富游戲體驗
全球流行音樂 海量正版曲庫
《QQ炫舞》手游不僅有最潮最流行的歌曲,也將原作端游中的經典歌曲加入其中,玩家初始可以從事務所的中不同模式的歌曲練習中,逐漸回憶起曾經的那一份感動。隨著玩家等級的提升還可以解鎖主題專輯,讓玩家享受全球流行音樂盡在手中的快感。
圖6:主題專輯海量曲庫
最精致美顏社 浪漫百變換裝
角色外觀與服裝搭配也是《QQ炫舞》手游一大亮點所在,為滿足玩家追求角色差異的需求,《QQ炫舞手游》為此制作了面部自定義設計,在游戲中這個功能被叫做“美顏社”,除了提供預設臉型之外,玩家還可以導入和導出臉型,并且可以自由定制細節,其精細程度在同類音舞游戲中堪稱獨一份。服飾上玩家通過事務所挑戰,以及參與排位賽獲得大量服飾,從而滿足玩家的日常百變換裝搭配,另外游戲中開放了“工坊”功能,提供玩家服飾的打造、合成、進化、染色、分解等一系列玩法。
圖7:美顏來襲能告別大眾臉
圖8:浪漫搭配百變換裝
情侶結伴同行 譜寫最美故事
《QQ炫舞》一直以來都是一款鏈接玩家的游戲,在這十年中發生了很多讓人感動的故事,《QQ炫舞》手游同樣秉承這一理念,游戲設計中包含了房間互動、社區、舞團、姻緣樹等、影像長廊等多重玩家間互動社交功能,讓每名玩家通過游戲都可以找尋到自己的好友,并書寫屬于自己的專屬浪漫愛情故事。
圖9:結伴同行書寫專屬愛情故事
十年以來《QQ炫舞》帶來的快樂和感動已經融入每名玩家的心中,現在《QQ炫舞》手游不刪檔測試已經開啟預約,它將延續這份快樂和感動,并譜寫新的故事。三億指尖的音樂夢想,炫舞將繼續守護!
*請認真填寫需求信息,我們會在24小時內與您取得聯系。