整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          你在網上看到的0失誤游戲視頻,用AI也能生成丨Demo在線玩

          簫 發自 凹非寺
          量子位 報道 | 公眾號 QbitAI

          如今,能像打游戲一樣,控制真人網球運動員的每一個動作,“贏得”比賽:

          甚至能一幀幀控制,制作一個0失誤的彈球游戲視頻:

          還可以像夾娃娃機一樣,想讓視頻中的機器人夾爪往哪動,它就往哪動:

          制作各種視頻,現在就像是打游戲一樣簡單,效果還非常逼真。

          果然,這又是AI的“功勞”。

          “可玩”視頻生成器

          只需要敲幾下鍵盤,就能控制視頻中某個目標的方法,叫做“可玩視頻生成器” (playable video generation)

          也就是說,不需要視頻剪輯技巧,只需要用幾個鍵來指示動作標簽,用戶就能像“打游戲”一樣,控制目標的每一幀動作,制作出視頻來,效果絲滑流暢。

          不過,與游戲不同的是,這種方法甚至可以通過AI預測動作,來控制真實視頻中的目標。

          這是怎么做到的?

          作者們利用自監督的方法,讓模型學習了大量無標簽視頻。

          也就是說,給出一組無標簽視頻,讓模型學習出一組離散的動作,和一個能通過這些動作、生成視頻的模型。

          為此,作者設計了一種encoder-decoder結構CADDY,其中預測的動作標簽則起到瓶頸層(bottleneck)的作用。

          這些可播放視頻生成結構,由若干組件組成,其中編碼器E,從輸入視頻序列中,提取幀特征。

          而時序模型,則采用遞歸神經網絡R、和用來預測輸入動作標簽的網絡A,用于估計目標連續的動作狀態。

          最后,用解碼器D,來重構輸入幀,就能生成可控制的視頻模型了。

          訓練數據集&操作方法

          當然,想要讓模型達到開頭那樣的效果,還需要對應的視頻數據集。

          作者們用了3個數據集來訓練,分別是RoboNet、Atari BreakoutTennis

          RoboNet數據集,是伯克利人工智能研究所(BAIR)做的一個機械臂數據集,共有1500萬個視頻幀。

          這個數據集,包含各種機器人的攝像記錄、機械臂姿勢、力傳感器讀數和夾爪狀態。

          而Atari Breakout,則是一個彈球游戲,這是一個非常簡單的2D像素游戲,玩家通過控制平板左右移動,讓彈球準確地彈掉天花板上的磚塊,以此得分。

          這一游戲,已經專門為AI設立了一個排行榜,目前得分最高的仍然是谷歌DeepMind的MuZero

          而能控制模型一幀幀生成游戲視頻的CADDY模型,也是通過這個游戲訓練出來的。

          也就是說,只要玩得夠慢,絕對能“0失誤”做出“完美彈球游戲視頻”來。(細思極恐)

          假裝是自己玩的

          至于網球數據集,作者們是在油管下載的(還需要安裝youtube-dl),通過油管上的網球視頻,做出真人可控的錄像來。

          說不定,將來還能操作自己喜歡的網球巨星,來與好友進行一場世界級的“實戰”博弈。

          此外,既可以通過項目地址來下載上述的三個模型,也可以自己準備想用的視頻數據集(要求MP4格式),來訓練出目標可控的視頻。

          具體到模型運行上,作者們推薦用Linux系統來運行模型,訓練的話,最好自帶1個或以上兼容CUDA的GPU。

          此外,模型提供Conda環境和Dockerfile,用于配置所需要的庫。

          準備好后,就能進行模型訓練和評估了。

          在線Demo可玩

          目前,這一模型的“彈球游戲”版在線Demo已出,玩家可以通過控制左、右、或保持,這三種動作,來讓彈球準確地擊打到平板上。

          如果你是手殘黨,用這個demo制作出來的視頻,絕對能讓你體會到游戲0失誤的快樂。

          文末附demo鏈接,趕緊上手試試吧~

          作者介紹

          這個“可玩視頻生成器”的一作Willi Menapace,是來自特倫托大學的博士生,主修深度學習和計算機視覺應用,尤其對圖像和視頻生成方向的研究特別感興趣。

          二作Stephane Lathuili′ere,是巴黎理工學院的助理教授,主要的研究方向是強化學習、和深度學習中的回歸問題,包括圖像和視頻生成。

          共同二作Sergey Tulyakov,來自Snap的首席科學家,主要研究方向包括機器學習中的風格轉換、逼真對象操作和動畫、視頻合成、預測和重新定位等。

          Aliaksandr Siarohin和Elisa Ricci,分別是來自特倫托大學的博士生和助理教授,主要研究方向包括計算機視覺、機器人和機器學習等。

          項目地址:
          https://willi-menapace.github.io/playable-video-generation-website/

          在線demo:
          https://willi-menapace.github.io/playable-video-generation-website/play.html

          — 完 —

          量子位 QbitAI · 頭條號簽約

          關注我們,第一時間獲知前沿科技動態

          序超均勻態

          物質一般可分為有序態和無序態。有序態在空間上分布均勻齊整,比如晶體以及準晶(見圖1B)。而在無序態中,粒子的位置有很強的隨機性,造成了分布的疏密不均(見圖1A)。無序態涵蓋了氣態、液體、玻璃態等物態。2003年,美國普林斯頓大學化學系S. Torquato教授,提出了介于無序和有序之間的一種新的物態,即無序超均勻態。在小尺度上觀察,這種結構顯得毫無規律,但在大尺度上卻具有晶體相似的均勻性(見圖1C)。

          在大自然以及數學世界中,科學家都發現了無序超均勻態的蹤影,例如鳥類視網膜上的視錐細胞分布、質數的分布、隨機矩陣的本征值分部、硬球的密堆積、宇宙大尺度結構等。無序超均勻態也具有很多奇特性質和用途,例如,它能像晶體一樣產生光子帶隙,并且對某些波長的光是完全通透的(超透明性)。不僅如此,這種分布也在數值抽樣和計算機圖形學領域運用廣泛,比如,具有超均勻分布的偽隨機數可以極大加速蒙特卡洛抽樣的速度(隨機打點法計算π值),同時用超均勻的無序點陣進行抽樣繪圖不僅可以克服圖形失真(“反鋸齒”),還可以用最少的像素點畫出最佳的圖像(見圖2)[1,2]。

          圖1:粒子分部的均勻性可由窗口內粒子數N的漲落(方差)

          的標度率

          來反映(d為維度)。λ=0意味著體系的粒子數漲落正比于粒子數本身,即泊松過程或隨機分布(圖A);而 λ=1則意味體系有著晶體般的超均勻性(圖B)。0<λ≤1都屬于超均勻態。(圖片編輯自[1])

          超均勻流體

          目前無序超均勻態的研究主要集中在無序固體。今年年初,新加坡南洋理工大學的一個理論研究小組首次提出了超均勻流體的概念,并且利用了自驅動膠體體系模擬驗證了這種特殊流體的存在(見鏈接[3])。但是這種特殊流體的形成機制,以及其與平衡態流體的本質區別仍然是一個未解之謎。與此同時,理論上也缺少描述這種奇異流體的流體力學方程。最近該小組的雷群利博士和倪冉教授對這個問題進行了深入的探索,他們通過構建一種簡單的“彈珠”模型,巧妙地實現了從簡單流體到超均勻流體的平滑過度,不僅如此,他們還發現超均勻流體在理論上具有非常簡潔優美的流體力學方程形式。基于這套理論,超均勻流體的形成機制可以用簡單的諧振子模型來理解。最后,作者還通過模擬展示了如何利用簡單自驅動“陀螺”制造這種超均勻流體。相關工作于近期發表于《美國科學院院刊》上。

          圖2:超均勻點陣可用于消除圖的水狀波紋(上)和圖形視覺優化(下)右下角是這種點陣的結構因子S(q)(圖片來自 [4])

          “彈珠”模型


          作者研究的是一種非平衡態的硬球體系(圖3)。這個模型類似于普通彈珠在有摩擦的平面上運動,即硬球會受到和速度大小成正比的阻尼(摩擦)力,并且兩球碰撞滿足動量守恒。該體系和彈珠碰撞不同的地方是,在碰撞過程中,會有額外的能量輸入給相碰的兩個硬球,使兩個硬球在碰撞后的總動力增加?E,這被稱作“激發碰撞”(activecollision)。在這個體系中激發碰撞提供能量輸入,阻尼力又把能量耗散掉。這種“驅動-耗散”(drivendissipation)機制是活力物質體系的基本特征。體系的最終運動狀態還是取決于兩個特征長度。一個是耗散距離

          ,即在?E的激發下,靜止硬球可以運動的最遠距離。如果我們固定?E 不變,那么這個距離完全由摩擦系數決定。所以,

          其實反映了硬球在阻尼系統中“慣性”的大小。另一個特征長度是“平均自由程”

          (mean free path)即硬球在兩次碰撞之間平均的運動距離。這個特征長度反映的是硬球體系疏密程度,越稀的體系,硬球之間越不容易碰撞,平均自由程就越大。

          作者分析發現當在初始時刻賦予粒子隨機速度后,如果

          ,體系的碰撞事件數會隨著時間指數減小,最終體系陷入所謂的“吸收態”(absorbingstate),即每個硬球的速度衰減為零。相反,如果

          ,體系的激發碰撞會產生“鏈式反應”,使體系保持在一種持續碰撞但“溫度”恒定的狀態,即活力態(active state)。這里的“溫度”恒定指的是體系的平均動能不變。作者發現,這種活力態就是一種超均勻態流體,其結構因子滿足標度率S(q)~ q2(見圖4A)。這里q 代表的是波矢量,S(q)反映的是體系在波長為2π/q 的尺度上密度漲落的大小。有意思的是,隨著硬球慣性(

          )逐漸變大并趨向無窮(對應無摩擦),體系會升溫,并且S(q)在小波矢區域會慢慢抬升(圖4A),最后轉變為普通平衡態流體的標度率,即S(q)~ q0(const)。硬球的速度分布也從非玻爾茲曼分布,轉變為玻爾茲曼分布(圖4F)。也就是說,通過調節摩擦力或者?E,我們可以使平衡態硬球流體平滑過度到非平衡態超均勻流體。。


          圖3:(A)研究模型。(B)二維體系的超均勻流體 (不同顏色代表不同速度方向)。


          超均勻流體的流體力學方程和流體動力學

          為了研究這種奇特流體的流體力學機理,通過分析推導,作者發現了這種超均勻流體滿足如下的流體力學方程:

          這個流體力學方程的形式非常簡潔:其中第一個方程代表粒子數守恒,第二個方程代表動量守恒。由于有阻尼力的存在(綠框),體系動量實際上是不守恒的。激發碰撞反映在紅框的噪聲項里。這套理論的預測和模擬結果高度吻合(圖4的虛線),佐證了這套流體力學的正確性。動力學上,這套理論成功預測了超均勻流體的漲落形式不僅可以是擴散模(diffusive mode)也可以是聲學模(acoustic mode)(圖4G)。體系的動力學相圖在圖4E里給出。另外,作者還測量了超均勻流體的密度漲落的“色噪聲”,發現色噪聲的譜函數在低頻滿足特殊的f1/2的標度率(圖 4B),這個發現有助于在頻率空間探測和研究這種超均勻流體。

          圖4:(A)不同慣性(

          )大小的硬球體系的結構因子S(q),其中q 為波矢量,q2代表超均勻標度率;(B)密度漲落的譜函數 f 隨頻率的變化,其中f -1/2為超均勻標度率。;(C,D)平衡態流體和超均勻流體的諧振子模型。(F)超均勻流體中粒子速度分布隨著的

          增加慢慢過度到玻爾茲曼分布。(E)體系的動力學相圖。(G)動力學結構因子S(ω,q),其中三峰曲線的左右兩側峰是Brillouin峰,代表了聲學模,藍線的單峰代表了擴散模。注:虛線為理論預測。




          超均勻流體的機理解釋—諧振子模型


          我們知道,根據傅里葉分解,任何形狀的方程都可以看作為無數不同波長的正弦波的疊加。同樣地,密度漲落也可以看成是眾多的疏密相間的正弦波漲落(密度模)的疊加,結構因子

          或者

          就是代表了在波長2π/q的尺度上的正弦波振幅。通過理論推導,作者發現

          滿足一個非常熟悉的二階動力學方程:

          這個方程與熱浴中諧振子的動力學方程完全一樣,其中

          可以看成諧振子的“位移”q-2可以看成諧振子的“質量”,右邊第一項括號里可以看成諧振子的阻尼系數,右邊第二項是回復力(正比于位移),最后一項是熱浴的噪聲。也就是說,流體在某個波矢量q的密度漲落可以看成是一種抽象的諧振子振動(圖4C,D)。我們知道,諧振子主要有兩種運動模式:一種是在阻尼系數比較小時的“共振態”(圖4C),另一種是在阻尼系數比較大時的“過阻尼態”(圖4D)。共振態下,流體中疏密相間的密度模會表現出一種“彈性”并來回震蕩,形成向前或者向后傳播的“聲波”;在“過阻尼態”下,密度模失去了彈性,產生之后就原地衰減,像冰淇淋融化一樣慢慢鋪平,形成一種“擴散波”。對于平衡態流體,在諧振子的阻尼系數(

          )和在熱浴溫度不變的情況下,根據能量均分定理,諧振子的振幅是不變的。也就是說,對于理想平衡態流體,不同波長下的密度漲落幅度是一樣的,即S(q)~const. 這和圖3A所示的結果完全一致的。然而,對于超均勻流體,我們發現隨著波矢q慢慢減小到0,諧振子的阻尼系數會變為無窮大,導致諧振子的振幅為零。也就是說,密度漲落在無限長波長下為零,這正是超均勻態的定義。這個簡單而具有啟發性的模型同時也可以解釋之前所述的超均勻流體的動力學性質。



          “陀螺”模型

          根據上面的理論分析,作者最后提出了一個實際模型來實現超均勻流體態,即自驅動的“陀螺”(spinner)集群。在外力矩(比如旋轉磁場)的驅動下,陀螺會自發高速旋轉。當兩個陀螺碰撞時,陀螺的旋轉動能會轉變為平移動能,使兩個陀螺相互彈開,從而實現“彈珠”模型中的“激發碰撞”(見圖5A)。在有摩擦的條件下,作者發現這種“陀螺”集群會呈現出與之前“彈珠”模型一樣的超均勻標度(圖5B),并且體系中密度漲落的譜函數的標度率也和“彈珠”模型完全相同。這個實際體系證明了作者理論中所揭示超均勻流體機制的普適性。不僅如此,通過文獻調研,作者也在“微型陀螺”的實驗體系發現了超均勻流體存在的證據。

          圖5:(A)二維底板上,由外力矩驅動下高速旋轉的陀螺滿足“碰撞激發”的條件。(B)結構因子S(q)顯示陀螺集群是一種超均勻流體。(C)陀螺集群的密度漲落的譜函數和簡單硬球模型圖4B基本相同。

          結 語

          總之,作者通過提出了一個簡單的“彈珠”模型研究了超均勻流體的形成機理,發現只要滿足相互的“碰撞激發”和“摩擦耗散”這兩個條件就可以產生超均勻流體態。為了進一步地證明結論的普適性,作者還展示了如何利用自驅動的“陀螺”集群實現超均勻流體,這對實驗具有極強的指導意義。在理論上作者也做出了突出貢獻,不僅首次發現了超均勻流體的流體力學方程,還提出了啟發性的諧振子模型來幫助理解超均勻流體態。從材料學角度上看,這種超均勻流體有望成為一種具有“自修復”和“自適應”的智能活性流體材料,比如活性“光子液體”。這種流體材料不僅具有像光子晶體一樣的光學性質,而且活性“光子液體”即使受到機械損傷,也可以自我修復,同時也可隨著外場驅動的變化改變自己的光學性質,是不是很科幻呢?

          論文的發表和致謝


          該工作于美國東部時間2019年10月30日發表在《美國科學院院刊》[Proceedings of National Academy of Sciences (USA)]上。南洋理工大學雷群利博士為論文第一作者,倪冉教授為文章通訊作者。作者感謝以色列理工學院Dov Levine和安徽大學胡皓教授的有益討論。該研究得到了新加坡政府教育部、南洋理工大學以及新加坡科技研究局的支持。

          文章信息

          Qun-Li Lei and Ran Ni; Hydrodynamics of random-organizing Hyperuniform Fluids,Proc. Natl Acad. Sci. (USA), (2019), https://www.pnas.org/content/early/2019/10/29/1911596116

          倪冉教授課題組網站:

          http://www.ntu.edu.sg/home/r.ni

          參考文獻

          [1].A Bird’s-Eye View of Nature’s Hidden Order,Quanta Magazine(July 12, 2016)

          [2].從鳥眼看見大自然的隱藏秩序——漫步于秩序與隨機之間的超均勻性,《數理人文》雜志2017第12期

          [3]. 具有局域巨漲落的超均勻流體 —— 一種新的活性流體態,《知社學術圈》微信公眾號

          [4].http://www.cs.huji.ac.il/~raananf/projects/kdm/results.html

          點擊https://www.pnas.org/content/early/2019/10/29/1911596116查看論文


           《QQ炫舞》手游由原班端游制作團隊歷經3年精心打磨,游戲傳承了端游原汁原味的音舞體驗,并在畫面美術以及玩法上做到了全面的提升與突破。《QQ炫舞》手游采用了日系清新唯美的畫風,玩法上除了保留端游經典的傳統模式之外,還新加入了星動模式、彈珠模式、泡泡模式等適合移動端操作的玩法。無論你是追求浪漫搭配的顏值控,還是尋找音舞操作感的技術黨,都可以在《QQ炫舞》手游感受到制作團隊的滿滿誠意。目前《QQ炫舞》手游官網正在開放不刪檔預約活動,成功報名預約的玩家可以獲得價值999元的預約大禮包!

          圖1:QQ炫舞手游不刪檔預約

          官方預約地址:http://x5m.qq.com/act/a20170925book/index.html

          原班人馬打造 傳承十年情懷

            《QQ炫舞》曾經是一款現象級的音舞網游,原作端游即將伴隨玩家走過十個年頭,最高260萬同時在線、歷史累計注冊玩家超過3億,足以說明《QQ炫舞》這款游戲音舞界的霸主地位。《QQ炫舞》手游完美復刻了原作的經典玩法,玩家可以在休閑模式中體驗經典帶來的那一份感動,跳躍的音符、熟悉的舞步、加上海量潮流曲庫力求讓玩家在移動端,也能找回昔日熟悉的炫舞體驗。

          2:經典玩法傳承十年情懷

          指尖譜寫樂章 讓音符彈起來

            “星動模式”是《QQ炫舞》手游一個全新的玩法模式,可以完美適應移動端的操作手法,也是目前游戲的主打模式。游戲中音樂將變成充滿節奏感的音符墜落,玩家可以通過敲擊、滑動、長按等不同操作來展現自己的技術手法,隨著音符的COMBO連擊,玩家的角色同時會開始展現自己的舞步。爽快的音符節奏打擊感,配合上曼妙迷人的舞姿,全新“星動模式”玩法必將使你沉迷其中。

          3:星動模式讓音符動起來

          “彈珠模式”模式考驗著玩家愛對于音樂節奏的把控能力,這一玩法在移動端將“指尖與音符”的互動操作表現到了極致。全網獨創的彈珠模式根據游戲節奏,玩家可以通過敲擊與長按承接這些跳躍的音符,可以讓節奏音符真切的動起來。除此之外還可以滑動彈開節奏音符,讓音符可以與玩家之間進行互動。這個模式極大豐富了《QQ炫舞》手游的玩法,增強了游戲的整體趣味性,對于追尋新鮮感的玩家來說,一定不可以錯過。

          4:ALL COMBO專屬特效

          隨機呈現是“泡泡模式”最大的特點玩家的微操和手速有著較高要求,你的移動設備的頻幕有多大,音符出現的范圍面積便有多大無論在落點的感知、節奏的把握,以及承接音符的手速都有著全面的難度提升。除了加入大量音舞模式外,游戲中的對戰玩法也十分豐富多彩,如事務所、休閑局、歡樂局、排位賽、雙人排位賽極大豐富了玩家選擇的自由度。

          5:多模式對戰豐富游戲體驗

          全球流行音樂 海量正版曲庫

          《QQ炫舞》手游不僅有最潮最流行的歌曲,也將原作端游中的經典歌曲加入其中,玩家初始可以從事務所的中不同模式的歌曲練習中,逐漸回憶起曾經的那一份感動。隨著玩家等級的提升還可以解鎖主題專輯,讓玩家享受全球流行音樂盡在手中的快感。

          6:主題專輯海量曲庫

            最精致美顏社 浪漫百變換裝

          角色外觀與服裝搭配也是《QQ炫舞》手游一大亮點所在,為滿足玩家追求角色差異的需求,《QQ炫舞手游》為此制作面部自定義設計,在游戲中這個功能被叫做“美顏社”,除了提供預設臉型之外,玩家還可以導入和導出臉型,并且可以自由定制細節,其精細程度在同類音舞游戲中堪稱獨一份。服飾上玩家通過事務所挑戰,以及參與排位賽獲得大量服飾,從而滿足玩家的日常百變換裝搭配,另外游戲中開放了“工坊”功能,提供玩家服飾的打造、合成、進化、染色、分解等一系列玩法。

          7:美顏來襲能告別大眾臉

          8:浪漫搭配百變換裝

          情侶結伴同行 譜寫最美故事

          《QQ炫舞》一直以來都是一款鏈接玩家的游戲,在這十年中發生了很多讓人感動的故事,《QQ炫舞》手游同樣秉承這一理念,游戲設計中包含了房間互動、社區、舞團、姻緣樹等、影像長廊等多重玩家間互動社交功能,讓每名玩家通過游戲都可以找尋到自己的好友,并書寫屬于自己的專屬浪漫愛情故事。

          9:結伴同行書寫專屬愛情故事

          年以來《QQ炫舞》帶來的快樂和感動已經融入每名玩家的心中,現在《QQ炫舞》手游不刪檔測試已經開啟預約,它將延續這份快樂和感動,并譜寫新的故事。三億指尖的音樂夢想,炫舞將繼續守護


          主站蜘蛛池模板: 中文乱码人妻系列一区二区| 亚洲高清成人一区二区三区| 国产精品乱码一区二区三区| 亚洲福利秒拍一区二区| 午夜视频在线观看一区二区| 中文字幕av无码一区二区三区电影| 久久久av波多野一区二区| 中文字幕一区二区三区视频在线| 久久久精品人妻一区二区三区 | 立川理惠在线播放一区| 性盈盈影院免费视频观看在线一区| 久久久精品一区二区三区| 无码精品人妻一区二区三区免费看 | 国产精品高清一区二区三区| 精品日韩在线视频一区二区三区| 国产视频福利一区| 日韩高清一区二区| 武侠古典一区二区三区中文| 国产激情一区二区三区小说| 中文乱码字幕高清一区二区| 日韩欧美一区二区三区免费观看 | tom影院亚洲国产一区二区| 老熟女高潮一区二区三区| 日韩精品一区二区三区中文精品| 亚洲一区二区三区免费观看| 亚洲香蕉久久一区二区| 无码中文人妻在线一区| 国产一区二区精品久久岳√| 国产午夜一区二区在线观看| 无码日韩精品一区二区人妻| 国产福利电影一区二区三区久久久久成人精品综合 | 亚拍精品一区二区三区| 2018高清国产一区二区三区| 免费精品一区二区三区在线观看 | 无码成人一区二区| 精品国产一区二区三区av片| 亚洲国产av一区二区三区| 无码一区二区三区视频| 亚洲无人区一区二区三区| 国产一区二区三区夜色| 亚洲一区二区三区久久|