器之心報道

機器之心編輯部

ICML 全稱是 International Conference on Machine Learning，由國際機器學習學會（IMLS）舉辦，是計算機人工智能領域的頂級會議。

今年的 ICML 大會已是第 41 屆，目前正在奧地利維也納舉行。在剛剛進行的開幕式上，一年比一年火熱的 ICML 公布了今年的大會數據與獎項信息。

本屆主會議共收到有效論文投稿 9473 篇，其中有 2610 篇論文被錄用，錄用率為 27.5%，其中包含 144 篇 oral，191 篇 spotlight。

被接收論文的主題關鍵詞為：大語言模型、強化學習、深度學習、圖神經網絡、機器學習、聯邦學習、擴散模型、Transformer、LLM、表示學習、生成模型…… 這些關鍵詞也代表了當前 AI 領域最為熱門的研究方向。

除了這些數據，大會現場還公布了今年的時間檢驗獎與最佳論文。賈揚清十年前在伯克利期間共一完成的論文 DeCAF，獲得了今年的時間檢驗獎。而相比于去年的 6 篇，今年有 10 篇研究獲得最佳論文，其中包含前段時間爆火的 Google DeepMind 世界模型 Genie、視頻模型 VideoPoet 等。

時間檢驗獎

關于 DeCAF 獲獎，賈揚清在朋友圈表示，「從今天的用詞來說，DeCAF 應該是視覺領域的 foundation features 和 deep embedding，也讓計算機視覺領域有了一個 generalizable feature。DeCAF 的工作后來又催生了通用的物體檢測框架 R-CNN，高性能異構計算的框架 Caffe，間接促成了伯克利和 NVidia 合作編寫了第一代的加速框架 CuDNN，雅虎實驗室創作的大規模分布式訓練 CaffeOnSpark，等一系列工作，奠定了伯克利在深度學習浪潮當中的領先地位?！?/span>

論文：DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition

作者：Jeffrey Donahue、Yangqing Jia、Oriol Vinyals、Judy Hoffman、Ning Zhang、Eric Tzeng、Trevor Darrell

機構：UC Berkeley & ICSI, Berkeley, CA, USA

論文鏈接：https://arxiv.org/pdf/1310.1531

研究團隊評估了從在大規模、固定的目標識別任務集上以完全監督方式訓練的深度卷積網絡的激活中提取的特征是否可以重新用于新的通用任務。這些通用任務可能與最初訓練的任務有顯著不同，且可能沒有足夠的有標簽或無標簽數據來常規地訓練或調整深度架構以適應新任務。他們研究并可視化了深度卷積特征在各種任務（包括場景識別、領域適應和細粒度識別挑戰）中的語義聚類。研究者比較了依賴網絡不同層次來定義固定特征的效果，并報告了在若干重要視覺挑戰上顯著優于現有技術的新結果。他們發布了 DeCAF，這是一種深度卷積激活特征的開源實現，包含所有相關的網絡參數，以便視覺研究人員能夠在一系列視覺概念學習范式中進行深度表示的實驗。

最佳論文

論文 1：Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

作者：Patrick Esser, Sumith Kulal, Andreas Blattmann, Rahim Entezari, Jonas Müller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English, Robin Rombach

機構：Stability AI

論文地址：https://proceedings.mlr.press/v235/esser24a.html

機器之心報道：Stable Diffusion 3論文終于發布，架構細節大揭秘，對復現Sora有幫助？

這篇論文正是 Stable Diffusion 3 的論文。與之前的版本相比，Stable Diffusion 3 生成的圖在質量上實現了很大改進，支持多主題提示，文字書寫效果也更好了。

Stable Diffusion 3 模型架構。

擴散模型通過將數據的前向路徑反轉為噪聲來從噪聲中創建數據，已成為一種強大的生成建模技術，適用于圖像和視頻等高維感知數據。Rectified Flow（RF）是一種最新的生成模型公式，它將數據和噪聲連接在一條直線上。盡管其具有更好的理論特性、概念簡單，但它尚未被明確確立為標準實踐。

該研究改進了現有的噪聲采樣技術，通過將 RF 模型偏向于感知相關的尺度來訓練它們。通過大規模研究，該研究表明與用于高分辨率文本到圖像合成的現有擴散公式相比，這種方法具有優越的性能。

此外，該研究還提出了一種基于 Transformer 的新型架構，用于文本到圖像的生成，該架構對兩種模式使用單獨的權重，并實現圖像和文本 token 之間的雙向信息流，從而改善文本理解、人類偏好評級等。該研究證明，該架構遵循可預測的擴展趨勢，并觀察到驗證損失隨著模型大小和訓練步驟的增加而平穩降低。

改進的多模態擴散 Transformer：MMDiT 塊。

論文 2：Genie: Generative Interactive Environments

作者：Jake Bruce, Michael Dennis, Ashley Edwards, Jack Parker-Holder, Yuge Shi, Edward Hughes 等

機構：Google DeepMind、不列顛哥倫比亞大學

論文地址：https://arxiv.org/pdf/2402.15391.pdf

該論文定義了生成式 AI 的全新范式 —— 生成式交互環境 ——Genie（Generative Interactive Environments）。Genie 是一個 110 億參數的基礎世界模型，可以通過單張圖像提示生成可玩的交互式環境。

機器之心報道：剛剛，谷歌發布基礎世界模型：11B參數，能生成可交互虛擬世界

Genie 架構中的多個組件基于 Vision Transformer (ViT) 構建而成。值得注意的是，由于 Transformer 的二次內存成本給視頻領域帶來了挑戰，視頻最多可以包含 (10^4 ) 個 token。因此，谷歌在所有模型組件中采用內存高效的 ST-transformer 架構，以此平衡模型容量與計算約束。

Genie 包含三個關鍵組件（如下圖所示）：

1) 潛在動作模型（Latent Action Model ，LAM），用于推理每對幀之間的潛在動作 ；

2) 視頻分詞器（Tokenizer），用于將原始視頻幀轉換為離散 token ；

3) 動態模型，給定潛在動作和過去幀的 token，用來預測視頻的下一幀。

為了實現可控的視頻生成，谷歌將前一幀所采取的動作作為未來幀預測的條件。然而，此類動作標簽在互聯網的視頻中可用的很少，并且獲取動作注釋的成本會很高。相反，谷歌以完全無監督的方式學習潛在動作。

論文 3：Considerations for Differentially Private Learning with Large-Scale Public Pretraining

作者：Florian Tramèr, Gautam Kamath, Nicholas Carlini

機構：蘇黎世聯邦理工大學、滑鐵盧大學、Google DeepMind

論文地址：https://arxiv.org/abs/2212.06470

通過利用在大型公共數據集上預訓練的非私有模型的遷移學習功能，可以顯著提高差分私有機器學習的性能。該論文質疑使用大型網絡抓取數據集是否應被視為差分隱私保護。

該研究認為：將這些在網絡數據上預訓練的模型設置為「私有」模型可能會損害并削弱公眾對差分隱私的信任。除了使用公共數據的隱私考慮之外，該研究進一步質疑了這種范式的實用性。該研究仔細檢查了現有的機器學習基準是否適合衡量預訓練模型泛化到敏感領域的能力，這些領域在公共網絡數據中可能很難得到體現。

此外，該研究注意到部署大模型可能會造成隱私的凈損失，因為需要將私有數據外包給計算能力更強的第三方。

論文 4：Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

作者：Aaron Lou、Chenlin Meng、Stefano Ermon

機構：斯坦福大學、Pika Labs

論文地址：https://proceedings.mlr.press/v235/lou24a.html

盡管擴散模型在許多生成建模任務中表現出色，但在自然語言等離散數據領域卻未能達到預期效果。標準的擴散模型依賴于成熟的得分匹配理論，但將其推廣到離散結構的嘗試并未帶來相同的經驗收益。

在這項工作中，研究團隊通過提出得分熵這一新穎的損失來彌補這一差距。得分熵自然地將得分匹配擴展到離散空間，無縫集成以構建離散擴散模型，并顯著提升性能。

在實驗中，他們在標準語言建模任務上測試了得分熵離散擴散模型（SEDD）。在可比的模型規模下，SEDD 優于現有的語言擴散范式（困惑度降低 25-75%），并且與自回歸模型競爭，特別是在性能上超過了 GPT-2。此外，與自回歸模型相比，SEDD 能夠在不需要分布退火技術（如溫度縮放）的情況下生成真實文本（生成困惑度比未退火的 GPT-2 高出約 6-8 倍），可以在計算量和質量之間進行權衡（以 32 倍更少的網絡評估實現相似的質量），并且支持可控的填充（匹配核采樣質量，同時允許除從左到右提示之外的其他策略）。

論文 5：Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo

作者：Stephen Zhao、Rob Brekelmans、Alireza Makhzani 、Roger Grosse

機構：University of Toronto、Vector Institute

論文地址：https://proceedings.mlr.press/v235/zhao24c.html

大語言模型（LLMs）的眾多能力和安全技術，包括 RLHF、自動紅隊測試、提示工程和填充，可以視為從由給定獎勵或潛在函數定義的非規范化目標分布中采樣。在這項工作中，作者利用順序蒙特卡洛（SMC）的豐富工具箱來處理這些概率推理問題。特別是，他們使用學習到的扭曲函數來估計每個時間步長上潛在的預期未來值，從而能夠在推理時的計算集中在有希望的部分序列上。

研究者提出了一種新穎的對比方法來學習扭曲函數，并與軟強化學習的豐富文獻建立了聯系。作為扭曲 SMC 框架的一個補充應用，他們提出了一種方法，使用新的雙向 SMC 界限在對數分區函數上評估語言模型推理技術的準確性。這些界限可用于估計推理分布與目標分布之間的雙向 KL 散度。他們應用推理評估技術，證明扭曲 SMC 在從預訓練模型中采樣不良輸出（對無害訓練和自動紅隊測試很有用）、生成具有不同情感的評論以及執行填充任務方面是有效的。

論文 6：Debating with More Persuasive LLMs Leads to More Truthful Answers

作者：Akbir Khan、John Hughes、Dan Valentine、Laura Ruis、Kshitij Sachan、Ansh Radhakrishnan、Edward Grefenstette、Samuel Bowman、Tim Rockt?schel、Ethan Perez

機構：倫敦大學學院、Speechmatics、MATS、Anthropic、FAR AI

論文地址：https://proceedings.mlr.press/v235/khan24a.html

將大語言模型（LLMs）與期望行為對齊的常見方法在很大程度上依賴于人工標注數據。然而，隨著模型變得越來越復雜，它們將超越人類的專業知識，而人類評估的角色將演變為非專家監督專家。基于此預期，研究者提出了一個問題：較弱的模型能否評估較強模型的正確性？他們設置了類似的情景來研究這個問題：其中較強的模型（專家）擁有回答問題所需的背景信息，而較弱的模型（非專家）缺乏這些信息。研究者選擇了辯論作為測試方法 —— 即讓兩個 LLM 專家各自為不同的答案辯護，由非專家選擇最終答案。

研究團隊發現辯論有效地幫助了非專家模型和人類回答問題，分別實現了 76% 和 88% 的準確率（原始基線分別為 48% 和 60%）。

此外，以無監督方式優化專家辯手的說服力，提高了非專家在辯論中識別真相的能力。此結果在缺乏真值標簽的情況下，通過辯論對齊模型的可行性提供了參考。

論文 7：Information Complexity of Stochastic Convex Optimization: Applications to Generalization, Memorization, and Tracing

作者：Idan Attias、Gintare Karolina Dziugaite、Mahdi Haghifam、Roi Livni、Daniel Roy

機構：本?古里安大學、多倫多大學、DeepMind 等

論文地址：https://proceedings.mlr.press/v235/attias24a.html

在這項工作中，作者研究了在隨機凸優化（SCO）背景下記憶與學習之間的相互作用。他們通過學習算法揭示其訓練數據點的信息來定義記憶，并使用 Steinke 和 Zakynthinou（2020）提出的條件互信息（CMI）框架來量化這些信息。

該研究的主要結果是精確刻畫了學習算法的準確性與其 CMI 之間的權衡，回答了 Livni（2023）提出的一個開放問題。本文表明，在 L2 Lipschitz–有界設置和強凸性條件下，每個具有過度誤差 ? 的學習者，其 CMI 分別下界為 Ω(1/?2) 和 Ω(1/)。作者 進一步設計一個對手，展示了記憶在 SCO 問題中不可或缺的作用，該對手能夠在特定的 SCO 問題中準確識別出大量訓練樣本。最后，他們列舉了結果的若干影響，例如基于 CMI 的泛化界限的限制以及 SCO 問題中樣本的不可壓縮性。

論文 8：Measure Dataset Diversity, Don't Just Claim It

作者：Dora Zhao、Jerone Andrews、Orestis Papakyriakopoulos、Alice Xiang

機構：斯坦福大學、Sony AI（英國倫敦）、慕尼黑工業大學、Sony AI（美國西雅圖）

論文地址：https://arxiv.org/html/2407.08188v1

機器學習（ML）數據集通常被認為是中立的，但它們本質上包含了抽象且有爭議的社會構建。數據集策展人經常使用諸如多樣性、偏見和質量等價值負載術語來描述數據集。盡管這些術語被廣泛使用，但它們缺乏明確的定義和驗證。該研究團隊的研究通過分析 135 個圖像和文本數據集中的 “多樣性” 來探討這一問題的影響。借鑒社會科學，應用測量理論中的原則來確定考慮因素，并提供有關數據集中多樣性的概念化、操作化和評估的建議。他們的研究結果對 ML 研究具有廣泛的影響，倡導在數據集構建中處理價值負載屬性時采用更細致和精確的方法。

論文 9：VideoPoet: A Large Language Model for Zero-Shot Video Generation

作者：Dan Kondratyuk、Lijun Yu、Xiuye Gu、Jose Lezama、 Jonathan Huang、Grant Schindler、Rachel Hornung、Vighnesh N Birodkar、Jimmy Yan、Ming-Chang Chiu、Krishna Somandepalli、Hassan Akbari、Yair Alon、Yong Cheng、Joshua V Dillon、Agrim Gupta、Meera Hahn、Anja Hauth、David Hendon、Alonso Martinez、David Minnen、Mikhail Sirotenko、Kihyuk Sohn、Xuan Yang、Hartwig Adam、Ming-Hsuan Yang、Irfan Essa、Huisheng Wang、David Ross、Bryan Seybold、Lu Jiang

機構：谷歌、卡內基梅隆大學

論文地址：https://proceedings.mlr.press/v235/kondratyuk24a.html

項目鏈接：http://sites.research.google/videopoet/

機器之心報道：視頻生成可以無限長？谷歌 VideoPoet 大模型上線，網友：革命性技術

研究團隊發布了 VideoPoet，這是一種能夠從多種條件信號合成高質量視頻的語言模型。VideoPoet 采用僅解碼器的 Transformer 架構，處理包括圖像、視頻、文本和音頻在內的多模態輸入。

訓練協議遵循大語言模型（LLMs）的流程，包括兩個階段：預訓練和任務特定適應。在預訓練階段，VideoPoet 在自回歸 Transformer 框架內結合多模態生成目標的混合。預訓練的 LLM 作為基礎，可以適應一系列視頻生成任務。他們展示了該模型在零樣本視頻生成方面的最新能力，特別是生成高保真運動的能力。

論文 10：Stealing part of a production language model

作者：Nicholas Carlini、Daniel Paleka、Krishnamurthy Dvijotham、Thomas Steinke、Jonathan Hayase、A. Feder Cooper、Katherine Lee、Matthew Jagielski、Milad Nasresfahani、Arthur Conmy、Eric Wallace、David Rolnick、Florian Tramer

機構：OpenAI、Google DeepMind、蘇黎世聯邦理工學院、華盛頓大學、麥吉爾大學

論文地址：https://arxiv.org/pdf/2403.06634

該論文提出了一種全新的攻擊 AI 模型的方法。它能夠從 OpenAI 的 ChatGPT 或谷歌的 PaLM-2 的黑盒生成式語言模型中，精準提取信息。這種方法能侵入 Transformer 的嵌入投影層（這是模型理解語言的關鍵部分），只需要通過 API 訪問權限，通過一個網站或應用程序，和模型聊天就能讓它「破防」?；谡撐闹械姆椒?，研究者破解了了 GPT 系列兩個基礎模型 Ada 和 Babbage 的整個投影矩陣的整個投影矩陣，如隱藏維度這樣的關鍵信息也直接破獲：一個為 1024，一個為 2048。他們還攻破了 gpt-3.5- turbo 的隱藏維度，如果想要恢復模型的整個投影矩陣，成本不會超過 2000 美元。研究者提出了一系列防御措施和緩解策略，以防范此類攻擊的發生。

產動漫風愈刮愈烈，從《大圣歸來》到《大魚海棠》，每一部國產動漫的片子都備受熱評，網評有好有壞，有吐槽有質疑也有贊揚，最近大熱的《大魚海棠》更是被指抄襲，罵聲一片。目前正在東南衛視和石獅電視臺熱播動畫，國內首創 ”全年齡層雙段式” 原創IP《靈石茂險王》是世茂斥巨資打造的一部走心的良心動畫，竟也難逃指責被指抄襲。

現在眾多網友說滿屏中國風的《大魚海棠》抄襲千與千尋，東南衛視熱播的原創IP動畫《靈石茂險王》也被指模仿。

近年來國產原創動漫已經有了飛速發展，但跟日本和歐美相比還處于學習階段，學習別人長處是成長的過程而并非模仿，這一點不能被忽略。原創IP《靈石茂險王》吸取了很多優秀動漫的長處，而被誤認為模仿，實屬冤枉。

《靈石茂險王》場景插畫——南之山谷山路&叢林

《靈石茂險王》人物原設——天空之城人物

《靈石茂險王》——Q版莎莎造型

首創“全年齡層 雙段式”結構

<iframe align="center,center" allowtransparency="true" frameborder="0" height="250" hspace="0" id="iframeu2148927_0" marginheight="0" marginwidth="0" scrolling="no" src="http://pos.baidu.com/vcxm?rdid=2148927&dc=2&di=u2148927&dri=0&dis=0&dai=1&ps=2883x694&dcb=BAIDU_SSP_define&dtm=HTML_POST&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1468576714875&ti=%E5%9B%BD%E6%BC%AB%E9%A2%91%E9%A2%91%E8%A2%AB%E6%8C%87%E6%8A%84%E8%A2%AD%EF%BC%8C%E5%8E%9F%E5%88%9B%E3%80%8A%E7%81%B5%E7%9F%B3%E8%8C%82%E9%99%A9%E7%8E%8B%E3%80%8B%E4%B8%8D%E5%B9%B8%E8%BA%BA%E6%9E%AA%20-%20%E6%B6%88%E8%B4%B9%E6%8C%87%E5%8D%97%20-%2021CN.COM&ari=2&dbv=2&drs=1&pcs=2378x1170&pss=2379x3149&cfv=0&cpl=32&chi=1&cce=true&cec=UTF-8&tlm=1468576714&rw=1170&ltu=http%3A%2F%2Flife.21cn.com%2Fzaojiao%2Fshopping%2Fa%2F2016%2F0714%2F15%2F31288600.shtml&ecd=1&psr=1920x1080&par=1920x1050&pis=-1x-1&ccd=24&cja=true&cmi=48&col=zh-CN&cdo=-1&tcn=1468576715&qn=ef45db10d4bdecfc&tt=1468576714814.72.154.158" style="display: block; border: 0px; vertical-align: bottom; margin: 0px;" vspace="0" width="250"></iframe>

《靈石茂險王》是國內首創“全年齡層、雙段式”結構動畫，同時擁有3D和2D“大茂小劇場”、Q版兩種視覺表達形式來滿足不同年齡層的觀眾，每集22分鐘，前19分鐘針對7-14歲兒童的寓教于樂式的3D科幻冒險類動畫片，后3分鐘滿足3-6歲小朋友觀影需求的2D卡通小劇場。此模式的優點在于，既延展了傳統卡通片單一的表現形式，又將IP價值最大化地呈現給觀眾。

不可否認，在當今日漫歐漫撐起半邊天的現況下。國漫走得尤其艱辛。但我們不得不承認的是，國產動畫越來越用心?！鹅`石茂險王》是世茂集團精心打造的一部優質動畫。在傳統地產轉型之余，發展以優質的IP作為靈魂，為國產動漫的發展獻出自己的一份力量，是世茂集團的初衷。

不過有吐槽有質疑，這說明觀眾對國產動畫的要求越來越高，也說明觀眾們越來越重視我們自己的動畫。《靈石茂險王》這部優質原創IP動畫將在全國各大少兒衛視陸續開播，陪伴小朋友們開啟歡樂的假期模式，這是值得我們關注的一部原創動畫！

對于我國的動漫產業以及這些正在努力為國產動漫做貢獻的人們，請我們少一份冷漠與吐槽，給予多一份理解和支持。