寧航 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

有沒有想過讓蒙娜麗莎跟著你的表情動，來一番親切的交流？

Aliaksandr的一階運動模型（First Order Motion Model）可以實現，但是實現過程非常復雜且繁瑣。

一階運動模型功能強大，可以在未經預訓練的數據集上對圖像和視頻進行特效生成，但代價是安裝配置比較繁瑣。

能不能簡單一點，再簡單一點？

印度一位程序員阿南德·帕瓦拉（Anand Pawara）設計了基于OpenCV實現的實時動畫特效。

畢竟OpenCV是成名已久的跨平臺視覺庫，是事實上的計算機視覺領域的標準庫。

項目中涉及的人臉識別、動作識別和運動跟蹤，均在OpenCV庫中原生支持。

幾天前，阿南德在GitHub上開源了完整代碼，并給出實現具體過程。

走過路過，不要錯過。

安裝過程

1、安裝依賴模塊

安裝依賴模塊：

pip install -r requirements.txt

安裝pytorch 1.0.0 :

pip install torch===1.0.0 torchvision===0.2.1 -f https://download.pytorch.org/whl/cu100/torch_stable.html

2、下載配置文件（如果不能下載，文件鏈接在文末）

gdown —id 1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK

3、運行程序

運行文件 :

python image_animation.py -i path_to_input_file -c path_to_checkpoint

針對攝像頭的實時特效生成 :

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar Run application from video file : python image_animation.py -i path_to_input_file -c path_to_checkpoint -v path_to_video_file

針對既有視頻的特效生成 :

python .\image_animation.py -i .\Inputs\Monalisa.png -c .\checkpoints\vox-cpk.pth.tar -v .\video_input\test1.mp4

如果你想上手試試，只需要調整相關配置文件即可。

模型分為兩種使用模式，一種是較為常規的導入視頻常規方法，另外一種就是實時生成視頻特效。

但是，請注意，一定要使用pytorch 1.0.0版本，因為更高的版本在后端依賴的一階模型上存在問題。

按照作者的后續計劃，會推出客戶端程序，并且會增加假聲（deepfake voice）功能。

立足OpenCV的優化

阿南德所做的工作是簡化現有的一階運動模型（First Order Motion Model），使用OpenCV對視頻進行特效生成。

項目的后端支持由OpenCV庫完成，避免使用復雜的模型，降低使用門檻。

按照作者觀點，使用這個模型只需要對一類數據集進行訓練后，便可應用到對其全部事物上去，即具有較好的泛化能力。

不同于原一階模型的多個數據集測試效果，現在阿南德實時動態特效模型還只在人臉數據集上進行測試，后續后持續增加其他數據集。

這個模型的特點是易用，配置非常簡單，基本可以開箱即用，即使是訓練自己的數據集也會比較簡單。

因為立足于對現有資源進行優化配置，操作簡易，功能強大。

當然，簡單也會帶來問題，比如現在數據集較為單一，針對的主要是人臉數據集。

此外，對人臉的輪廓識別效果還不那么令人滿意，需要加以改造。

作者簡介

項目作者阿南德·帕瓦拉（Anand Pawara）是印度AvenDATA公司的一名深度學習工程師，現居孟買。

繁瑣的工作自動化，大幅度降低上手的難度。

完整實現過程連接在下面，如果有興趣，歡迎自己去試試喲~

參考鏈接：
https://github.com/anandpawara/Real_Time_Image_Animation
https://m.weibo.cn/1402400261/4508119667605445

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態

dobe Character Animator 2021免費版是一款由知名產商Adobe公司精心推出的一款簡單實用且專業強大的2D角色動畫制作程序應用。軟件整體的界面風格卡通簡約，功能齊全，其主要常用于為卡通片、動畫片和現場直播制作動畫，以及社交媒體構建卡通形象等，旨在幫助廣大用戶可以使用自己的作品將生動的表現力帶給人們。且使用簡單快捷，用戶只需要有一個攝像頭，加上一個麥克風，再根據需要做出各種不同的表情，它能夠跟蹤你的口型、眼部細節等，在幾秒鐘就能夠生成一個具有真實的表情、動作的人物角色動畫，表情豐富而自然！

內容來源：http://www.32r.com/soft/95098.html

dobe Animate 是一款強大的動畫制作軟件，使用可輕松創建各種動畫內容，為游戲、應用程序和 Web 設計交互式矢量和位圖動畫。讓卡通和橫幅廣告栩栩如生。并為教程和信息圖表添加操作。借助 Animate CC，您可以快速發布到多個平臺并覆蓋桌面、移動設備和電視上的觀眾。

需 要軟件 的可以 復 制 鏈 接 再 打 開 獲取

https://www.xxrjm.com/14521.html?aff=lmj3ql

Adobe Animate 2022軟件介紹

動畫幾乎任何東西。

行業領先的動畫工具集可讓您創建可在任何屏幕上移動的應用程序、廣告和令人驚嘆的多媒體內容。

開始你的游戲。

使用強大的插圖和動畫工具為游戲和廣告創建基于 Web 的交互式內容。構建游戲環境、設計開始屏幕和界面、創建交互式玩家精靈，甚至集成音頻。借助 Animate，您可以直接在應用程序內進行所有資產設計和編碼。

創建栩栩如生的角色。

使用對壓力和傾斜敏感的矢量畫筆來草繪和繪制更具表現力的角色，效果與真實作品相似。通過簡單的逐幀動畫讓您的角色眨眼、說話和行走。并創建響應用戶交互（例如鼠標移動、觸摸和點擊）的交互式 Web 橫幅。

發布到任何平臺。

通過將動畫導出到多個平臺（包括 HTML5 Canvas、WebGL、Flash/Adobe AIR 和 SVG 等自定義平臺），在桌面、移動和電視上吸引觀眾。您可以在項目中直接包含代碼，甚至無需編寫代碼即可添加操作。

資產雕刻

使用網格變形為矢量或光柵內容創建新姿勢。

更好的圖層控制

在父子層次結構中組織您的圖層，以便更輕松地在姿勢之間制作動畫。

自動口型同步

感謝 Adobe Sensei，Animate 現在可以自動將嘴巴姿勢與聲音變化相匹配。

VR 創作和發布（測試版）

使用您的 2D 技能導出 360 VR 動畫并為虛擬漫游創建身臨其境的體驗。