T之家 6 月 17 日消息,騰訊混元聯(lián)合港科大、清華大學推出肖像動畫生成框架“Follow Your Emoji”,只需給定一張照片,“Follow Your Emoji”就能將其轉(zhuǎn)化為“活靈活現(xiàn)”的面部動畫,同時能夠捕捉微妙表情變化。
IT之家附論文地址:https://arxiv.org/html/2406.01900v1
項目地址:https://follow-your-emoji.github.io/
基于算法革新和數(shù)據(jù)積累,“Follow Your Emoji”可以支持對臉部進行精細化的控制,包括眉毛,眼珠,翻白眼等細節(jié),動物表情包也可以輕松“拿捏”。此外,F(xiàn)ollow Your Emoji 不僅支持單個表情多肖像的生成,也支持單個肖像多表情的生成。
▲ 最左為原始圖片“Follow Your Emoji”有以下特點:
身份保持:在動畫生成過程中,確保參考頭像的身份特征不會丟失。
表情豐富:生成各種夸張和細微的表情,如大幅度的瞳孔運動。
風格多樣:支持多種風格的頭像動畫,包括卡通、現(xiàn)實、雕塑或動物風格。
穩(wěn)定持久:使用漸進生成策略,確保長時間動畫的穩(wěn)定性和一致性。
信是當前的主流社交軟件,而表情包是我們在微信中使用最多的了。隨著AI繪畫的爆火,AI結合表情包又會有什么樣的火花?表情包紅利期是否還在?本文通過Midjourney實操來進行驗證,一起來看看吧。
微信是現(xiàn)在比較主流的社交軟件,在微信里除了文字外,估計用的最多的就是表情包了。
我還記得前年和朋友在??低晥@區(qū)里溜達,閑聊到他老婆自己設計了一組表情包,并在微信上架成功了,我當時還蠻震驚的,羨慕擁有設計能力的人,可以做一些小而美的事情。
今年呢,AI繪畫比較火,在互聯(lián)網(wǎng)上瀏覽的時候偶然發(fā)現(xiàn)有人做了畫風一致的小寵物,然后制作為表情包,我突然覺得這是一個可行的思路,畢竟這是AI繪畫最擅長的。
所以我就開始思考如何制作,趁著休長假的時間,完成了這次表情包的制作和上架。分享給大家,共勉。
Ps:主要用MIdjourney和PS這倆工具,微信表情包制作完畢后,依靠贊賞來變現(xiàn)(當然,如果想賺大錢,一方面靠運氣,另外也要結合引流以及矩陣式打法或者強化IP,綜合商業(yè)模式布局)。
先看下數(shù)據(jù)情況,目前上架一周多左右,累計下載100多,發(fā)送100多,贊賞收益100多元(當然,收益這塊更多是靠朋友的友情捧場)。
因為我想一套漫畫風格的表情包,所以設置下 Midjourney 的默認參數(shù),將MJ的模型屬性調(diào)整為 Niji Model V5,這個模型可以實現(xiàn)動漫風格,方便控制畫風(當然,也可以在每一次的Prompt里進行添加,但是會稍微麻煩一些)。
在對話框中輸入 /settings 后回車,進入設置模式,在設置模式里選擇模型“Niji Model V5”,如果想要表情包更可愛一些,可以選中“Cute Style”按鈕。具體操作如下圖所示:
如果你已經(jīng)想好了做什么表情,那就自己寫Prompt,然后不斷調(diào)試,來進行繪圖。
如果你想?yún)⒖寄骋环N表情包的樣式,來對標制作,可以上傳該表情包到MJ里,通過Describe功能,反向獲取到其Prompt,然后在這個Prompt基礎上,不斷調(diào)試,最終獲得表情包圖像。
想好要做的表情包主體是什么,動物、人物還是擬人或者植物等,比如我想做的是「一個擬人的圣誕樹的形象」,那么主體就明確了,然后開始在主體外添加其他細節(jié),比如外貌、表情、姿勢、主題色等。
表情包需要做一整組,所以繪制完一幅后,繼續(xù)繪制其他圖的時候,就會發(fā)現(xiàn)一致性畫風有一點難控制穩(wěn)定,所以最后采取了一次繪畫產(chǎn)出多張圖,然后從中選擇效果較好的,或者可以當前不同表情的繪圖,這樣在同一次的輸出中,畫風穩(wěn)定性MJ控制的就會好很多。
這里有個關鍵的Prompt是「various expressions and movements」,這句咒語可以確保一次輸出同個主體的不同姿勢和表情。
主體以及姿勢表情確定后,下面要明確表情包的風格樣式,整體是什么風格。我用的是可愛平面風格。這個因人而異,以下是一些主流的繪畫風格,可以參考:
迪士尼風格(Disney Style)、皮克斯風格(Pixar Style)、漫畫粗線風格(Bold comic Style)、插畫風格(illustration)、韓流風格(hallyu Style)、貼紙藝術風格(Sticker art design)、Q版風格(Q version)
這一步其實還是蠻重要的,因為需要制作成表情包的樣式,所以需要點出一些針對表情包的設置參數(shù),主要有:
最后設置畫風格式,因為表情包大部分都是偏可愛的,所以建議設置為 Niji模式,也就是 — niji5 –ar3:4模式(在默認設置畫板里已設置好的,可以忽略)。
在輸入框敲入 /imagine 指令,輸入已寫好的prompt,示意如下:
A cute anthropomorphic Christmas tree with black borders, emojis, 9 emojis, emoji sheet, multiple poses and expressions, anthropomorphic style, different emotions, multiple poses and expressions, 8k –ar 3:4 –s 750 –niji 5
翻譯中文,含義如下:
一棵可愛的擬人圣誕樹,黑色邊框,表情符號,9個表情符號,表情符號表,多種姿勢和表情,擬人風格,不同的情感,多種姿勢和表情,8k –ar 3:4 –s 750 –niji 5
繪圖效果如下,可以看到整體畫風效果還可以,但是細節(jié)都不行,作為表情來說,沒有一個具備典型的可以表達的情緒:
調(diào)整prompt的過程主要是兩方面,一方面是通過不斷調(diào)整Prompt局部細節(jié),比如添加不同表情prompt、添加不同姿勢prompt,讓繪圖主體不斷靠近想要繪制的樣式,另一方面通過MJ的本身的UV操作,不斷進行繪圖發(fā)散和收斂,再從中選取相對符合的表情,繼續(xù)操作。
另外就是給每一幅表情在Prompt里進行命名,好處就是可以控制一定的畫風穩(wěn)定性,說起來有些玄學,不過其實本質(zhì)上是給AI繪圖過程中的馬賽克原圖進行標記,方便識別。
具體指令使用的是 /imagine 指令 + 提示詞 進行圖生成(我沒有默認添加 –q 2 的質(zhì)量描述,可以手動添加下)
調(diào)整好幾輪下來,會發(fā)現(xiàn)已經(jīng)產(chǎn)出了不同組、畫風一致、細節(jié)表情還可以的,每一個表情畫風都一致的表情圖:
微信表情要求背景需要鏤空,所以需要摳圖。
摳圖這塊,因為我本身不是專業(yè)設計出身的,對于PS的套索工具使用起來不是很熟練,也耗時,所以也只能找現(xiàn)成的工具做一鍵掏圖。
這里使用到的工具是“稿定”,或者“MasterGo”也可以,都是相對簡單的工具。(參考鏈接
*請認真填寫需求信息,我們會在24小時內(nèi)與您取得聯(lián)系。