Meta發表先進AI影片編輯與生成模型Emu Edit、Emu Video
· 2023-11-21

Meta以Emu模型為基礎,開發能精確執行文字指令的影像編輯模型Emu Edit,還有簡單且高效的文字轉影片(Text-to-Video,T2V)生成方法Emu Video

Meta延續之前在圖像生成基礎模型Emu上的研究,發表僅用文字指令就能準確編輯圖像的Emu Edit模型。另外,透過分解文字轉影片(Text-to-Video,T2V)的生成過程,開發團隊發展一種稱為Emu Video的方法,可以改善最終影片的品質和多樣性。

Emu Edit是一種創新的影像編輯方法,目的是要簡化各種影像操作任務,替影像編輯提供更方便的功能和更高的精確度。Emu Edit可以接受用戶指令,進行各種形式的編輯,包括區域和全域編輯、移除和添加背景,也能夠調整顏色並進行幾何轉換,偵測和分割任務也沒有問題。

Emu Edit把電腦視覺任務當作指令,納入到影像生成模型中,進而在影像生成和編輯中,提供更好的控制能力。研究人員指出,當前的圖像編輯模型,通常會過度修改圖像,或是修改不足,而Emu Edit的優勢在於能夠準確按照指令進行編輯。

Meta使用了1,000萬個合成樣本資料集訓練Emu Edit,這是目前同類中規模最大的資料集,每個樣本都包含輸入圖像、任務描述,以及目標輸出圖像。更大的資料集帶來更好的圖像編輯能力,使模型能夠忠實執行指令,產生比當前所有研究都要好的結果。

Emu Video則是一種簡單且高效的文字轉影片生成方法,該方法運用擴散模型,並以Emu作為實作基礎。開發團隊解釋,這種影片生成架構,能夠應對多種輸入,包括文字、圖像,或是文字和圖像的組合。

Emu Video將影片生成過程拆分為兩個步驟,首先是根據文字提示生成圖像,然後基於文字和生成圖像產生影片。這種拆分步驟的影片生成方法,讓研究人員可以有效地訓練生成模型,研究人員進一步解釋,這與過去Make-A-Video等需要一系列深層模型的研究不同,Emu Video更簡單,僅使用2個擴散模型,就能生成解析度512x512,每秒16影格長4秒鐘的影片。

人類的評估都更偏好Emu Video的成果,與之前的研究相比,在影片的品質以及文字提示的忠實程度都有更高的評價。在品質方面,有96%受訪者偏好Emu Video而非Make-A-Video方法,而對於文字提示的忠實度,Emu Video則獲得85%受訪者的青睞。而且Emu Video也能接受文字提示,將用戶提供的圖像動畫化,這項功能超越了過去模型的能力。

Popular articles
Super PAC Raises $48 Million: Sports Betting Forces Ramp Up Political Push
Regulation
New Jersey July Gambling Revenue Hits $606M, Sweeps Casinos Banned
Regulation
SBC Summit Canada to Make Player Safety a Key Pillar of 2026 Agenda
Marketing
JILI Partners with Cricket Legend AB de Villiers (ABD) to Launch Exclusive Branded Game Series 100% 11
Sports Game
British gambling levy rates confirmed for each vertical
Regulation
1spin4win releases unique slot Don Catleone Hold and Win featuring gangster cats
Online Game
Brazil Proposes Raising Gambling Tax Rate to 24%, With Revenue Allocated to Social Security and Healthcare
Regulation
Vietnam's tightening online gaming policy creates new market opportunities
Southeast Asia
GAT Expo Puerto Rico Will Pulse with the New Era of Gaming in the Caribbean
Marketing
Indiana online casino bill stalls in House committee
Regulation
Institutional Academy that exceeded expectations marked the opening of GAT CDMX
Online Game
1spin4win grows its Latin American presence by partnering with Fortuna Juegos
Online Game
Gaming & Technology Expo Makes a Powerful Entrance in CDMX
Marketing
HUIDU Invites You to Booth T70 at iGB L!VE 2026 — Let’s Ignite London This July!
HUIDU Focus
Full House at GAT Expo Cartagena 2026 Academic Agenda
Online Game
Home
Game
Cooperation
Find
My