字節(jié)跳動與香港大學(xué)聯(lián)手推出的Goku AI模型，支持文本到視頻、圖像到視頻、文本到圖像等多種生成任務(wù)，基于Rectified Flow Transformer架構(gòu)，通過多模態(tài)訓(xùn)練，Goku能夠生成自然互動的廣告視頻，其強大的視頻生成能力為廣告創(chuàng)作、內(nèi)容生產(chǎn)和AI研究提供了創(chuàng)新性解決方案。

Goku AI 是什么？

Goku AI模型的一大亮點在于其文生視頻功能。用戶只需提供文本描述，便能自動生成完整的視頻內(nèi)容。通過精準分析文本中的信息，Goku能夠視聽結(jié)合地呈現(xiàn)出完整的故事情節(jié)，并應(yīng)用于廣告制作、短視頻創(chuàng)作和各種營銷場景。研究人員不僅詳細闡述了Goku的技術(shù)原理、數(shù)據(jù)處理流程、性能表現(xiàn)等方面，還慷慨地提供了大量的生成樣例，展現(xiàn)了對自身技術(shù)的充分自信。

Goku的主要功能

• 文本生成視頻：Goku能夠根據(jù)用戶提供的文本描述生成完整的視頻內(nèi)容。通過理解文本中的細節(jié)和情節(jié)，Goku將其轉(zhuǎn)化為動態(tài)視頻，適用于廣告制作、營銷視頻、短視頻創(chuàng)作等場景。這一功能使得無需拍攝即可快速生成與描述一致的視頻，極大地提升了創(chuàng)作效率。
• 圖像生成視頻：用戶只需提供一張靜態(tài)圖像，Goku即可基于這張圖片生成動態(tài)視頻。這一功能特別適合電商和品牌推廣，可以將產(chǎn)品圖片轉(zhuǎn)化為生動的廣告視頻，并展示產(chǎn)品的不同角度和特性，增強視覺吸引力。
• 文本生成圖像：除了視頻生成，Goku還支持根據(jù)文本描述生成靜態(tài)圖像。用戶輸入具體的文字信息，Goku能生成符合描述的高質(zhì)量圖像，廣泛應(yīng)用于創(chuàng)意設(shè)計、廣告、插畫等領(lǐng)域，幫助設(shè)計師快速獲取視覺素材。
• 高質(zhì)量生成：Goku的圖像與視頻生成效果非常真實，能夠清晰地表現(xiàn)人物情感和細節(jié)，展示出廣告產(chǎn)品的細膩質(zhì)感。

Goku AI 應(yīng)用于哪些行業(yè)？

廣告營銷：?品牌再也不需要花費巨額預(yù)算去聘請明星代言、拍攝廣告大片了。利用AI視頻生成技術(shù)，可以快速、低成本地制作個性化廣告，實現(xiàn)“千人千面”的精準營銷。例如，亞馬遜已經(jīng)推出了AI視頻生成器^[6]，讓商家能夠輕松地將商品圖片轉(zhuǎn)化為引人注目的視頻廣告。
影視創(chuàng)作：?導(dǎo)演們再也不需要為尋找合適的演員、搭建昂貴的場景、制作復(fù)雜的特效而煩惱了。AI視頻生成可以輔助生成特效、虛擬角色、甚至整部電影，降低影視制作的成本和門檻。也許在不久的將來，人人都可以成為電影導(dǎo)演，這不再是一句玩笑。
游戲開發(fā)：?AI視頻生成可以加速游戲場景和角色的創(chuàng)建，為玩家?guī)砀S富的游戲體驗。
虛擬現(xiàn)實：?AI視頻生成可以構(gòu)建更逼真、更具互動性的虛擬世界，為用戶帶來更沉浸式的體驗。
教育培訓(xùn)：?AI視頻生成可以制作更生動、更具吸引力的教學(xué)內(nèi)容，提高學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)效果。無論是枯燥的公式推導(dǎo)，還是抽象的概念講解，都可以通過AI視頻變得生動有趣。

如何體驗Goku？

Goku團隊目前開放了論文，放出了大量視頻demo，感興趣可以前往看看。

• 項目主頁：https://saiyan-world.github.io/goku/
• 技術(shù)報告：https://arxiv.org/abs/2502.04896
• GitHub：https://github.com/Saiyan-World/goku