3月6日,騰訊混元發佈圖生視頻模型並對外開源,同時上線對口型與動作驅動等玩法,並支持生成背景音效及2K高品質視頻。
基於圖生視頻的能力,用戶只需上傳一張圖片,並簡短描述希望畫面如何運動、鏡頭如何調度等,混元即可按照用戶要求讓圖片動起來,變成5秒的短視頻,還能自動配上合適的背景音效。此外,上傳一張人物圖片,並輸入希望“對口型”的文字或音頻,圖片中的人物即可“説話”或“唱歌”;如果選擇動作模版,還能一鍵生成同款跳舞視頻。目前用戶通過混元AI視頻官網即可體驗,企業和開發者可在騰訊雲申請使用API介面使用。
此次開源的圖生視頻模型,是混元文生視頻模型開源工作的延續,模型總參數量保持 130 億,適用於多種類型的角色和場景,包括寫實視頻製作、動漫角色甚至CGI角色製作的生成。開源內容包含權重、推理代碼和LoRA訓練代碼,支持開發者基於混元訓練專屬LoRA等衍生模型。目前在Github、Hugging Face等主流開發者社區均可下載體驗。
據混元開源技術報告披露,混元視頻生成模型具備靈活的擴展性,圖生視頻和文生視頻在相同的數據集上開展預訓練工作。在保持超寫實畫質、流暢演繹大幅度動作、原生鏡頭切換等特性的基礎上,讓模型能夠捕捉到豐富的視覺和語義信息,並結合圖像、文本、音頻和姿態等多種輸入條件,實現對生成視頻的多維度控制。
混元視頻生成模型開源以來,一直保持較高的熱度,去年12月登頂Hugging Face全站趨榜第一,目前Github平臺上star數超過8.9K。多位開發者自發製作基於社區HunyuanVideo的插件與衍生模型,積累超過900個衍生版本。更早開源的混元DiT文生圖模型,在國內外衍生模型數量多達1600多個。
目前,混元開源系列模型已經完整覆蓋文本、圖像、視頻和3D生成等多個模態,在Github累計獲得超 2.3 萬開發者關注和star。(圖/文 陳東)
1、“國際在線”由中國國際廣播電臺主辦。經中國國際廣播電臺授權,國廣國際在線網絡(北京)有限公司獨家負責“國際在線”網站的市場經營。
2、凡本網註明“來源:國際在線”的所有信息內容,未經書面授權,任何單位及個人不得轉載、摘編、複製或利用其他方式使用。
3、“國際在線”自有版權信息(包括但不限于“國際在線專稿”、“國際在線消息”、“國際在線XX消息”“國際在線報道”“國際在線XX報道”等信息內容,但明確標注為第三方版權的內容除外)均由國廣國際在線網絡(北京)有限公司統一管理和銷售。
已取得國廣國際在線網絡(北京)有限公司使用授權的被授權人,應嚴格在授權範圍內使用,不得超範圍使用,使用時應註明“來源:國際在線”。違反上述聲明者,本網將追究其相關法律責任。
任何未與國廣國際在線網絡(北京)有限公司簽訂相關協議或未取得授權書的公司、媒體、網站和個人均無權銷售、使用“國際在線”網站的自有版權信息産品。否則,國廣國際在線網絡(北京)有限公司將採取法律手段維護合法權益,因此産生的損失及為此所花費的全部費用(包括但不限于律師費、訴訟費、差旅費、公證費等)全部由侵權方承擔。
4、凡本網註明“來源:XXX(非國際在線)”的作品,均轉載自其它媒體,轉載目的在於傳遞更多信息,豐富網絡文化,此類稿件並不代表本網贊同其觀點和對其真實性負責。
5、如因作品內容、版權和其他問題需要與本網聯繫的,請在該事由發生之日起30日內進行。