7月4日，世界人工智能大會（WAIC 2024）在上海隆重召開，由商湯科技打造的首個面向C端用戶的可控人物視頻生成大模型——Vimi入選WAIC展覽展示最高榮譽(yù)“鎮(zhèn)館之寶”，成為本屆大會最具創(chuàng)新展品。Vimi基于商湯日日新大模型的強(qiáng)大能力，僅通過一張任意風(fēng)格的照片就能生成和目標(biāo)動作一致的人物類視頻，并支持多種驅(qū)動方式，可通過已有人物視頻、動畫、聲音、文字等多種元素進(jìn)行驅(qū)動。
精準(zhǔn)表情控制！首次實(shí)現(xiàn)分鐘級可控、唯美人物視頻生成
隨著大模型和生成式AI技術(shù)的快速發(fā)展，讓照片中的人物動起來已經(jīng)不是新鮮事。但目前市面上的相關(guān)產(chǎn)品在實(shí)際應(yīng)用中存在諸多痛點(diǎn)，有的人物動作、表情動作無法精準(zhǔn)控制，只能頻繁嘗試各種Prompt抽卡；有的效果穩(wěn)定性不高，人物長相、背景效果變幻莫測；有的時(shí)長有限，只能生成3~4秒視頻等諸多限制創(chuàng)作的問題，無法滿足廣大視頻創(chuàng)作者的使用需求。為了解決這些應(yīng)用中的實(shí)際問題，商湯可控人物視頻生成大模型Vimi應(yīng)運(yùn)而生。
與圖片表情控制類技術(shù)只能控制頭部表情動作不同，Vimi不但可以實(shí)現(xiàn)精準(zhǔn)的人物表情控制，還可實(shí)現(xiàn)在半身區(qū)域內(nèi)控制照片中人物的自然肢體變化，并自動生成與人物相符的頭發(fā)、服飾及背景變化。同時(shí)光影變化也能做到合理生成，讓人物動作和視覺效果流暢自然，畫面和諧唯美。更重要的是，Vimi具備極強(qiáng)的穩(wěn)定性，可穩(wěn)定生成長達(dá)1分鐘的單鏡頭人物類視頻，畫面效果不會隨著時(shí)間的變化而劣化或失真，真正滿足娛樂互動等需要長時(shí)間穩(wěn)定視頻生成需求。
生成自然的光影 生成頭發(fā)的飄動 生成一致的運(yùn)鏡
真C端可用！輕松化身網(wǎng)紅，滿足女性用戶娛樂創(chuàng)作需求
Vimi將完全面向C端用戶開放使用，尤其能夠滿足廣大女性用戶的娛樂創(chuàng)作需求。用戶只需上傳不同角度的高清人物圖片，即可自動生成數(shù)字分身和不同風(fēng)格的寫真視頻。由Vimi生成的視頻人物不再只是呆板的五官運(yùn)動，而是搭配手勢、肢體、頭發(fā)等，形成更完整、統(tǒng)一的人物動作，讓創(chuàng)作者可基于生成的視頻素材進(jìn)行剪輯和再創(chuàng)作。
針對喜愛自拍的用戶，Vimi可支持聊天、唱歌、舞動等多種娛樂互動場景；而對于熱衷表情包的用戶來說，Vimi通過單張圖片即可驅(qū)動生成各種趣味的人物表情包，玩法多樣，實(shí)現(xiàn)創(chuàng)作自由。此外，Vimi還提供唯美寫真風(fēng)、奇幻風(fēng)等多種生成風(fēng)格，讓用戶仿佛穿越不同次元，享受大片質(zhì)感的沉浸式視覺效果。
目前，行業(yè)里80%的視頻都是以人物為主要內(nèi)容，同時(shí)伴隨短視頻、直播平臺的爆發(fā)，以人物為主體的視頻需求量成指數(shù)級增長。然而，市面上缺少可控人物視頻生成的AIGC產(chǎn)品，導(dǎo)致內(nèi)容創(chuàng)作者的效率有待提升。Vimi的出現(xiàn)恰恰填補(bǔ)了這一需求空缺，為廣大C端的視頻創(chuàng)作者提供了簡單、好用的創(chuàng)作工具，可以廣泛應(yīng)用于人物類短視頻的創(chuàng)作。
Vimi以商湯日日新大模型體系為基礎(chǔ)，結(jié)合商湯在計(jì)算機(jī)視覺領(lǐng)域的多年技術(shù)積淀和經(jīng)驗(yàn)積累，能夠精準(zhǔn)識別和理解復(fù)雜的人物圖片，并通過強(qiáng)大的AIGC能力，實(shí)現(xiàn)和諧、穩(wěn)定的視頻內(nèi)容生成。
目前，Vimi已在商湯科技官網(wǎng)開放預(yù)約，歡迎體驗(yàn)。在7月5日商湯科技舉辦的“大愛無疆·向新力”人工智能論壇上，還將揭開Vimi的更多細(xì)節(jié)，敬請關(guān)注。