智東西AI前瞻(公眾號:zhidxcomAI)
作者 | 江宇
編輯 | 漠影

智東西8月19日報道,商湯最近推出了一款名為Seko的AI視頻創作工具,支持用戶輸入一句話想法,自動生成包含劇本、角色、畫面、鏡頭、配音在內的完整視頻。整個創作過(guo)程中,不需要編劇、音效(xiao)師、攝影師、打光師、剪輯(ji)師,只要有(you)一(yi)個想法,Seko就能幫你把這(zhe)部片子拍(pai)出來。

為了(le)(le)測試這款工(gong)具的(de)完整能力,智(zhi)東西(xi)也(ye)進行了(le)(le)實際體驗(yan)。

一、一句話創意,Seko拆解成“成片策劃”

與傳統的“文字轉視頻”工具不同,Seko能將一句話的創意直接拆解為一套可執行的完整方案

用戶只需輸入大致的劇情設定,無需補充參數或說明細節,系統便會自動生成涵蓋六大環節的策劃文檔:包括策劃摘要、美術風格、角色主體、場景概念、音樂風格和分鏡劇本,從敘事節奏到鏡頭(tou)語言一應俱全。

用戶還可以在策劃文檔右側的對話欄中提出問題,進一步微調內容細節

我們用商湯Seko做了一部AI短劇,花了10分鐘

這套流程背后,是Seko以多AI Agent協作為核心的系統,每(mei)個模塊圍繞(rao)用(yong)戶的想(xiang)法展開(kai)工(gong)作(zuo):有人負(fu)責建(jian)模,有人調鏡頭(tou),有人生成(cheng)配(pei)音與(yu)對(dui)白,搭建(jian)起一(yi)支無需協調的“AI劇(ju)組(zu)”。整條創作(zuo)鏈條,從(cong)人物出場順序、鏡頭(tou)節(jie)奏、配(pei)樂情(qing)緒到(dao)轉場方式,都由系統(tong)自動銜接完成(cheng)。

用(yong)戶也不(bu)需要理解技術細節(jie)或指定(ding)模型(xing)調用(yong)邏(luo)輯,系統會根(gen)據內(nei)容自動完(wan)成(cheng)分工與(yu)調度。

在(zai)角(jiao)色生成方面,Seko支持上傳圖像來自定義角(jiao)色。用戶也可選擇根據劇情設定自動生成角(jiao)色形(xing)象(xiang)。

我們用商湯Seko做了一部AI短劇,花了10分鐘

二、體驗:拍一部比格逆襲的AI爽劇

為(wei)了體驗Seko在復雜故事關系和多角色(se)場景下(xia)的(de)適配能力(li),智東西(xi)嘗(chang)試拍一部寵(chong)物版(ban)AI短(duan)劇。

在“劇本創作”模式下,輸入自然語言指令:擬人形象,寫實卡通。一(yi)只貧窮比(bi)格(ge)犬帶著一(yi)個(ge)小車模(mo)型,想要送給白貓(mao)女朋友,卻被白貓(mao)女朋友和(he)另一(yi)只富裕(yu)泰迪狗一(yi)起(qi)嘲笑他。比(bi)格(ge)犬非(fei)常傷心(xin),然后每日(ri)努力(li)(li)工(gong)作,最后靠自(zi)己(ji)的(de)努力(li)(li)賺錢買上了豪(hao)華轎車,白貓(mao)女朋友和(he)富裕(yu)泰迪狗后悔不已。

全員寵物陣容,走(zou)的是經典逆襲(xi)劇路(lu)線(xian)。

系統在幾分鐘內自動生成了策劃文檔。生成結果(guo)的亮點(dian)之(zhi)一(yi)是自動生成的角色形象與設定高度貼合:我們并未上傳(chuan)圖片(pian),而是讓(rang)系(xi)統根據設定自動生成三(san)個(ge)角色(包括比格(ge)犬(quan)逆(ni)襲前后),最(zui)終呈(cheng)現出(chu)的外觀(guan)、語氣、配音(yin)與劇(ju)情設定一(yi)致性較高,也豐(feng)富了很(hen)多道具細節。

我們用商湯Seko做了一部AI短劇,花了10分鐘

另一個體驗亮點在于“先確認分鏡靜幀,再生成視頻”的機制。Seko會先給(gei)出(chu)(chu)每個(ge)鏡頭(tou)的靜態畫面,用戶可在此階段(duan)提出(chu)(chu)修改。這(zhe)個(ge)階段(duan)Seko也出(chu)(chu)現了一些小(xiao)Bug。例如,“富裕泰迪犬(quan)”設定下系(xi)統(tong)默認生(sheng)成了一位穿西裝的人類(lei)男主,而非狗狗角色。我們嘗試再次修改設定,但系(xi)統(tong)未及時響應(ying)。

此外,也有不少的鏡頭中角色動作或外觀(guan)會(hui)出(chu)現不一致。

我們用商湯Seko做了一部AI短劇,花了10分鐘

所有分(fen)鏡確認后(hou),用(yong)戶可點擊“一鍵轉視頻”,分(fen)鏡即可轉為動畫。

智東西最終生成的視頻共3個場景,25個鏡頭,時長約90秒。節奏流暢,劇情連貫,配音、對白與分鏡腳本一一對應。用戶還可以逐幀修改臺詞、配音和鏡頭結構,編輯過程直觀可控

我們用商湯Seko做了一部AI短劇,花了10分鐘

不過整體來(lai)看,成片的節奏(zou)與內容完(wan)成度相對(dui)可(ke)觀,也(ye)可(ke)以(yi)通過編輯功(gong)能進一步調優(you)。

結語:創意說出口,Seko能接住也能剪出來

從角色生成到鏡頭設計(ji),從配音對白到成片(pian)導出,Seko幾乎把(ba)視頻創作能自(zi)動的(de)環節全包了下來。

這次體驗(yan)中,不用(yong)寫(xie)分鏡、不用(yong)配音、不用(yong)剪輯,我們(men)就拍出了(le)完整的(de)寵物短(duan)劇(ju)。

雖然細節上(shang)還有優化空間,但整體流(liu)程順暢、內容(rong)完整,確實讓人看到(dao)AI劇(ju)組(zu)的潛力(li)。對(dui)于想快速把想法變成視頻的創作者來(lai)說,Seko已經是一個值得一試的拍(pai)檔。