被萬眾期待將近一年的 Sora,終於正式宣布。不再是幾個 demo 片段,不再是 Sam Altman 時不時打的啞謎,而是一個完整的影片生成產品。

由於太過火爆,上線沒多久就流量爆炸,OpenAI 不得不暫停新用戶註冊,等候隊伍能長得能等上一整天。
但有一群人,不僅是 Sora 的「老用戶」,還參與著這個產品的塑造過程,見證了它的疊代與更新——他們就是不久前曾傳出叫板 OpenAI 的 Sora Alpha Artist。
為了獲得創作者們的反饋和建議,也為了觀察 Sora 在他們手上所能激發的創造力,Sora 跟一群藝術家們保持著密切聯繫,實時收集他們的反饋,也把他們的精彩創作作為案例分享。

在 Sora 發布之際,APPSO 獨家對話 Sora 首位合作的國內藝術家 Junie Lau。她是 AI導演,也是 Stable Diffusion 首屆 AI 短片全球冠軍。作品曾獲得有「AI 奧斯卡」之稱的 Runway AI 電影節銀獎,並參與到了全球首部 AI 長片電影「Our T2 Remake」的製作當中。不久前,她作為 Runway 中國社群的負責人,完成了 Runway 中國社區的落地與推廣。

在對話中,她不僅用實際的生成片段闡釋了自己高強度使用 Sora 的感受,還分享了與 Sora 團隊合作互動的體驗。更重要的是與我們探討了,生成式影片工具快速發展的一年多以來,走過的彎路有哪些、可能的未來在哪裡。
關注 AI 第一新媒體,率先獲取 AI 前沿資訊和洞察
現在還沒碰到 Sora 的天花板
APPSO:Sora 正式發布了,好看的樣片你肯定見過不少,網上的負面聲音是你想像過的嗎?
Junie:我預想到有蠻多人會吐槽的,其實現在發的是一個 turbo 版本,算是一個改良版,需要的算力更少,可以讓更多人使用。但是在效果上面,我個人感覺有一點不同。我把同樣的 prompt 放進去,現在這個版本其實是沒辦法跑出來的。
APPSO:是模型層面就不一樣了嗎?
Junie:應該是模型不一樣,相當於改良了,變成現在這個模型。目前的 Sora 是一個階段性的產品。
APPSO:所以它成了一個在使用上,體驗沒那麼好的東西?
Junie:那不是,這一點我要反駁一下。我的邏輯是這樣的:它的可控性其實不那麼強,反而就可以給出各種各樣的東西。我並不會只是跟它說一個我腦海里的畫面,而是一個想法。我在它的基礎上去拓展我的一些想法,這樣一來一往,是我非常享受的一個過程。
APPSO:可以理解為抽卡的過程反而成了一個互動的過程?
Junie:我不知道是不是還要用「抽卡」這個詞。我認為抽卡的概念在於,你已經有一個圖片,把圖片送進去然後看基於這張圖片的動態,哪個更順暢哪個更貼近。但 Sora 完全是基於提示詞,因為我們是無限 credit,所以我瘋狂點擊,每一次都能給不一樣的東西。
(編者註:Sora 為藝術家賬戶開設無上限的 credit 額度,不受付費計劃影響)
這個是在工作流上很大的一個改變。過去的工作流是你有一個創意,先去 Midjourney,或者 Stable Diffusion 或者 Flux 裡面,去把想法變成圖片,再放到可靈、Runway 或者海螺裡面,把這個圖片變成一個影片。現在我在 Sora 上不用這一套了,它直接就可以出我想要的畫面,不再需要經過之前的那一套流程。
我已經把 Midjourney 的套餐,從每月 36 美元降檔到每月 10 美元,因為我覺得不那麼需要它,Sora 已經能滿足很多我在藝術上的需求。
APPSO:這個變化是技術架構層面的不同,還是背後使用到的數據不同所帶來的?
Junie:確實某些算法上面的東西是不太一樣。我到現在說實話還沒感覺到 Sora 的天花板在哪裡。我平時用 Runway 比較多,用多了就能看出來它的天花板在哪裡,比如說有一些三維質感的東西,有一些特殊視效的東西,你能大概感覺到它餵了哪些數據進去。其它的影片生成工具也會給我類似的感受。但是 Sora 用到現在,我都還不敢說它背後的數據量有多大。
比如我做時尚類的短片比較多,Sora 跑出來的鏡頭,像上面這個鞋子,它的質感非常不一樣。
下面是同樣的 prompt 放進 Midjourney 裡面的效果。

我為什麼說沒有碰到它的天花板,舉個例子,比如我要一個美女,一個很簡單的 prompt,(其它產品)可能會給出比較符合主流審美的、刻板印象的美女形象,我需要很細節的改詞,才會拿到一些新的東西。
APPSO:最近比較流行的 AI 生成工具,得到好評都是因為「沒有 AI 味兒」,或者味道不太重,你覺得 Sora 也是勝在 AI 味不重嗎?
Junie:過去的一些 AI 工具,怎麼說呢,是有一種很塑料感,有種不真實感。但 Sora 不能說是很「真實」,而是很「不一樣」。AI 生成的一個重點是讓它做出不存在的東西——不存在的東西怎麼說得上真實不真實呢?可是 Sora 會比之前我接觸過的工具,更接近真實。
比如這個影片裡,這個逆光時髮絲的質感,這是一個很感受化的東西。還有她背後的光影變化了,這些頭髮絲也跟著變化。
APPSO:像不像實拍是一個衡量標準嗎?
Junie:這也是 Sora 和 Runway 不一樣的地方。很多工具會有「你有什麼我也要有什麼」,而且會糾結於用 AI 做傳統影視在做的東西。Sora 和 Runway 雖然也涉及到傳統影視,比如 Runway 背後的團隊,有華納影業出來的成員。
但是在另外一個維度上,他們是想做一些新東西,這些創新就來自於和藝術家的密切合作。藝術家在提出想要什麼樣的功能的時候,他們就會考慮去開發這些新功能。他們並不是要說把一個生成影片,做成很像傳統影視出來的質感,而是更願意探索什麼是 AI 可以實現的,怎麼樣可以拓展藝術表達。
APPSO:對於物理運動的表現呢?算是一個標準嗎?
Junie:我覺得因人而異。對我來說 Sora 的優勢在於,能滿足我很多奇奇怪怪的藝術表達,模型的藝術性對我來說是更重要的,物理表現反而沒那麼重要。那肯定會有一部分人的需求就是對口型、穩定性、主體一致性等等,那可能其它的工具會更適合用來滿足對可控性的追求。
和 Sora 合作是怎樣一種體驗?全員活人
APPSO:聊聊你們和 Sora 團隊的合作吧,你們的工作模式是怎麼樣的?
Junie:我們有一個三百多人的大群,裡面 Sora 的工作人員有三十多個,剩下的都是藝術家,各行各業的都有,有畫畫的、做建築的等等,整個氛圍比較年輕。每周我們都要一起開會,還會有當周的主題挑戰活動,有點像內部的電影節這樣。這些挑戰不是強制參與的。
我這次發出來的片子《What if,Mother》其實是給一個挑戰活動做的,那個活動還沒有宣布,但 Sora 說片子可以發出來。我在剛剛拿到 Sora 就知道有這個挑戰活動,但我需要從零開始學起,從最開始接觸算起到把這個片子做出來,前前後後大概花了兩周的時間吧。
沒有做得很好,只能說是做多少發多少,我覺得 Sora 還是存在一些學習成本的,不太能直接上手就用。比如人物的可控性其實是通過 storyboard 實現的,其中又涉及到用 prompt 來實現對場景和人物的控制,不是簡單地把圖複製進去跑一跑,它需要新的工作流。
APPSO:這個片子裡最花功夫的部分是什麼?
Junie:後面有一段有很多水的鏡頭,這個當時是得一邊學一邊做,水的物理表現我當時也不確定能不能實現。他們內部給了很多教學,而且每個星期的周會,都會有答疑環節,也會有不同的藝術家來分享他們的工作流,他們是怎麼用 Sora 的。
APPSO:Sora 官方跟你們的來往多嗎?
Junie:很多。使用上有什麼問題,他們會立刻回復,比如說有個 prompt 跑不出來,或者畫面顯示不出來發到群里,馬上就會有工作人員說「你把問題發來我看一下是怎麼回事」,真的是 24 小時技術支持。
我們的群「活人感」很強,Sora 團隊技術的、產品的人都在群里,平時也會跟我們聊天。Sora 發布會前還有工作人員在群里說他們一直在為了發布會加班,還拍照給我們看,一群人在會議室幹活。

發布會中出現的 Sora 產品負責人,日常在藝術家社群中非常活躍. 圖片來自:OpenAI 官網
我覺得他們是真的把我們當自己人,很像一個大家庭。群里一般最多的還是討論作品,會互相按讚支持。然後就是對產品的討論。產品的人之前也有來找我,問用起來感覺如何,有沒有碰到什麼問題。他們團隊不大,架構很扁平,不同職能不同部門之間不會很分散。
APPSO:有什麼具體的例子嗎,比如你們提出的反饋後,在產品更新里得到呈現?
Junie:日常的反饋還是很多的,非要說的話可能是圖生影片的功能。現在這個是不太好用,之前也有藝術家提過反饋。但這裡有一個版本的問題,他們可能沒有在目前發布的版本上體現出改良,現在的圖生影片是挺難用。
APPSO:所以當時藝術家們「反水」是怎麼一回事?
Junie:其實在群里,日常也是會有一些負面反饋和批評的。但是我記憶里這個藝術家(編者註:指牽頭髮起抗議 Sora 的藝術家),平時也不怎麼講話,好像突然之間就爆炸了。後續參與公開信簽名的,也不全是 Sora 的合作藝術家。
我們每周都有挑戰活動嘛,有一些是有現金獎勵的。但這些活動不是強制參與的,你可以參加也可以不參加,另外還會有一些線下的活動,見面會啊,社群活動啊這些,他們跟電影節也有合作。然後像是藝術家做的片子,他們發在官方的社媒上,也是一種曝光跟宣傳的方式。這確實是一個很看個人取捨的問題吧。
AI 還算不上具備創作能力
APPSO:你覺得 Sora 目前的功能里,最能體現藝術性的是什麼?
Junie:有一個風格預設的功能,你只要定義了你自己想要的風格之後,你輸入什麼提示詞都是預設的的風格。在我的短片的前半段全部都是黑白,我用了它的八十年代的預設,然後再在提示詞裡說,我要一個第一人稱視角,在一條街面上走,然後看到些什麼。在這個預設之後我跑一百條影片,都是這個黑白的風格。

Sora 提供的風格預設
另外像 remix,re-cut 這些功能,我覺得還是有改變一些跟 AI 工具交互的方式、創作的方式。像下面的鏡頭是來自馬上要發的新作品,也是 Sora 幫我把腦子裡一個大概的想法,給完全具象化。
不過我當時從零開始也花了不少時間來搞清楚怎麼用,可能大家都需要花時間了解吧。
APPSO:從你的描述來看,似乎 Sora 已經具備一些創作能力了是嗎?
Junie:這個創作能力具體是指什麼呢?我們現在已經有比如說機器人畫畫、下圍棋,還有很多說是 AI 原生、沒有人工干預的創作,這個是你說的創作能力嗎?
APPSO:隨機組合、把元素像捏泥巴一樣捏在一起只能算第一階段的,但如果是呈現出來的畫面、鏡頭,有潛在的審美邏輯,可以算是具備一定的創作能力了。尤其是「沒有 AI 味」,是能體現模型對於素材和語義的合理理解的。
Junie:我個人覺得,還是要有所表達,無論是用剪輯的方式,還是鏡頭切換的方式。表達是指我的想法,或者是我腦子裡的一個疑問,(從這個疑問出發)來有所表達,這是我所定義的創造力。在這個維度上,我覺得 AI 還不具備。
但現在來說,沒有一個 AI 產品是百分百完美的,這條路大家都在探索。