AIGC:Stable Diffusion 視頻生成視頻初探
本熊認(rèn)為投稿就要省流+有用,然后伙伴們可以消化和復(fù)現(xiàn),這才是高質(zhì)量的稿件。
一、簡單原理

二、詳細(xì)操作
1)準(zhǔn)備好原始視頻素材,用ffmpeg.exe把視頻出來成圖片,命令為:
2)打開Stable diffusion webui的圖生圖TAB頁面。首先通過第一張圖先生成第一幀圖片,看看效果,通過ControlNet進(jìn)行姿勢和畫面控制,通過Lora進(jìn)行風(fēng)格和臉部控制。
配置項(xiàng):
A)模型自己選,可以選動(dòng)漫二次元或者真人三次元
B)ControlNet使用hed和normal map,自己調(diào)試weight合適就行
如圖:

3)第一幀效果生成效果滿意后臺(tái),進(jìn)行腳本配置,
????選擇muti frame腳本,輸入目錄選擇要批量轉(zhuǎn)換的原圖片目錄,輸出目錄自己確定。
????Third Frame Image選擇 FirstGen
? ? Loopback Source 選擇 InputFrame

4)然后點(diǎn)擊圖生圖的生成按鈕,等待全部圖片轉(zhuǎn)換完成。
? ? ? 效率的話,參考:RTX 3080(10GB) 處理80張圖大概30分鐘左右。
5)最后用ffmpeg把渲染完的圖片合成視頻,命令如下:
對了,如果對渲染的圖片分辨率不滿意,可以進(jìn)行圖片高清處理,進(jìn)入webui的高清化Tab頁面,想要多高清就有多高清,然后再合成視頻。
最終效果:

標(biāo)簽:AIGCStable Diffusion