五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

LoRA訓(xùn)練 ——打標(biāo)簽(tag)

2023-09-02 02:13 作者:octppus  | 我要投稿

之后會出視頻,這個是文案,大家可以先看看

訓(xùn)練lora的時候很多人會頭疼不知道怎么打標(biāo)簽,怎么修改。

其實(shí)并不一定要打標(biāo)簽,

很多視頻都再強(qiáng)調(diào)打標(biāo)簽的重要性,但實(shí)際上,打標(biāo)簽對于一個LoRA模型訓(xùn)練的好不好并沒有影響,只是再使用這模型的時候是否方便。

打標(biāo)簽的目的就是讓AI明白

某個詞語=某個(些)特征

比如我們輸入提示詞girl,會出來一張女孩的圖片,就是因?yàn)槟P椭術(shù)irl對應(yīng)的就是女孩的各種特征。

如果我們想要讓girl對應(yīng)一個具體的角色,我們就需要再加入其他的提示詞,比如艾米利亞。

這個時候圖片中的特征就變成了girl和emilia的交集,

女生應(yīng)該有長頭發(fā),艾米利亞是銀色頭發(fā),因此girl,emilia這兩個提示詞對應(yīng)的頭發(fā)特征應(yīng)該是銀色長發(fā)。

girl長發(fā)
emilia銀色長發(fā)

這些事大模型中提示詞對應(yīng)的特征,我們使用LoRA模型的目的就是講某些提示詞對應(yīng)到訓(xùn)練集中的特征。

這些提示詞可以是大模型中原本就有的,

門派成員=原本有的提示詞

傀儡=自創(chuàng)提示詞

施術(shù)者=訓(xùn)練集

幾層功力=模型權(quán)重

把大模型比作一個門派,提示詞是這個門派中的成員,使用原本的提示詞相當(dāng)于奪舍,把這個提示詞原本指向的特征變成訓(xùn)練集中的特征。

使用自創(chuàng)的提示詞,相當(dāng)于在門派中安插了一個傀儡,然后再附身再那個傀儡上。

用我的配音員喂喂做個例子,我就用下面這一張圖去訓(xùn)練一個lora

提示詞我只打一個weiwei

呆狐貍喂喂

然后weiwei這個提示詞,對應(yīng)的就是喂喂的這張圖片中的所有特征,白色長發(fā)狐貍娘,藍(lán)眼睛,粉色裙子。。。。

提示詞weiwei

打1girl同樣也會出現(xiàn)呆狐貍的形象,因?yàn)檫@張圖片的特征中包含了1girl,原本1girl的特征被指向了喂喂的特征

提示詞1girl

那區(qū)別在哪呢?我們把lora的權(quán)重降低到0.6

weiwei提示詞的依舊很明顯地還原了訓(xùn)練集的特征,而1girl則出現(xiàn)了其他特征。

LoRA的權(quán)重就如同施術(shù)者的功力。

奪舍的功力下降了,宿主的意識就開始掌控身體,和外來意識發(fā)生了抵抗。

但對于傀儡來說,它本身舊沒有太強(qiáng)的意識,不用全力附身也可以控制。

如果要奪舍,除了施術(shù)者自身的功力外,奪舍對象的選擇也很重要,要選擇特性和施術(shù)者比較契合的,就容易奪舍成功。

如果那個提示詞本身和訓(xùn)練集的特征足夠相似,也可以呈現(xiàn)出來,但如果和訓(xùn)練集一點(diǎn)關(guān)系沒有,那就很難還原訓(xùn)練集的特征。

比如使用紅頭發(fā)這個提示詞,但是喂喂是白頭發(fā),特征不吻合,因此出來的圖片還原度極差。


需要使用十層功力才能還原

但如果使用的是長發(fā)這個提示詞,和訓(xùn)練集的特征相符,權(quán)重低一些也可以還原大部分特征。

我們繼續(xù)看下一個測試

這一次我們把訓(xùn)練的提示詞weiwei換成fox

fox原本的特征


fox的特征再LoRA的影響下,變成了喂喂的特征


lora的權(quán)重減少,fox的特征就比較明顯(耳朵),喂喂的特征減少

我們要讓圖片呈現(xiàn)出訓(xùn)練集沒有的特征是非常困難的,比如閉嘴的特征


這時候我們準(zhǔn)備兩張圖片,一張張嘴,一張閉嘴的

weiwei,open mouth
weiwei,closed mouth

然后分別給他們打上對應(yīng)的標(biāo)簽

可以很好的還原,由此可見訓(xùn)練集的重要,打標(biāo)簽只是輔助使用。但是打標(biāo)簽和訓(xùn)練集配合可以讓我們控制這些細(xì)微的特征。

當(dāng)然前提是訓(xùn)練集要夠好,如果訓(xùn)練集不好,訓(xùn)練出來的模型一定不好。

下面的例子,我把張嘴的圖片加了個cry的特征,閉嘴的加了個smile的特征

結(jié)合張嘴和哭的特征,就可以呈現(xiàn)出張嘴大哭的表情

結(jié)合閉嘴和笑的特征,呈現(xiàn)出抿嘴笑的表情

實(shí)際使用的時候特征很多,如果找不到適合的訓(xùn)練集,要訓(xùn)練一個還原度高有不會過度擬合的模型并不簡單。

就比如以上的圖片都是站姿,因此要呈現(xiàn)出其他姿勢的話,就只能降低還原度。除非添加其他動作的訓(xùn)練集圖片。

以上就是本期的全部內(nèi)容,之后會在視頻中細(xì)講,還有很多關(guān)于lora的知識,之后也會慢慢說,制作不易,對各位有幫助的話點(diǎn)個贊吧。

LoRA訓(xùn)練 ——打標(biāo)簽(tag)的評論 (共 條)

分享到微博請遵守國家法律
陆川县| 珲春市| 陵川县| 潜江市| 德阳市| 天峻县| 清原| 青川县| 凌云县| 盐津县| 博罗县| 耒阳市| 龙岩市| 濮阳县| 桦川县| 苍山县| 平湖市| 香河县| 千阳县| 梁山县| 崇明县| 含山县| 抚宁县| 鄂温| 图木舒克市| 宜章县| 洛宁县| 高安市| 高要市| 台东市| 扶绥县| 大连市| 泽库县| 衢州市| 长治市| 扶沟县| 白沙| 嵊泗县| 五原县| 黄石市| 隆子县|