與Midjourney開戰(zhàn)！Stable Diffusion XL 0.9重磅發(fā)布，35億＋66億雙模型，AI圖像生成飛躍式進(jìn)步 全球播報

新智元報道??

編輯：編輯部

【新智元導(dǎo)讀】雖然此前CEO曾陷入種種爭議，但依然不影響Stability AI登上時代雜志。近日，該公司又發(fā)布了Stable Diffusion 的XL 0.9版本，35億+66億雙模型，搭載最大OpenCLIP，讓AI生圖質(zhì)量又有了新的飛躍。

(資料圖)

Stable Diffusion又雙叒升級了！

最近，Stability AI發(fā)布了最新版的Stable Diffusion XL 0.9（SDXL 0.9）。

比起之前的模型，這波更新在圖像和構(gòu)圖細(xì)節(jié)上，都有了質(zhì)的飛躍。

尤其是在參數(shù)上，這次的SDXL0.9具有35億參數(shù)基礎(chǔ)模型和66億參數(shù)模型的集成管線。相比之下，Beta測試版僅用了單個31億參數(shù)的模型。

為了生成更逼真的圖像，以及更大的深度和更高的分辨率（1024x1024），SDXL 0.9使用了兩個CLIP模型，包括迄今為止最大的OpenCLIP模型（OpenCLIP ViT-G/14）。

不僅如此，SDXL 0.9在消費級顯卡上就能運行。只需要Win10/11或Linux操作系統(tǒng)、16GB內(nèi)存，以及具有8GB以上顯存的英偉達(dá)RTX 20系顯卡即可。

SDXL 0.9和SDXL Beta的差異究竟有多大？

咱們看圖說話。

實測效果

下面就來看看新版的SDXL 0.9，在圖片細(xì)節(jié)上有什么不一樣吧~

Prompt：外星人在拉斯維加斯漫步

SDXL Beta版

SDXL 0.9

Prompt：優(yōu)勝美地國家公園的一只狼

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒感，低分辨率，動漫，過度飽和

SDXL Beta版

SDXL 0.9

Prompt：手舉咖啡

Negative prompt：3d渲染，光滑，塑料，模糊，顆粒狀，低分辨率，動漫

SDXL Beta版

SDXL 0.9

官方表示，SDXL系列還會提供一系列超越基本文本prompt的功能。

包括圖像對圖像的prompt（輸入一個圖像以獲得該圖像的變化）、內(nèi)畫（重建圖像的缺失部分）和外畫（構(gòu)建一個現(xiàn)有圖像的無縫擴(kuò)展）。

SDXL 0.9在兩個CLIP模型上運行，包括迄今為止訓(xùn)練的最大的OpenCLIP模型之一（OpenCLIP ViT-G/14），這增強(qiáng)了0.9的處理能力和創(chuàng)造具有更大深度和1024x1024更高分辨率的逼真圖像的能力。

SDXL團(tuán)隊不久將發(fā)布一個研究博客，更詳細(xì)地介紹這個模型的規(guī)格和測試。

榮登Time最具影響力公司

就在最近，Stability AI被時代雜志選為100家最有影響力的公司之一。

對于Stability AI，時代雜志是這樣介紹的——

如果你能用文字描述，Stability AI可以將其轉(zhuǎn)化為圖片。

Stable Diffusion是該公司幫助訓(xùn)練的免費開源文本到圖像生成器，在8月份推出后，它改變了世界對于AI潛力的理解。

然而，Stability AI很快陷入了種種爭議，包括如何訓(xùn)練這些工具，以及從互聯(lián)網(wǎng)上獲取數(shù)據(jù)的版權(quán)訴訟之中。

盡管如此，該公司表示，在推出Stable Diffusion 2.0的一個月內(nèi)，App Store TOP 10應(yīng)用中的4個，背后都是這個模型。

而公司CEO Emad Mostaque也被報道經(jīng)?？浯蠊镜谋憩F(xiàn)，此前他曾聲稱：Stability AI「真正的開源」為「突破」鋪平了道路。

SDXL Beta

實際上，SDXL的Beta版本也沒發(fā)布多久，可見作圖這一塊的版本迭代真的是日新月異。

當(dāng)時，StabilityAI就表示，Stable Diffusion XL并不是最終發(fā)布版的名字，并且也并非是v3，因為SD-XL的架構(gòu)和SD-v2系列的模型架構(gòu)非常相似。

下面幾張SD-XL官方發(fā)布的例圖，可以看出圖像的質(zhì)量已經(jīng)非常能打了。

SD-XL相比之前版本的改進(jìn)如下：

使用較短的描述性prompt即可生成高質(zhì)量圖像

可以生成更貼合prompt的圖像

圖像中的人體結(jié)構(gòu)更合理

與 v2.1和 v1.5版本(程度較輕)相比，SD-XL生成的圖片更符合大眾審美

負(fù)面提示詞（negative prompt）是可選項

生成的肖像圖更逼真

圖像中的文本更清晰

清晰可讀的文字

在v1系列和v2.1版本的Stable Diffusion模型中，并不具備在圖片中生成可讀文本的能力。

雖然SD-XL生成的文本信息并不總是準(zhǔn)確，但確實得到了巨大的提升。

一個年輕的女性舉著一個牌子，上面寫著「Stable Diffusion」，頭發(fā)高亮，坐在餐廳外面，棕色的眼睛，穿著裙子，側(cè)燈

更好的人體結(jié)構(gòu)

Stable Diffusion在生成人體解剖結(jié)構(gòu)方面一直存在諸多問題，多幾條腿、少個胳膊實在是太常見不過的問題。

比如說SD-v1.5生成瑜伽的圖像，經(jīng)常會出現(xiàn)扭曲的人體。

而SD-XL雖然生成的圖像并不完美，不過在人體姿態(tài)方面已經(jīng)有了顯著的進(jìn)步。

更有美感（more aesthetic）

比如同樣以屋子為主題，SD-XL可以生成更對稱、視覺效果更好的照片。

SD-XL在肖像照片上也有顯著改進(jìn)。

一個女人的照片

參考資料：

https://stability.ai/blog/sdxl-09-stable-diffusion

關(guān)鍵詞：