Newsmeldung von slashCAM:
Der Open Source KI-Bildgenerator Stable Diffusion XL ist seit kurzem in der offiziellen 1.0 Version frei verfügbar. Das neue Text-zu-Bild Modell soll - wie sich bereits ...
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen
Antwort von cantsin:
Ist schon bekannt, ob Stable Diffusion WebUI (von AUTOMATIC1111) auf Stable Diffusion XL als Backend umstellen wird?
Antwort von bad13:
Laufen tut es wohl jetzt schon. Oder meinst du mit Backend etwas ganz spezielles?
Antwort von Rheinauer:
Ich habe gelesen, dass er nicht gratis sei:
"Die Abrechnung funktioniert über Credits, derer 1000 derzeit 10 US-Dollar kosten. Das reicht laut Anbieter für rund 500 mit SDXL-generierte Bilder"
Antwort von blindcat:
Gratis ist die lokale Nutzung, die bei Stable Diffusion eben möglich ist.
Für die Stable Diffusion Modelle 1.0 braucht man keine Registrierung mehr (wie noch bei den 0.9er Modellen). Sie sind frei bei Hugginface herunterladbar.
Bei SDXL ist es etwas anders als bei den Modellen davor. Man lässt erst ein Base Modell laufen. Das Ergebnis sieht schon okay aus. Dann lässt man über dieses Ergebnis noch ein Refiner Modell laufen. Das fügt nocht Details hinzu. Meist ist das Ergebnis nach dem Refiner besser (nicht immer).
Automatic1111 unterstützt jetzt SDXL. Man erzeugt ein Bild, ähnlich wie zuvor auch mit dem Base Modell. Um den Refiner zu nutzen, klickt man auf send to img2img, wählt dort dann das Refiner Modell, eine Denoising Strength von etwa 0.3 und lässt dann den Refiner drüber laufen. Eine bei mir vorhandene Automatic 1.3.x Version hat problemlos auf die aktuelle 1.5.1 (SDXL Support seit 1.5.0) Version upgegradet, mit update.bat im Hauptverzeichnis. Beide Modelle (base und refiner) dann ins models/Stable-diffusion Verzeichnis kopieren. Das VAE Modell hab ich ebenfalls ins vae Verzeichnis gelegt, weiß aber nicht ob es genutzt wird (Update: Habe über Settings->User-Interface->Quicksettings sd_vae hinzugefügt und kann das vae jetzt neben den modellen wählen. Kann man auf automatic stehen lassen. Wählt man das sdxl-vae manuell aus funktioniert es auf jeden fall noch. Ergebnisunterschiede habe ich jetzt nicht beobachten können). Es ist etwas nervig, das Base Modell jedesmal quasi händisch aufs refiner Modell umzustellen. Momentan hat es den Vorteil, dass man nur die Bilder in den Refiner schickt, die man schon im Base gut findet. In Zukunft wird Automatic sicher was ändern (ich stell mir eine Checkbox vor, ähnlich wie Hires fix, namens use Refiner on SDXL Models) um den Refiner in einem Schritt mitlaufen zu lassen. Ein paar Einschränkungen generell gibt in Automatic1111 mit SDXL, also zB mit Embeddings, Training und ein paar Samplern. Bildgenerieren geht aber schon mal, und wer sich für Loras interessiert kann wohl auch schon etwas tun.
(Es gibt auch noch eine Extension für Automatic1111 um SDXL laufen zu lassen. Das war ein schneller Weg während der 0.9er Zeit. Seit 1.5.0/1 und SDXL 1.0 ist das aber nicht mehr nötig. Danke für den Hack in der Übergangszeit, aber nun sollte A1111 selbst damit klarkommen. Die 0.9er Modelle funktionieren übrigens auch im A1111 1.5.1. Könnte sein, dass ich subjektiv die 1.0er besser finde.).
Alternativ gibt es wohl einen Automatic Fork names SD.next. Der hat einen Diffusor Modus (kann als Start Parameter mit übergeben werden). Dort können automatisch Base und Refiner nacheinander ablaufen. Das ist bequemer. Ausserdem hat es eine Automatic1111 ähnliche Oberfläche. Ich müsste mir dafür aber vmtl. noch eine eigene Conda Umgebung einrichten, so wie es sich im Moment liest. Nicht von mir getestet.
Ausserdem eine gute Alternative ComfyUI. Das ist eine komplett andere Oberfläche, funktioniert aber schon länger gut mit den SDXL Modellen. Es ist ein Node basierter Ansatz wie in Combustion, Nuke oder Blender. Gute Workflows, wahlweise mit oder ohne Refiner lassen sich herunterladen. Wer keine Nodes scheut, hat hier was flexibles und kann auch mal abgedrehte Technik probieren :-) Ich hab es ausprobiert, ließ sich auch einfach installieren. Lediglich bei der Installation von Extensions habe ich Probleme bekommen (nämlich beim manager selbst, mit dem man ja extensions nachinstallieren könnte :-). Daher ist es bei mir gerade nicht im Einsatz.
Eine gute Info Quelle auch für die Nutzung dieser drei Varianten ist
https://stable-diffusion-art.com/sdxl-model/ Die Seite ist im Bereich von Stable Diffusion sowieso zu empfehlen, da die Dokumentation ja generell etwas hinkt. Ich werd wohl bei Automatic bleiben und auf bessere Anpassungen in den Folgeupdates hoffen :-)
Was mir so aufgefallen ist ... Katzenbilder kann SDXL ganz gut. Donald Trump kriegt er auch hin, aber kaum im Hiphop Outfit. Versucht man das gleiche mit Olaf Scholz ist die Ähnlichkeit ... zu suchen. Beim Refiner ist mir bei vielen Demo Bildern im Netz aufgefallen, dass Bilder, die z.B. eher asiatische Menschen gezeigt haben nach dem Refiner Schritt weniger asiatisch, eher europäisch o.ä. ausgesehen haben. Da scheint irgendwie ein Bias drin zu sein. Vielleicht kommt man dem ja noch mit Parametern irgendwie hin.
Sonst schick. Inzwischen mag ich lokale Modelle, und es gibt Wege sie einigermaßen unkompliziert zu installieren :-)
Grüße, Frankie
Antwort von cantsin:
@blindcat herzlichen Dank für diese extrem informative Antwort. Das sind die Beiträge, von denen ein Forum lebt!
Antwort von blindcat:
Gern geschehen :-) Hab ja die letzte Woche selber ständig nachgesehen ob sich bei A1111 was tut ... wollte ja selbst rumspielen.
Ich weiß ja auch nicht genau was ich da mache, aber was die Katzen angeht hab ich hier ganz gute Ergebnisse:
Prompt: a photo of a drunken cat with abottle of whiskey and sunglasses, 50mm portrait photography, hard rim lighting photography–beta –ar 2:3 –beta –upbeta –upbeta
Negative Prompt: sketch, ugly, huge eyes, text, logo, monochrome, bad art
Sampling Steps 30
Bilddgroesse 1024x1024
CFG Scale 7-10
Das interessante daran ist, dass ich den Prompt ab 50mm portrait ... irgendwoher aus dem Internet hatte. Ich find da kommen schicke Bilder raus. Lässt man diese unverständlichen -beta -upbeta Anweisungen weg, dann kommt gleich echte Grütze raus. Also für diejenigen die rumspielen wollen mal so ein Trick. Unterschied: Um Klassen anders.
Grüße,
Frankie
Antwort von buster007:
auch von mir vielen dank @blindcat für die antwort und die hinweise.
leider funktioniert das sd base model bei mir leider nicht, sehe kurz ein bild und dann leider nichts mehr.
kann es sein, das das base model unter 8gb grafikspeicher es nicht tut?
bekomme diese meldung:
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 8.00 GiB total capacity; 6.98 GiB already allocated; 0 bytes free; 7.27 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
komischerweise klappt es dann aber mit einem generierten bild mit refiner in img2img....hier mit dem prompt von blindcat.
00001-2803354396.png
00000-2311370426.png
falls ihr das noch nicht kennt einige gute models und loras finden sich auch hier
https://civitai.com/
(die teilweise aber auch mit vorsicht zu geniessen sind...)
lieben gruß
Antwort von blindcat:
Oups sorry,
ich hab wirklich keine Ahnung wieviel RAM die brauchen. Im Augenwinkel gesehen, würd ich sagen viel. Ich hab eine 3090 mit 24GB und es läuft. Vielleicht weiß jemand anderes wieviel bei den SDXL Modellen nötig ist.
Vermutlich lohnt es sich abzuwarten ob es jemandem gelingt abgewandelte Modelle mit weniger Speicherbedarf zu erstellen. 8GB wäre ein gängiges Limit was da mach einer erzielen können wollte ... (Konjunktive).
Ja, bei allem Enthusiasmus entfiel mir doch der Hinweis auf ein bisschen lokalen Ressourcenverbrauch.
Grüße,
Frankie
Antwort von buster007:
ich schau einfach mal, ob ich da eine lösung für mich finde.
z.b hier:
https://www.reddit.com/r/StableDiffusio ... m_i_doing/
mal schauen.
lieben gruß
Antwort von piano_jochen:
Hoffentlich wird so eine quelloffene StableDiffusion-Version bald von Serif in Affinity Photo eingebaut. Wäre schade, wenn die in diesem Bereich total den Anschluss an Adobe verlieren.
