KI Projekt 2024

[tspoon]

# Installation Ubuntu 22.04 unter Windows​

Dies ist eine Anleitung zum copy&paste für Windows 10/11
Wir verwenden das Linux-Subsystem, da es so möglich ist, die Dienste einfach zu starten und zu stoppen, wie man es braucht.
Auch müllt es nicht so das Windows zu und lässt sich schnell reseten

Aktuelles Windows-System:

CPU: AMD Ryzen 7 5800X, OctalCore, 4753 MHz (48 x 99)
GPU: AMD Radeon RX 7900 XTX [1002-744C] XFX SPEEDSTER MERC 310
Mainboard: Gigabyte X570 Gaming X , BIOS: F38a
RAM: 32 GB DDR4 3600 4 x Corsair Vengeance LPX CMK32GX4M4B3600C18
Netzteil: 1000 Watt Seasonic Prime TX
Windows: 10 mit allen aktuelle Updates (08.2024)
Treiber: AMD Adrenalin 24.7.1 + Chipsatz Treiber 6.7.22.31

Bilder kommen noch, vllt auch ein Video.
Beim Starten der Weboberfläche gibt es noch Optmierungsmöglichkeiten.
Zum bsp Autostart per systemd

Letztes Update: 21.08.2024 22:00 Uhr

Spoiler: Changelog , alle Änderungen am Artikel auf einen Blick

21.08.2024 22:00 Uhr
- Changelog angefangen
- neues KI Model für Ollaama um Prompts/Testeingaben für SD.Next zu erstellen impactframes/llama3_ifai_sd_prompt_mkr_q4km
- Beispiel Video - KI Model von in SD.Next einfügen
- Beispiel Video - Erstellung von Fotos und der Trick mit guten Gesichter
- Beispiel Bild und Eingabe - Der Trick mit Spiegelungen und Fotokamera Einstellungen

# Hier gehts los:​

# Powershell über das Startmenü öffnen
Start -> Powershell

# WSL (Windows-Subsystem für Linux) installleren
PS C:\Users\Drifty> wsl --install

# Wir schauen mal ob nicht schon was installiert ist
PS C:\Users\Drifty> wsl --update

# Die Auflistung kann abweichen, wenn ihr noch nie damit gearbeitet habt ist diese Liste leer
PS C:\Users\Drifty> wsl --list --all

Windows-Subsystem für Linux-Distributionen:
Ubuntu-24.04 (Standard)
Ubuntu-22.04

# Wenn Ihr schon eine Umgebung habt, könnt ihr diese nutzen oder löschen. Vorsicht alle Daten darin werden gelöscht!
PS C:\Users\Drifty> wsl --unregister Ubuntu-22.04

Registrierung wird aufgehoben…

# Wir installieren ein sauberes Ubuntu 22.04 LTS
PS C:\Users\Drifty> wsl --install -d Ubuntu-22.04

Ubuntu 22.04 LTS ist bereits installiert.
Ubuntu 22.04 LTS wird gestartet...

# Jetzt geht ein Fenster auf und ihr werdet das erste Mal nach einen Userlogin und Passwort für Linux gefragt.
# Bitte vergebt einen Namen und Passwort. Ihr solltet dann auf einer Console landen

Installing, this may take a few minutes...
Please create a default UNIX user account. The username does not need to match your Windows username.
For more information visit: https://aka.ms/wslusers
Enter new UNIX username: drifty
New password:
Retype new password:
passwd: password updated successfully
Installation successful!
To run a command as administrator (user "root"), use "sudo <command>".
See "man sudo_root" for details.


Welcome to Ubuntu 22.04.3 LTS (GNU/Linux 5.10.60.1-microsoft-standard-WSL2 x86_64)


 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage


This message is shown once a day. To disable it please create the
/home/drifty/.hushlogin file.


...
drifty@DESKTOP-UUK4HU6:~$

# Wir machen ein Update des System und installieren paar Programme​

drifty@DESKTOP-UUK4HU6:~$ sudo apt update -y
drifty@DESKTOP-UUK4HU6:~$ sudo apt upgrade -y
drifty@DESKTOP-UUK4HU6:~$ sudo apt install -y ffmpeg htop atop vim mc

# Wir installieren die Treiber für unsere AMD Radeon 7000 Grafikkarte

drifty@DESKTOP-UUK4HU6:~$ wget https://repo.radeon.com/amdgpu-install/6.1.3/ubuntu/jammy/amdgpu-install_6.1.60103-1_all.deb

drifty@DESKTOP-UUK4HU6:~$ mv amdgpu-install_6.1.60103-1_all.deb /tmp/amdgpu-install_6.1.60103-1_all.deb
drifty@DESKTOP-UUK4HU6:~$ sudo apt install /tmp/amdgpu-install_6.1.60103-1_all.deb

drifty@DESKTOP-UUK4HU6:~$ amdgpu-install -y --usecase=wsl,rocm,opencl,rocmdev,lrt,openclsdk,hip,hiplibsdk,mllib,mlsdk,rocmdevtools --no-dkms

drifty@DESKTOP-UUK4HU6:~$ sudo apt install -y -f

# Wir lassen unsere compatible GPUs anzeigen
drifty@DESKTOP-UUK4HU6:~$ rocminfo

[...]
*******
Agent 2
*******
  Name:                    gfx1100
  Marketing Name:          Radeon RX 7900 XTX
  Vendor Name:             AMD
  [...]
[...]

# Wir installieren den ollama KI-Server​

drifty@DESKTOP-UUK4HU6:~$ curl -fsSL https://ollama.com/install.sh | sh

# Logfile von ollama einsehen
drifty@DESKTOP-UUK4HU6:~$ journalctl -u ollama --no-pager

# Wir holen uns verschiedene Modelle

#Deepseek KI-Model zum Programmieren 9GB , empfohlen mit 16GB VRAM und/oder 16GB RAM
drifty@DESKTOP-UUK4HU6:~$ ollama pull deepseek-coder-v2:16b

#Facebook KI-Modell 9GB , empfohlen mit 16GB VRAM und/oder 16GB RAM
drifty@DESKTOP-UUK4HU6:~$ ollama pull llama3.1

# Openchat 4GB , empfohlen mit 12GB VRAM und/oder 12GB RAM
drifty@DESKTOP-UUK4HU6:~$ ollama pull openchat

# KI Model was euch hilft für SD-KI-Bildergenereireung einen besseren Prompt zu generieren , empfohlen mit 12GB VRAM und/oder 12GB RAM
drifty@DESKTOP-UUK4HU6:~$ ollama pull impactframes/llama3_ifai_sd_prompt_mkr_q4km

# Es kommt eine solche Ausgabe beim Download:

pulling manifest
pulling d8d69f2a1bfa... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████▏ 8.9 GB
pulling b321cd7de6c7... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████▏  111 B
pulling 4bb71764481f... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████▏  13 KB
pulling 19f2fb9e8bc6... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████▏   32 B
pulling 2b2c35718a16... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████▏  494 B
verifying sha256 digest
writing manifest
removing any unused layers
success

Alle Verfügbaren Modelle unter: https://ollama.com/library
Achtung da steht immer der Befehl mit "ollama run XXXX" macht aus dem "run" ein "pull" um es herunterzuladen

# Wir adden die Quellen um python3.11 unter Ubuntu 22.04 LTS zu installieren, benötigt vom open-webui ​

drifty@DESKTOP-UUK4HU6:~$ sudo add-apt-repository ppa:deadsnakes/ppa

# Wir update unsere paketquellen
drifty@DESKTOP-UUK4HU6:~$ sudo apt update

#wir istallieren python 3.11 inkl der virtuellen Bestandteile
drifty@DESKTOP-UUK4HU6:~$ sudo apt install python3.11 python3.11-venv

# Wir erstellen unser Projektverzeichnis
drifty@DESKTOP-UUK4HU6:~$ cd
drifty@DESKTOP-UUK4HU6:~$ mkdir MyKI

# Wir erstellen eine virtuelle Umgebung für python
drifty@DESKTOP-UUK4HU6:~$ python3.11 -m venv MyKI/

# Wir wechseln in unsere virtuelle Umgebung:
drifty@DESKTOP-UUK4HU6:~$ source MyKI/bin/activate

# Das Verzeichnis sollte nun wechseln in (MyKI) ...
(MyKI) drifty@DESKTOP-UUK4HU6:~$

# Wir aktualisieren einmal denn Python Paketmanager
(MyKI) drifty@DESKTOP-UUK4HU6:~$ pip install --upgrade pip

# Wir installieren uns die Weboberfläche ala chatgpt mit Dateiupload etc. ​

# Achtung: das dauert etwas und es wird viel heruntergeladen
(MyKI) drifty@DESKTOP-UUK4HU6:~$ pip install open-webui

# Wir starten das erste mal unsere Weboberfläche
(MyKI) drifty@DESKTOP-UUK4HU6:~$ open-webui serve

# Es installiert noch einiges nach und am Ende sollte das das stehen

INFO:     Started server process [1130]
INFO:     Waiting for application startup.
Error: No config file 'alembic.ini' found, or file has no '[alembic]' section
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

# Glückwunsch jetzt kannst du fast loslegen , Beenden mit STRG-C

# Um die virtuelle Umgebung zu deaktivieren gebt ihr folgendes ein:
(MyKI) drifty@DESKTOP-UUK4HU6:~$ deactivate

# Ihr landet dann wieder in der normalen Umgebung, mit "logout" verlasst ihr das Ubuntu Fenster
drifty@DESKTOP-UUK4HU6:~$ logout

#Das Linux-System erstmal wieder runterfahren, das extra Fenster brauchen wir nicht​

PS C:\Users\Drifty> wsl --shutdown

# Wir starten das Linux mit Login über die Powershell
PS C:\Users\Drifty> wsl

#Das Powershell sollte nun wechseln von PS C:\Users\Drifty> auf drifty@DESKTOP-UUK4HU6:/...

drifty@DESKTOP-UUK4HU6:/mnt/c/Users/Drifty$

# Jetzt gehen wir wieder in unser Verzeichnis und starten den Webserver im Hintergrund​

drifty@DESKTOP-UUK4HU6:~$ cd
drifty@DESKTOP-UUK4HU6:~$ nohup ~/MyKI/bin/open-webui serve &

# Die schönere Lösung ist es per Systemd zu machen, für etwas erfahrene User.

Spoiler: Anleitung zum erstellen eines Systemd-Dienstes zum automatischen starten beim Booten des WSL.

## Wir brauchen dazu die Datei: /etc/systemd/system/open-webui.service

"BENUTZER" in dem Script mit euren Benutzernamen ersetzen!

[Unit]
Description=Open WebUI Service
After=network.target

[Service]
User=BENUTZER
Group=BENUTZER
WorkingDirectory=/home/BENUTZER/MyKI/
Environment="PATH=/home/BENUTZER/MyKI/"
ExecStart=/usr/bin/nohup /home/BENUTZER/MyKI/bin/open-webui serve
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

## Service aktvieren und starten
drifty@DESKTOP-UUK4HU6:~$ sudo systemctl daemon-reload
drifty@DESKTOP-UUK4HU6:~$ sudo systemctl enable open-webui.service
drifty@DESKTOP-UUK4HU6:~$ sudo systemctl start open-webui.service

## Status abfragen
drifty@DESKTOP-UUK4HU6:~$ sudo systemctl status open-webui.service

● open-webui.service - Open WebUI Service
     Loaded: loaded (/etc/systemd/system/open-webui.service; enabled; vendor preset: enabled)
     Active: active (running) since Sat 2024-08-17 07:41:06 CEST; 3s ago
   Main PID: 6337 (pt_main_thread)
      Tasks: 32 (limit: 19139)
     Memory: 469.6M
     CGroup: /system.slice/open-webui.service
             └─6337 /home/drifty/MyKI/bin/python3.11 /home/drifty/MyKI/bin/open-webui serve


Aug 17 07:41:06 DESKTOP-UUK4HU6 systemd[1]: Started Open WebUI Service.
Aug 17 07:41:06 DESKTOP-UUK4HU6 nohup[6337]: Loading WEBUI_SECRET_KEY from file, not provided as an environment variable.
Aug 17 07:41:06 DESKTOP-UUK4HU6 nohup[6337]: Loading WEBUI_SECRET_KEY from /home/drifty/MyKI/bin/.webui_secret_key
Aug 17 07:41:07 DESKTOP-UUK4HU6 nohup[6337]: /home/drifty/MyKI/lib/python3.11/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
Aug 17 07:41:07 DESKTOP-UUK4HU6 nohup[6337]:   warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
Aug 17 07:41:07 DESKTOP-UUK4HU6 nohup[6337]: USER_AGENT environment variable not set, consider setting it to identify your requests.

## Logfile einsehen wenn was nicht stimmt
drifty@DESKTOP-UUK4HU6:~$ sudo journalctl -u open-webui.service --no-pager
drifty@DESKTOP-UUK4HU6:~$ sudo journalctl -u open-webui.service -f

# Öffnen in euren Windows einen Browser​

URL:

http://127.0.0.1:8080/

# Registriert euch zuerst, Mail muss nicht stimmen ist nur ein lokales Konto
Nach dem Login klickt unten auf euren Namen und macht folgende Einstellungen:

Administrationsbereich ->
Allgemein -> "Community-Freigabe aktivieren" -> deaktivieren
Verbindungen -> OpenAI-API -> deaktivieren
Websuche -> Websuche aktvieren -> deaktivieren
Benutzer -> Modelle verwalten -> Standardmodell -> deepseek-coder-v2:16b

# Alles Löschen, wenn Ihr keinen Bock mehr habt oder es irgendwo hängt und Ihr neu anfangen wollt Vorsicht alle Daten darin werden gelöscht!
PS C:\Users\Drifty> wsl --shutdown
PS C:\Users\Drifty> wsl --unregister Ubuntu-22.04

AMD 7900XTX GPU Beschleunigung unter WSL und Ollaama Hack​

Spoiler: Ihr solltet etwas Erfahrung haben. Wirklich kaputt machen könnt Ihr nichts. Aber dennoch eine kleine Warnung.

#wir lassen unsere compatible GPUs anzeigen, das sollte funktionieren sonst brauchen wir nicht weitermachen!
drifty@DESKTOP-UUK4HU6:~$ rocminfo

[...]
*******
Agent 2
*******
Name: gfx1100
Marketing Name: Radeon RX 7900 XTX
Vendor Name: AMD
[...]
[...]

# Ollaama AMD ROCM WSL GPU HACK

drifty@DESKTOP-UUK4HU6:~$ sudo usermod -a -G render,video $LOGNAME
drifty@DESKTOP-UUK4HU6:~$ amdgpu-install -y --usecase=wsl,rocm,opencl,rocmdev,lrt,openclsdk,hip,hiplibsdk,mllib,mlsdk,rocmdevtools --no-dkms

drifty@DESKTOP-UUK4HU6:~$ sudo apt install build-essential libssl-dev cmake libhsa-runtime64-1

# Wir brauchen go in version 1.23
drifty@DESKTOP-UUK4HU6:~$ wget https://go.dev/dl/go1.23.0.linux-amd64.tar.gz -O go.tar.gz

drifty@DESKTOP-UUK4HU6:~$ sudo tar -xzvf go.tar.gz -C /usr/local

drifty@DESKTOP-UUK4HU6:~$ export PATH=/home/drifty/go/bin:/usr/local/go/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/lib/wsl/lib:/snap/bin >> ~/.profile
drifty@DESKTOP-UUK4HU6:~$ source ~/.profile

drifty@DESKTOP-UUK4HU6:~$ go version

go version go1.23.0 linux/amd64

# Jetzt holen wir uns die Source und patchen die
drifty@DESKTOP-UUK4HU6:~$ git clone https://github.com/justinkb/ollama
drifty@DESKTOP-UUK4HU6:~$ cd ollama
drifty@DESKTOP-UUK4HU6:~/ollama$ git checkout wsl-rocm-hack

# Der Symlink /opt/rocm/lib/libhsa-runtime64.so.1.13.6010 fehlt im AMD Packet wir legen den mal von Hand an. Dirty FIX
drifty@DESKTOP-UUK4HU6:~/ollama$ sudo ln -s /opt/rocm/lib/libhsa-runtime64.so /opt/rocm/lib/libhsa-runtime64.so.1.13.60103

# Achtung das bauen dauert e nach CPU sehr lange
drifty@DESKTOP-UUK4HU6:~/ollama$ go generate ./...
drifty@DESKTOP-UUK4HU6:~/ollama$ go build .

# Dienst stoppen falls aktiv
drifty@DESKTOP-UUK4HU6:~/ollama$ sudo service ollama stop

# Unser gebautes Binary kopieren
drifty@DESKTOP-UUK4HU6:~/ollama$ cp -prv ollama /usr/local/bin/ollama

# Dienst starten
drifty@DESKTOP-UUK4HU6:~/ollama$ sudo service ollama start

# Wenn alles geklappt hat sollte nun folgennde Zeile im Log auftauchen:
drifty@DESKTOP-UUK4HU6:~/ollama$ journalctl -u ollama --no-pager

Aug 17 05:52:27 DESKTOP-UUK4HU6 ollama[27776]: time=2024-08-17T05:52:27.505+02:00 level=INFO source=types.go:98 msg="inference compute" id=0 library=rocm compute=gfx1100 driver=0.0 name=1002:744c total="24.0 GiB" available="24.0 GiB"

# Bildgenerierung mit Stable Diffusion optimiert für die AMD Radeon 7000 Serie mit AMD ROCm​

Wir nutzen SD.Next https://github.com/vladmandic/automatic was gut für AMDs ROCm optimiert wird.

# Wir clonen das Projekt in das Verzeichnis MyPicKI
drifty@DESKTOP-UUK4HU6:~$ cd
drifty@DESKTOP-UUK4HU6:~$ git clone https://github.com/vladmandic/automatic MyPicKI

# Wir installieren das Python 3.10 venv Paket
drifty@DESKTOP-UUK4HU6:~$ sudo apt install python3.10-venv

# Wir erstellen die virtuelle Umgebung
drifty@DESKTOP-UUK4HU6:~$ python3.10 -m venv MyPicKI

# Wir wechseln in unsere virtuelle Umgebung:
drifty@DESKTOP-UUK4HU6:~$ source MyPicKI/bin/activate

# Wir aktualisieren einmal denn Python Paketmanager
(MyPicKI) drifty@DESKTOP-UUK4HU6:~$ pip install --upgrade pip

# Wir installieren SD:Next, das dauert eine Weile
(MyPicKI) drifty@DESKTOP-UUK4HU6:~$ ./MyPicKI/webui.sh --use-rocm

Activate python venv: /home/drifty/MyPicKI/venv
Launch: venv/bin/python3
10:08:13-519395 INFO     Starting SD.Next
10:08:13-521746 INFO     Logger: file="/home/drifty/MyPicKI/sdnext.log" level=INFO size=2604 mode=append
10:08:13-522593 INFO     Python version=3.10.12 platform=Linux bin="/home/drifty/MyPicKI/venv/bin/python3" venv="/home/drifty/MyPicKI/venv"
10:08:13-531405 INFO     Version: app=sd.next updated=2024-07-24 hash=a874b27e branch=master url=https://github.com/vladmandic/automatic/tree/master ui=main
10:08:13-848845 INFO     Platform: arch=x86_64 cpu=x86_64 system=Linux release=5.15.153.1-microsoft-standard-WSL2 python=3.10.12
10:08:13-850073 INFO     HF cache folder: /home/drifty/.cache/huggingface/hub
10:08:13-850934 INFO     Python version=3.10.12 platform=Linux bin="/home/drifty/MyPicKI/venv/bin/python3" venv="/home/drifty/MyPicKI/venv"
10:08:13-851629 INFO     AMD ROCm toolkit detected
10:08:13-925708 INFO     hipBLASLt supported_archs=['gfx90a', 'gfx942', 'gfx940', 'gfx941'], available=False
10:08:13-929960 INFO     Install: package="torch torchvision --index-url https://download.pytorch.org/whl/rocm6.0" mode=pip
10:09:40-777055 WARNING  Modified files: ['pyvenv.cfg']
10:09:40-934486 INFO     Installing requirements: this make take a while...

# Wenn es fertig ist könnt Ihr es über Windows im Browser aufrufen

http://127.0.0.1:7860/

Mit STRG+C könnt Ihr es wieder der Powershell/Linuxconsole beenden

Mehr Models: https://civitai.com/models für den Download einiger Modelle, braucht ihr einen Account und API-Key von https://civitai.com/.
Ein Downloadmanager ist im SD.Next schon drin. Siehe Video:

Model-Ordner ist unter ./MyPicKI/models

# Startet es wie gewünscht, kommt das gleiche wie mit open-webui, wir wollen das es automatisch startet, aktuell hängt das noch, der will nicht starten.
# Hier gibt es aber das Problem das die Modelle sehr groß sind, viel RAM und VRAM sind nötig
# Wenn Ihr ein Model auswählt, lädt er es dies runter, einige sind leider nicht mehr verfügbar.
# Diese sind auch sehr groß also Vorsicht.
# Wenn Ihr einen "Bildstil/Modell" am Anfang gewählt habt, könnt Ihr das mit den Button "Network" (rechts bei Generate) verändern.
# Vorsicht der lädt viel runter. Die Festplatte könnte schnell vollaufen!

# Wenn Eure Windowsplatte volläuft löscht alle Models, die Ihr nicht wollt oder den komplette Ordner "MyPicKI"

Spoiler: Anleitung zum Verkleinern der Virtuellen Disk von WSL bei Platzmangel [klicken zum aufklappen]

drifty@DESKTOP-UUK4HU6:~$ sudo rm MyPicKI -R

# Wir stoppen das WSL über die Powershell
PS C:\Users\Drifty> wsl --shutdown

# Die virtuelle Disk liegt unter:
# C:\Users\EUERWINDOWSBENUTZER\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx
# Achtung die ID "79rhkp1fndgsc" kann sich unterscheiden.

# Euren Pfad finden über die Powershell zur ext4.vhdx

PS C:\Users\Drifty> Get-ChildItem -Path $env:USERPROFILE\AppData\Local\Packages\ -Recurse | Where-Object { $_.Name -like "ext4.vhdx" } | Select-Object FullName

FullName
--------
C:\Users\Drifty\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx

# Habt Ihr den Pfad zur ext4.vhdx gefunden können wir weiter machen. In der Powershell das Programm "diskpart" aufrufen. Jetzt geht ein neues Fenster auf.
PS C:\Users\Drifty> diskpart

Microsoft DiskPart-Version 10.0.19041.3636

Copyright (C) Microsoft Corporation.
Auf Computer: DESKTOP-UUK4HU6

# Jetzt wählen wir unser Disk aus

DISKPART> select vdisk file="C:\Users\Drifty\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx"

Die Datei für virtuelle Datenträger wurde von DiskPart erfolgreich ausgewählt.

# Wir verkleiner die Virtuelle-Disk
DISKPART> compact vdisk

XXX Prozent bearbeitet
Die Datei für virtuelle Datenträger wurde von DiskPart erfolgreich komprimiert.
DISKPART>

#Fertig, Ihr solltet wieder Platz haben.

Anwendung von allen zusammen für beste Ergebnisse:​

Erstellung von Fotos und der Trick mit guten Gesichtern:​

Der Trick mit Spiegelungen und Fotokamera Einstellungen:​

Schreibt einfach bei euren generierten Prompt folgendes dazu:

Shot on 70mm, Cinematic Lighting, Screen Space Global Illumination, Lumen Reflections, Screen Space Reflections

Beispiel Prompt:

Moody evening scene at a train station, a charming young woman waits patiently under a dimly lit street lamp, umbrella held tight against the rain-soaked pavement, her stylish coat wrapped around her body, a subtle smile on her face, reflections of raindrops on wet asphalt below, Shot on 70mm, Cinematic Lighting, Screen Space Global Illumination, Lumen Reflections, Screen Space Reflections

Prompt: Moody evening scene at a train station, a charming young woman waits patiently under a dimly lit street lamp, umbrella held tight against the rain-soaked pavement, her stylish coat wrapped around her body, a subtle smile on her face, reflections of raindrops on wet asphalt below, Shot on 70mm, Cinematic Lighting, Screen Space Global Illumination, Lumen Reflections, Screen Space Reflections
Parameters: Steps: 50| Seed: 2439839928| Sampler: Euler a| CFG scale: 4| Size: 512x512| Batch: 1x6| Index: 1x1| Parser: Full parser| Model: STOIQONewrealityFLUXSD_XLPRO| Model hash: f327bf38a5| Backend: Diffusers| App: SD.Next| Version: a874b27| Operations: txt2img; face| Pipeline: StableDiffusionXLPipeline| Face restoration: Face HiRes| Size-1: 512| Size-2: 512| Batch-1: 1| Batch-2: 6| Index-1: 1| Index-2: 1

Time: 1m 6.13s GPU active 16708 MB reserved 16708 | used 18750 MB free 5743 MB total 24492 MB

Prompt: A dramatic, hellish scene: der Teufel (the devil) emerging from fiery depths of underworld Hell, Inferno's abyss. Horns piercing skyward, red eyes blazing with malevolent intent. Smoke-filled surroundings, charred terrain, eerie silence. Demonic minions in attendance, awaiting command., Shot on 70mm, Cinematic Lighting, Screen Space Global Illumination, Lumen Reflections, Screen Space Reflections
Parameters: Steps: 50| Seed: 2779927214| Sampler: DPM++| CFG scale: 4| Size: 512x512| Batch: 1x6| Index: 1x1| Parser: Full parser| Model: STOIQONewrealityFLUXSD_XLPRO| Model hash: f327bf38a5| Backend: Diffusers| App: SD.Next| Version: a874b27| Operations: txt2img; face| Pipeline: StableDiffusionXLPipeline| Face restoration: Face HiRes| Sampler options: dpmsolver++/order 2/low order| Size-1: 512| Size-2: 512| Batch-1: 1| Batch-2: 6| Index-1: 1| Index-2: 1

Time: 21.02s | GPU active 8896 MB reserved 8896 | used 16003 MB free 8490 MB total 24492 MB

Quellen:

Installieren von WSL

Installieren das Windows-Subsystem für Linux mit dem Befehl „wsl --install“. Verwenden Sie ein Bash-Terminal auf Ihrem Windows Computer, das von Ihrer bevorzugten Linux-Verteilung ausgeführt wird: Ubuntu, Debian, SUSE, Kali, Fedora, Pengwin, Alpine und mehr sind verfügbar.

learn.microsoft.com

https://github.com/ollama/ollama/blob/main/docs/development.md
https://github.com/open-webui/open-webui
https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/wsl/install-radeon.html
Dickes Dank geht raus an evshiron https://github.com/evshiron der den WSL ROCM Patch

ROCm on WSL · Issue #5275 · ollama/ollama

Recently, AMD released preview drivers for Windows that, alongside userspace packages for WSL, enable one to use ROCm through WSL. Ollama detection of AMD GPUs in linux, however, uses the presence ...

github.com

und die angepasste Version von Stable Diffusion / Bildgenerierung

GitHub - are-we-gfx1100-yet/automatic: An opinionated SD.Next for Navi 3x

An opinionated SD.Next for Navi 3x. Contribute to are-we-gfx1100-yet/automatic development by creating an account on GitHub.

github.com

How to Shrink a WSL2 Virtual Disk – Stephen Rees-Carter

You can use the diskpart tool to compact a VHDX. This allows you to shrink a WSL2 virtual disk file, reclaiming disk space. I went from 100GB to 15GB.

stephenreescarter.net

 

[tspoon]

2tes Test-System RCOM Support für ältere Radeons 6600 6600xt 6600M unter Ubuntu 22.04 LTS Server​

CPU: AMD Ryzen 7 5600G
GPU: AMD Radeon RX 6600 8GB
Mainboard: Gigabyte B550M DS3H (rev. 1.7) mit BIOS FEb
RAM: 128 GB DDR4 3200 3x32 GB Crucial
Netzteil: 650 Watt Seasonic Prime TX
OS: Ubuntu 22.04 LTS Server (NICHT Windows WSL!)
Treiber: neuster Ubuntu Treiber + ältere Version für rocm Support

Wir installieren auf einem PC/Server ein reines Ubuntu 22.04 LTS Server mit Thirdparty Software für den AMD Treiber , sonst ohne alles und geben einen Login und Passwort an.

Diese Anleitung gilt für folgende Karten: 6600 6600xt 6600M
Karten die aktuell ohne Anpassung laufen sollten:

AMD Radeon RX	7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56
AMD Radeon PRO	W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG
AMD Instinct	MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50

# Hier gehts los:​

Wir befinden uns dann auf der Linux-Konsole und installieren alles nach was wir zum Arbeiten brauchen

sudo apt update
sudo apt -y upgrade
sudo apt install vim rsync openssh-server mc

sudo usermod -a -G render $LOGNAME
sudo usermod -a -G video $LOGNAME

# jetzt add wir zu dem aktuellen rocm 6.2, das ältere 5.6 was für die 6600 Karten gilt

sudo apt update
wget https://repo.radeon.com/amdgpu-install/5.6.1/ubuntu/jammy/amdgpu-install_5.5.50501-1_all.deb
mv amdgpu-install_5.5.50501-1_all.deb /tmp/
sudo apt install /tmp/amdgpu-install_5.5.50501-1_all.deb

# Wenn ihr das folgende ausführt, wird er anzeigen, das viele schon in Version 6.2 installiert ist.
sudo amdgpu-install --usecase=hiplibsdk,rocm

# jetzt installieren wir ollama
curl -fsSL https://ollama.com/install.sh | sh

# jetzt sollte sowas im Logilfe stehen:
journalctl -u ollama --no-pager | grep 1032

source=amd_linux.go:340 msg="amdgpu is not supported" gpu=0 gpu_type=gfx1032 library=/usr/lib64 supported_types="[gfx1030 gfx1100 gfx1101 gfx1102]"

# wir stoppen den ollama Server
sudo systemctl stop ollama

# Jetzt müssen wir noch den ollama Service Environment HSA_OVERRIDE_GFX_VERSION=10.3.0 anpassen. Das überschrebt die Version und sorgt dafür das Profil für die 6600 geladen wird.

sudo systemctl edit ollama.service

[Service]
Environment="HSA_OVERRIDE_GFX_VERSION=10.3.0"
Environment="ROCM_PATH=/opt/rocm"

# einmal neustarten

sudo systemctl daemon-reload
sudo systemctl stop ollama
sudo systemctl start ollama

# Im logfile sollte da irgendwas mit GPU 1032 stehen und das es rocm geladen wurden
journalctl -u ollama --no-pager | grep 1032

source=types.go:105 msg="inference compute" id=0 library=rocm compute=gfx1032 driver=0.0 name=1002:73ff total="8.0 GiB" available="5.9 GiB"

Quellen:

Running ollama with an AMD Radeon 6600 XT

The local LLM easy button, ollama, won’t work with the AMD Radeon 6600 XT out of the box. The fix is a quick one!

major.io

GitHub - alfinauzikri/ROCm-RX6600XT: AMD ROCm Installation Guide on RX 6600 XT + TensorFlow and PyTorch

AMD ROCm Installation Guide on RX 6600 XT + TensorFlow and PyTorch - alfinauzikri/ROCm-RX6600XT

github.com