Dein persönliches ChatGPT! KI Server selbst gebaut – so geht’s

Sie sehen gerade einen Platzhalterinhalt von Standard. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

In diesem Video stelle ich euch vor, wie ihr euch euren eigenen KI Server mit Hilfe von OpenSource Software aufbauen könnt und darauf chatbasierte KI Funktionen nutzen könnt. Auch die Installation unterschiedlichster LLMs ist Dank OLLAMA kein Problem. Aber auchZusatzfunktionen wie Bilderkennung oder Sprache-zu-Text sind mit den Tools, die Ich euch heute vorstelle möglich.

🛠️ OpenSource IT-Support 🛠️
Du benötigst Unterstützung bei der Installation oder Konfiguration von OpenSource Software? Ich helfe dir gerne weiter! Schreib mir einfach eine Mail an: service@apfelcast.com

ℹ️ Links:
CPU vs. GPU Vergleichsvideo: https://www.patreon.com/posts/106665250?pr=true
OLLAMA: https://ollama.com
Open WebUI: https://openwebui.com

Im Video verwendete Befehle:

## Installation OLLAMA ##
curl -fsSL https://ollama.com/install.sh | sh

## Installationstest #
>> http://<ip-adresse>:11434

## Installation model for OLLAMA ##
ollama pull llama3

## Test OLLAMA in CLI ##
ollama run llama3

## GPU Überwachen ##
watch -n 0.5 nvidia-smi


## Docker Key & Repo  hinzufügen ##
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

## Docker Installation ##
apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

## Open WebUI Container erstellen ##
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

## Open WebUI aufrufen ##
>> http://<ip-adresse>:8080

apfelcast Support

Du benötigst Unterstützung bei deinem Projekt oder hast Fragen zur Umsetzung?
Dann melde ich gern bei uns!

Ähnliche Beiträge