[Anleitung] Docker CE, Git & Ollama auf Debian 13 (Trixie)

[h3rb3rn]

[AI/KI-INFRA] Docker CE & Git: Ollama auf Debian 13 (Trixie) einrichten

Ziel und Voraussetzungen

Ziel: Vollständige Einrichtung einer Ollama-Infrastruktur mit Docker CE auf einem frisch installierten Debian 13 (Trixie) Minimal-System inklusive Option zur NVIDIA GPU-Unterstützung.

Voraussetzungen: Ein frisch installiertes Debian 13 Minimal System (Zugriff als Root ist erforderlich, da `sudo` noch nicht installiert ist).

***

Schritt 1: System-Tools (sudo, curl, git) und Docker CE Installation

Wählen Sie den automatisierten Weg (A) für Schnelligkeit oder die manuelle Installation (B) für volle Kontrolle.

Wichtig: Melden Sie sich zuerst als Root-Benutzer an (falls noch nicht geschehen):

Code: Select all

su -

A) Der schnelle Weg – Automatisierte Installation und User-Setup

Führen Sie als **ROOT** diesen Befehl aus, um die Basis-Tools (`sudo`, `curl`, `git`) zu installieren. Anschließend wird Ihr Installationsskript heruntergeladen und ausgeführt (das sich um Docker und die Gruppenzuweisung kümmert).

Code: Select all

# Zuerst Basis-Tools installieren:
apt update && apt install -y sudo curl git

# Nun das vorbereitete Docker-Installationsskript ausführen:
curl -sL "https://git.4noobs.de/h3rb3rn/ollama/-/raw/main/docker-install.sh?ref_type=heads" | sudo bash

B) Der manuelle Weg – Schritt-für-Schritt

• Abhängigkeiten und sudo installieren:

  Code: Select all

  # Als ROOT ausführen:
  apt update
  apt upgrade -y
  # Installiere sudo, curl (für Docker-Download) und git (für später)
  apt install -y sudo ca-certificates curl gnupg git
  

• Benutzer zu sudo-Gruppe hinzufügen (optional, aber empfohlen):

  Code: Select all

  # Ersetze $USER durch deinen tatsächlichen Benutzernamen, z.B. h3rb3rn
  usermod -aG sudo $USER
  

• Docker Repository hinzufügen:

  Code: Select all

  sudo install -m 0755 -d /etc/apt/keyrings
  curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
  sudo chmod a+r /etc/apt/keyrings/docker.gpg
  echo \
    "deb [arch=\"$(dpkg --print-architecture)\" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian \
    trixie stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
  sudo apt update
  

• Docker CE installieren und Benutzer zur Docker-Gruppe hinzufügen:

  Code: Select all

  sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
  # Benutzer zur Docker-Gruppe hinzufügen (ersetze $USER durch deinen tatsächlichen Benutzernamen)
  sudo usermod -aG docker $USER
  

HINWEIS FÜR NVIDIA & SECURE BOOT: Sollten Sie eine NVIDIA GPU verwenden und Secure Boot aktiv sein, kann die Installation der proprietären Treiber kompliziert sein. Lesen Sie in diesem Fall bitte die Anleitung: Nvidia Treiber Problem bei Secure Boot

WICHTIG: Nach Abschluss von Schritt 1 (egal ob A oder B) müssen Sie sich einmal ab- und wieder anmelden (oder newgrp docker ausführen), damit die Mitgliedschaften in den Gruppen (`sudo`, `docker`) wirksam werden.

***

Schritt 2: Deployment der Ollama Container

Starten Sie die Ollama-Infrastruktur.

A) Der schnelle Weg – Automatisierte Container-Bereitstellung

Code: Select all

# Skript herunterladen und ausführen:
curl -sL "https://git.4noobs.de/h3rb3rn/ollama/-/raw/main/setup-ollama-on-docker.sh?ref_type=heads" | sudo bash

B) Der manuelle Weg – Klonen und Skript lokal ausführen

• 1. Repository klonen:

  Code: Select all

  git clone https://git.4noobs.de/h3rb3rn/ollama.git
  cd ollama
  

• 2. Ollama Deployment-Skript prüfen und ausführen:

  Code: Select all

  # Skript-Inhalt prüfen (Empfohlen)
  cat setup-ollama-on-docker.sh
  
  # Skript ausführbar machen
  chmod +x setup-ollama-on-docker.sh
  
  # Skript ausführen
  sudo ./setup-ollama-on-docker.sh
  

Info zur GPU-Unterstützung: Das Deployment-Skript muss das NVIDIA Container Toolkit berücksichtigen, falls Sie eine GPU nutzen.

***

Schritt 3: Verifizierung

1. Container-Status prüfen:

Code: Select all

docker ps

Die Ausgabe sollte die gestarteten Ollama-Container listen.

2. API-Verfügbarkeit prüfen:

Code: Select all

curl http://localhost:11434

Erwartete Ausgabe: Bei erfolgreichem Start des Ollama-Dienstes sollte die Meldung "Ollama is running" zurückgeliefert werden.

***

Schritt 4: NVIDIA Container Toolkit installieren (Optional bei Fehlern)

Dieser Schritt ist nur notwendig, wenn die Container in Schritt 3 nicht gestartet sind oder Docker Fehler bezüglich des NVIDIA-Runtimes meldet.

A) Wenn Sie den schnellen Weg (Schritt 2 A) gewählt haben:
Führen Sie die Datei aus, die durch das Deployment-Skript in das Zielverzeichnis heruntergeladen wurde.

Code: Select all

# Skript ausführbar machen und ausführen (mit vollem Pfad):
sudo chmod +x /opt/deployment/ollama/nvidia-setup.sh
sudo /opt/deployment/ollama/nvidia-setup.sh

B) Wenn Sie den manuellen Weg (Schritt 2 B) gewählt haben:
Führen Sie die lokal in Ihrem Arbeitsverzeichnis (z.B. `~/ollama`) vorhandene Datei aus.

Code: Select all

# Wechsel in das Repository-Verzeichnis, falls Sie nicht schon dort sind
# cd ollama 

# Skript ausführbar machen
chmod +x nvidia-setup.sh

# Skript ausführen (mit sudo)
sudo ./nvidia-setup.sh

Nach Ausführung des Skripts müssen Sie den Docker-Dienst neu starten: `sudo systemctl restart docker`. Starten Sie anschließend die Ollama Container neu (Schritt 2).

***

Fertigstellung

Ihre Ollama-Infrastruktur ist nun einsatzbereit!