KI Modelle auf lokaler Hardware

folgend das docker-compose.yml für ROCm Support:

Code:

services:

  # ----------------------------------------------------------
  #  OLLAMA – AMD Radeon RX 7800 XT / RDNA3 / ROCm
  #  ROCm-Image ist immer aktiv, kein Override-File nötig.
  # ----------------------------------------------------------
  ollama:
    image: ${OLLAMA_ROCM_IMAGE:-ollama/ollama:rocm}
    container_name: angebotssystem_ollama
    restart: unless-stopped
    volumes:
      - ollama_data:/root/.ollama
    devices:
      - /dev/kfd:/dev/kfd          # ROCm Kernel Fusion Driver
      - /dev/dri:/dev/dri          # Direct Rendering Infrastructure
    group_add:
      - video
#      - render
    ipc: host
    environment:
      # RX 7800 XT = RDNA3 / gfx1101
      HSA_OVERRIDE_GFX_VERSION:  ${HSA_OVERRIDE_GFX_VERSION:-11.0.0}
      ROCR_VISIBLE_DEVICES:      ${ROCR_VISIBLE_DEVICES:-0}
      HIP_VISIBLE_DEVICES:       ${HIP_VISIBLE_DEVICES:-0}
      OLLAMA_VULKAN:             ${OLLAMA_VULKAN:-0}        # ROCm hat Vorrang, kein Vulkan
      # Performance für 16 GB VRAM
      OLLAMA_NO_CLOUD:           ${OLLAMA_NO_CLOUD:-1}
      OLLAMA_FLASH_ATTENTION:    ${OLLAMA_FLASH_ATTENTION:-1}
      OLLAMA_KV_CACHE_TYPE:      ${OLLAMA_KV_CACHE_TYPE:-q8_0}
      OLLAMA_NUM_PARALLEL:       ${OLLAMA_NUM_PARALLEL:-1}
      OLLAMA_MAX_LOADED_MODELS:  ${OLLAMA_MAX_LOADED_MODELS:-1}
      OLLAMA_GPU_OVERHEAD:       ${OLLAMA_GPU_OVERHEAD:-1073741824}
    healthcheck:
      test: ["CMD-SHELL", "ollama list > /dev/null 2>&1"]
      interval: 10s
      timeout: 10s
      retries: 20
      start_period: 30s
    ports:
      - 11434:11434
    networks:
      - internal

volumes:
  ollama_data:
    name: angebotssystem_ollama_data

networks:
  internal:
    name: local_net
    driver: bridge

und dazu noch das .env file, kann man aber auch direkt ins compose file auch reingeben:

Code:

# Ollama lokal auf AMD Radeon RX 7800 XT (kostenlos)
# Modell vorher laden: docker compose exec ollama ollama pull "Modelbezeichnung"
OLLAMA_MODEL=gemma4:26b

# --- AMD ROCm (RX 7800 XT / RDNA3 / gfx1101) ---
OLLAMA_ROCM_IMAGE=ollama/ollama:rocm
HSA_OVERRIDE_GFX_VERSION=11.0.0
ROCR_VISIBLE_DEVICES=0
HIP_VISIBLE_DEVICES=0
OLLAMA_VULKAN=0
OLLAMA_NO_CLOUD=1
OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_NUM_PARALLEL=1
OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_GPU_OVERHEAD=1073741824

ROCm muss man halt noch separat installieren, dafür gibts aber eh Anleitungen von AMD (https://rocm.docs.amd.com/projects/...uick-start.html)