Open WebUI

Open WebUI ist eine open-source Web Andwendung die es erlaubt LLMs für verschiedene lokale Benutzer und als lokale API zur Verfügung zu stellen. Ich verwende Open WebUI als Frontend für meine lokalen Ollama LLMs, als auch als Frontned zu Cloud AI APIs, wie z.B. der ChatGPT API.

In meiner Infrastruktur habe ich Open WebUI sowohl auf dem Home Lab Server, primär als Frontend für Cloud APIs, als auch auf dem AI Server, primär für lokale Modelle installiert. Die Installation als Docker Container funktioniert wie beschrieben in der Readme des Github Repositories.

Ich verwende mit Open WebUI meine Ollama installation in der Host Umgebung. Da ich auch UFW verwende muss ich den entsprechenden Port für das virtuelle Docker Interface freigeben, und die IP Adresse des Docker Hosts in Open WebUI konfigurieren.

Durch mein Netbird VPN sind beide Rechner auch zum Cloud Gateway verbunden. Die Open WebUI Instanz auf dem Home Lab Server ist unter ai.tomirgang.de, um eine mobile Nutzung zu ermöglichen.