Wenn Ollama bereits auf Ihrem ZimaBoard installiert ist, läuft das System im Hintergrund als KI-Server. Ollama selbst ist quasi der "Motor", der die KI-Modelle ausführt – um damit zu chatten oder Text zu generieren, müssen wir jetzt noch ein passendes Sprachmodell herunterladen und eine Benutzeroberfläche (UI) starten.Am einfachsten und komfortabelsten klappt das direkt über das ZimaOS-Dashboard mit folgendem Vorgehen:
1. Eine Benutzeroberfläche installieren
Damit Sie ein ChatGPT-ähnliches Interface im Browser haben, installieren Sie am besten eine passende App aus dem ZimaOS App Store, die sich mit Ollama verbindet:
Empfehlung: Suchen Sie im App Store nach Page Assist (eine Browser-Erweiterung) oder Open WebUI / Nextchat.
Open WebUI bietet Ihnen das vollständigste Erlebnis mit Chat-Verlauf, Dokumenten-Upload und Benutzerverwaltung.
2. Ein KI-Modell herunterladen (Über das Terminal)
Das ZimaBoard 2 basiert auf einer x86-CPU. Da keine dedizierte Nvidia-Grafikkarte verbaut ist, laufen die Modelle über den Prozessor (CPU).
Wählen Sie daher ein Modell, das nicht zu groß ist, damit die Antworten flüssig generiert werden.
Öffnen Sie wieder Ihr Web-Terminal im Dashboard.
Wenn Sie eine Benutzeroberfläche wie Open WebUI nutzen, können Sie Modelle oft direkt in den dortigen Einstellungen per Klick laden.
Alternativ laden Sie ein sehr schnelles und gutes Modell (z. B. Llama 3.2 mit 3 Milliarden Parametern) direkt über das Terminal mit diesem Befehl:
docker exec -it ollama ollama run llama3.2
3. Alternative: Nutzung über API (für andere Programme)
Falls Sie Ollama in externer Software (z. B. auf Ihrem PC oder Smartphone) einbinden möchten, stellt das ZimaBoard die KI als lokale API bereit.
Die Adresse lautet standardmäßig:http://[IP-IHRES-ZIMABOARDS]:11434
