Lokale KI einrichten

Karjas KI-Funktionen laufen auf einem Modell auf Ihrem Gerät – niemals in der Cloud. Sie installieren einen kleinen lokalen Server (Ollama oder oMLX), laden ein Modell herunter und fügen die Adresse in Karja ein. Einmalig etwa fünf Minuten.

Was ist lokale KI, und warum ist sie wichtig

„Lokale KI" bedeutet, dass das Sprachmodell als Programm auf Ihrem eigenen Computer läuft – nicht auf den Servern eines Unternehmens. Sie laden die Modelldatei einmal herunter; von da an wird jede Antwort von Ihrer Hardware generiert.

Privat

Ihre Notizen, Dokumente und Anfragen werden auf Ihrem eigenen Gerät verarbeitet. Nichts wird an einen Cloud-Anbieter gesendet.

Kostenlos zu betreiben

Keine Token-Gebühren, kein Abo, keine API-Rechnung. Sobald ein Modell auf Ihrem Datenträger ist, ist jede Anfrage kostenlos.

Funktioniert offline

Kein Internet erforderlich, sobald das Modell heruntergeladen ist – nützlich im Flugzeug, unterwegs oder hinter einer Firewall.

1. Backend auswählen

Karja kommuniziert mit einem lokalen KI-Server. Wählen Sie das passende für Ihr Gerät – Sie brauchen nur eines.

Ollama

Läuft auf macOS, Windows und Linux. Die einfachste Option und die beste Wahl für einen PC oder ein Gerät ohne Apple Silicon.

oMLX

Nur für Apple-Silicon-Macs (M1–M4, macOS 15+). Basiert auf Apples MLX für maximale Geschwindigkeit auf einem Mac, verwaltet aus der Menüleiste.

2. Ollama installieren — macOS · Windows · Linux

1

Herunterladen und installieren

Laden Sie den Installer für Ihr Betriebssystem von ollama.com/download herunter. Unter macOS und Windows startet nach der Installation automatisch ein Hintergrundserver. Unter Linux:

curl -fsSL https://ollama.com/install.sh | sh

2

Modell herunterladen

Laden Sie im Terminal ein Modell herunter. Ein kleines 3B-Modell ist ein guter Ausgangspunkt und läuft auf bescheidener Hardware:

ollama pull llama3.2

Den vollständigen Katalog finden Sie unter ollama.com/library. Größere Modelle sind klüger, benötigen aber mehr RAM – wählen Sie ein kleineres (z. B. llama3.2:3b oder qwen2.5:3b), wenn Sie 8 GB haben.

3

API-URL notieren

Ollama läuft unter http://127.0.0.1:11434. Überprüfen Sie, ob es läuft, indem Sie diese Adresse im Browser öffnen – Sie sollten „Ollama is running" sehen. Das ist die URL, die Sie in Karja einfügen.

…oder oMLX installieren — Apple-Silicon-Macs

1

Anforderungen prüfen

oMLX benötigt einen Apple-Silicon-Mac (M1–M4) mit macOS 15 oder neuer. Mehr dazu unter omlx.ai.

2

App installieren

Laden Sie die .dmg von der oMLX-Releases-Seite herunter und ziehen Sie sie in den Programme-Ordner. Oder mit Homebrew:

brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

3

Server starten und Modell herunterladen

Starten Sie oMLX aus dem Programme-Ordner – es erscheint in Ihrer Menüleiste. Der Begrüßungsbildschirm führt Sie durch drei Schritte: Modellordner wählen, Server starten und erstes Modell herunterladen. Weitere Modelle können Sie jederzeit über das integrierte Admin-Dashboard herunterladen.

4

API-URL finden

oMLX läuft standardmäßig unter http://127.0.0.1:8000 (Sie können Host und Port selbst wählen). Um die genaue Adresse zu bestätigen, öffnen Sie das Dashboard unter 127.0.0.1:8000/admin/dashboard und sehen Sie unter API-Endpunkte nach. Das ist die URL für Karja.

3. Mit Karja verbinden

1

KI-Einstellungen öffnen

Klicken Sie in Karja auf Einstellungen (das Zahnrad unten in der linken Seitenleiste) und öffnen Sie dann den KI-Tab.

2

Backend auswählen und URL einfügen

Wählen Sie Ollama oder oMLX, dann geben Sie Ihre Adresse in Basis-URL ein – http://127.0.0.1:11434 für Ollama, http://127.0.0.1:8000 für oMLX. (Wenn Sie einen API-Schlüssel in oMLX gesetzt haben, fügen Sie ihn im Feld API-Schlüssel ein.)

3

Modell auswählen

Klicken Sie unter Modell auf Aktualisieren und wählen Sie eines Ihrer heruntergeladenen Modelle aus der Dropdown-Liste. Wenn die Liste leer ist, läuft der Server nicht oder Sie haben noch kein Modell heruntergeladen.

4. Ausprobieren – KI zu einer Notiz befragen

Karjas KI-Chat kann Ihre Einträge als Kontext lesen. Hier ist der vollständige Ablauf in Notepad:

1

Notiz schreiben

Öffnen Sie Notepad in der Seitenleiste und tippen Sie einige Absätze – zum Beispiel Besprechungsnotizen oder einen Entwurf.

2

KI-Chat öffnen

Klicken Sie auf KI-Chat unten in der linken Seitenleiste. Ein Chat-Bereich öffnet sich am unteren Rand des Fensters.

3

Notiz als Kontext anhängen

Tippen Sie @ in das Chatfeld und wählen Sie Ihre Notiz aus der Liste. Sie ist nun angehängt, sodass das Modell sie lesen kann.

4

Eine Frage stellen

Tippen Sie etwas wie „Fasse diese Notiz in drei Stichpunkten zusammen" und drücken Sie Enter. Die Antwort erscheint – vollständig auf Ihrem Gerät generiert. 🎉

Gut zu wissen

Halten Sie Ollama oder oMLX am Laufen, während Sie Karjas KI-Funktionen nutzen.
Größere Modelle liefern bessere Antworten, benötigen aber mehr Arbeitsspeicher – wenn Antworten langsam sind oder die App kämpft, wechseln Sie zu einem kleineren Modell.
Ihre Anfragen und Dokumente verlassen niemals Ihren Computer.