"ThunderAI" Einrichtungsanleitung - Ollama (Lokale KI)

Die Integration mit Ollama ermöglicht es Ihnen, KI-Modelle lokal auf Ihrem eigenen Computer auszuführen.
Ihre E-Mails verlassen niemals Ihren Computer: keine API-Schlüssel, keine Cloud-Dienste, keine Kosten außer Ihrer Hardware.

Voraussetzungen

• Ollama installiert und auf Ihrem Computer aktiv (oder im lokalen Netzwerk erreichbar)
• Mindestens ein in Ollama heruntergeladenes Modell
• Thunderbird mit installiertem ThunderAI

Ollama installieren und ein Modell herunterladen

Falls Sie Ollama noch nicht installiert haben:

1. Laden Sie es von ollama.com herunter und folgen Sie den Installationsanweisungen für Ihr Betriebssystem
2. Öffnen Sie ein Terminal und laden Sie ein Modell herunter, zum Beispiel:
   

   ollama pull llama3

   Weitere gute Optionen für E-Mail-Aufgaben: mistral, phi3, gemma2
3. Prüfen Sie, ob Ollama läuft:
   

   ollama list

CORS konfigurieren

Thunderbird-Erweiterungen laufen in einer Sandbox-Umgebung, daher muss Ollama so konfiguriert werden, dass es Anfragen von Browser-Erweiterungen akzeptiert.
Setzen Sie dazu die Umgebungsvariable OLLAMA_ORIGINS auf moz-extension://*.

Detailliertere CORS-Konfigurationen finden Sie auf der Ollama-CORS-Informationsseite.

Einrichtung

1. ThunderAI-Optionen öffnen

Klicken Sie in Thunderbird auf das ThunderAI-Menü und wählen Sie Options, oder gehen Sie zu
Extras → Add-ons und Themes → ThunderAI → Einstellungen.

2. Ollama-Integration auswählen

Wählen Sie im Bereich Connection die Option Ollama aus dem Integrations-Dropdown.

3. Server-URL festlegen

Geben Sie die URL Ihres Ollama-Servers ein. Der Standardwert ist:

http://localhost:11434

Wenn Ollama auf einem anderen Computer in Ihrem Netzwerk läuft, ersetzen Sie localhost durch die IP-Adresse dieses Computers.

4. Modell auswählen

Wählen Sie ein Modell aus dem Dropdown Model. Klicken Sie auf die Schaltfläche, um die Liste zu aktualisieren.

5. Speichern und testen

Klicken Sie auf Save. Öffnen Sie eine beliebige E-Mail, verwenden Sie das ThunderAI-Menü und führen Sie einen Prompt aus, um die Verbindung zu überprüfen.

Tipps

• Die Leistung hängt von Ihrer Hardware ab. Ein moderner Computer mit mindestens 16 GB RAM bewältigt Modelle wie llama3 oder mistral komfortabel. Eine GPU beschleunigt den Prozess erheblich.
• Kleinere Modelle (7B Parameter) sind schneller, aber weniger leistungsfähig; größere Modelle (13B, 70B) liefern bessere Ergebnisse, benötigen aber mehr Ressourcen.
• Für E-Mail-Aufgaben sind mistral und llama3 beliebte Optionen, die eine gute Balance zwischen Qualität und Geschwindigkeit bieten.

Fehlerbehebung

„Failed to connect" oder keine Antwort

Prüfen Sie, ob Ollama tatsächlich läuft (ollama list im Terminal). Stellen Sie sicher, dass die Server-URL in den ThunderAI-Optionen mit Ihrer Ollama-Konfiguration übereinstimmt.

CORS-Fehler

Die Variable OLLAMA_ORIGINS ist entweder nicht gesetzt, oder Ollama wurde nach dem Setzen nicht neu gestartet. Wiederholen Sie die obigen Schritte, oder verwenden Sie die Berechtigung „All URLs" als Workaround.

Leere Modellliste

Stellen Sie sicher, dass Sie mindestens ein Modell mit ollama pull <modellname> heruntergeladen haben und dass Ollama läuft.