Modelle & Laufzeitumgebung einrichten

Diese Anleitung beschreibt, wie Sie die lokale Inferenz-Laufzeitumgebung und externe KI-Modelle verbinden, die SetFN verwenden soll, und wie Sie die Modellprioritäten für die einzelnen Funktionen festlegen.

Bildschirm Modelle & Laufzeitumgebung der KI-Dienste

Bevor Sie beginnen

Erforderliche Berechtigung: Administrator
Prüfen Sie die Adresse des Servers, auf dem die Laufzeitumgebung läuft, und ob eine Authentifizierung verwendet wird.
Befindet sich die Laufzeitumgebung auf einem anderen Server, muss der SpaceBuilder-Server die entsprechende Adresse und den Port erreichen können.

Modelle & Laufzeitumgebung öffnen

Öffnen Sie die Administrationsseite.
Wählen Sie im linken Menü KI-Dienste.
Wählen Sie Modelle & Laufzeitumgebung.

Lokale KI-Laufzeitumgebung

Sie können den SetFN-Arbeitsbereich mit einer Inferenz-Laufzeitumgebung verbinden, die in Ihrer lokalen Umgebung läuft, um die KI-Funktionen zu verwenden.

Laufzeitumgebung einstellen

Als Inferenz-Laufzeitumgebung können Sie eine der folgenden auswählen.

Laufzeitumgebung	Beschreibung	Beispiel für den Standard-Endpunkt
Ollama	Verwendet lokal installierte Ollama-Modelle.	`http://localhost:11434`
LM Studio	Verwendet Modelle, die über die lokale Serverfunktion von LM Studio ausgeführt werden.	`http://localhost:1234`
ONNX (OpenAI API)	Verbindet sich mit einem ONNX-Laufzeitserver, der eine OpenAI-kompatible API bereitstellt.	`http://localhost:8000`
Docker Model Runner	Verwendet eine Modell-Laufzeitumgebung, die in einer Docker-Umgebung läuft.	`http://localhost:12434`

Haupt- und Sub-Runtime konfigurieren

Die Haupt-Laufzeitumgebung wird als Standard-Inferenzverbindung verwendet. Mit einer Enterprise-Lizenz oder höher können Sie über Sub-Runtime hinzufügen bis zu 10 zusätzliche Laufzeitumgebungen registrieren. Für jede Laufzeitumgebung werden Typ, Endpunkt, Anzeigename und API Token separat gespeichert, und der Verbindungsstatus wird im Bildschirm angezeigt.

Endpunkt einstellen

Geben Sie die Serveradresse der ausgewählten Laufzeitumgebung ein.

Läuft die Laufzeitumgebung auf demselben Gerät, verwenden Sie eine localhost-Adresse. (Beispiel: http://localhost:11434)
Läuft die Laufzeitumgebung auf einem anderen Server, geben Sie die IP-Adresse oder Domain dieses Servers und den Port ein.
Der eingegebene Endpunkt muss von dem Gerät aus erreichbar sein, auf dem SpaceBuilder installiert ist.

API Token einstellen

Das API Token ist optional.

Geben Sie ein API Token nur ein, wenn in der ausgewählten Laufzeitumgebung die Authentifizierung aktiviert ist. Bei einer lokalen Laufzeitumgebung ohne Authentifizierung können Sie das Feld leer lassen und speichern.

Neues Modell installieren

Geben Sie den Namen des Modells ein, das Sie verwenden möchten, und wählen Sie die Schaltfläche Installieren. Die ausgewählte KI-Laufzeitumgebung lädt das Modell dann herunter (pulling). Diese Funktion ist für Ollama und LM Studio verfügbar. Geben Sie bei LM Studio eine Modell-ID oder eine GGUF/MLX-Repository-URL ein. Wenn Sie Ollama verwenden, finden Sie die installierbaren Modellnamen und Tags in der offiziellen Ollama-Modellbibliothek.

Wenn Sie beispielsweise den folgenden Modellnamen eingeben, wird das Modell automatisch heruntergeladen und installiert.

gemma4:31b

Modelldateien können sehr groß sein. Prüfen Sie vor der Installation den Speicherplatz des Servers sowie die Arbeitsspeicher- oder GPU-Ausstattung.

Modellmerkmale kennen

Lokale KI-Laufzeitumgebungen wie Ollama zeigen die von einem Modell unterstützten Funktionen als Merkmal-Tags an. Da jedes Modell andere Aufgaben ausführen kann, prüfen Sie, ob das für Ihren Verwendungszweck passende Tag vorhanden ist.

Modellmerkmal	Bedeutung	Hauptverwendung
`completion`	Ein allgemeines Textgenerierungsmodell, das den eingegebenen Kontext fortsetzt und Fragen beantworten kann.	Chat, Dokumente verfassen, Zusammenfassungen
`thinking`	Unterstützt eine Reasoning-Funktion, die ein Problem vor der Antwort in mehreren Schritten analysiert. Das begünstigt genauere Entscheidungen als bei allgemeinen Modellen, kann die Antwortzeit jedoch verlängern.	Komplexe Anfragen, Analysen, Planung
`tool use`	Das Modell kann externe Tools oder Funktionen auswählen und die erforderlichen Argumente zusammenstellen. Ob ein Tool tatsächlich ausgeführt wird, hängt von den verbundenen Funktionen und Berechtigungen ab.	Agentenaufgaben, Suche, Aufruf externer Funktionen
`vision`	Ein VL-Modell (Vision-Language), das neben Text auch Bildeingaben verstehen kann.	Bildbeschreibungen, Analyse gescannter Dokumente und Bildschirme
`embedding`	Ein reines Einbettungsmodell, das die Bedeutung von Sätzen in numerische Vektoren umwandelt. Es ist nicht dafür vorgesehen, normale Chat-Antworten zu erzeugen.	Wissensindexierung, Suche ähnlicher Dokumente, RAG
`cloud`	Ein Modell, das statt auf lokaler Hardware in Ollama Cloud ausgeführt wird. Es kann verwendet werden, wenn Sie sich bei Ollama Cloud registriert und die Authentifizierung der Laufzeitumgebung abgeschlossen haben.	Umgebungen mit knappen lokalen Ressourcen, Ausführung großer Modelle

Manche Modelle unterstützen mehrere Merkmale gleichzeitig. Unterstützt ein Modell beispielsweise sowohl vision als auch completion, kann es ein Bild verstehen und anschließend in Text antworten. Ein embedding-Modell hingegen wählen Sie in den Einstellungen des Wissensspeichers als Suchmodell aus.

cloud-Modelle werden remote ausgeführt, ohne dass die gesamte Modelldatei lokal heruntergeladen wird. Daher sind eine Internetverbindung und die Authentifizierung mit einem Ollama-Cloud-Konto erforderlich; die verfügbaren Modelle und Nutzungslimits können je nach den Richtlinien des abonnierten Dienstes variieren.

Installierte Modelle

Hier prüfen Sie die Liste der Modelle, die in der ausgewählten lokalen KI-Laufzeitumgebung verfügbar sind.

In der Liste der installierten Modelle sehen Sie unter anderem Name, Parameteranzahl, Größe und Installationsdatum jedes Modells. Bei Ollama können Sie Modelle, die Sie nicht mehr verwenden, mit der Schaltfläche Löschen entfernen.

Priorität der Vision-Modelle

Wählen Sie VL-Modelle (Vision-Language), die Bilder und Dokumente gemeinsam verstehen können, und legen Sie die Antwortpriorität fest.

Wählen Sie unter den aktivierten Modellen diejenigen aus, die für Bildeingaben verwendet werden sollen.
Die ausgewählten Modelle werden in der Reihenfolge ihrer Priorität aufgerufen.
Mit den Schaltflächen nach oben und unten passen Sie die Aufrufreihenfolge an.

Modellpriorität für Wissenssuche und Zusammenfassung

Legen Sie die Modelle und die Aufrufreihenfolge fest, die zum Zusammenführen von Wissenssuchergebnissen und zum Erstellen von Zusammenfassungen (Digests) öffentlicher Chats verwendet werden.

Verfügbare Modelle

Wählen Sie unter den aktivierten Modellen diejenigen aus, die für Wissenssuche und Zusammenfassung verwendet werden sollen, und fügen Sie sie der Prioritätsliste hinzu. VL-Modelle für Bildeingaben und reine Einbettungsmodelle stehen nicht zur Auswahl.

Ausgewählte Priorität

Die Aufrufreihenfolge der hinzugefügten Modelle ändern Sie mit den Schaltflächen nach oben und unten. Ist ein höher priorisiertes Modell nicht verfügbar (z. B. nach einem Wechsel der Laufzeitumgebung oder bei einem Verbindungsfehler), wird automatisch zum nächsten Modell in der Liste gewechselt.

Richtlinie für die automatische Auswahl

Legen Sie das Auswahlkriterium fest, das gilt, wenn die Prioritätsliste leer ist oder keines der Modelle in der Liste verfügbar ist.

Richtlinie	Beschreibung
Geschwindigkeit bevorzugt	Wählt zuerst ein Modell, das schnell antworten kann.
Ausgewogen	Berücksichtigt Antwortgeschwindigkeit und Ergebnisqualität gleichermaßen.
Qualität bevorzugen	Bevorzugt Modelle mit hoher Qualität der Zusammenfassungen. Empfohlen für die Zusammenfassung wichtiger Inhalte.

KI-Autovervollständigung im Editor

Sie können festlegen, dass die KI beim Verfassen eines Dokuments im MD-Editor den nächsten Satz oder die Fortsetzung des Inhalts vorschlägt.

Wenn Sie in der Karte Priorität der Autovervollständigungsmodelle die Option Autovervollständigung aktivieren einschalten, schlägt die KI beim Bearbeiten von .md-Dokumenten anhand der Cursorposition und des umgebenden Kontexts Textvorschläge vor. Das eignet sich für Situationen, in denen Text fortlaufend geschrieben wird, etwa bei Besprechungsprotokollen, Berichten, Notizen oder technischen Dokumenten.

Wie die KI-Autovervollständigung im Markdown-Editor tatsächlich angezeigt wird, erfahren Sie im Abschnitt KI-Autovervollständigung unter Markdown- und Textdateien anzeigen und bearbeiten.

Modellauswahl

Das Modell für die KI-Autovervollständigung im Editor können Sie auf zwei Arten auswählen.

Auswahlart	Beschreibung
Automatische Auswahl	Ist `Ausgewählte Priorität` leer, wird automatisch ein Modell gemäß der Einstellung `Automatische Auswahlregel` gewählt.
Bestimmtes Modell	Verwendet die unter `Verfügbare Modelle` hinzugefügten Modelle in der Reihenfolge von `Ausgewählte Priorität`.

Um ein bestimmtes Modell zu verwenden, müssen Sie zuerst unter den Einstellungen zu installierten Modellen in diesem Dokument ein lokales KI-Modell installieren oder verbinden.

Automatische Auswahlregel

Bei der automatischen Auswahl können Sie die Richtlinie für die Modellauswahl nach folgenden Kriterien festlegen.

Richtlinie	Beschreibung	Geeignete Situation
Geschwindigkeit bevorzugt	Verwendet bevorzugt Modelle, die schnell antworten können.	Kurze Notizen, Schreibhilfe in Echtzeit
Ausgewogen	Berücksichtigt Geschwindigkeit und Qualität gleichermaßen.	Allgemeine Dokumente, gemeinsamer Standard im Team
Qualität bevorzugen	Verwendet bevorzugt Modelle, die Antworten mit höherer Qualität liefern.	Berichte, Angebote, Entwürfe langer Dokumente

Einstellungen speichern

Jede Karte hat eine eigene Schaltfläche Speichern. Wählen Sie sie, nachdem Sie die Werte der Karte geändert haben. Wenn Sie den Endpunkt einer Laufzeitumgebung ändern, erscheint ein Hinweis zum Neustart; die Änderung wird wirksam, nachdem Sie Server neu starten gewählt haben. Nach dem Speichern verwenden KI-Funktionen wie KI-Chat, dokumentbasierte Fragen und Antworten sowie Wissensindexierung die konfigurierte Laufzeitumgebung und die Modelle.

Hinweise

ONNX und Docker Model Runner unterstützen Neues Modell installieren nicht. Laden Sie die Modelle zuerst in der Laufzeitumgebung herunter oder laden Sie sie dort.
Wenn die Laufzeitumgebung beendet ist oder die Endpunktadresse nicht korrekt ist, kann SetFN das Modell nicht aufrufen.
Prüfen Sie, ob der Zugriff auf den Port nicht durch eine Firewall oder Netzwerkrichtlinie blockiert wird.