Chat-Test

Sie laden oder verbinden ein fertig trainiertes Modell und prüfen das Ergebnis des Fine-Tunings im direkten Gespräch.

Modell in den Inferenzserver laden

Laden Sie das Ergebnismodell des Trainings direkt und testen Sie es.

• Modellpfad: Geben Sie den Pfad des zu testenden Modells ein (z. B. /@team/.AppData/fine_tuning/runs/model)
• Adapterpfad (optional): Geben Sie den Pfad an, wenn Sie nur die z. B. mit LoRA trainierten Adaptergewichte separat verwenden
• Template: Wird standardmäßig automatisch erkannt

Nachdem Sie den Pfad eingegeben haben, klicken Sie auf die Schaltfläche Starten, um den Inferenzserver zu starten. Danach wechselt Verbinden auf Inferenzserver.

Mit einem Ollama-Server verbinden

Sie können auch direkt mit einem Modell testen, das bereits in Ollama registriert ist.

1. Wählen Sie unter Verbinden die Option Server-Ollama oder Lokales Ollama (eigener PC).
2. Laden Sie die Modellliste mit der Aktualisieren-Schaltfläche (↺).
3. Wählen Sie das zu testende Modell (z. B. gemma4:12b).

Wenn Sie Eigene API wählen, geben Sie API-Adresse und Modellnamen selbst ein. Mit Zurücksetzen löschen Sie den Gesprächsverlauf.

Ergebnis im Gespräch prüfen

Geben Sie im Eingabefeld unten eine Nachricht ein und senden Sie sie mit Ctrl+Enter (oder der Senden-Schaltfläche); die Benutzernachricht und die KI-Antwort werden als Chat angezeigt. Stellen Sie Fragen, die zum Trainingsziel passen, und prüfen Sie Qualität und Format der Antworten.

Hinweise

• Ein Modell, das nur PT (Pre-Training) abgeschlossen hat, antwortet möglicherweise eher mit Textfortsetzungen als mit einem Gespräch, das Anweisungen folgt. Um die Qualität eines anweisungsfolgenden Gesprächs zu prüfen, testen Sie mit einem Modell, das auch SFT durchlaufen hat.
• Solange der Modellpfad leer ist, können Sie Starten nicht wählen. Geben Sie den Modellpfad auch dann an, wenn Sie einen Adapter verwenden.

Verwandte Dokumente

• Evaluierung
• Exportieren