본문 바로가기

채팅 테스트

학습한 모델을 불러오거나 연결한 뒤 직접 대화하며 파인튜닝 결과를 확인합니다.

채팅 테스트


추론 서버로 모델 불러오기

학습 결과 모델을 직접 불러와 테스트합니다.

  • 모델 경로: 테스트할 모델의 경로를 입력합니다(예: /@team/.AppData/fine_tuning/runs/model).
  • 어댑터 경로 (선택): LoRA 등으로 학습한 어댑터 가중치를 따로 쓸 때 경로를 지정합니다.
  • 템플릿: 기본값은 템플릿 자동입니다.

경로를 입력하고 시작을 선택하면 추론 서버가 실행되고 연결이 추론 서버로 바뀝니다.

Ollama 서버에 연결

Ollama에 등록된 모델로 바로 테스트할 수도 있습니다.

  1. 연결에서 서버 Ollama 또는 로컬 Ollama (내 PC)를 선택합니다.
  2. 새로고침 버튼(↺)으로 모델 목록을 불러옵니다.
  3. 테스트할 모델(예: gemma4:12b)을 선택합니다.

커스텀 API를 선택하면 API 주소와 모델명을 직접 입력합니다. 초기화를 선택하면 대화 내용이 지워집니다.

대화로 결과 확인

아래 입력창에 메시지를 입력하고 Ctrl+Enter를 누르거나 전송 버튼을 선택하면 사용자 메시지와 AI 응답이 채팅 형태로 표시됩니다. 학습 목적에 맞는 질문으로 응답 품질과 형식을 확인합니다.

알아두기

  • PT(사전학습)만 마친 모델은 지시를 따르기보다 이어쓰기 형태로 응답할 수 있습니다. 대화 품질을 보려면 SFT까지 진행한 모델로 테스트합니다.
  • 모델 경로가 비어 있으면 시작을 선택할 수 없습니다. 어댑터를 쓸 때도 모델 경로를 함께 지정합니다.

관련 문서