'/%3e%3cpath%20id='cross_2'%20data-name='cross%202'%20class='cls-2'%20d='M20.612,30.43h0a5.361,5.361,0,1,0-10.723,0H0A33.709,33.709,0,0,1,30.569,0V9.75a5.361,5.361,0,1,1,0,10.723V30.43Z'%20transform='translate(67.193%200.007)%20rotate(90)'/%3e%3cpath%20id='cross_3'%20data-name='cross%203'%20class='cls-3'%20d='M20.612,30.43h0a5.361,5.361,0,1,0-10.723,0H0A33.709,33.709,0,0,1,30.569,0V9.75a5.361,5.361,0,1,1,0,10.723V30.43Z'%20transform='translate(67.186%2067.041)%20rotate(180)'/%3e%3cpath%20id='cross_4'%20data-name='cross%204'%20class='cls-4'%20d='M20.6,30.5h0a5.361,5.361,0,1,0-10.723,0H0A33.71,33.71,0,0,1,30.56,0V9.818a5.361,5.361,0,1,1,0,10.723V30.5Z'%20transform='translate(0%2067.041)%20rotate(-90)'/%3e%3c/svg%3e)
AI 모델 설정
GPU가 있다면 SetFN 워크스페이스를 통해 온프레미스(로컬) AI를 어렵지 않게 쓸 수 있습니다. 망분리·폐쇄망 환경에서도 sLLM(소형 언어모델) 기반 AI를 문제없이 사용할 수 있습니다. 로컬 AI 런타임을 선택하고, SetFN에서 사용할 추론 엔드포인트를 설정하는 방법을 안내합니다.
로컬 AI
SetFN 워크스페이스로, 로컬 환경에서 실행 중인 추론 런타임에 연결해 AI 기능을 사용할 수 있습니다.
런타임 설정
추론 런타임은 다음 중 하나를 선택할 수 있습니다.
| 런타임 | 설명 | 기본 엔드포인트 예시 |
|---|---|---|
| Ollama | 로컬에 설치된 Ollama 모델을 사용합니다. | http://localhost:11434 |
| LM Studio | LM Studio의 로컬 서버 기능으로 실행한 모델을 사용합니다. | http://localhost:1234 |
| Docker Model Runner | Docker 환경에서 실행 중인 모델 런타임을 사용합니다. | http://localhost:12434 |
엔드포인트 설정
선택한 런타임의 서버 주소를 입력합니다.
- 같은 기기에서 런타임을 실행하는 경우
localhost주소를 사용합니다. (예:http://localhost:11434) - 다른 서버에서 런타임을 실행하는 경우 해당 서버의 IP 또는 도메인과 포트를 입력합니다.
- 입력한 엔드포인트는 스페이스빌더를 설치한 기기에서 접근할 수 있어야 합니다.
API Token 설정
API Token은 선택 항목입니다.
선택한 런타임에서 인증을 활성화한 경우에만 API Token을 입력합니다. 인증을 사용하지 않는 로컬 런타임이라면 비워둔 상태로 저장할 수 있습니다.
새 모델 설치
사용할 모델 이름을 입력하고 설치 버튼을 누르면 선택한 AI 런타임이 모델을 가져옵니다(pulling). Ollama를 사용하는 경우 설치할 수 있는 모델 이름과 태그는 Ollama 공식 모델 라이브러리에서 확인할 수 있습니다.
예를 들어 모델 이름에 다음과 같이 입력하면 해당 모델을 자동으로 내려받아 설치합니다.
gemma4:31b
모델 파일은 용량이 클 수 있습니다. 설치하기 전에 서버의 저장 공간과 메모리 또는 GPU 사양을 확인하세요.
모델 특성 알아두기
Ollama 등 로컬 AI 런타임은 모델이 지원하는 기능을 특성 태그로 표시합니다. 모델마다 할 수 있는 작업이 다르므로 사용 목적에 맞는 태그가 있는지 확인하세요.
| 모델 특성 | 의미 | 주요 용도 |
|---|---|---|
completion | 입력된 문맥에 이어질 내용을 생성하고 질문에 답할 수 있는 일반 텍스트 생성 모델입니다. | 채팅, 문서 작성, 요약 |
thinking | 답변을 만들기 전에 여러 단계로 문제를 분석하는 추론 기능을 지원합니다. 일반 모델보다 정확한 판단에 유리하지만 응답 시간이 길어질 수 있습니다. | 복잡한 질의, 분석, 계획 수립 |
tool use | 모델이 외부 도구나 함수를 선택하고 필요한 인수를 구성할 수 있습니다. 실제 도구 실행 여부는 연결된 기능과 권한에 따라 달라집니다. | 에이전트 작업, 검색, 외부 기능 호출 |
vision | 텍스트와 함께 이미지 입력을 이해할 수 있는 VL(Vision-Language) 모델입니다. | 이미지 설명, 스캔 문서 및 화면 분석 |
embedding | 문장의 의미를 숫자 벡터로 변환하는 임베딩 전용 모델입니다. 일반 채팅 답변을 생성하는 용도가 아닙니다. | 지식 인덱싱, 유사 문서 검색, RAG |
cloud | 로컬 장비 대신 Ollama Cloud에서 실행되는 모델입니다. Ollama Cloud에 가입하고 런타임 인증을 완료한 경우 사용할 수 있습니다. | 로컬 자원이 부족한 환경, 대규모 모델 실행 |
여러 특성을 함께 지원하는 모델도 있습니다. 예를 들어 vision과 completion을 모두 지원하면 이미지를 이해한 뒤 텍스트로 답변할 수 있습니다. 반면 embedding 모델은 AI DB 설정에서 검색용 모델로 선택하세요.
cloud 모델은 로컬에 모델 파일을 모두 다운로드하지 않고 원격에서 실행합니다. 따라서 인터넷 연결과 Ollama Cloud 계정 인증이 필요하며, 사용 가능 모델과 이용 한도는 가입한 서비스 정책에 따라 달라질 수 있습니다.
설치된 모델
선택한 로컬 AI 런타임에서 사용할 수 있는 모델 목록을 확인합니다.
설치된 모델 목록에서는 각 모델의 이름, 파라미터 수, 용량, 설치일 등을 확인할 수 있습니다. 더 이상 사용하지 않는 모델은 삭제 버튼으로 제거할 수 있습니다.
비전 모델 우선순위
이미지와 문서를 함께 이해할 수 있는 VL(Vision-Language) 모델을 선택하고 응답 우선순위를 설정합니다.
- 활성화된 모델 중에서 비전 입력에 사용할 모델을 선택합니다.
- 선택된 모델은 우선순위 순서대로 호출됩니다.
- 위아래 버튼으로 호출 순서를 조정할 수 있습니다.
AI 요약 모델 우선순위
지식 검색 결과를 종합하거나 공개 채팅의 요약(다이제스트)을 만들 때 사용할 모델과 호출 순서를 설정합니다.
사용 가능한 모델
활성화된 모델 중 지식 검색과 요약에 사용할 모델을 선택해 우선순위 목록에 추가합니다. 비전 입력용 VL 모델과 임베딩 전용 모델은 선택 대상에서 제외됩니다.
선택된 우선순위
추가한 모델은 위아래 버튼으로 호출 순서를 변경할 수 있습니다. 앞 순위의 모델을 사용할 수 없으면(예: 런타임 변경 또는 연결 실패) 다음 순위의 모델로 자동 전환됩니다.
자동 선택 정책
우선순위 목록이 비어 있거나 목록의 모델을 모두 사용할 수 없을 때 적용할 선택 기준을 정합니다.
| 정책 | 설명 |
|---|---|
| 응답 속도 우선 | 빠르게 응답할 수 있는 모델을 먼저 선택합니다. |
| 균형 | 응답 속도와 결과 품질을 함께 고려합니다. |
| 품질 우선 | 요약 결과의 품질이 높은 모델을 우선합니다. 중요한 내용을 요약할 때 권장합니다. |
에디터 AI 자동완성
MD 에디터에서 문서를 작성할 때, AI가 다음 문장이나 이어질 내용을 제안하도록 설정할 수 있습니다.
이 기능을 켜면 .md 문서를 편집할 때 커서 위치와 주변 문맥을 바탕으로 AI가 작성 후보를 제안합니다. 회의록, 보고서, 메모, 기술 문서처럼 텍스트를 이어서 작성하는 상황에서 사용할 수 있습니다.
실제 마크다운 에디터에서 AI 자동완성이 어떻게 표시되는지는 텍스트 파일 보기 및 편집의 AI의 문구 추천 섹션을 참고하세요.
모델 선택 방식
에디터 AI 자동완성에서 사용할 모델은 두 방식으로 선택할 수 있습니다.
| 선택 방식 | 설명 |
|---|---|
| 자동 선택 | 사용 가능한 모델 중 정책에 맞는 모델을 자동으로 선택합니다. |
| 특정 모델 | 관리자가 지정한 로컬 AI 모델을 사용합니다. |
특정 모델을 사용하려면 먼저 이 문서의 설치된 모델 설정에서 로컬 AI 모델을 설치하거나 연결해야 합니다.
자동 선택 정책
자동 선택을 사용할 때는 다음 기준으로 모델 선택 정책을 정할 수 있습니다.
| 정책 | 설명 | 적합한 상황 |
|---|---|---|
| 응답 속도 우선 | 빠르게 응답할 수 있는 모델을 우선 사용합니다. | 짧은 메모, 실시간 작성 보조 |
| 균형 | 속도와 품질을 함께 고려합니다. | 일반 문서 작성, 팀 공용 기본값 |
| 품질 우선 | 더 좋은 품질의 답변을 낼 수 있는 모델을 우선 사용합니다. | 보고서, 제안서, 긴 문서 초안 |
설정 저장
런타임, 엔드포인트, API Token, 모델 설정을 확인한 뒤 설정을 저장합니다. 저장 후 AI 채팅, 문서 기반 질의응답, 지식 인덱싱 등 AI 기능에서 설정한 로컬 런타임과 모델을 사용할 수 있습니다.
알아두기
- 런타임에서 사용할 모델은 Ollama, LM Studio, Docker Model Runner에서 먼저 내려받거나 로드해야 합니다.
- 런타임이 종료되어 있거나 엔드포인트 주소가 올바르지 않으면 SetFN에서 모델을 호출할 수 없습니다.
- 방화벽이나 네트워크 정책으로 포트 접근이 막혀 있지 않은지 확인합니다.