로컬 PC에 DeepSeek 설치해서 사용하는 법 (Ollama, ChatBox 사용)

중국에서 딥시크라는 강력한 인공지능을 공개 했는데요. 이런 인공지능을 사용하다보면 입력한 정보가 유출되는 게 아닌가 우려가 생길 수 있습니다. 하지만 딥시크는 오픈소스로 공개되어 있어, 컴퓨터 사양이 충분하다면 로컬 환경에 직접 설치하여 이러한 걱정 없이 사용해볼 수 있습니다.

 

이번 글에서는 Ollama와 Chatbox AI를 사용하여 로컬 환경에서 딥시크와 같은 언어 모델을 설치하고 사용하는 방법을 단계별로 안내해 드리겠습니다.

 

1. 설치해야 하는 프로그램

로컬에서 DeepSeek 모델을 사용하기 위해서는 두 가지 프로그램 설치가 필요합니다.

• Ollama - 로컬에서 LLM을 사용할 수 있게 해주는 프로그램
• ChatBox - Ollama를 편리한 UI로 사용할 수 있게 해주는 프로그램

 

2. Ollama 설치 및 모델 준비

1. Ollama 설치하기

Ollama는 로컬에서 LLM을 실행할 수 있도록 도와주는 오픈 소스 도구입니다. 현재 macOS, Windows 11 이상, 그리고 대부분의 Linux 배포판에서 지원됩니다.

Ollama 공홈에서 다운로드 하기

 

 

공식 홈페이지에서 자신 OS에 맞는 ollama를 다운 받아 설치합니다.

 

 

2. Ollama에서 DeepSeek 모델 다운 받기

아래 ollama 링크로 들어가서 deepseek r1 모델 중 하나를 선택합니다. 용량이 큰 모델일수록 성능이 더 좋지만 더 높은 컴퓨터 사양이 필요합니다.

deepseek-r1

 

사용 중인 GPU의 VRAM 용량을 고려해서 선택하시면 됩니다. 예를 들어 VRAM 용량이 9GB 이상이면 14B를 선택하시면 됩니다. 모델을 선택했으면 'ollama run deepseek-r1:xb' 이 부분을 복사합니다.

 

참고 1: 작업관리자로 VRAM 크기 확인하는 법

참고 2: 8b 모델을 사용해보니 한국어를 잘 못 하는 거 같습니다. 한국어를 사용하시려면 최소 14b 모델을 사용해야 한다는데 14b도 완벽하진 않다고 하네요. 영어로 사용하면 문제 없습니다.

 

반응형

 

 

윈도우 + R을 눌러 실행 창을 열고 cmd를 입력하여 명령프롬프트를 엽니다.

명령 프롬프트에 아까 복사한 'ollama run deepseek-r1:xb'을 입력하고 엔터를 누릅니다.

 

 

다운로드가 진행되는 동안 기다립니다. success가 나오면 완료된 것입니다.

완료가 되면 바로 명령어 창에서 딥시크 모델을 사용해볼 수 있습니다.

하지만 UI가 불편하니 ChatBox를 설치해보도록 하겠습니다.

 

 

 

3. ChatBox 설치 및 설정

Ollama만 있어도 딥시크를 로컬에서 사용할 수 있지만, 인터페이스 때문에 불편한 점이 많습니다.

Chatbox AI를 사용하면 내용도 알아보기 편하고 몇 가지 편의 기능들도 사용할 수 있습니다.

 

1. ChatBox 설치하기

아래 ChatBox 공홈 링크에서 파일을 다운로드 하여 PC에 설치합니다.

Chatbox AI 공홈에서 다운로드 하기

 

 

2. ChatBox 설정

설치된 ChatBox를 실행하고 왼쪽 사이드바 하단에 있는 설정을 누릅니다.

 

 

 

설정에서 모델 공급자는 OLLAMA로 지정하고 API 호스트는 http://127.0.0.1:11434 또는 http://localhost:11434로 지정합니다. 모델은 설치한 deepseek 모델을 선택합니다. 설정을 완료하면 저장을 누릅니다.

 

 

 

4. 설치 및 설정 완료

설정을 완료했으면 채팅을 입력하여 딥시크를 사용할 수 있습니다.