잡일맨 정보 저장소

⚛️ 양자화란?양자화(Quantization)는 모델 크기를 줄이고 속도를 향상시키기 위해 가중치를 저정밀도로 변환하는 과정입니다. 이를 통해 메모리 사용량을 절감하고, 저사양 환경에서도 모델을 실행할 수 있도록 합니다. 다만, 정밀도가 낮아질수록 품질 손실이 발생할 수 있습니다.  ✅ 양자화 모델 종류📌 구형 양자화 타입 (일부 기본 모델에서 필요)Q4_0: 매우 작음, 품질 손실 큼 → Q3_K_M 사용 권장Q4_1: 작음, 품질 손실 상당함 → Q3_K_L 사용 권장Q5_0: 중간 크기, 균형 잡힌 품질 → Q4_K_M 사용 권장Q5_1: 중간 크기, 품질 손실 적음 → Q5_K_M 사용 권장📌 신규 양자화 타입 (추천됨)Q2_K: 가장 작음, 품질 손실 극심 → 추천하지 않음Q3_K: Q3_K..

중국에서 딥시크라는 강력한 인공지능을 공개 했는데요. 이런 인공지능을 사용하다보면 입력한 정보가 유출되는 게 아닌가 우려가 생길 수 있습니다. 하지만 딥시크는 오픈소스로 공개되어 있어, 컴퓨터 사양이 충분하다면 로컬 환경에 직접 설치하여 이러한 걱정 없이 사용해볼 수 있습니다. 이번 글에서는 Ollama와 Chatbox AI를 사용하여 로컬 환경에서 딥시크와 같은 언어 모델을 설치하고 사용하는 방법을 단계별로 안내해 드리겠습니다. 1. 설치해야 하는 프로그램로컬에서 DeepSeek 모델을 사용하기 위해서는 두 가지 프로그램 설치가 필요합니다.Ollama - 로컬에서 LLM을 사용할 수 있게 해주는 프로그램ChatBox - Ollama를 편리한 UI로 사용할 수 있게 해주는 프로그램 2. Ollama 설치..