잡일맨 정보 저장소

요즘 AI를 이용한 바이브 코딩을 유행하고 있습니다. 저도 gemini-cli를 이용해 이런 방식으로 코딩을 해봤는데요.다만 비용 문제나 프라이버시·보안상의 이유로, 온라인 AI 서비스에 코드를 입력하는 것이 꺼려질 수 있습니다.그래서 gemini-cli나 claude-code와 비슷한 환경을 로컬에서 구현할 방법을 찾아봤습니다. 최근 공개된 OpenAI의 오픈소스 모델 gpt-oss를 로컬 AI 코딩 어시스턴트로 사용해보기로 했습니다.처음에는 VS Code + Cline 조합을 시도했는데 gpt-oss로는 제대로 작동하지 않았습니다.이후 몇 가지 방법을 더 시도해본 결과, 제 PC에서 제대로 작동한 건 Ollama + Aider 조합이었습니다. 아래에 설치 방법과 실행 결과를 정리했습니다. 1. Ol..

⚛️ 양자화란?양자화(Quantization)는 모델 크기를 줄이고 속도를 향상시키기 위해 가중치를 저정밀도로 변환하는 과정입니다. 이를 통해 메모리 사용량을 절감하고, 저사양 환경에서도 모델을 실행할 수 있도록 합니다. 다만, 정밀도가 낮아질수록 품질 손실이 발생할 수 있습니다.  ✅ 양자화 모델 종류📌 구형 양자화 타입 (일부 기본 모델에서 필요)Q4_0: 매우 작음, 품질 손실 큼 → Q3_K_M 사용 권장Q4_1: 작음, 품질 손실 상당함 → Q3_K_L 사용 권장Q5_0: 중간 크기, 균형 잡힌 품질 → Q4_K_M 사용 권장Q5_1: 중간 크기, 품질 손실 적음 → Q5_K_M 사용 권장📌 신규 양자화 타입 (추천됨)Q2_K: 가장 작음, 품질 손실 극심 → 추천하지 않음Q3_K: Q3_K..

중국에서 딥시크라는 강력한 인공지능을 공개 했는데요. 이런 인공지능을 사용하다보면 입력한 정보가 유출되는 게 아닌가 우려가 생길 수 있습니다. 하지만 딥시크는 오픈소스로 공개되어 있어, 컴퓨터 사양이 충분하다면 로컬 환경에 직접 설치하여 이러한 걱정 없이 사용해볼 수 있습니다. 이번 글에서는 Ollama와 Chatbox AI를 사용하여 로컬 환경에서 딥시크와 같은 언어 모델을 설치하고 사용하는 방법을 단계별로 안내해 드리겠습니다. 1. 설치해야 하는 프로그램로컬에서 DeepSeek 모델을 사용하기 위해서는 두 가지 프로그램 설치가 필요합니다.Ollama - 로컬에서 LLM을 사용할 수 있게 해주는 프로그램ChatBox - Ollama를 편리한 UI로 사용할 수 있게 해주는 프로그램 2. Ollama 설치..