안녕하세요, 프롬토리입니다.
최근에 구독형 LLM 서비스의 사용량이 상당히 빡빡하다고 느끼다보니, 집 안의 하드웨어 자원을 통해 로컬 LLM을 구동하여 사용량을 보조하는 정도로는 어떨까?라는 생각이 들어 로컬 LLM 구축 과정을 담은 포스트를 열었습니다.
이번 포스팅에서는 로컬 LLM 구축 포스팅 시리즈의 개요로, 로컬 LLM 구동을 위한 목적 선정/목적과 사양에 맞는 모델 선정 과정에 대해 작성해보겠습니다.
하지만 단순히 토큰 절약만을 위해 로컬 LLM을 구동하는 것은 자칫 더 많은 공수가 들 수 있으니, 제일 먼저 구동 목적을 확실히 했는데요. 크게 총 2개의 목적을 세웠습니다. 하나는 토큰을 아끼기 위한 Claude Code나 Codex 같은 에이전틱 코딩 도구, 그리고 다른 하나는 일상 업무(OCR, 글쓰기 등) 용도의 목적이에요.
그리고 어찌되었든 로컬 LLM 구동에는 많은 하드웨어 자원이 들어가기 때문에, 현재 집 컴퓨터의 사양을 확인했습니다. 사양은 아래와 같아요.
CPU : 5800X
GPU : RTX 3090 Ti (24GB VRAM)
Memory : DDR4 64GB
기타 SSD 1TB 등… (모델 구동에는 크게 중요치 않아 중략)
그리고 이 목적과 사양을 가지고 Claude와 함께 리서치하다보니, 멀티 모달 모델 / 모델 크기는 27B ~ 35B를 추천해주더군요. 그렇다면 여기서 멀티 모달이 뭐고, 모델 크기/B는 대체 무슨 말이야? 라고 생각될 수 있기에, 중간 용어 정리를 한번 하고 이어서 진행해볼게요.
- 멀티 모달 : 텍스트, 이미지, 음성, 비디오 등 다양한 유형의 데이터(모달리티)를 동시에 이해하고 처리하는 인공지능 모델. 제가 바로 아래에 언급할 Qwen 3.6 모델이나 우리가 Claude 에서 주로 사용하는 Opus 4.8 모델도 다 이쪽에 속합니다.
- 모델 크기 : AI 모델의 두뇌 크기인 매개변수(Parameter)의 개수입니다. 1B는 10억 개이고, 개수가 많을수록 더 똑똑하고 복잡한 일을 해냅니다.
용어 정리를 했으니, 이제는 추천 범위에 포함되는 모델을 선택해야겠죠? (요새 없으면 일이 안되는) 우리 Claude와 상의 끝에 아래 모델들을 추천 받았습니다.
추천 표를 보니 음.. 에이전틱 코딩 도구로서의 성능을 최우선으로 생각하기 때문에, Qwen 3.6 27B 모델을 선택했습니다. 해당 모델은 2026년 4월에 출시됐고, 아래와 같은 벤치마크들을 보여주고 있네요. 물론 자체 공개 벤치마크이기 때문에, 참고 정도만 하면 될 것 같습니다.
여기서 또 새로 나타난 단어들이 보이죠? 벤치마크 용어들은 차치하더라도, Dense와 MoE가 어떤 내용인지 가볍게 정리하고 계속 진행하겠습니다.
- Dense : 입력 하나를 처리할 때 모델의 모든 파라미터가 빠짐없이 연산에 참여하는 모델입니다. 구조가 단순하고 학습이 안정적이라는 장점이 있지만, 모델을 키우면 키운 만큼 연산량도 그대로 늘어나 속도와 비용 부담이 커지는 단점이 있습니다.
- MoE : 모델이 여러 개의 전문가(FFN)로 쪼개져있고, 입력 하나를 처리할 때 이 전문가 풀에서 가장 적합한 전문가가 연산을 수행합니다. 입력 하나에 모델 파라미터가 부분적으로 사용되기 때문에 빠르고 효율적이지만, 어떤 전문가가 호출될지 모르니 모델 전체를 메모리에 올려두어야 해서 많은 메모리를 차지합니다.
휴.. 텍스트로 적힌 분량은 적지만, 여기까지 오는데 생각보다 많은 내용들이 있었죠? 이번 포스팅에서는 앞서 얘기한 로컬 LLM 구동을 위한 목적 선정/목적과 사양에 맞는 모델 선정 과정에 대해 작성해봤습니다. 다음 포스팅에서는 실제로 로컬 LLM을 설치하고 실행하는데 사용하는 도구들과 해당 도구들 중에 실제 선택한 도구 하나를 자세히 파헤쳐볼테니 기대해주세요!
p.s. 제가 앞으로 작성하는 포스팅은 정보 탐색 및 기술적 지원 외에 AI를 전혀 사용하지 않습니다. 그래서 순서가 다소 뒤죽박죽이거나 맞춤법이 정확하지 않더라도 “사람이 만든 글”이라고 생각하고 읽어주시면 더 감사하겠습니다.. 뭔가 사람이 쓰는 글의 감성을 아직은 더 가져가보고 싶은 욕심이 있네요 ㅎㅎ!!
레퍼런스
- Claude 답변
- https://qwen.ai/blog?id=qwen3.6-27b (모델 벤치마크 페이지)