Ollama는 Mac 안에서 언어 모델을 내려받아 실행하는 도구입니다. 인터넷에서 챗봇 사이트를 여는 방식과 달리, 한 번 내려받은 모델은 Mac에서 직접 돌아갑니다. 문서나 대화 내용을 외부 서비스에 보내고 싶지 않거나, 같은 작업을 자동화에 반복해서 넣고 싶은 경우에 쓸모가 있습니다.
다만 ‘무료 로컬 AI’라는 말만 보고 설치하면 생각보다 빨리 막힙니다. Ollama 앱은 무료로 내려받을 수 있어도 모델 파일은 별개이고, 모델마다 라이선스도 다릅니다. 무엇보다 모델은 통합 메모리와 저장 공간을 함께 씁니다. 설치 버튼을 누르기 전 이 두 가지를 먼저 보는 이유입니다.
Llama 3, Mistral, Qwen 등 최신 거대 언어 모델을 맥에서 로컬로 구동하는 경량 CLI 프레임워크
Ollama는 챗봇 하나가 아니라 로컬 모델 실행 환경입니다
Mac용 Ollama는 앱으로 설치할 수 있고, 필요하면 터미널에서 같은 기능을 부를 수 있습니다. Apple Silicon Mac에서는 CPU와 GPU를 활용하며, Intel Mac은 CPU로 동작합니다. 공식 요구 사항은 macOS Sonoma 14 이상입니다.
앱 안에서 모델과 대화할 수 있지만, Ollama의 진짜 장점은 다른 앱이나 자동화 도구가 로컬 모델을 호출할 수 있다는 데 있습니다. 예를 들어 정해진 폴더의 텍스트를 분류하거나, 반복되는 제목·요약 형식을 만드는 작업을 API로 연결할 수 있습니다. 반대로 단순히 AI 채팅을 한 번 해 보고 싶은 사람에게는 화면에서 모델을 찾고 설정하는 일이 더 쉬운 LM Studio가 맞을 수 있습니다.
설치 전에 확인할 것은 모델 파일 크기입니다
Ollama가 설치됐다고 모델까지 들어오는 것은 아닙니다. 모델을 하나 내려받을 때마다 파일이 추가되고, 공식 문서가 안내하는 ~/.ollama에는 모델과 설정이 쌓입니다. 7B~8B급 4비트 모델도 몇 GB 단위이고, 모델을 여럿 시험하면 저장 공간은 금세 커집니다.
여기서 한 가지를 구분해야 합니다. 저장 공간은 내려받은 모델을 보관하는 자리이고, 통합 메모리는 지금 실행 중인 모델을 올려두는 자리입니다. SSD 여유가 충분해도 모델이 메모리에 올라가지 않으면 답변이 매우 느려지거나 다른 앱과 함께 쓰기 어려울 수 있습니다. M6 Mac mini의 16GB·24GB·32GB 구성으로 어디까지 가능한지는 로컬 AI용 Mac mini 사양 글에서 따로 정리했습니다.
처음에는 작은 모델 하나만 고르는 편이 낫습니다
처음부터 유명한 대형 모델을 찾기보다, 용량이 작고 한국어·영어 기본 대화가 가능한 모델 하나만 골라 실제 속도를 보는 편이 좋습니다. 같은 계열 이름이라도 파라미터 수와 양자화 방식이 다르면 파일 크기와 필요한 메모리가 완전히 달라집니다. ‘DeepSeek를 설치한다’처럼 서비스 이름으로 판단하면 헷갈리는 이유입니다.
긴 문서를 넣을 계획이라면 문맥 길이도 같이 봐야 합니다. Ollama의 기본 문맥 길이는 4,096 토큰이며 설정으로 바꿀 수 있지만, 길게 잡을수록 메모리 사용량도 커집니다. 대화가 길어질수록 속도가 이상하게 떨어진다면 모델 자체보다 문맥과 메모리 여유를 먼저 의심하는 편이 맞습니다.
무료라는 말에는 두 가지 비용이 빠져 있습니다
첫째는 전기와 Mac 자원입니다. 작은 모델로 텍스트를 정리하는 정도는 부담이 작지만, 큰 모델을 오래 실행하면 발열과 전력 사용량이 늘어납니다. 둘째는 모델 라이선스입니다. Ollama가 무료여도 내려받는 개별 모델의 사용 조건은 따로 확인해야 합니다. 상업용 콘텐츠나 고객 자료에 쓰려면 이 부분을 넘기면 안 됩니다.
그래도 개인정보가 들어간 짧은 문서 분류, 고정된 양식의 초안 만들기, 개발 중인 자동화 테스트처럼 반복성이 높은 작업에는 잘 맞습니다. 최신 정보 검색, 높은 수준의 복합 추론, 대용량 이미지 작업까지 하나의 로컬 모델에 맡기려는 기대는 분리하는 것이 좋습니다.
이 앱이 맞는 사람과 아닌 사람
Ollama는 로컬 모델을 다른 도구와 연결하거나, 모델을 직접 관리하면서 자동화에 넣을 사람에게 맞습니다. 파일 위치와 모델 이름, 메모리 제한을 조금은 다룰 수 있어야 편합니다. 클릭 몇 번으로 모델을 찾아 대화만 해 보고 싶다면 LM Studio가 더 덜 헷갈립니다. 둘을 동시에 설치할 필요는 없고, 목적에 따라 하나부터 시작하면 됩니다.