인터넷 없이도 일하는 AI가 있다? 내 맥미니에 로컬 AI를 풀어놓고 생긴 일

클라우드 AI는 편합니다. 그런데 문득 이런 생각이 들었습니다.
“인터넷이 끊기면? 내 파일을 그대로 올려도 괜찮을까? 매달 구독료는?”

그래서 직접 해봤습니다. 제 맥미니에 로컬 AI를 설치해서, 인터넷 없이도 일하는 AI 비서를 만들어본 이야기입니다.

로컬 AI - 내 컴퓨터 안에서 직접 돌아가는 인공지능
로컬 AI – 내 컴퓨터 안에서 직접 돌아가는 인공지능

로컬 AI가 뭐예요?

쉽게 말하면 ChatGPT 같은 AI 모델을 내 컴퓨터 안에 직접 설치해서 돌리는 방식입니다.
서버로 질문을 보내지 않으니, 오프라인에서도 되고 개인정보가 밖으로 나가지 않습니다.

제가 사용한 조합은 이렇습니다.

  • 장비: Mac mini (Apple Silicon)
  • 실행 도구: Ollama
  • 모델: Qwen 계열 9B 모델
  • 체감 속도: 초당 약 30토큰 수준으로, 일상적인 요약이나 글 정리에는 답답하지 않은 속도였습니다

설치는 생각보다 간단했습니다 – 3단계

1단계: Ollama 설치하기

공식 사이트 ollama.com에서 맥용 앱을 내려받아 설치합니다. 터미널을 쓰는 게 편하면 Homebrew로도 됩니다.

brew install --cask ollama

설치가 끝났는지 확인:

ollama --version
# 예시 출력: ollama version is 0.40.15

앱으로 설치했다면 Ollama 앱을 한 번 실행해두세요. 메뉴바에 아이콘이 떠 있으면 실행 중입니다.

2단계: 모델 내려받기

제가 실제로 쓰는 모델은 Qwen 3.5 9B (7.6GB)입니다. 아래 한 줄이면 다운로드와 실행 준비가 같이 됩니다.

ollama pull qwen3.5:9b

바로 대화까지 시작하려면 pull 대신 run을 쓰면 됩니다. 모델이 없으면 자동으로 먼저 내려받습니다.

ollama run qwen3.5:9b

설치된 모델 확인:

ollama list
# NAME          SIZE
# qwen3.5:9b    7.6 GB

3단계: 바로 대화 시작 + 오프라인 확인

run으로 실행하면 터미널에 대화 입력창이 뜹니다. 종료는 /bye 입니다.

ollama run qwen3.5:9b
>>> 안녕, 한국어로 자기소개 한 줄만 해줘
>>> /bye

생각 과정 없이 빠르게 답하게 하려면 (실측 속도 약 30.9 tok/s가 이 설정 기준입니다):
API로 부를 때는 이렇게 보냅니다.

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:9b",
  "prompt": "이 글을 한국어로 3줄 요약해줘",
  "stream": false,
  "think": false
}'

지금 실행 중인 모델 확인 / 삭제:

ollama ps
ollama rm qwen3.5:9b

처음엔 “모델 크기가 내 메모리에 맞을까?”가 제일 헷갈렸습니다. 기준은 단순합니다. 모델 파일 크기가 내 RAM의 절반 정도를 넘지 않는 게 안전합니다. 24GB 맥미니라면 9B급(7.6GB)이 여유 있고, 16GB라면 7~8B급이 적당합니다.

책상 위 맥 환경에서 로컬 AI를 실행하는 모습 (예시 이미지)
책상 위 맥 환경에서 로컬 AI를 실행하는 모습 (예시 이미지)

직접 해본 재미있는 실험 3가지

1. 긴 글 요약 시키기

개인 메모나 회의 노트처럼 외부에 올리기 애매한 글을 그대로 붙여넣고 요약을 시켜봤습니다. 클라우드였다면 한 번 더 고민했을 내용인데, 로컬이라 부담이 없었습니다.

예시 프롬프트:

아래 글을 핵심만 3줄로 요약해줘. 어려운 단어는 풀어서 써줘.
(이어서 긴 원문 붙여넣기 – 예: 맥미니 2대를 나눠 쓰는 이유, Ollama 설치 과정, 속도 측정 결과가 섞인 긴 메모)

결과 (예시):

1. 맥미니 M6에 Ollama와 Qwen 9B 모델을 설치해 로컬 AI 서버로 만들었다.
2. 속도는 약 30 tok/s로, 요약이나 정리 작업에는 충분했다.
3. 다른 기기에서도 같은 AI를 불러 쓸 수 있어, 작업용과 서버용을 나눌 수 있었다.

한줄평: 긴 원문이 10초 안팎으로 3줄이 됐습니다. 숫자나 날짜는 가끔 틀리니, 중요한 부분은 원문과 한 번 대조하는 게 좋습니다.

2. 글 초안 다듬기

제가 쓴 초안을 주고 어색한 부분만 골라달라고 해봤습니다.

예시 프롬프트:

아래 초안에서 어색한 문장만 골라줘. 내 문장은 직접 바꾸지 말고, 이유만 한 줄씩 알려줘.
원문 예시: “로컬 AI는 내 컴퓨터에서 돌아가는 AI인데 내 컴퓨터 안에서만 돌아가기 때문에 개인정보가 밖으로 나가지 않는다.”

결과 (예시):

– 같은 뜻이 두 번 반복됩니다: “내 컴퓨터에서 돌아가는”과 “내 컴퓨터 안에서만 돌아가기 때문에”가 겹칩니다.
– 문장이 길어 호흡이 끊깁니다. 두 문장으로 나누면 읽기 쉽습니다.

한줄평: 완전히 새로 써주는 건 아니지만, 제가 못 본 반복을 바로 짚어줬습니다. 검수용으로는 충분히 쓸 만했습니다.

3. 인터넷 끊고 질문하기

Wi-Fi를 끈 상태에서도 질문과 답변이 이어지는지 직접 확인했습니다. 이 순간이 제일 신기했습니다.

예시 프롬프트 (오프라인 상태):

M1 서버에서 보낸 요청이야. 한국어로 한 줄만 답해줘.

결과 (실제로 확인한 방식):

네, M1 서버에서 온 요청을 받았습니다. 로컬 네트워크로 잘 연결됐습니다.
– 인터넷이 아니라 집 안 네트워크(LAN)로 다른 맥미니가 이 AI를 불러 쓰는 것도 됐습니다. 모델 로딩 약 2초, 답변 생성은 체감상 바로 시작됐습니다.

한줄평: 비행기 모드 같은 상황, 카페 Wi-Fi가 불안한 상황에서도 AI를 쓸 수 있다는 게 로컬만의 재미였습니다.

추가로 해본 것 – 프롬프트를 이렇게 바꿨더니

같은 질문도 어떻게 묻느냐에 따라 결과가 크게 달라졌습니다.

  • 요약할 때: “3줄로 요약해줘”보다 “중학생도 이해하게, 핵심만 3줄로, 어려운 단어는 풀어서”라고 하니 훨씬 읽기 좋았습니다.
  • 검수할 때: “틀린 곳만 알려줘, 내 문장은 바꾸지 마”라고 조건을 붙이니 원본을 건드리지 않고 피드백만 줬습니다.
  • 아이디어를 낼 때: “서로 다른 방향으로 5개만, 이유는 한 줄씩”이라고 개수와 형식을 지정하니 쓸 만한 비율이 올랐습니다.

로컬 모델은 클라우드 대형 모델보다 지시를 literal하게 따르는 편이라, 형식을 구체적으로 주는 게 특히 중요했습니다.

클라우드 AI와 비교하면 이렇습니다

  • 비용: 클라우드는 월 구독 또는 사용량 과금 / 로컬은 전기요금 수준, 반복 사용해도 추가 비용 없음
  • 속도: 클라우드는 서버 상태에 따라 다름 / 로컬은 내 기기 성능이 곧 속도 (제 환경에선 약 30 tok/s)
  • 개인정보: 클라우드는 서버로 전송 / 로컬은 내 기기 안에서만 처리
  • 성능: 최신 대형 모델은 클라우드가 앞섬 / 일상 요약·정리·초안 검수는 로컬로도 충분
  • 오프라인: 클라우드는 불가 / 로컬은 가능

결론은 “둘 중 하나”가 아니라 “나눠 쓰기”였습니다.

솔직한 장단점

장점

  • 오프라인 사용 가능
  • 개인정보를 외부로 보내지 않아도 됨
  • 구독료 없이 반복 실험 가능

단점

  • 최신 대형 모델보다는 똑똑함이 부족할 때가 있음
  • 컴퓨터 성능에 따라 속도가 크게 달라짐
  • 설치와 모델 관리는 직접 해야 함
로컬 AI의 가장 큰 장점은 개인정보가 내 기기를 떠나지 않는다는 점입니다
로컬 AI의 가장 큰 장점은 개인정보가 내 기기를 떠나지 않는다는 점입니다

누구에게 추천할까요?

  • 개인정보가 민감한 글을 자주 다루는 분
  • AI를 이것저것 실험해보고 싶은데 구독료가 부담인 분
  • 맥미니나 여유 있는 PC를 놀리고 있는 분

반대로, 항상 최고 성능만 필요하다면 클라우드 AI가 여전히 편합니다.

마무리

로컬 AI는 클라우드를 완전히 대체한다기보다, 용도가 다른 도구였습니다.
민감한 일은 로컬에서, 무거운 일은 클라우드에서. 이렇게 나눠 쓰니 훨씬 마음이 편해졌습니다.

여러분은 AI에게 어떤 일을 맡겨보고 싶으신가요?

같이 보면 좋은 참조 영상

말로만 듣는 것보다 직접 돌아가는 모습을 보면 훨씬 이해가 빠릅니다. 아래 영상들을 참고했습니다.

1. 맥미니에서 프라이빗 AI를 돌리고 잠그는 법 (영어)

https://www.youtube.com/watch?v=y_d6U0jZE10

2. 로컬 AI 입문 전체 코스 – 16GB 맥미니 기준 설명 (영어)

https://www.youtube.com/watch?v=VpT5qgkP2cU

3. Ollama로 Qwen 설치부터 오프라인 확인까지 (Mac/Windows)

https://www.youtube.com/watch?v=bxKEu8X693k

영상은 참고용이고, 실제 설정값은 본인 기기 RAM과 모델 크기에 맞춰 조정해야 합니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다