집 PC에서 로컬 AI 돌리기: 메모리로 모델 크기 고르고 속도 재 보기
========================================

Ollama로 내 PC에서 AI 모델을 돌릴 때 가장 먼저 부딪히는 질문, 어떤 크기의 모델이 내 컴퓨터에 맞는지를 다룹니다. 모델 파일 크기와 메모리의 관계를 계산하고, 2.4B 모델과 31B 모델을 같은 PC에서 돌려 초당 토큰 수를 직접 비교합니다.

글: https://copyandrun.com/blog/local-ai-home-pc-model-size-guide/

파일:
  size_guide.py

사용 방법: 글의 순서대로 이 폴더에서 명령을 실행합니다.
연습용 코드입니다. 취약한 예제와 실습용 비밀번호가 들어 있으므로 운영 환경에 쓰지 않습니다.
개인키와 비밀번호 파일은 포함하지 않았습니다. 글의 명령으로 직접 만듭니다.
