copyandrun-labs

Ollama num_ctx를 키우면 메모리는 얼마나 늘까: 2K, 8K, 32K 측정

같은 2.4B 모델을 컨텍스트 길이 2048, 8192, 32768로 올려 보고 ollama ps의 메모리 사용량, 불러오는 시간, 생성 속도를 비교합니다. 긴 문서를 다루려고 num_ctx를 키울 때 치르는 비용을 숫자로 봅니다.

링크

파일

파일 내려받기 GitHub에서 보기
ctx_more.py 내려받기 보기
ctx_test.py 내려받기 보기

사용 방법

글의 순서대로 이 폴더에서 명령을 실행합니다.

연습용 코드입니다. 취약한 예제와 실습용 비밀번호가 들어 있으므로 운영 환경에 쓰지 않습니다. 개인키와 비밀번호 파일은 포함하지 않았습니다.