Ollama에 동시에 질문 여러 개 보내면: 1, 2, 4, 8개 요청 처리량 재기
========================================

같은 모델에 요청을 1개, 2개, 4개, 8개 동시에 보내 전체 처리 시간과 요청당 속도를 잽니다. 이 PC에서는 요청당 생성 속도가 거의 그대로이고 대기 시간만 늘어, 요청이 줄을 서서 처리되는 것으로 추정합니다.

글: https://copyandrun.com/blog/ollama-parallel-requests-throughput/

파일:
  parallel_more.py
  parallel_test.py

사용 방법: 글의 순서대로 이 폴더에서 명령을 실행합니다.
연습용 코드입니다. 취약한 예제와 실습용 비밀번호가 들어 있으므로 운영 환경에 쓰지 않습니다.
개인키와 비밀번호 파일은 포함하지 않았습니다. 글의 명령으로 직접 만듭니다.
