작은 모델의 출력 형식을 고정하기: llama-server의 JSON 스키마와 GBNF 문법
========================================

프롬프트로 JSON을 부탁하면 1B 모델은 열두 번 중 열 번만 읽히고 한 번도 스키마에 맞지 않았습니다. llama-server의 json_schema와 GBNF 문법으로 출력을 제한하면 어떻게 달라지는지, 형식은 지켜져도 내용의 정확도는 그대로인 점까지 모델 두 개로 비교합니다.

글: https://copyandrun.com/blog/llama-server-json-schema-grammar/

파일:
  constrained_demo.py

사용 방법: 글의 순서대로 이 폴더에서 명령을 실행합니다.
연습용 코드입니다. 취약한 예제와 실습용 비밀번호가 들어 있으므로 운영 환경에 쓰지 않습니다.
개인키와 비밀번호 파일은 포함하지 않았습니다. 글의 명령으로 직접 만듭니다.
