참고자료 PDF를 올리면 영역별로 초안을 씁니다. 문단마다 근거가 달리고, 근거를 누르면 왼쪽 참고자료의 해당 위치가 표시됩니다.
보고서에 담을 영역과 각 영역에서 다룰 내용을 적습니다. 영역마다 따로 호출하므로 한 번에 다 쓰게 할 때보다 잘릴 위험이 적습니다. 순서가 곧 목차 순서입니다.
베이스 주소(…/v1)만 넣으면 됩니다.
/models 나 /chat/completions 까지 붙여 넣어도 알아서 정리합니다.
호출은 /chat/completions, 목록 조회는 /models 로 나갑니다.
vLLM 을 --api-key 없이 띄웠다면 비워 두면 됩니다.
비워 두면 Authorization 헤더 자체를 보내지 않아 preflight 도 줄어듭니다.
vLLM 이 로드한 스냅샷 경로를 그대로 씁니다. 확실하지 않으면 [모델 목록] 을 눌러 서버가 실제로 서빙 중인 ID 를 보고 고르세요.
참고자료를 이 글자 수만큼씩 잘라 색인합니다. 호출 횟수를 정하는 값입니다. 키우면 호출이 줄지만 한 요청이 커지고, 줄이면 반대입니다. 묶음은 파일 경계를 넘지 않습니다.
색인 묶음은 서로 독립이라 동시에 보낼 수 있습니다. 자료가 수백 면일 때 시간이 크게 줄어듭니다. 서버가 동시 요청을 힘들어하면 1~2로 낮추세요. 집필 단계는 항상 하나씩 순서대로 갑니다.
텍스트 층이 없는 면은 이미지로 만들어 함께 보냅니다. 이 값은 묶음마다 적용됩니다. 구간에 담긴 스캔 면이 이보다 많으면 앞쪽 면만 보내므로, 구간의 면 수보다 크게 잡아 두세요. 너무 키우면 요청이 커져 서버가 끊을 수 있습니다.
구간마다 적용되는 응답 길이 상한입니다. 요약·원문·번역을 모두 받으면 길어지니 넉넉히 잡으세요.
분류가 여섯 개인 3구간, 수기가 긴 4구간이 특히 많이 씁니다.
모델이 실제로 낼 수 있는 길이보다 크게 잡아도 손해는 없습니다 —
서버가 이 값을 거절하면 알아서 낮추거나 max_completion_tokens 로 바꿔 다시 보냅니다.
0 이면 서버 기본값에 맡깁니다.
넘으면 뒤쪽을 자르고 알려 줍니다. 너무 크게 잡으면 오히려 실패합니다 — 모델 문맥 창을 넘고, 서버·프록시가 큰 본문을 끊으면 브라우저에는 CORS 차단과 똑같이 보입니다. 20만 자 안쪽을 권합니다.
Access-Control-Allow-Origin 을
내려주지 않으면 주소가 맞아도 차단됩니다. 이 경우 [경로 찾기]에 전부 차단 으로 표시됩니다.
vLLM 은 --allowed-origins 옵션으로 이 화면의 출처를 허용해 주면 해결됩니다.