Cherry Studio에서 Claude가 생각만 하고 답변을 출력하지 않을 때: Max tokens 설정 방법

9월 15일, BetterToken 고객지원팀에 Cherry Studio 클라이언트 사용 중 발생한 문제에 대한 문의가 접수되었습니다. 단순한 질문에는 Claude가 정상적으로 답변했지만, 분량이 많은 분석 작업에서는 최종 답변 텍스트가 표시되지 않는 현상이었습니다. 추론(thinking) 블록은 정상적으로 펼쳐지고 토큰도 차감되었지만, 애플리케이션에서는 아무런 오류도 표시되지 않았습니다.

스트리밍 전송(Stream) 설정을 전환해 보아도 문제는 해결되지 않았습니다. 하지만 BetterToken 콘솔의 요청 기록을 확인하던 중 한 가지 공통된 특징이 발견되었습니다. 여러 채널을 거친 긴 답변 요청들이 정확히 8192개의 출력 토큰(output tokens)에서 종료되었다는 점이었습니다.

로그에 종료 상태 코드(stop_reason)가 기록되지 않아 종료 원인을 단정적으로 확정할 수는 없었습니다. 그러나 8192라는 숫자가 반복적으로 나타난 점은 출력 용량 제한(output cap)이 작동했을 가능성을 시사하는 유력한 단서였습니다. 즉, 추론 단계에서 이미 토큰 한도를 모두 소진하여 최종 답변 텍스트를 출력할 토큰이 남아있지 않았을 가능성이 높았습니다.

문의 진행 과정

사용자의 메시지 핵심 내용은 다음과 같았습니다.

사용자의 첫 번째 문의 내용 (요약): 간단한 질문에는 답변이 정상적으로 출력됩니다. 하지만 복잡한 작업을 요청하면 모델이 오랜 시간 추론을 진행하고 토큰도 차감되지만, 최종 텍스트가 나오지 않아 답변 영역이 비어 있습니다.

이에 고객지원팀은 API 제공업체의 허용 한도 내에서 해당 어시스턴트 속성의 Max tokens 파라미터를 활성화하고 값을 늘릴 것을 권장했습니다.

사용자의 후속 메시지 (요약): 어시스턴트 속성에서 토큰 제한 값을 조정한 후 문제가 해결되었습니다. 아울러 이 설정을 어시스턴트마다 개별적으로 지정해야 하는지 추가로 문의했습니다.

Cherry Studio에서는 이 설정이 각 어시스턴트별로 독립적으로 관리됩니다.

답변이 사라지는 이유: thinking의 동작 메커니즘

연쇄 추론(chain-of-thought)을 지원하는 Claude 모델에서는 추론 과정 또한 전체 생성 한도에 포함됩니다.

Anthropic의 추론 제어 및 비용 관리 문서에 따르면, max_tokens 파라미터는 단일 요청에 대한 엄격한 총합 상한선을 정의합니다. 이 한도에는 내부 추론 토큰(thinking)과 사용자에게 표시되는 최종 답변 텍스트가 모두 포함됩니다. effort 파라미터는 분석 깊이를 조절하는 유연한 가이드라인 역할을 하지만, 전체 한도를 늘려주지는 않습니다. 만약 추론 과정에서 가용한 생성 용량을 모두 사용해 버리면 텍스트 생성이 그대로 중단됩니다. 토큰 한도 초과로 생성이 중단될 때 공식 문서에서는 effort를 낮추거나, 모델 및 사용 중인 인터페이스가 지원하는 경우 max_tokens 값을 늘릴 것을 권장합니다.

Cherry Studio 단계별 설정 방법

Cherry Studio의 채팅 관련 공식 문서에 명시되어 있듯이, 설정은 선택한 어시스턴트의 모든 대화에 적용됩니다. 현재 사용 중인 어시스턴트의 Max tokens를 수정하십시오. 이 설정은 해당 어시스턴트에만 적용되며 다른 어시스턴트의 설정에는 영향을 주지 않습니다.

값을 변경하기 전에 사용하는 정확한 모델 식별자와 API 제공업체의 최대 출력 한도를 먼저 확인하시기 바랍니다.

1단계: 어시스턴트 설정 열기

왼쪽 패널의 어시스턴트 목록에서 대상을 찾은 후, 점 세 개 아이콘을 클릭하거나 마우스 오른쪽 버튼을 클릭하여 ‘Edit Assistant’(어시스턴트 편집) 메뉴를 선택합니다.

실제 사례 자료 화면: Edit Assistant 메뉴 항목을 통해 어시스턴트 편집 창을 여는 과정.

2단계: Max tokens 활성화 및 값 늘리기

‘Model’(모델) 탭으로 이동한 뒤 ‘Max tokens’(메시지 최대 토큰 제한) 항목을 찾습니다.

1. 해당 옵션 옆의 토글 스위치를 켭니다.
2. 기존 한도보다 높되, API 제공업체에서 지원하는 모델 사양 범위 내의 새로운 값을 입력합니다.

실제 사례 자료 화면: Model 탭에서 Max tokens 옵션을 활성화하고 128000으로 설정한 상태.

이번 지원 사례에서 사용자는 값을 128000으로 설정했고, 그 후 장문의 답변이 정상적으로 생성되기 시작했습니다. 다만 실제 적용 시 다음과 같은 실무적 차이점을 유념해야 합니다.

• 스크린샷에 보이는 128000이라는 값은 해당 고객의 개별 사례 설정값일 뿐이며, 보편적인 권장 수치가 아닙니다.
• 이 값은 전체 컨텍스트 윈도우(context window) 크기가 아니라, 단일 출력 메시지의 최대 길이를 의미합니다.
• 모든 모델이 한 번의 요청에 이 정도 규모의 출력을 지원하는 것은 아닙니다.
• 토큰 한도를 높이면 모델이 더 길게 추론할 수 있으므로, 답변 대기 시간과 토큰 소모량이 증가할 수 있습니다.

3단계: 사용자 지정 파라미터 확인

‘Model’ 탭을 아래로 스크롤하여 ‘Custom parameters’(사용자 지정 파라미터) 섹션을 확인합니다.

Cherry Studio에서는 사용자 지정 파라미터가 UI의 토글 설정보다 우선 적용됩니다. 만약 이 목록에 이미 max_tokens 파라미터가 기존 값으로 입력되어 있다면, 이를 삭제하거나 새로운 값으로 수정해야 합니다. 그렇지 않으면 클라이언트가 이전 한도 값을 계속 전송하게 됩니다.

결과 확인 방법

단순하고 짧은 문장으로 테스트하지 마십시오. 간단한 요청은 기본 한도 내에서 처리되므로 실제 해결 여부를 파악하기 어렵습니다.

1. 비정상 종료된 대화의 컨텍스트를 비우기 위해, 동일한 어시스턴트에서 **새 대화(새 주제)**를 생성합니다.
2. 출력이 중단되었던 작업과 유사한 분량의 복잡한 분석 프롬프트를 전송합니다.
3. 다음 항목을 통해 정상 동작 여부를 확인합니다.
   • 추론(thinking) 블록 아래에 온전한 답변 텍스트가 표시되는지 확인합니다.
   • 문장이 중간에 끊기지 않고 논리적으로 완결되었는지 확인합니다.
   • 출력 토큰(output tokens) 통계를 확인할 수 있다면 이전 수치와 비교하여 생성이 다시 8192 지점에서 멈추지 않았는지 검토합니다. 이때 성공적인 응답이 반드시 이 한도를 넘어야 하는 것은 아니며, 더 적은 토큰으로도 정상적으로 완료될 수 있습니다. 전체 요청의 총 토큰 사용량과 출력 한도를 혼동하지 마십시오.

그래도 답변이 출력되지 않는 경우

동일한 증상이 지속된다면 다른 원인이 있을 수 있습니다. 설정을 변경한 후에도 답변이 표시되지 않는다면 다음 사항을 확인해 보십시오.

1. 활성화된 어시스턴트 확인: 설정을 변경한 바로 그 어시스턴트에서 요청을 보내고 있는지, 그리고 Max tokens 토글이 여전히 켜져 있는지 확인합니다.
2. API 제공업체의 지원 한도 확인: 제공업체에서 지원하는 모델 사양보다 큰 수치를 입력하면 파라미터 유효성 검사 오류(Validation Error)로 요청이 실패할 수 있습니다.
3. 출력 토큰 수치 확인: BetterToken 콘솔에서 요청 상세 정보를 확인하고, 전체 사용량이 아닌 출력 토큰(output tokens) 수치에 주목하십시오. 생성이 설정한 한도보다 훨씬 아래에서 멈췄다면, 스트리밍(Stream) 출력 표시 문제, 네트워크 불안정, 또는 외부 도구(MCP 서버 및 함수 호출) 연동 문제를 함께 점검해야 합니다. 물론 max_tokens의 영향 역시 완전히 배제해서는 안 됩니다.

고객지원팀에 문의하실 때는 요청 식별자(Request ID), 정확한 발생 시각, 모델명, 차감된 토큰 수 등 안전한 기술 정보만 전달해 주시기 바랍니다. API 시크릿 키나 민감한 프롬프트 내용은 절대 전송하지 마십시오.