로컬 LLM 벤치 분석 - QWEN vs Nex mini vs Agent A1

Published 28 days ago

18 min read

128K 문맥을 59tok/s로 처리하는 Agents-A1, 과연 실제 에이전트 업무에서도 '거짓 성공' 없이 완벽하게 작동할까요?

로컬 LLM 환경에서 긴 문맥 분석이나 자동화 에이전트 구축을 고민하는 개발자

·126.7K 이상의 실제 입력 토큰에서도 4개 표식을 정확히 회수하며, 128K 환경에서 59.1 tok/s의 높은 디코딩 속도를 유지함.

·식별자 반환 및 최소 범위 수정 작업에서 5회 반복 모두 동일한 결과를 생성하여 높은 결정적 출력 신뢰도를 입증함.

·단순한 한 줄 패치 작업에서도 추론 예산을 모두 소진하고 종료되지 않는 사례가 발견되어, 추론 토큰 상한 및 예산 정책 설계가 필수적임.

@rannte