행동하는 음성 에이전트
유효한 도구 호출 JSON만이 아니라 완료된 작업, 상태 변경, 복구, 확인, 되돌리기 가능성, 정확한 상태 보고를 측정하세요.
“음성 AI”는 하나의 평가 문제가 아니에요. 음성 인식 벤치마크는 작업 완료에 대해 아무것도 말해 주지 않을 수 있고, 도구 호출 모음은 실제 동작을 한 번도 실행하지 않을 수 있으며, 트랜스크립트 벤치마크는 마이크 관련 작업이 이미 끝난 뒤에 시작될 수 있어요.
이 가이드는 2026년 9월 1일에 1차 출처를 통해 검토한 13개의 공개 출발점을 정리한 것이에요. 순위표가 아니라 지형도이며, 목록에 포함되었다고 해서 추천을 뜻하지는 않아요.
문서 업데이트:
확인해야 할 사용자 결과에 맞는 트랙을 고르세요. 그런 다음 구성 요소 지표로 그 결과가 왜 성공했는지 또는 실패했는지 설명하세요.
유효한 도구 호출 JSON만이 아니라 완료된 작업, 상태 변경, 복구, 확인, 되돌리기 가능성, 정확한 상태 보고를 측정하세요.
인식 정확도를 개체 처리, 서식, 지연 시간, 수정 부담, 대상 앱에 안정적으로 삽입되는지와 함께 살펴보세요.
캡처, 전사, 화자 분리, 요약 충실도, 결정 사항, 실행 항목 품질을 각각 별도의 레이어로 유지하세요.
아래 표는 좁은 질문 하나에 답해요. 특정한 평가 요구에 대해 어떤 공개 프로젝트가 합리적인 첫 출발점인가요? “부분 지원”은 해당 역량이 모음의 일부에만 나타나거나 간접적으로 측정된다는 뜻이에요.
| 벤치마크 | 가장 알맞은 출발점 | 음성 입출력 | 도구 | 작업 완료 | 컴퓨터 조작 |
|---|---|---|---|---|---|
| EVA | 종단 간 대화형 에이전트의 정확도와 경험 | 입력 + 출력 | 예 | 예 | 아니요 |
| tau2-bench / tau-Voice | 현실적인 도메인에서의 동적인 사용자·에이전트·도구 상호작용 | 입력 + 출력 | 예 | 예 | 아니요 |
| VoiceComputerBench / TalkAct | 실시간 음성 대화와 브라우저 동작 | 입력 + 출력 | 예 | 예 | 예 |
| NVIDIA voice-agent evaluation | EVA와 tau2 시나리오를 재현 가능하게 실행하는 라이브 하네스 | 입력 + 출력 | 예 | 예 | 아니요 |
| VoiceAgentBench | 음성 기반 도구 선택, 오케스트레이션, 안전성 | 입력만 | 예 | 부분 지원 | 아니요 |
| Audio2Tool | 의도 복잡도에 따른 음성 도구 호출 선택 | 입력만 | 예 | 아니요 | 아니요 |
| Voice Agent Latency | 발신자가 체감하는 첫 에이전트 음성까지의 시간 | 입력 + 출력 | 아니요 | 아니요 | 아니요 |
| OpenBench | 재현 가능한 ASR, 화자 분리, 스트리밍 테스트 | 입력만 | 아니요 | 아니요 | 아니요 |
| ELITR-Bench | 회의 트랜스크립트에 대한 장문 컨텍스트 추론 | 트랜스크립트 텍스트 | 아니요 | 부분 지원 | 아니요 |
검토한 13개 프로젝트 전체의 역량 커버리지, 근거 메모, 라이선스, 링크는 기계 판독용 JSONL 데이터셋에서 확인할 수 있어요.
목표 결과를 먼저 정한 뒤, 기능 레이블 뒤의 증거를 검토합니다. 고정된 벤치마크 목록에서 audio_input=yes 및 tool_use=yes로 필터링하면 7개의 기록이 반환됩니다. goal_completion=yes를 추가하면 4개가 남습니다. 나머지 3개는 목표 달성 범위가 부분적이거나 전혀 없습니다. 이들이 반드시 더 나쁜 시스템은 아닙니다. 이것은 메타데이터 기반 후보 목록이지, 벤치마크 실행이나 순위가 아닙니다.
NeMo는 유용한 다음 검사를 제공합니다. 항공 시나리오 소스 코드는 예상 데이터베이스가 변경되지 않은 경우에 대한 자연어 어설션을 추가합니다. 시나리오 0은 에이전트가 예약이 취소될 수 없음을 설명하고 취소를 주장하지 않도록 요구합니다. 성공 판정 조건은 데이터베이스 상태 일치, 해당 어설션 및 정상 종료를 결합합니다. 변경되지 않은 데이터베이스만으로는 사용자가 필요한 답변을 받았다는 것을 입증할 수 없습니다. 이것들은 시뮬레이션된 시나리오 검사이지, 실제 예약 변경의 증거가 아닙니다.
작업에 따라 나머지 측정 항목을 선택합니다. 받아쓰기의 경우, OpenBench는 음성 인식 및 스트리밍 구성 요소를 제공합니다. 최종 텍스트와 의도된 애플리케이션으로의 삽입을 별도로 확인합니다. 대화 지연의 경우, OpenBenchmarks는 녹음에서 발신자 오디오 중지부터 에이전트 오디오 시작까지를 측정합니다. 제외된 턴을 지연 시간과 함께 보고하고, 답변 정확성은 별도로 평가합니다.
아래 필터를 재현한 다음, 선택된 시나리오의 성공 규칙을 검사합니다. 누락된 대상 애플리케이션 삽입 필드는 '지원되지 않음'이 아니라 '기록되지 않음'을 의미합니다. 이 예시에서는 Cue 모델이 평가되지 않았습니다.
Node.js를 설치한 후, f65fe8f 버전의 전체 벤치마크 목록 소스 루트 디렉터리를 엽니다. scripts/query.mjs, scripts/data.mjs, data/schema.json, data/benchmarks.jsonl을 해당 상대 경로에 유지한 다음, 아래 명령을 실행합니다:
node scripts/query.mjs --where audio_input=yes --where tool_use=yes --fields id,goal_completion --format csv
node scripts/query.mjs --where audio_input=yes --where tool_use=yes --where goal_completion=yes --fields id,goal_completion --format csv
| 작업 | 시작점 | 여전히 필요한 증거 |
|---|---|---|
| 대상 애플리케이션에 받아쓰기 | OpenBench: 오디오 입력 및 실시간 범위; 이 스냅샷에는 도구 또는 목표 범위 없음 | 최종 대상 필드 텍스트, 포커스 및 배치 확인 |
| 도구 작업을 음성으로 요청하기 | NeMo: 오디오, 도구 및 목표 범위; 시나리오 어설션 및 상태 확인 검사 | 도구 인수/결과 및 시나리오별 성공 증거; 유효한 JSON만이 아님 |
| 대화 지연 측정 | OpenBenchmarks 지연 시간: 오디오 입력/출력 및 실시간 범위; 목표 범위 없음 | 타이밍 경계, 제외된 턴, 녹음; 답변/작업 별도 평가 |
소스 스냅샷 (범위 확인 2026-10-20; 목록의 각 행에 기록된 날짜는 변경되지 않음):
하나의 종합 점수는 실패 유형을 가려요. 다음 네 개의 레이어를 각각 드러내고 레이어마다 결과를 공개하세요.
사용자가 대상 시스템에서 의도한 결과를 얻었나요?
주고받는 과정이 제때 이뤄지고, 이해할 수 있고, 중간에 끊을 수 있고, 복구할 수 있었나요?
ASR, 화자 분리, 개체, 도구 인자, 생성된 내용을 최종 결과로 취급하지 말고 측정하세요.
동의, 확인, 되돌리기 가능성, 개인정보 보호, 그리고 에이전트가 완료 여부를 정확하게 보고하는지를 시험하세요.
벤치마크 커밋, 모델과 제공업체 버전, 프롬프트, 도구 스키마, 오디오 전처리, 시행 횟수, 샘플링 설정, 시간 측정 경계, 심사 루브릭, 타임아웃, 거부, 모든 데이터셋 라이선스를 기록하세요. 실패한 실행은 분모에서 사라지는 대신 보고서에 남아 있어야 해요.
기반이 되는 지형도는 Sophon LLC가 독립적인 커뮤니티 자료로 관리하고 있어요. 여기에 나열된 프로젝트와 Cue의 순위를 매기지 않으며, 어떤 벤치마크 소유자도 목록 등재를 후원하지 않았어요.
평가를 설계하는 중이라면 공개 지형도에서 시작하세요. 실제로 데스크톱 음성 에이전트를 평가하는 중이라면 Cue의 음성 입력, 회의, 앱 간 워크플로를 따로 살펴보세요.