操作を実行する音声エージェント
妥当なツール呼び出しの JSON だけでなく、完遂したタスク、状態の変化、復帰、確認、取り消し可能性、正確な状況報告を測定します。
「音声 AI」は単一の評価課題ではありません。音声認識のベンチマークはタスク完遂について何も語らないことがあり、ツール呼び出しのスイートは操作を実行しないことがあり、文字起こしのベンチマークはマイクまわりの処理が終わったところから始まることがあります。
本ガイドは、2026年9月1日に一次情報源から確認した 13 件の公開された出発点を整理したものです。これはリーダーボードではなく全体像であり、掲載していることが推奨を意味するものではありません。
記事更新:
検証したいユーザー側の結果に合うトラックを選びます。その上で、なぜその結果が成功または失敗したのかを説明するために、構成要素ごとの指標を使います。
妥当なツール呼び出しの JSON だけでなく、完遂したタスク、状態の変化、復帰、確認、取り消し可能性、正確な状況報告を測定します。
認識精度に、固有表現の扱い、書式、レイテンシ、修正の手間、対象アプリへ確実に挿入できることを組み合わせます。
音声の取り込み、文字起こし、話者分離、要約の忠実さ、決定事項、アクションアイテムの品質は、別々のレイヤーとして分けて扱います。
下の表は、限られた問いに答えるものです。ある評価ニーズに対して、どの公開プロジェクトが最初の立ち寄り先として妥当か、という問いです。「一部対応」は、その能力がスイートの一部にのみ含まれるか、間接的に測定されていることを意味します。
| ベンチマーク | 最適な出発点となる用途 | 音声の入出力 | ツール | タスク完遂 | コンピュータ操作 |
|---|---|---|---|---|---|
| EVA | エンドツーエンドの対話エージェントの精度と体験 | 入力 + 出力 | 対応 | 対応 | 非対応 |
| tau2-bench / tau-Voice | 現実的なドメインでの、ユーザー・エージェント・ツール間の動的なやり取り | 入力 + 出力 | 対応 | 対応 | 非対応 |
| VoiceComputerBench / TalkAct | リアルタイムの音声会話とブラウザ操作 | 入力 + 出力 | 対応 | 対応 | 対応 |
| NVIDIA voice-agent evaluation | EVA と tau2 のシナリオを再現可能に実行するライブハーネス | 入力 + 出力 | 対応 | 対応 | 非対応 |
| VoiceAgentBench | 音声によるツール選択、オーケストレーション、安全性 | 入力のみ | 対応 | 一部対応 | 非対応 |
| Audio2Tool | 意図の複雑さに応じた、音声でのツール呼び出しの選択 | 入力のみ | 対応 | 非対応 | 非対応 |
| Voice Agent Latency | 発信者が体感する、エージェントの最初の音声までの時間 | 入力 + 出力 | 非対応 | 非対応 | 非対応 |
| OpenBench | 再現可能な ASR、話者分離、ストリーミングのテスト | 入力のみ | 非対応 | 非対応 | 非対応 |
| ELITR-Bench | 会議の文字起こしに対する長いコンテキストでの推論 | 文字起こしテキスト | 非対応 | 一部対応 | 非対応 |
確認した 13 件すべてのプロジェクトについて、能力の対応状況、根拠のメモ、ライセンス、リンクを機械可読な JSONL データセットで公開しています。
まず目標とする結果を明確にし、次に機能ラベルの背後にある証拠を検査します。固定されたランドスケープでは、audio_input=yes と tool_use=yes でフィルタリングすると7件のレコードが返されます。goal_completion=yes を追加すると4件になります。残りの3件は、目標達成を部分的に評価するか、評価対象としていません。これらは必ずしも劣ったシステムではありません。これはメタデータのショートリストであり、ベンチマークの実行やランキングではありません。
NeMoは有用な次のチェックを提供します。その航空会社のシナリオソースは、期待されるデータベースが変更されない場合に、自然言語のアサーションを追加します。シナリオ0では、エージェントが予約をキャンセルできないことを説明し、キャンセルを主張しないことが求められます。その成功シグナルは、データベースの状態マッチング、それらのアサーション、およびクリーンな終了を組み合わせたものです。データベースが変更されていないだけでは、ユーザーが必要な回答を受け取ったことを示すには不十分です。これらはシミュレートされたシナリオチェックであり、本番環境での予約変更の証拠ではありません。
その他の測定項目はタスクに応じて選択します。ディクテーションの場合、OpenBenchは音声認識およびストリーミングコンポーネントを提供します。最終的なテキストと、それが意図されたアプリケーションに挿入されたことを別途確認します。会話の遅延については、OpenBenchmarksは録音から発信者の音声停止からエージェントの音声開始までを測定します。レイテンシと併せて除外されたターンも報告し、回答の正確性は別途評価します。
以下のフィルターを再現し、選択したシナリオの成功ルールを検査してください。ターゲットアプリケーションへの挿入フィールドが欠落している場合、「未サポート」ではなく「未記録」を意味します。この例ではCueモデルは評価されていません。
Node.jsをインストールしたうえで、f65fe8f の完全なベンチマーク一覧のソースのルートディレクトリを開いてください。scripts/query.mjs、scripts/data.mjs、data/schema.json、data/benchmarks.jsonl をそれぞれの相対パスに保ち、次を実行してください:
node scripts/query.mjs --where audio_input=yes --where tool_use=yes --fields id,goal_completion --format csv
node scripts/query.mjs --where audio_input=yes --where tool_use=yes --where goal_completion=yes --fields id,goal_completion --format csv
| タスク | 開始点 | まだ必要な証拠 |
|---|---|---|
| ターゲットアプリケーションへのディクテーション | OpenBench: 音声入力とリアルタイム処理に対応。このスナップショットではツール使用と目標達成は評価対象外 | 最終的なターゲットフィールドのテキスト、フォーカス、配置の確認 |
| ツールタスクの発話 | NeMo: 音声、ツール使用、目標達成が評価対象。シナリオのアサーションと状態チェックを検査 | ツールの引数/結果とシナリオ固有の成功証拠。有効なJSONだけではない |
| 会話の遅延測定 | OpenBenchmarksのレイテンシ: 音声入力/出力とリアルタイム処理に対応。目標達成は評価対象外 | タイミング境界、除外されたターン、録音。回答/タスクの評価は別途 |
ソーススナップショット(スコープ確認日 2026-10-20;ランドスケープの行の日付は変更なし):
単一の総合スコアは失敗のしかたを隠します。次の 4 つのレイヤーを見えるように保ち、それぞれの結果を公開します。
ユーザーは対象のシステムで意図した結果を得られましたか?
そのやり取りは、応答が速く、理解でき、割り込みでき、復帰できるものでしたか?
ASR、話者分離、固有表現、ツールの引数、生成された内容を測定します。ただし、それらを最終的な成果として扱わないようにします。
同意、確認、取り消し可能性、プライバシー、そしてエージェントが完了を正確に報告するかどうかをテストします。
ベンチマークのコミット、モデルとプロバイダーのバージョン、プロンプト、ツールのスキーマ、音声の前処理、試行回数、サンプリング設定、計測の境界、判定のルーブリック、タイムアウト、拒否、そして使用したデータセットのライセンスをすべて記録します。失敗した実行は、分母から消えてしまわないよう、レポートに残すべきです。
基になっている全体像は、Sophon LLC が独立したコミュニティ向けリソースとして維持しています。掲載されているプロジェクトと Cue を順位づけするものではなく、いずれのベンチマークの提供者も掲載の対価を支払っていません。
評価を設計しているなら、公開されている全体像から始めてください。実際にデスクトップの音声エージェントを評価しているなら、Cue の音声入力、会議、アプリをまたぐワークフローは別途ご確認ください。