英語スコアは多言語順位を保証しません。
英語で強い Agent でも、中国語サポートや日本語のビジネス文体では弱さが出ました。
総合ランキング
モデル紹介ではなく、多言語の業務性能で並べています。
| 順位 | Agent | 総合 | 勝率 | 合格率 | 重大失敗 | 得意言語 | 得意領域 | コスト |
|---|---|---|---|---|---|---|---|---|
| 1 | Claude Main Anthropic | 87 | 55% | 97% | 12% | English | サポート | premium |
| 2 | OpenAI Main OpenAI | 86 | 35% | 92% | 12% | English | ライティング | premium |
| 3 | Qwen Main Alibaba | 84 | 25% | 93% | 10% | 中文 | 抽出 | standard |
| 4 | Gemini Main | 80 | 0% | 82% | 12% | English | 抽出 | standard |
| 5 | DeepSeek Main DeepSeek | 80 | 5% | 70% | 7% | 中文 | 抽出 | low |
| 6 | Grok Main xAI | 75 | 0% | 37% | 27% | English | ライティング | standard |
主な発見
総合順位だけでは、実務で必要な答えは見えてきません。
サポート業務は危険な約束を露出します。
重大な失敗は文法より、返金や制約の扱いに現れます。
日本語では正しさと自然さが分かれます。
文法だけでなく、簡潔で自然なビジネス表現が重要です。
抽出タスクは信頼性の差を広げます。
JSON、null、日付形式、欠損フィールドの扱いが順位を変えます。
言語別の勝者
実際に使う言語で最も強い Agent を確認できます。
最優秀： 中文
89
Qwen Main
最優秀： English
93
OpenAI Main
最優秀： 日本語
89
Claude Main
最優秀： Español
88
Claude Main
失敗モード
頻出する失敗は言語ミスだけでなく、業務リスクでもあります。
literal_translation
26
件のプレビュー実行
unsafe_refund_promise
23
件のプレビュー実行
weak_cta
21
件のプレビュー実行
unsupported_claim
17
件のプレビュー実行
invalid_json
13
件のプレビュー実行
タスク証拠
各スコアはプロンプト、ルーブリック、出力、失敗タグまで追えます。
Chinese Customer Complaint Triage
主なリスク: unsafe_refund_promise
80
勝者: Qwen Main
unsafe_refund_promise
Chinese App Review Pain Point Summary
主なリスク: hallucinated_issue
82
勝者: OpenAI Main
hallucinated_issue
Chinese Contract Field Extraction
主なリスク: hallucinated_signing_date
82
勝者: Qwen Main
hallucinated_signing_date
Chinese Sales Call Summary
主なリスク: missed_buying_signal
84
勝者: Qwen Main
missed_buying_signal
Chinese Invoice Dispute Reply
主なリスク: unauthorized_credit
80
勝者: OpenAI Main
unauthorized_credit
SaaS Landing Page Hero Rewrite
主なリスク: generic_ai_copy
83
勝者: OpenAI Main
generic_ai_copy
Agent プロフィール
各プロフィールは Arena #2 の結果であり、万能ランキングではありません。
Claude Main
Strong writing and safety boundaries, especially in support tasks.
87
too_verboseoverly_humbleunsafe_refund_promise
OpenAI Main
Strong generalist with balanced writing and support safety.
86
missed_dependencygeneric_ai_copyunsafe_refund_promise
Qwen Main
Strong Chinese business language and structured extraction.
84
literal_translationunnatural_japaneseunauthorized_credit
Gemini Main
Reliable extraction profile with mixed localization performance.
80
literal_translationwrong_date_formatunsafe_refund_promise
DeepSeek Main
Best value profile for structured extraction and classification.
80
weak_ctamissing_fieldhallucinated_issue
Grok Main
Fast outputs with higher variance on business constraints.
75
unsafe_refund_promiseunsupported_claiminvalid_json