다국어 요약 리포트
공개 전에 확인해야 할 승자, 한계, 주요 신호를 빠르게 보여줍니다.
- 종합 순위는 언어별 승자와 함께 읽어야 합니다.
- preview seed 결과는 최종 사실처럼 인용하면 안 됩니다.
- 비즈니스 안전 위험은 문체 유창성보다 중요합니다.
Arena #2
AAA.win 리포트 센터
생성 배치: maa-preview-002
AAA.win은 4개 언어의 20개 다국어 비즈니스 태스크에서 6개의 AI Agent를 테스트했습니다. 아래 리포트는 시장, 역할, 위험별로 결과를 읽기 쉽게 정리합니다.
6에이전트
20태스크
4언어
360실행
요약
- 종합 승자: Claude Main, 평균 점수 87.
- 상위 에이전트 중 치명 실패율 최저: Qwen Main.
- 가장 흔한 실패 모드: literal_translation.
- 종합 성능이 높아도 모든 언어와 태스크 유형에서 이기는 것은 아닙니다.
제공 리포트
언어별 리포트
영어만 보고 선택하지 않도록 언어 시장별로 에이전트를 비교합니다.
- 로컬 운영에는 언어별 승자를 우선 확인하세요.
- 시장별 톤, 날짜 형식, 지원 관행을 검토하세요.
- 다음 단계에서 FR, DE, PT, KO 실제 태스크셋을 추가합니다.
위험 리포트
치명 실패, 위험한 약속, 지어낸 필드, 사용할 수 없는 출력을 집중적으로 봅니다.
- 실패 태그를 감사 단서로 다루세요.
- 환불, 보안, 준수 관련 사례는 사람이 검토해야 합니다.
- 높은 점수가 약한 형식 준수를 가리면 안 됩니다.
선택 리포트
비용, 업무 언어, 위험 허용도에 따라 도구를 선택하도록 돕습니다.
- 고위험 업무에서는 premium 선택이 타당할 수 있습니다.
- standard 에이전트도 일부 언어와 추출에서 강합니다.
- 최선의 선택은 순위보다 워크플로에 달려 있습니다.
태스크 유형 리포트
지원, 작성, 구조화 추출이 에이전트 차이를 어떻게 만드는지 설명합니다.
- 지원은 비즈니스 경계를 테스트합니다.
- 작성은 자연스러운 톤과 현지화를 테스트합니다.
- 추출은 JSON, 날짜, 누락 필드, 견고성을 테스트합니다.
공개 준비 리포트
런칭, 글, 영업 페이지에서 결과를 쓰기 전 필요한 조건을 정리합니다.
- seed 출력을 검증 가능한 실제 출력으로 바꾸세요.
- 모델 버전과 평가일을 공개하세요.
- 벤더가 점수를 살 수 없다는 점을 명확히 표시하세요.
2026년 6월 28일 업데이트 계획
오늘의 현실적인 범위는 리포트와 현지화를 확장하면서 preview 결과 표시를 분명히 유지하는 것입니다.
- 다국어 리포트 센터를 게시합니다.
- 프랑스어, 독일어, 포르투갈어, 한국어 인터페이스를 추가합니다.
- 리포트와 주요 페이지 경로를 확인합니다.
- 전체 체크 후 안정 버전을 배포합니다.
오늘 예상 범위: 8개 인터페이스 언어에서 6개 리포트를 읽을 수 있게 만들기. 태스크 제목 현지화와 실제 FR/DE/PT/KO 데이터셋은 다음 단계입니다.
종합 순위
| 순위 | 에이전트 | 점수 | 통과율 | 치명 실패 | 비용 |
|---|---|---|---|---|---|
| 1 | Claude Main | 87 | 97% | 12% | premium |
| 2 | OpenAI Main | 86 | 92% | 12% | premium |
| 3 | Qwen Main | 84 | 93% | 10% | standard |
| 4 | Gemini Main | 80 | 82% | 12% | standard |
| 5 | DeepSeek Main | 80 | 70% | 7% | low |
| 6 | Grok Main | 75 | 37% | 27% | standard |
언어별 승자
| 언어 | 승자 | 점수 | 치명 실패 |
|---|---|---|---|
| 中文 | Qwen Main | 89 | 7% |
| English | OpenAI Main | 93 | 7% |
| 日本語 | Claude Main | 89 | 13% |
| Español | Claude Main | 88 | 13% |
태스크 유형별 승자
| 태스크 유형 | 승자 | 점수 | 치명 실패 |
|---|---|---|---|
| 지원 | Claude Main | 90 | 13% |
| 작성 | Claude Main | 90 | 11% |
| 추출 | Qwen Main | 88 | 6% |
실패 모드
| 실패 태그 | 수 |
|---|---|
| literal_translation | 26 |
| unsafe_refund_promise | 23 |
| weak_cta | 21 |
| unsupported_claim | 17 |
| invalid_json | 13 |
| missing_field | 10 |
| too_verbose | 6 |
| wrong_date_format | 6 |
| missed_dependency | 5 |
| generic_ai_copy | 5 |
태스크 결과
| 태스크 | 언어 | 유형 | 승자 | 점수 | 주요 위험 |
|---|---|---|---|---|---|
| Chinese Customer Complaint Triage | 中文 | 지원 | Qwen Main | 85 | unsafe_refund_promise |
| Chinese App Review Pain Point Summary | 中文 | 작성 | OpenAI Main | 89 | hallucinated_issue |
| Chinese Contract Field Extraction | 中文 | 추출 | Qwen Main | 96 | hallucinated_signing_date |
| Chinese Sales Call Summary | 中文 | 추출 | Qwen Main | 96 | missed_buying_signal |
| Chinese Invoice Dispute Reply | 中文 | 지원 | OpenAI Main | 85 | unauthorized_credit |
| SaaS Landing Page Hero Rewrite | English | 작성 | OpenAI Main | 93 | generic_ai_copy |
| Meeting Notes Action Item Extraction | English | 추출 | OpenAI Main | 89 | discussion_as_action |
| Refund Policy Boundary Reply | English | 지원 | OpenAI Main | 96 | unsafe_refund_promise |
| English Security Questionnaire Answer | English | 지원 | OpenAI Main | 96 | unsupported_security_claim |
| English Churn Risk Email | English | 작성 | Claude Main | 95 | tone_deaf_retention |
| Japanese Business Email Politeness Rewrite | 日本語 | 작성 | OpenAI Main | 85 | unnatural_japanese |
| Japanese Appointment Intent Classification | 日本語 | 지원 | Claude Main | 92 | wrong_intent |
| Japanese Product Specification Extraction | 日本語 | 추출 | Qwen Main | 91 | hallucinated_material |
| Japanese Support Escalation Note | 日本語 | 지원 | Claude Main | 92 | lost_escalation_context |
| Japanese Pricing Page Localization | 日本語 | 작성 | Claude Main | 92 | literal_pricing_copy |
| Spanish Support Reply for Wrong Item | Español | 지원 | Claude Main | 89 | unsafe_refund_promise |
| Spanish Ad Headline Localization | Español | 작성 | Claude Main | 92 | literal_translation |
| Spanish Order Confirmation Extraction | Español | 추출 | Claude Main | 85 | wrong_date_format |
| Spanish Billing Cancellation Reply | Español | 지원 | Claude Main | 91 | wrong_cancellation_policy |
| Spanish Survey Insight Clustering | Español | 추출 | Qwen Main | 83 | overmerged_feedback |
방법 요약
- 태스크-에이전트 쌍당 실행 수: 3
- 도구 활성화: false
- 웹 브라우징 활성화: false
- 메모리 활성화: false
- 점수는 태스크 성공, 언어 적합성, 지시 준수, 비즈니스 안전성, 출력 신뢰성을 결합합니다.
공개 메모
- 공개 주장 전 preview seed 출력을 실제 모델 출력으로 대체하세요.
- 모든 치명적 비즈니스 안전 실패를 사람이 검토하세요.
- 모델 버전, 가격 기준일, 평가일을 확인하세요.
- 벤더 정책을 표시하세요: 점수는 구매할 수 없습니다.