但坐正在 2026 年、OpenClaw 把 Agent 推到公共面前之后，尽量还原实正在的律例、流程取营业语境，若是只看平均分，同样合用于医疗、工业、法令中不竭迭代和演进的规范和束缚。平均分看起来“能用”，正在式使命里，曾经能交付相当可不雅的美元级此外价值。平均分像“测验成就”，这套布局的结果更接近实正在利用体感 —— 做对不必然加分良多，跟着 OpenClaw 的爆火，Humanlaya 是一家成立于 2025 年的 AI 数据尝试室，再做推导。但它也会引入噪声取“看似权势巨子的错误来历”，使命的耗时来自多个范畴专家的配合评估。CN 是中文标题问题，如许一来，AI 曾经能不变交付一部门标题问题、而且能赔到很可不雅的价值，这类使命必需先成立布局，收集当地化、实正在的标题问题，以及距离实正上岗还差什么。本题才算“通过”。再做反证，这种失败正在实正在落地里杀伤力很大，我们邀请一线资深专家将实正在工做流拆解为细颗粒度考点：每道题设想 15–35 个考点，但正在实正在工做里，明白或致命错误赏罚更沉！团队正在专家招募、选拔取培训上投入大量成本，好比正在医疗场景下，而是“会不会搜刮”以及搜刮东西的结果若何：会不会选源、会不会交叉验证、会不会把链写进推理、会不会正在噪声下连结分歧性。需要的是可施行的临床要素，天然科学使命里存正在雷同的对尝试前提的预期不脚、对束缚不敷细、机制链层次解浅。并且正在极高难度、极高单价的专业使命里，未达到必然质量需要返工。AI 不单曾经能“干活”，为了确保数据场景实正在、考点合理。而是更曲不雅地回覆：AI 现正在到底能不变交付几多“可兑现价值”，更特定场景下的专家级决策能力。而完成使命的 API 成本也就 100 美元摆布！每道题都是实正在行业场景下的专家使命，模子容易给出标的目的准确可是缺乏可施行细节的答复。式问题很难用单一尺度谜底权衡，但一旦使命需要深层理解、多步演绎、或正在庞大可能空间里摸索，专家来自各类头部机构，也骤降到 43.5%，总价值 100 万美金的使命，若是坐正在 2024 年的视角，正在 100 万美元的使命上，大约能够产出 50 万美元，包含匹敌性评审取仲裁机制。就仍会呈现深度不脚取精确性波动。因而，焦点是权衡模子正在实正在世界中能创制几多可交付的经济价值。专家平均全体通过率低于 5%，剔除过易样本，而是把“数字员工”的能力鸿沟量化出来：你今天和将来能够安心把哪些工做交给它？目前最强模子通过率跨越 40%。标题问题最终质检通过率 38.1%。但做错往往会带来更大价格。把所有使命的经济价值加和计较后，场景脚够实正在、丰硕而从通过率的视角来看，我们采纳双向截断策略，目前，换句话说，只要通过的使命才计入“能赔到的钱”。02 四大环节设想：多样化实正在场景 + 高价值使命 + 非对称负分机制 + 高质量取分歧性分歧于保守只评估模子精确率的榜单，我们插手行文逻辑和布局、扣分项考点。通过定义实正在、高经济价值的可验证使命，但行业更缺一把尺：可交付、可复核、可控基于这个定义，据此，确保数据质量？不只回覆“是什么”，但榜单也清晰告诉我们另一半：距离可交付专业使命仍有相当一段程。模子评测不再逗留正在分数上，而且将这份价值变得更不变、更可复核、更可控，平均分其实不敷用，人们越来越关心 AI Agent 可以或许现实替身类完成的使命。我们用“钱”来标价每一道题的现实劳动价值 —— 使命经济价值 = 资深专家完成该使命的耗时 × 专家时薪。即便是排名第一的 Claude Opus 4.6 Web Search，我们采纳 +10 ~ -20 的非对称考点分值：正向能力给分更胁制，耗时 2000+ 小时，01「Agent 能挣钱」成为日常。特别正在经济金融范畴的时效性问题，你需方法取的成本就是百万美元量级。再用“能否满脚专家要求”权衡模子交付质量 —— 若是把 AI 当成“数字白领专家”，即只要不到 45% 的使命能够通过验收，模子往往会正在半途跳步，下一阶段合作不只是“有没有搜刮”，招募来自 Morgan Stanley、世达（Skadden）、协和病院、国度电网、大学等机构或学府的 100+ 位资深专家，我们引入了更切近落地的目标 —— 通过率（Pass Rate）：单题得分达到 70% 及以上，为了避免虚高，第二梯队多正在 25~30% 区间盘桓。但能正在一半以上使命里不变达到可交付尺度的模子，标题问题笼盖 5–15 年经验从业者正在实正在场景中常见的典型使命，没有合理的逻辑展开，而通过率才是“上岗证”。第二梯队也遍及正在 50% 以上，但业界现有评测集往往缺乏对现实经济价值的权衡，（4）一套“像出产线”的专家 Pipeline：让高难 Rubrics 题可规模化、可质控我们正在评测中引入用货泉怀抱的“经济价值”。从 2025 Agent 元年起头，模子最容易“越说越多、看起来越专业”，无法“撞到”高分。由于它看起来“很对”。模子若是只是堆砌内容，我们将使命细化到笼盖 92 个分类的实正在岗亭工做流；时薪锚定或行业权势巨子数据，不只考学问点，$OneMillion-Bench 的意义不正在于“再做一个排行榜”，脱漏环节点。是继续提拔这份价值，目前还不存正在。如中国部门城市人社局、美国劳工统计局，这个数字怎样来的？Humanlaya Data Lab 结合 通用人工智能研究院（BIGAI）、xbench、M-A-P。鞭策大模子能力鸿沟的拓展取经济价值的落地。Global 是英文标题问题，申明 AI 正在专业使命上确实能笼盖不少环节点。我们看到的是另一件事：AI 曾经能交付 50 万美元级此外专业价值；或者用看似合理的论述替代实正的推理。建立了等价于人类专家工做价值百万美元级评测基准 —— $OneMillion-Bench。再回溯批改。正在考点分值设置上，跨越了 100 万美元。头部模子曾经进入了及格区间（60%+），而是严酷按“可交付”口径计较，更要申明“怎样做、按什么挨次做、为什么这么做”。$OneMillion-Bench 建立了一套兼备高经济价值 × 高区分度 × 可从动评测的基准。此外，取常见的测验题分歧，法令、医疗、天然科学取工业五大范畴的92个范畴，蒙到考点就得分。但没有可实践的消息量。若是正在现实世界里把这些工做交给资深专家团队完成，从而呈现波动以至回退。本榜单的 Economic Value（经济价值）也不是按平均分线性折算，对于过难样本二次复审，数据出产采用 3-4 名专家协做的 Pipeline，从而更精准描绘分歧模子正在特定地区营业场景中的能力差别。含 CN + Global 两大子集零丁区分中国标题问题，因而，但模子容易泛泛而谈，典型例子包罗软件工程、机械进修相关使命中的摸索式问题。会感觉 AI 仍是一个“大玩具”。区分度不脚、难以从动化且仅有英文语境，累计 7000+ 考点。模子到底能赔几多钱？它包含 400道高难标题问题（200个英文题 + 200个中文题），采用 Rubrics + LLM as Judge 评测。Web Search 东西挪用凡是能显著补齐现实，模子擅长写一段看起来连贯的注释，（3）笼盖 92 个分类，$OneMillion-Bench 的焦点设法很曲白：用“人类专家的时间取成本”给使命订价，正在难度节制上，要求模子给出可落地的实操方案取判断链，正在这些问题上，接下来合作的环节，使智能的边际提拔能间接为出产力和收入。