Methodology

我们怎么给中转站打分

还没有生成过榜单,下面是默认配置。

综合分

综合 = 真实性 × 40% + 稳定性 × 25% + 速度 × 20% + 价格 × 15%

四项都是 0–100 分。某一项没有数据(例如这个分组的价格还确认不了)时,这一项不计入,其余权重按比例放大;真实性没有数据则不出综合分。中转站的每个分组单独巡检、单独上榜;站点总榜的综合分取主分组已上榜模型综合分的平均,任何一个分组疑似掺水,整个站都会标出来。

真实性

每天一次全检测 · 取近 7 天中位数

全检测就是“检测”页的完整流程,结论分两层:真伪判定只看硬证据(数字指纹归因),给出真、可疑、掺水或无法判断;质量分由推理题、工具调用、注入开销、联网搜索、思维签名等合成 0–100 分。真实性取近 7 天合格全检测质量分的中位数,单次波动不会把一家站打下去。请求失败的项只记为无结论、不扣分;核心项(指纹、推理题、工具调用)没有结论的报告不进入榜单,等下次巡检重测。

稳定性

每 30 分钟一次轻巡检 · 近 7 天成功率

轻巡检发一条要求输出约 300 字的流式请求,不重试:超时、5xx、空回复都算失败。稳定性 = 成功次数 ÷ 总次数 × 100。

速度

轻巡检计时 · 近 24 小时中位数 · 同模型内比较

记录首字延迟(发出请求到第一个字到达)和输出速度(生成阶段每秒 token 数)。在同一个模型的已上榜站点之间取百分位:最快 100 分、最慢 0 分;速度分 = 输出速度百分位 × 70% + 首字延迟百分位 × 30%。整包返回、没有流式或不报 usage 的,速度记为未知,不瞎估。

价格

公开倍率折算的实付价 · 同模型内比较

实付价(元 / 百万 token)= 模型基础单价 × 分组公开倍率 × 充值比例。基础单价取站点公开的价目;Sub2API 站点没给某个模型定价时按厂商官方价扣费,这里也用官方价补上。充值比例是 1 美元额度要花多少元,默认 1 元,站长可以修改并留有记录。

按输入:输出 = 3:1 折算成混合价:75% × 输入价 + 25% × 输出价,在同一个模型的已上榜站点之间取百分位,最便宜 100 分、最贵 0 分。只比同一模型,不拿 Opus 和 Haiku 比价。榜单旁边的折扣 = 实付价 ÷ 厂商官方价(按当日汇率折成人民币),例如 0.19 显示为“1.9 折”。

分组与倍率

  • 同一家中转站的不同分组质量和价格可能不同(有的分组掺水、有的不掺),所以每个分组用它自己的 key 单独巡检、单独排名,榜单上写作“站点 · 分组”。
  • 检测哪些模型由我们统一定:管理员维护一份常见模型清单,每个分组的 key 能调用到的清单模型默认全部检测,清单之外的模型不上榜。站长可以停测某个模型,但停测会在站点页写明,窗口内已有的结果照常显示。同一个模型在各站的不同叫法(带日期后缀等)会归到同一个名字下比较。
  • 分组从站点公开的分组列表里选,和普通用户看到的一样;只给特定用户开放的分组不会上榜。站点要登录才能看分组时,用检测账户读取,只取任何注册用户都能用的分组和标准倍率。
  • 价格只用公开倍率。检测账户或检测 key 拿到的倍率和公开倍率不一致时(比如只给检测账户打折),会在站点页标出“倍率异常”,不会拿来算价格。
  • 只有确认检测 key 确实属于这个分组(用检测账户在该分组创建或核对过,或 key 自己声明的分组倍率与公开倍率一致)时,这个分组才参与价格比较,避免拿好分组的 key 冒充便宜分组。
  • 倍率和价目每 30 分钟刷新,超过一小时没更新就不参与价格比较;站点设了高峰倍率的,按计算榜单那一刻的倍率算。

什么时候不排名

疑似掺水

最近一次全检测被判为掺水(指纹以 ≥ 90% 的置信度指向别的模型,声称的模型低于 5%),立即标出;近 7 天过半全检测被判为掺水或可疑(可疑:指纹明确指向另一家族的模型);或者真实性中位数低于 60 分(需先攒够 3 次全检测)。疑似掺水的站沉到榜单底部,不参与排名,但图上仍画出它的真实性。

样本不足

近 7 天全检测少于 3 次,或近 7 天轻巡检少于 6 次。新收录的站要先跑一段时间。

已暂停

站长或管理员暂停了巡检。评分窗口内已有的结果照常显示、标“已暂停”,不占排名;疑似掺水的标记同样保留到窗口结束,暂停或删除分组都抹不掉。检测 key 连续被拒绝(连续 3 次 401/403,或 2 次余额不足)时这个分组也会停止巡检,等站长处理。

局限

  • 数字指纹只在基线库内的候选之间比较。库里没有的型号记为“无法判断”(不扣分,可上榜但标“未验证型号”),只有家族级的明显矛盾才算可疑;站长可用官方 key 在后台为新型号采集基线。
  • 注入开销估计的是协议包装加上下文注入的固定开销,不能精确还原中转站加了什么提示词;官方接口通常只有几十 token。
  • 推理题每次随机出参数,答案由程序精确计算,按规则判分;被测模型不参与评分。
  • 巡检用的是站长账户里的 key,只代表该 key 所在分组的表现;不同时段可能不同。站长知道哪把 key 是检测用的,所以我们也接受用户反馈并做复查。
  • 价格按公开倍率和站长填写的充值比例折算,限时活动、充值赠送、缓存读写价格没有计入;按次、按图片计费的模型不换算成 token 价。
  • 官方价取自公开的模型价格表,只用厂商自己的价格;折扣用的汇率每天更新一次。
  • Chat Completions 协议没有统一的服务端联网工具,这一项在该协议下不计分,而不是记 0 分。

每个分数都能追溯到具体报告:在榜单或中转站页点“最近报告”即可查看全部证据。想自己验证某个站,去 检测页。