从工作负载估算
先记录每天任务数、平均活动时长、峰值并发、每 Session 轮数、平均产物大小和保留时长。以下是容量测量方法,不是供应商价格报价:- 稳态活动 Session 数可用到达速率乘平均活动时长估算;突发和长尾需单独预留。
- 每日新增产物量约为完成 Run 数乘平均导出 bytes;数据库还有事件、输入、历史和索引开销。
- 模型与工具调用由实际请求量和供应商计量决定;重试、授权验证和集成检查也可能产生使用量。
- 计算停止后可能继续保留磁盘、快照或关联端点,必须检查相应 Provider 状态。
一个可复算的工作负载样例
以下是假设数据,不是性能测量或费用报价:每天接收任务 8 小时,均匀到达率 60 Run/小时,每个 Run 平均执行 120 秒,每个 Run 捕获 4 MiB 产物,保留 30 天。先假定没有失败重试、授权等待、启动、空闲和清理开销;实际规划必须补回这些开销。
若同时到达十个任务,平均值 2 不能代表峰值容量。若新增的审批等待使资源保留时间延长,纯执行时间也不能代表资源占用。记录到达量、排队时间、启动时间、执行时间和关闭确认时间的分布,尤其是长尾,再决定入口限流与容量。
补回开销,避免重复计数
做一次敏感性估算:假定每天每个 Run 分配独立资源,启动耗时 30 秒,执行结束后资源继续保留 60 秒,10% 的 Run 在同一资源上额外执行一次 120 秒的尝试。同一资源内这些时间段互不重叠:
这是特定资源生命周期假设下的占用量,不是账单,也不是建议遇到失败就重试。结果未知的尝试必须先对账,再决定是否能安全重试;若重试重新分配资源,还需增加其启动与保留开销。跨 Run 复用资源会改变算法:对每个资源取已分配时间区间的并集,再跨资源求和,不要把同一段热资源保留时间计入每个 Run。供应商实际计量与取整规则另行应用。保留存储、模型请求、Tools 和控制平面仍需单独记录用量。
默认 worker 的容量边界
当前默认启动入口构造一个ExecutionWorker;其循环领取一个 Run 后等待该次 execute 返回,再领取下一个。数据库 lease / fencing 解决接管和过期写入,不自动证明某个多进程部署具有经过验收的横向扩展能力。
在上述理想样例中,单个串行执行槽每小时最多处理约 30 个 120 秒任务,且尚未计入其他开销;60 个/小时的持续输入会积累等待。这是按假设推算的下限风险,不是基准测试。不要仅增加 Session 数量就宣称解决吞吐,也不要把“每 Session 一个活动 Run”和“整个部署能同时执行多少 Run”混为一谈。多 worker 部署需要另行验证共享配置、数据库、凭据入口、资源锁和故障接管。
观测与处理顺序
/v1/overview 的 active_runs 统计非终态 Run;/v1/sessions/activity 衡量任务活动,分类可能重叠。这些都不是 CPU 或账单指标。Fleet 是持久状态快照且只返回最近至多 200 个 Session,不能用它证明账户全局资源已清空。结合完整分页记录和 Provider 侧检查,见监控契约。
本页不列动态单价。制作预算时,在自己的预算记录中填写所选 Provider / 模型官方价格页、查询日期、账户套餐、区域、计费单位及相关存储或网络项,再乘以实际测量的使用量。不同单位不能直接相加,测试失败与清理等待也不能从用量中删掉。