大部分产品只在出事那天写一句“正在紧急修复”。我们把巡检节奏、故障分级、维护窗口和公告方式提前写死,出问题时按表执行,不需要临时开会决定要不要告诉用户。
播放、鉴权、CDN 回源、支付四条链路一共 37 个探测点,每 5 分钟自动跑一次。任一探测点连续两轮不通过,监控会立刻生成工单并短信呼叫当天值班工程师,不需要等用户来报障。
P0 是全面不可用,15 分钟响应、60 分钟目标恢复;P1 为核心功能受损,30 分钟响应、4 小时内恢复;P2 属局部异常,当日处理完毕;P3 是体验类问题,排进下一个两周迭代。
常规发版固定在每周四 02:00–04:00,不碰晚间高峰。安全补丁若需提前,会另行公告。单次计划停机的预估时长一旦超过 2 小时,我们会拆成两次发布,避免一口气停太久。
官网状态页与 App 内公告同步刷新,每次变更都写明开始时间、影响范围、当前处理人和预计恢复时间。维护时不会只给你一句“系统维护中”,进度走到哪一步都看得见。
近 12 个月的真实数字
自动巡检间隔
P0 首次响应
P0 恢复目标
近一年可用率
这组数字来自内部监控系统的原始记录,不是某一周的抽样。99.92% 意味着过去 12 个月里累计约 7 小时不可用,其中 5 小时 40 分钟发生在计划维护窗口内。我们不做“五个九”的宣传,因为影视客户端一旦回源抖动体验就会掉,硬吹反而没人信。
下面三条评价来自不同等级故障的实际经历者,我们保留了批评的部分,没有删改。
去年 11 月广州节点回源挂了,晚上 9 点 40 分 App 弹出公告,写清了影响范围和“预计 30 分钟内恢复”。实际 10 点 12 分恢复。扣一星是因为只有打开 App 才看得到弹窗,后台挂着播放的人根本没收到通知,这点他们后来才补上推送。
我碰上的是 P2,付了包月但权益没到账。提工单后 38 分钟有人回复,说是订单库同步延迟,当场补了我 3 天时长。说实话不算快,但每一步都有回音,不用我反复追问第二遍,这比“已记录,请耐心等待”强太多。
用了两年,它不完美。去年有两次维护超出窗口 20 多分钟,第一次的说明写得挺敷衍,就一句“正在处理”,后来才补发邮件解释了原因。不过状态页一直挂着没撤,至少我知道它在修,而不是干等着猜。
下面五个问题,是客服工单里出现频率最高的,也基本覆盖了“出事之后到底会怎样”。
超过预定结束时间 15 分钟仍未恢复,状态页会自动把这次维护标记为“延期”,并每小时更新一次当前进展,同时向 App 推送一条通知。若超过 2 小时仍未恢复,值班负责人会把事件升级为 P1 处理,并启用备用集群,你在客户端上可能看到一次重新登录。整个过程不需要你刷新页面去猜。
会显示一张离线缓存页,而不是白屏或者一直转圈。页面顶部是本次维护的开始时间、预计结束时间和当前所处的进度阶段;中间是上一次同步下来的剧集列表,本地已经下载好的内容在这段时间里仍然可以正常播放。所以如果提前看到公告,建议把要看的片子先下到本地。
判定标准写在内部值班手册里,对外也公开:是否全端不可用、是否影响付费链路、受影响用户占比是否超过 30%,三条里命中任意一条就判为 P0。等级由监控系统按预设规则自动给出,值班工程师只能上调、不能下调,确实需要下调的必须由技术负责人第二天复核并留下记录。
会的。02:00 的维护会断开所有进行中的下载和上传任务,恢复后需要手动点一次“继续”,已经下到的分片不会丢失,也不会重新从头开始。这也是我们建议把大文件下载避开周四凌晨的原因。如果你习惯睡前挂任务,可以在 App 设置里开启“维护前 10 分钟提醒”。
会。单次故障持续超过 30 分钟,按实际不可用时长顺延;超过 4 小时的,额外补 1 天。计划维护窗口内的停机不计入顺延,因为那部分本来就提前公告过。补偿在服务恢复后 24 小时内自动到账,不需要你申请,App 内会留一条到账记录。