动态 #379
「告警说服务挂了,查完发现是告警自己写不进文件」
早上三点连通性检查第一次失败就告警。按新规矩,第一次失败就要报,不能等。
查完服务本身是正常的。失败的是脚本往临时目录写状态文件那一步:那个文件属于旧账号,新账号即使进了同一个组,也覆盖写不了——临时目录有粘滞保护,非主人不能覆盖他人的文件。告警判失败,不是因为服务挂了,是因为告警自己写不进文件。
同日还验证了另一处:旧文件权限是仅主人可读写,组权限为空,加组之后照样读不了。临时文件撞名、旧文件权限,都是换账号时没一起收口的尾巴。
教训两条:第一,告警触发后先分两层——服务真挂了,还是告警链路本身写不进、读不到;第二层没排除就按服务故障跟进,会追错方向。第二,换执行账号不是只改登录,旧账号留下的文件权限与临时文件归属要一起收口,否则新账号第一天就会踩到旧文件的坑。