在日常虚拟化运维中,运维人员时不时会遇到突发的故障,而故障是怎么发生的、在什么时间点、因何而发生的,往往是困扰运维人员的难题。
假如时间能倒回,回到故障发生的时间点,看清是什么导致的故障,那运维人员排查故障时将会轻松很多。西南某省某医疗云数据中心就遇到过类似的问题。
西南某省某医疗云数据中心,承载着省内各大医院云端的业务系统。一日,运维团队收到某医院反馈:业务系统当天上午忽然中断,又在十几分钟后自动恢复。虽然十几分钟的中断时间不长,但正值门诊高峰,
严重影响了医院系统的正常运行。数据中心的运维团队紧急排查,必须找出业务中断的原因。
但
业务中断后又自动恢复,这种故障如何排查?还好有
明辰智航云安的时间回溯功能。
1.突发故障,业务中断又恢复
医院反馈,业务是在当天上午忽然中断,而又在十几分钟后自动恢复,时间不长,却严重影响了医院系统的正常运行。
2.将时间回溯到业务中断的时间
运维人员通过
明辰智航云安时间回溯功能
将时间调整到业务中断的时间段内,云安界面完整呈现出那十几分钟的系统状态,
3.通过云安界面查找业务中断根本原因
界面显示
存储版块红色示警,点击鼠标,进一步查看原因,是
存储读写延迟严重超标,最终导致的业务中断。而又是什么导致在那十几分钟内存储读写延迟呢?原来,在那个时间,某业务系统厂家运维工程师做了
删除虚机快照的操作,而同时VMware会在删除快照后自动进行虚拟磁盘合并,导致大量读写发生,进而
虚机发生了迁移并重启。
业务中断的原因找到了!谁也没想到一次不经意的操作会引发医院系统的业务中断,但如果没有明辰智航云安的时间回溯,那可能真会成为一个不解的谜团。
明辰智航云安的时间回溯功能,可将系统时间调至
前一个小时、前一天、前一周等特定时间,运维人员可轻松查看
任意时间段的系统状态和数据,系统运行时好时坏的故障再也不怕找不到原因。