ONEPSOFT | 软考学习知识库
2022年5月,我公司中标某省级石油天然气管网公司信息化设备运行维护项目。由于我曾有该类运维项目的成功案例,公司任命我为系统规划与管理师,负责管理该项目的运维工作。本运维项目主要工作包括对该司下属调控中心及多个输气站场、阀室的各类生产应用系统的网络维护服务,设备故障、异常操作处理、设备监控服务、网络设备系统性能优化配置服务、重大事件现场值守服务,以及系统服务器、网络、数据库的日常监控与维护,定期形成巡检报告和维护日志,确保日常工作的标准化、规范化开展。由于管道运输行业的特殊性,该公司生产业务流程众多,信息化设备和系统十分复杂,其中包含了SCADA数据采集与监控系统、管道泄漏检测系统、站场PLC控制系统、办公自动化系统OA、ERP系统等多个生产及办公应用系统。由于信息系统的可靠稳定运行与管道输气安全息息相关,生产业务系统对信息系统高度依赖,因此对各信息系统的可靠性、可用性、连续性等性能要求比较高。也正因如此,对项目执行过程中可能导致的系统中断、数据丢失以及其他各种不确定性和风险的管理就显得格外重要。在项目开展过程中,除了保证SLA高效合理地完成外,我重点抓了项目的应急响应预案管理,采取各种措施进行预防和监控,防止因各种原因导致系统不稳定和服务质量下降。下面从制定应急响应预案、演练启动与执行、演练结束与评估总结、成果运用与文件备案、考核与奖惩等方面展开论述。
一、制定应急响应预案
天有不测风云,对意外提前进行预防,可以减少损失、避免更多伤害。对信息系统维护而言,对意外和突发事件的提前预防更加重要,系统和数据一旦受损,将严重影响关键及重要业务系统的运作,进而影响客户对服务的满意度。在服务规划设计阶段进行需求识别时,我和团队成员对客户的关键需求,也就是对系统可靠性、可用性、连续性的需求进行了详细认真的识别和定义,对项目执行中可能出现的各种风险进行了评估。例如,我们把SCADA通信链路中断、调控中心大屏显示异常、站场数据上传延迟等高频风险逐项登记在册,并明确了对应的处置要点。比如自然灾害、基础设施故障、核心应用故障、安全事件等引发的重大突发事件,都可能对IT服务的运营产生严重影响,为避免这些事件发生,或在发生后能够及时恢复系统和数据,就需要我们制定风险评估和应急预案编制计划。应急预案主要适用于系统因下述情形导致业务中断、数据丢失的事件,例如自然灾害引起的对IT系统的灾难性破坏,通信线路故障导致系统重大故障,电源电路及机房基础设施故障,系统数据库、存储、中间件故障导致的重大系统性故障,以及计算机病毒传播、网络攻击破坏等引发的重大安全突发事件和应用系统故障等。
在应急预案中,我和团队成员明确了目标,制定了应急演练的原则,要求演练紧密结合应急管理工作实际,根据资源条件确定演练方式和规模。我们成立了相应的应急组织体系并划分了职责,比如指挥小组主要负责启动应急预案、协调行政工作和后勤保障资源,作为与管理层和业务部门沟通的接口,决定其他重大事项,并负责组织预案的维护、演练和管理工作;IT恢复小组则细分为机房保障组、网络恢复组、安全恢复组、系统与存储恢复组、中间件恢复组等,统一由各小组组长指挥调度。同时,我们还对突发事件进行了等级划分,例如系统性故障造成20%至60%的集中基础、核心、关键系统不可用且在24小时内无法恢复,或者60%以上的集中基础、核心、关键系统不可用且在12小时内无法恢复的,定义为特别重大突发事件;此外还划分了重大突发事件、较大突发事件以及其他造成局部业务中断的故障。等级划分之后,便于我们界定故障类型,制定不同的应急预案和处理措施。
二、演练启动与执行
演练正式启动前,各参演小组均按照应急指挥办公室通知的场景进行了集合,我们组织了简短的仪式,由我作为演练总指挥宣布演练开始并正式启动演练活动。在演练的预演过程中,我们开展了电源线路以及机房基础设施故障的演练。接到演练启动指令后,各小组负责人立即各司其职:网络恢复组马上排查原因并迅速接入备用线路,机房保障组准备和恢复机房设备与设施,重点保障电源、空调和门禁等,为其他恢复组的恢复工作创造条件,确保恢复过程中所需通信链路畅通。演练过程紧张有序、有条不紊,这与我们在演练之前提前进行桌面预演的训练是分不开的。演练过程中,我还安排人员对本次预案演练的具体实施做了详细记录,同时用相机拍照和摄像,以便记录和发现整个演练过程中存在的问题,为今后的演练工作积累经验。
三、演练结束与评估总结
按照预先制定的演练方案,演练过程进行顺利,所有内容及程序都按要求逐项实施完成后,我宣布演练结束。对于演练过程中的各个场景,评估小组都做了详细记录和评价,并填写了《电源线路及机房基础设施故障演练方案实施情况评估表》。同时,我们在应急演练结束后召开了简短的评估总结会,由各演练小组组长分别发言,对本次演练中各组做得好的地方和不足进行了评价。针对演练中出现的情况和问题,我作为总指挥做了总结,指出部分参演人员对演练重视程度不够、缺乏责任感,演练虽然进行顺利,但部分人员没有把演练的故障当成真正出现的问题,缺少紧迫感和危机感;另外,部分演练人员业务技能不够熟练,比如线路切换过程中对操作顺序和流程不够熟悉,响应速度没有得到明显提升。这些都是后续演练中需要改进和完善的地方。
四、成果运用、文件备案与奖惩
对各小组提出的问题,我组织人员进行了汇总和分类,并针对各类问题制定了整改措施,包括修改完善应急预案、有针对性地加强应急人员的教育培训,以及更新补充不完善的应急物资储备。为使后续工作顺畅开展,我组织人员建立了改进任务表,要求按规定时间对改进情况进行跟踪和监督检查。完成所有工作后,按照相关规定,我们将演练计划、演练方案、应急预案演练评估报告、应急预案演练总结等资料交由安全生产监督部门备案,并归档保存其中一份作为备查资料。同时,为了鼓励本次演练中表现突出的个人和小组,我们给予了适当的物质奖励;对不按照规定参加演练、影响演练正常开展的小组,严肃提出了批评。通过奖惩并举,各小组对后续演练的重视程度明显提高,演练效果一次比一次扎实。
2023年5月,项目如期交付,在满足运维SLA的前提下,质量、成本、进度等方面都达到了预期。由于我和团队成员共同努力,提前进行风险管理,评估项目的各种运行环境,制定灾难恢复计划及应急响应预案并组织演练,项目的应急管理工作相当到位。项目执行以来,各方面绩效完成良好,运维的各信息系统及设备均运行正常,服务的可靠性、连续性和可用性都得到了良好保障,客户对此给予了高度评价。项目执行过程中虽然也有一些小问题,但经过我不断改进和纠正,最终顺利交付。今后,我将继续努力学习相关知识,未雨绸缪、防患于未然,从根源上提升服务质量,不断提升自己的管理水平。应急管理工作没有终点,只有把每次演练当成实战,才能让预案真正管用、管得住。