第十二篇:工程部署、运行与验证
第52章 系统运行管理与监控
52.1 系统运行管理与监控的总体定位
52.1.1 从系统部署到持续运行
第51章研究了WSaiOS-SI工程项目的部署与安装,建立了环境检测、数据库初始化、管理员创建、配置管理和版本升级等标准化机制,使独立应用系统具备了进入实际运行环境的基础条件。
但是,系统安装完成并不意味着工程管理工作结束。
软件系统进入实际运行阶段后,会持续产生用户请求、业务任务、系统事件、数据变化、接口调用、计算结果和执行记录。与此同时,服务器资源、数据库连接、外部服务、程序组件和运行环境也可能发生变化。
如果系统缺少运行管理机制,就难以回答以下问题:
- 系统当前是否正常运行?
- 哪些功能模块处于正常状态?
- 哪些任务正在执行?
- 哪些任务已经完成、失败或等待处理?
- 哪个程序模块发生了错误?
- 错误发生在什么时间、什么运行条件下?
- 某个业务任务经过了哪些系统和处理步骤?
- 数据库、文件系统和外部接口是否可用?
- 系统资源是否已经达到运行限制?
- 某次异常是否影响了其他系统?
- 系统发生故障后,能否定位原因并恢复运行?
这些问题不是单纯查看服务器是否在线就能够解决的。
WSaiOS-SI工程应用体系具有多个独立应用系统,各系统承担不同的业务职责,通过接口进行数据交换、任务协作、能力调用和结果反馈。因此,运行管理不仅要关注单个系统的运行状态,还要关注任务在多个系统之间的流转状态,以及系统之间的协作是否正常。
本章研究系统运行状态、任务状态、系统日志、错误记录、资源使用和服务可用性管理,建立覆盖单系统运行、跨系统协作和综合应用运行的管理与监控机制。
52.1.2 系统运行管理与系统监控的区别
系统运行管理与系统监控存在密切联系,但二者并不完全相同。
系统运行管理主要负责系统运行过程中的状态管理、任务管理、运行事件管理、异常处理、服务维护和运行记录。
系统监控主要负责持续获取系统运行信息,对运行状态、资源使用、服务可用性和异常变化进行观察、检测和告警。
二者的关系可以概括为:
- 监控负责发现运行状态变化;
- 运行管理负责记录和组织运行事件;
- 异常管理负责处理已经识别的异常;
- 维护管理负责执行必要的修复和恢复;
- 运行验证负责确认系统是否恢复正常。
例如,监控发现数据库连接失败,只能说明数据库连接出现异常,并不能自动说明故障原因。
运行管理需要记录发生时间、受影响模块、相关任务和调用记录;异常处理需要进一步判断是数据库服务停止、网络连接中断、连接数耗尽,还是账户权限发生变化。
因此,系统监控不能替代运行管理,运行日志也不能替代异常分析。
52.1.3 WSaiOS-SI运行管理的基本目标
本章建立的运行管理机制主要实现以下目标:
- 掌握独立应用系统的实际运行状态;
- 掌握任务从创建到完成的全过程状态;
- 记录系统运行事件和重要操作;
- 保存程序错误及其关联信息;
- 监测服务器、数据库和程序资源使用情况;
- 检查内部接口和外部服务的可用性;
- 建立跨系统任务追踪机制;
- 发现运行异常并形成告警;
- 为故障定位、恢复和维护提供依据;
- 形成可持续积累的系统运行历史记录。
这些目标共同构成WSaiOS-SI工程应用体系的运行管理基础。
52.1.4 运行管理的基本原则
第一,状态必须来自真实运行事件。
系统不能仅根据预设时间或程序意图,将任务标记为完成。任务状态必须依据实际执行记录、结果验证和明确的状态转换规则确定。
第二,运行记录必须能够追溯。
重要运行事件应具有唯一标识,并能够关联系统、任务、用户、接口、程序版本和发生时间。
第三,监控状态与业务状态必须区分。
服务器正常不等于业务任务成功,接口能够连接不等于业务处理正确,程序没有报错也不等于业务结果符合要求。
第四,系统状态与任务状态必须分开管理。
系统可以正常运行,同时存在个别任务失败;也可能某个任务执行成功,但系统随后发生故障。
第五,监控和日志不能无限制记录敏感信息。
运行记录应当保留必要的诊断信息,同时保护用户数据、认证凭据和业务隐私。
第六,运行管理必须支持独立系统和综合应用。
各独立系统保留自身运行管理职责,同时通过统一标识、接口和状态交换机制实现综合监控。
52.2 WSaiOS-SI系统运行管理总体架构
52.2.1 运行管理对象
WSaiOS-SI运行管理涉及多个不同层次的对象。
建议划分为以下类别:
| 管理对象 | 管理内容 |
|---|---|
| 系统 | 系统身份、版本、运行状态 |
| 服务 | 服务启动、停止、可用性和响应 |
| 模块 | 程序模块运行情况和异常 |
| 任务 | 任务状态、执行过程和完成结果 |
| 接口 | 请求、响应、超时和错误 |
| 数据库 | 连接、查询、事务和数据访问 |
| 资源 | CPU、内存、磁盘、网络和连接资源 |
| 日志 | 运行事件、操作记录和错误信息 |
| 告警 | 异常发现、等级、处理和恢复 |
| 运行实例 | 一次系统运行或业务执行过程 |
这些对象之间存在关联,但不能混为一体。
例如,系统是长期运行的管理对象,服务是系统对外或对内提供的运行单元,任务是一次具体处理过程,运行实例则是某次任务或服务执行的实际记录。
52.2.2 六层运行管理架构
建议将WSaiOS-SI运行管理划分为六个层次。
第一层:运行信息采集层
负责从程序、数据库、接口、服务器和操作系统中采集运行信息。
采集内容包括状态变化、任务事件、程序错误、资源使用和服务响应。
第二层:运行状态管理层
负责对采集到的信息进行组织,形成系统、服务、模块和任务的运行状态记录。
第三层:日志与事件管理层
负责保存运行日志、操作记录、接口记录、异常记录和重要事件。
第四层:监控与告警层
负责检查运行状态和资源变化,根据明确的监控规则识别异常并产生告警。
第五层:运行分析与维护层
负责分析异常影响范围,关联任务和系统记录,形成维护任务和恢复记录。
第六层:综合运行管理层
负责对多个独立系统进行统一查看,展示系统整体运行情况、跨系统任务状态和服务依赖关系。
该架构属于工程组织建议,实际部署时可以根据系统规模合并部分模块,但不能丢失必要的运行管理职责。
52.2.3 单系统运行管理与综合运行管理
对于独立应用系统,应当由系统自身负责记录本系统的运行状态和任务执行情况。
例如:
- 需求系统管理需求接收和需求处理任务;
- 知识系统管理知识数据处理和知识更新任务;
- 动态语义系统管理语义处理和定义匹配任务;
- 结构系统管理结构形成和结构调整任务;
- 认知决策系统管理认知和决策处理任务;
- 执行系统管理方法执行、任务调度和能力调用任务。
综合运行管理系统负责读取各独立系统提供的运行信息,形成跨系统运行视图。
综合管理系统不能替代独立系统的内部状态管理,也不能擅自修改其他系统的任务状态。
52.2.4 运行管理系统的基本数据流
建议建立如下运行管理数据流:
系统程序运行
|
v
产生运行事件
|
v
运行信息采集
|
v
事件分类与标识
|
+-----------> 运行日志
|
+-----------> 任务状态记录
|
+-----------> 错误记录
|
+-----------> 资源监控数据
|
+-----------> 服务可用性记录
|
v
运行状态管理
|
v
监控规则检查
|
+---- 正常 ----> 持续监控
|
+---- 异常 ----> 告警记录
|
v
异常分析
|
v
维护处理
|
v
恢复验证
|
v
运行记录归档
该数据流说明,系统运行管理不是单纯保存日志,而是将运行事件、状态、异常和维护过程组织成可追踪的工程记录。
52.3 系统运行状态管理
52.3.1 系统运行状态的定义
系统运行状态用于描述一个应用系统在特定时间点的实际运行情况。
系统运行状态不能只用一个简单的在线或离线字段表示。
例如,一个系统可能出现以下情况:
- Web入口可以访问,但数据库连接失败;
- 数据库正常,但部分业务模块不可用;
- 系统主体正常,但外部服务连接中断;
- 系统可以处理新请求,但部分历史任务处于异常状态;
- 系统处于维护模式,主动拒绝普通业务请求。
因此,建议分别管理系统整体状态、服务状态、模块状态和任务状态。
52.3.2 系统状态分类
建议系统整体状态包括:
| 状态 | 含义 |
|---|---|
| initializing | 初始化中 |
| starting | 启动中 |
| running | 正常运行 |
| degraded | 部分功能降级 |
| maintenance | 维护中 |
| stopping | 停止中 |
| stopped | 已停止 |
| unavailable | 当前不可用 |
| failed | 运行失败 |
| unknown | 状态未知 |
这些状态是建议的工程状态编码,实际项目应结合运行机制确定。
特别需要注意,unknown不能被解释为running。
如果监控数据长时间没有更新,系统不能继续无条件显示正常运行。
52.3.3 系统状态与模块状态
系统由多个程序模块组成。
某个模块出现故障,不一定意味着整个系统完全不可用。
例如,系统后台管理页面可以正常访问,但外部信息接收模块发生故障。
此时应分别记录:
- 系统整体状态;
- 外部信息接收模块状态;
- 受影响业务功能;
- 相关任务状态;
- 异常发生时间。
如果关键模块故障已经影响系统核心业务,可以将系统整体状态调整为degraded或unavailable。
状态调整应由明确的依赖关系和状态规则决定,不能简单地将所有模块状态平均计算。
52.3.4 系统状态变化机制
系统状态应根据真实事件变化。
例如:
stopped
|
v
starting
|
v
running
|
+------> degraded
| |
| v
| running
|
+------> maintenance
| |
| v
| starting
|
+------> stopping
|
v
stopped
该状态图为工程示意,具体转换条件应由项目定义。
例如,系统启动过程中数据库连接失败,应当记录启动失败原因,而不能将系统状态直接设为running。
52.3.5 系统运行状态记录
建议建立system_runtime_status表。
主要字段:
| 字段 | 含义 |
|---|---|
| id | 记录ID |
| system_id | 系统标识 |
| runtime_instance_id | 运行实例 |
| runtime_status | 当前状态 |
| status_reason | 状态原因 |
| application_version | 程序版本 |
| database_version | 数据库版本 |
| last_heartbeat_at | 最近心跳时间 |
| status_started_at | 状态开始时间 |
| updated_at | 更新时间 |
另建议建立system_status_history表,记录每次状态变化。
历史记录不能只保留当前状态,否则系统无法追溯过去发生的运行故障。
52.3.6 系统心跳与状态识别
对于需要持续运行的系统,可以建立心跳机制。
心跳用于证明某个运行实例在指定时间内仍然能够执行必要的状态上报。
心跳记录可以包含:
- system_id;
- instance_id;
- heartbeat_time;
- application_version;
- basic_health_status;
- sequence_number。
心跳间隔和失联判定时间应根据系统业务特征配置。
需要强调,心跳正常只能说明心跳上报机制正常,不能证明系统所有业务功能均正常。
因此,心跳检查应与数据库连接检查、接口检查和关键业务探测配合使用。
52.4 任务状态管理与执行追踪
52.4.1 任务状态管理的必要性
WSaiOS-SI工程体系中的多个系统会持续产生任务。
例如:
- 需求识别任务;
- 知识整理任务;
- 语义匹配任务;
- 结构生成任务;
- 结构计算任务;
- 认知处理任务;
- 决策处理任务;
- 方法形成任务;
- 能力调用任务;
- 执行控制任务;
- 反馈分析任务;
- 系统维护任务。
这些任务具有不同的输入、处理方式、执行条件和完成标准。
如果系统只记录任务是否存在,而不记录任务运行状态,就无法管理任务的实际执行过程。
52.4.2 任务状态分类
建议将任务状态定义为:
| 状态 | 含义 |
|---|---|
| created | 已创建 |
| pending | 等待处理 |
| ready | 满足执行条件 |
| scheduled | 已调度 |
| running | 正在执行 |
| waiting | 等待外部条件或结果 |
| suspended | 已暂停 |
| blocked | 被阻塞 |
| completed | 执行完成 |
| failed | 执行失败 |
| cancelled | 已取消 |
| timeout | 执行超时 |
| unknown | 状态未知 |
这些状态不能随意互换。
例如:
- ready表示满足执行条件,不代表已经开始执行;
- running表示执行已经开始,不代表最终成功;
- completed表示任务达到其定义的完成条件,不代表整个业务目标必然达成;
- failed表示任务执行失败,不代表系统整体发生故障;
- timeout表示超出规定时间未获得有效完成结果,不一定意味着底层操作从未执行。
52.4.3 任务状态转换
建议建立任务状态转换规则。
例如:
created
|
v
pending
|
v
ready
|
v
scheduled
|
v
running
|
+------> completed
|
+------> failed
|
+------> waiting
| |
| v
| running
|
+------> suspended
| |
| v
| running
|
+------> blocked
|
v
ready
实际系统还应定义取消、超时、恢复和人工介入等状态转换条件。
状态转换必须由真实执行事件、授权操作或经过确认的处理结果触发。
不能因为任务已经超过预计执行时间,就直接认定它已经失败。
52.4.4 任务状态与执行结果的区别
任务状态描述任务当前处于什么阶段。
执行结果描述任务实际产生了什么结果。
两者必须分开保存。
例如:
一个产品信息核验任务成功调用了五项检查能力,但检查结果发现产品适用范围信息缺失。
此时可以记录:
- 任务状态:completed;
- 能力调用状态:succeeded;
- 业务检查结果:incomplete;
- 需要补充的信息:适用范围;
- 后续处理状态:pending_confirmation。
这说明任务可以正常完成,但业务结果仍然不完整。
如果将任务状态与业务结论混为一体,就会产生错误的运行判断。
52.4.5 任务执行实例
同一个任务定义可能被多次执行。
例如,某个数据核验任务每天执行一次,每次都应形成独立运行实例。
建议建立execution_instances表。
主要字段:
- execution_instance_id;
- task_id;
- task_version;
- system_id;
- execution_status;
- start_time;
- end_time;
- execution_duration;
- execution_result_id;
- trace_id;
- error_id。
任务定义和执行实例必须分开管理。
任务定义说明应该如何处理,执行实例记录某一次实际处理过程。
52.4.6 任务执行过程追踪
对于跨多个系统的任务,应当建立统一追踪标识。
例如,一个综合应用任务可能经过:
需求系统→知识系统→动态语义系统→结构系统→认知决策系统→执行系统→反馈系统。
每个系统在处理时保留统一的trace_id,并生成自身的运行事件和任务记录。
这样可以从综合应用入口追踪到每一个独立系统中的具体处理步骤。
建议追踪字段包括:
- trace_id;
- parent_trace_id;
- task_id;
- execution_instance_id;
- source_system;
- target_system;
- operation_id;
- event_id;
- request_id;
- correlation_id;
- created_at。
需要区分:
- trace_id:标识一次完整的跨系统处理链;
- task_id:标识一个逻辑任务;
- execution_instance_id:标识一次实际执行;
- request_id:标识一次接口请求;
- event_id:标识一条运行事件。
这些标识具有不同用途,不能简单地用一个ID代替所有记录。
52.5 系统日志管理机制
52.5.1 日志管理的工程定位
系统日志是运行管理的重要数据来源。
日志用于记录系统运行过程中发生的事件、操作和异常,为状态追踪、故障分析、业务审计和维护提供依据。
但日志不是系统全部业务数据的替代品。
例如,系统可以在日志中记录某次知识更新操作已经提交,但正式知识内容、知识版本和知识来源仍应由知识管理系统的数据结构保存。
因此,日志管理必须明确记录范围和系统职责。
52.5.2 日志分类
建议将系统日志分为以下类别:
**运行日志:**记录系统启动、停止、模块加载、服务调用和重要运行事件。
**操作日志:**记录用户登录、数据修改、配置变更、权限调整和管理操作。
**任务日志:**记录任务创建、调度、执行、等待、完成和失败等事件。
**接口日志:**记录接口请求、响应状态、调用时间和关联标识。
**错误日志:**记录程序异常、数据库错误、接口异常和运行故障。
**安全日志:**记录认证失败、越权访问、异常登录和安全相关事件。
**安装升级日志:**记录系统安装、数据库迁移、程序升级和恢复过程。
不同日志类型可以使用独立的数据表,也可以采用统一日志存储结构加类型字段的方式实现。
52.5.3 统一日志结构
建议建立统一日志记录结构。
主要字段包括:
| 字段 | 含义 |
|---|---|
| log_id | 日志唯一标识 |
| log_type | 日志类型 |
| log_level | 日志等级 |
| system_id | 系统标识 |
| module_id | 模块标识 |
| runtime_instance_id | 运行实例 |
| trace_id | 全流程追踪标识 |
| task_id | 关联任务 |
| user_id | 操作用户 |
| event_code | 事件编码 |
| message | 日志说明 |
| context_data | 关联上下文 |
| created_at | 发生时间 |
context_data可以保存必要的结构化上下文,但必须进行字段过滤和敏感信息脱敏。
52.5.4 日志等级管理
建议日志等级包括:
| 等级 | 含义 | 典型用途 |
|---|---|---|
| DEBUG | 调试信息 | 开发和问题定位 |
| INFO | 一般信息 | 正常运行事件 |
| NOTICE | 重要提示 | 需要关注但不构成错误的事件 |
| WARNING | 警告 | 潜在异常或非预期情况 |
| ERROR | 错误 | 某项处理未能正常完成 |
| CRITICAL | 严重错误 | 关键功能受到影响 |
| ALERT | 紧急告警 | 需要立即处理的严重事件 |
日志等级应当统一定义。
不同模块不能随意改变相同等级的含义。
52.5.5 结构化日志
建议采用结构化日志,而不是只记录无法解析的自然语言文本。
例如:
{
"log_id": "LOG-20261109-0001",
"log_type": "task",
"log_level": "ERROR",
"system_id": "execution_system",
"module_id": "ability_call",
"task_id": "TASK-001",
"trace_id": "TRACE-001",
"event_code": "ABILITY_CALL_TIMEOUT",
"message": "能力调用超过规定等待时间",
"created_at": "2026-11-09T10:30:00+08:00"
}
以上为结构化日志示例,不代表实际系统运行记录。
结构化日志有利于按系统、模块、任务、时间、事件编码和错误等级进行查询。
52.5.6 日志记录时机
日志应当在重要运行事件发生时生成。
例如:
- 系统启动;
- 系统停止;
- 用户登录;
- 用户权限变化;
- 任务创建;
- 任务开始;
- 接口调用;
- 能力调用;
- 数据库迁移;
- 配置修改;
- 任务完成;
- 任务失败;
- 系统异常;
- 系统恢复。
不应仅依靠程序最终输出结果生成一条总日志。
对于需要追踪的业务过程,应记录必要的阶段性事件。
52.5.7 日志存储与保留
日志存储应考虑:
- 日志增长速度;
- 存储容量;
- 查询性能;
- 保留期限;
- 归档方式;
- 删除权限;
- 敏感信息;
- 备份要求。
建议将当前运行日志、历史归档日志和重要审计记录区分管理。
日志保留期限应依据业务、法律法规、安全要求和系统容量确定,不能简单规定所有系统统一保留相同时间。
重要审计记录不应被普通日志清理任务误删。
52.5.8 日志与自定义运行记录机制
在WSaiOS-SI工程实现中,可以建立独立的SystemLogger组件,统一管理日志格式、等级、写入方式和异常处理。
SystemLogger可以支持:
- 数据库日志;
- 文件日志;
- 结构化日志;
- 错误日志;
- 操作审计;
- 日志查询接口。
日志组件本身也需要错误处理。
例如,日志数据库暂时不可用时,应当有受控的备用记录机制,避免日志写入失败进一步造成业务程序完全停止。
52.6 错误记录与异常管理
52.6.1 错误记录的工程定位
系统运行过程中可能发生程序错误、数据库异常、接口故障、资源不足和业务处理异常。
这些情况不能全部简单归类为同一种错误。
错误记录负责保存异常发生的事实和必要上下文,异常管理则进一步负责判断影响、确定处理方式和跟踪恢复情况。
因此,应当区分:
- 错误事件;
- 业务异常;
- 系统故障;
- 外部服务故障;
- 运行告警;
- 人工处理事件。
52.6.2 错误分类
建议按来源进行分类:
| 类型 | 主要内容 |
|---|---|
| 程序错误 | 程序执行异常、未处理异常 |
| 数据库错误 | 连接失败、查询失败、事务异常 |
| 接口错误 | 请求失败、响应格式错误、认证失败 |
| 资源错误 | 内存不足、磁盘空间不足 |
| 权限错误 | 未授权访问、操作权限不足 |
| 数据错误 | 数据格式不正确、必要数据缺失 |
| 任务错误 | 任务条件不满足、任务执行失败 |
| 依赖错误 | 第三方组件或外部服务不可用 |
| 配置错误 | 必要参数缺失或配置不正确 |
错误来源和业务影响需要分别记录。
例如,数据库连接失败可能导致多个业务任务失败,但这些任务失败不一定都属于独立的数据库故障。
52.6.3 错误记录内容
建议建立system_errors表。
主要字段:
- error_id;
- error_code;
- error_type;
- error_level;
- system_id;
- module_id;
- runtime_instance_id;
- task_id;
- trace_id;
- request_id;
- error_message;
- error_context;
- occurred_at;
- detected_at;
- error_status;
- resolved_at。
错误信息应当能够关联对应的运行日志和任务记录。
52.6.4 错误状态管理
建议错误状态包括:
- detected;
- recorded;
- investigating;
- confirmed;
- handling;
- resolved;
- verified;
- closed;
- reopened。
其中:
- resolved表示已执行处理;
- verified表示已经验证处理结果;
- closed表示已经完成关闭条件。
错误处理完成不代表问题已经验证解决。
如果同一问题再次发生,应当能够重新打开记录,保留之前的处理历史。
52.6.5 错误影响范围分析
错误发生后,应当检查其影响范围。
主要包括:
- 影响哪个系统;
- 影响哪个模块;
- 影响哪些任务;
- 是否影响数据库操作;
- 是否影响接口调用;
- 是否影响其他独立系统;
- 是否造成数据不一致;
- 是否需要暂停相关任务;
- 是否需要恢复历史数据。
影响分析应当以实际依赖关系和运行记录为依据。
不能因为两个任务在相近时间失败,就直接认定二者具有因果关系。
52.6.6 异常恢复与重复处理
对于可以安全重试的任务,可以通过重试机制恢复运行。
但必须考虑:
- 操作是否具有副作用;
- 是否可能产生重复数据;
- 是否支持幂等处理;
- 原操作是否实际完成;
- 是否需要人工确认;
- 是否需要回滚。
例如,某个接口调用超时,并不意味着远端服务没有执行成功。
如果系统在不检查远端执行状态的情况下立即重复提交,可能造成重复订单、重复扣款或重复业务记录。
因此,重试策略必须根据具体业务操作确定。
52.6.7 错误记录与反馈系统的关系
系统运行管理负责记录错误事件和实际运行状态。
反馈系统负责将执行结果与预期结果进行比较,识别问题并分析修正方向。
例如:
- 运行管理记录某次能力调用超时;
- 执行系统记录任务状态和调用状态;
- 反馈系统根据预期执行结果和实际结果分析是否存在问题;
- 相关责任系统根据确认的问题执行修正;
- 运行管理记录修正后的实际运行情况。
运行管理不能代替反馈系统完成问题分析,也不能未经确认直接修改结构、规则和能力。
52.7 系统资源使用监控
52.7.1 资源监控的工程定位
系统运行不仅取决于程序逻辑,也受到服务器资源和基础设施条件的限制。
当系统运行任务增加、数据规模扩大或接口调用频率提高时,CPU、内存、磁盘、网络和数据库连接等资源可能成为系统运行瓶颈。
因此,需要持续掌握资源使用情况。
52.7.2 CPU使用监控
CPU监控主要关注:
- CPU使用率;
- 系统负载;
- 进程使用情况;
- 高负载持续时间;
- 任务执行期间的资源变化。
CPU使用率短时间升高不一定代表系统故障。
例如,大批量数据处理可能在短时间内占用较高CPU,但如果执行时间和业务要求允许,就不一定需要产生严重告警。
监控规则应考虑持续时间、业务负载和系统资源配置。
52.7.3 内存使用监控
内存监控主要包括:
- 已使用内存;
- 可用内存;
- 进程内存;
- PHP内存限制;
- 内存使用增长趋势;
- 异常内存占用。
对于长期运行的任务,应关注内存是否持续增长。
如果某个程序不断累积数据而没有释放资源,可能导致运行实例最终无法继续处理请求。
52.7.4 磁盘使用监控
磁盘监控主要包括:
- 总容量;
- 已使用容量;
- 可用空间;
- 日志目录占用;
- 文件上传目录占用;
- 数据库文件占用;
- 临时文件占用;
- 备份文件占用。
磁盘空间不足可能导致数据库无法写入、日志无法保存、文件上传失败和系统升级中断。
因此,磁盘容量告警应当具有足够的提前量。
52.7.5 网络资源监控
网络监控可以包括:
- 网络连接状态;
- 网络吞吐量;
- 请求响应时间;
- 连接失败次数;
- 丢包情况;
- 外部服务访问情况;
- 网络异常持续时间。
对于跨系统协作,网络状态直接影响接口调用和任务执行。
但网络连接正常并不代表业务接口一定可用,必须进一步检查接口响应和业务返回结果。
52.7.6 数据库资源监控
数据库监控建议覆盖:
- 数据库连接状态;
- 活跃连接数量;
- 连接等待情况;
- 查询执行时间;
- 慢查询;
- 锁等待;
- 死锁;
- 事务执行;
- 数据库容量;
- 索引和存储状态。
数据库资源监控应当根据数据库类型和实际权限采用相应方法。
不能为了监控而无限制执行高开销查询,反而增加数据库负载。
52.7.7 应用程序资源监控
应用程序层还应关注:
- PHP请求处理时间;
- 内存使用;
- 请求数量;
- 错误数量;
- 并发请求;
- 队列长度;
- 任务处理数量;
- 接口调用次数;
- 缓存命中情况。
对于使用队列或异步任务机制的系统,还应监控等待任务数量和任务处理速度。
52.7.8 资源监控指标与告警阈值
建议建立统一监控指标定义。
每项指标应记录:
- 指标名称;
- 指标单位;
- 采集来源;
- 采集时间;
- 当前值;
- 预警阈值;
- 严重阈值;
- 持续时间;
- 适用系统;
- 处理策略。
阈值应根据服务器配置、业务特征和历史运行数据确定。
不能将某个固定CPU或内存百分比直接作为所有WSaiOS-SI系统的统一故障标准。
52.7.9 资源使用趋势分析
除了查看当前资源使用情况,还应保存历史指标。
例如:
- 每小时CPU使用变化;
- 每日内存使用变化;
- 每周磁盘容量增长;
- 数据库连接数量变化;
- 任务处理时间变化;
- 接口响应时间变化。
趋势数据有助于发现长期容量问题。
例如,当前磁盘仍有充足空间,但如果数据和日志持续快速增长,就需要提前安排容量扩展或归档策略。
52.8 服务可用性与接口监控
52.8.1 服务可用性的定义
服务可用性用于描述某项服务在规定条件下是否能够正常提供约定功能。
对于WSaiOS-SI,服务可能包括:
- 用户访问服务;
- 管理后台服务;
- 数据库服务;
- 需求处理接口;
- 知识查询接口;
- 动态语义处理接口;
- 结构计算接口;
- 认知决策接口;
- 能力调用接口;
- 执行控制接口;
- 反馈管理接口。
不同服务的可用性不能只依靠一个统一的网站首页访问测试。
52.8.2 服务状态分类
建议服务状态包括:
| 状态 | 含义 |
|---|---|
| available | 可用 |
| degraded | 部分可用或性能降级 |
| unavailable | 不可用 |
| maintenance | 维护中 |
| unknown | 状态未知 |
对于每项服务,应明确其可用性检查方法和判断条件。
52.8.3 服务可用性检查
建议采用多层检查。
第一层:网络连通性检查。
判断目标主机或服务地址是否能够建立必要连接。
第二层:服务入口检查。
判断Web入口、接口入口或服务进程是否能够响应。
第三层:依赖检查。
检查数据库、缓存、文件存储和必要外部服务。
第四层:业务功能检查。
通过受控的测试请求验证关键业务接口是否能够完成预期处理。
例如,数据库连接正常并不意味着知识查询功能一定正常,还需要检查查询接口是否能够返回符合接口定义的结果。
52.8.4 接口运行监控
接口监控建议记录:
- request_id;
- trace_id;
- source_system;
- target_system;
- interface_name;
- interface_version;
- request_time;
- response_time;
- response_status;
- error_code;
- retry_count。
接口监控不应将完整敏感请求内容无条件保存。
可以根据诊断需要保存经过筛选的请求摘要和响应摘要。
52.8.5 接口可用性与业务正确性
接口可用性和业务正确性必须区分。
例如,某个结构计算接口正常返回HTTP成功状态,但返回的数据缺少必要字段。
此时可以记录:
- 网络连接:正常;
- HTTP响应:成功;
- 接口格式校验:失败;
- 业务处理结果:无效;
- 服务整体状态:根据服务健康规则判断。
不能将HTTP 200直接解释为业务处理成功。
52.8.6 外部服务依赖管理
WSaiOS-SI工程系统可以根据具体业务连接外部数据库、搜索服务、通信服务和其他业务系统。
对于这些外部依赖,应当建立独立的服务注册和健康检查机制。
需要记录:
- 服务名称;
- 服务地址;
- 服务类型;
- 提供方;
- 接口版本;
- 认证方式;
- 依赖系统;
- 最近检查时间;
- 当前状态;
- 最近错误;
- 替代方案。
外部服务不可用时,系统应根据业务要求决定暂停、降级、等待或切换。
不能在没有明确业务规则的情况下自动将一个外部数据源替换为另一个数据源,并将结果视为完全等价。
52.9 监控告警与运行事件管理
52.9.1 告警机制的定位
监控系统发现异常后,需要形成可处理的告警。
告警不是普通日志。
日志记录已经发生的事件,告警则表示某种运行条件已经达到需要关注或处理的程度。
例如:
- CPU短时间升高可以记录为监控事件;
- CPU持续高负载并影响任务处理时,可以形成资源告警;
- 数据库连接失败可以形成服务告警;
- 关键业务任务连续失败可以形成任务告警。
52.9.2 告警等级
建议将告警分为:
| 等级 | 含义 | 处理要求 |
|---|---|---|
| P1 | 严重故障 | 立即处理 |
| P2 | 重要故障 | 优先处理 |
| P3 | 一般异常 | 按维护计划处理 |
| P4 | 提示信息 | 持续观察 |
告警等级需要根据实际影响范围、业务重要性、持续时间和恢复难度确定。
告警等级不应仅依据某个单一监控指标决定。
52.9.3 告警生成条件
告警规则应明确:
- 监控对象;
- 检查指标;
- 判断条件;
- 触发阈值;
- 持续时间;
- 告警等级;
- 通知对象;
- 重复告警规则;
- 自动恢复条件;
- 关闭条件。
例如,数据库连接失败可以设置连续检查失败次数和持续时间,避免一次短暂网络波动就产生大量重复告警。
52.9.4 告警生命周期
建议告警状态包括:
- triggered;
- acknowledged;
- investigating;
- handling;
- recovered;
- verified;
- closed;
- reopened。
告警恢复后仍需要保留历史记录。
不能因为服务已经恢复,就删除故障发生和处理过程。
52.9.5 告警通知方式
根据系统实际情况,可以采用:
- 后台管理界面;
- 邮件;
- 短信;
- 即时通信;
- 站内通知;
- 外部运维系统接口。
通知方式属于可替换的工程支撑。
通知发送失败时,应记录失败情况,并根据重要程度采用其他通知方式或人工处理。
52.9.6 告警去重与关联
同一个底层故障可能产生多条相关告警。
例如,数据库服务停止后,需求系统、知识系统和结构系统可能同时报告数据库连接失败。
如果不建立告警关联机制,就会产生大量重复告警。
建议根据以下信息进行关联:
- 故障来源;
- 受影响服务;
- 共同依赖;
- 发生时间;
- trace_id;
- 运行实例;
- 错误编码。
但告警关联只表示存在可能的共同影响关系,不应自动认定根本原因。
52.9.7 告警处理记录
每条重要告警应保存:
- 告警编号;
- 触发时间;
- 告警对象;
- 告警条件;
- 告警等级;
- 影响范围;
- 处理人员;
- 处理措施;
- 恢复时间;
- 验证结果;
- 关闭时间。
这样可以形成完整的故障处理历史。
52.10 跨系统运行监控与综合管理
52.10.1 多系统运行管理的必要性
WSaiOS-SI不是单一业务程序,而是由多个具有独立职责的应用系统组成。
这些系统可以独立部署、独立升级和独立运行,同时通过接口协作完成复杂任务。
因此,运行管理必须同时具备两个能力:
一是能够管理每个独立系统内部的运行情况;
二是能够从综合应用角度观察多个系统之间的协作状态。
52.10.2 独立系统运行信息注册
建议综合运行管理系统建立系统注册信息。
每个独立系统提供:
- system_id;
- system_name;
- system_version;
- system_endpoint;
- interface_version;
- health_check_endpoint;
- authentication_config;
- registration_status;
- last_reported_at。
系统注册信息应当由授权主体维护。
不能通过任意扫描服务器或推测接口地址的方式自动认定一个系统已经加入综合应用体系。
52.10.3 跨系统任务追踪
例如,一个综合应用任务需要经过以下系统:
需求系统
|
v
知识系统
|
v
动态语义系统
|
v
结构系统
|
v
认知决策系统
|
v
执行系统
|
v
反馈系统
各系统在接收和处理任务时,应当保留共同的trace_id。
每个系统还应保存自己的:
- 本地任务标识;
- 处理实例标识;
- 输入记录;
- 输出记录;
- 开始和结束时间;
- 处理状态;
- 错误信息。
综合运行管理系统通过关联记录形成完整处理链。
52.10.4 跨系统状态同步
系统之间的状态同步需要通过正式接口完成。
建议采用事件通知或状态查询机制。
例如:
- 需求系统报告需求确认完成;
- 知识系统报告知识关联任务完成;
- 动态语义系统报告语义处理结果;
- 结构系统报告结构形成状态;
- 认知决策系统报告决策处理结果;
- 执行系统报告任务执行结果;
- 反馈系统报告反馈处理状态。
状态同步应当包含来源系统、状态版本和发生时间。
对于重复通知,应具有幂等处理机制。
对于延迟通知,应保留实际事件时间和接收时间。
52.10.5 跨系统故障定位
某个综合任务失败时,需要判断:
- 故障发生在哪个系统;
- 哪个接口产生异常;
- 哪个任务受到影响;
- 上游是否已经成功完成;
- 下游是否已经接收请求;
- 是否存在重复调用;
- 是否产生部分业务结果;
- 是否需要重新执行。
综合运行管理系统可以根据trace_id组织上述记录,但具体业务任务的执行状态仍由相应责任系统管理。
52.10.6 综合运行管理仪表板
建议建立综合运行管理界面,展示:
**系统总览:**各独立系统当前状态、版本和最近心跳。
**任务总览:**任务数量、运行任务、等待任务、失败任务和完成任务。
**服务总览:**内部接口、数据库服务和外部依赖状态。
**资源总览:**CPU、内存、磁盘、网络和数据库资源。
**告警总览:**未处理告警、严重告警、恢复告警和历史告警。
**运行追踪:**按照trace_id查看跨系统处理链。
**维护管理:**查看异常处理、恢复任务和维护记录。
综合界面提供统一观察入口,但不改变各独立系统的管理边界。
52.11 运行管理数据库与数据模型设计
52.11.1 数据模型设计原则
运行管理数据库应当能够记录当前状态,也能够保留历史变化。
不能只建立一张system_status表,然后通过覆盖状态字段的方式完成全部运行管理。
因为这种方式无法还原系统状态变化、任务执行过程和异常发生历史。
建议采用当前状态表、历史记录表、事件表和关联表相结合的方式。
52.11.2 系统运行管理数据表
建议建立以下数据表。
系统与服务管理:
- monitored_systems:系统注册信息;
- system_runtime_instances:系统运行实例;
- system_runtime_status:系统当前状态;
- system_status_history:系统状态历史;
- system_services:服务注册信息;
- service_status_history:服务状态历史;
- system_heartbeats:系统心跳记录。
任务管理:
- runtime_tasks:运行任务;
- runtime_task_instances:任务执行实例;
- runtime_task_status_history:任务状态历史;
- runtime_task_events:任务运行事件;
- runtime_task_dependencies:任务依赖;
- runtime_execution_traces:执行追踪记录。
日志管理:
- system_logs:统一运行日志;
- operation_logs:操作日志;
- interface_logs:接口日志;
- security_logs:安全日志;
- installation_upgrade_logs:安装升级日志。
错误管理:
- system_errors:错误记录;
- error_relations:错误关联;
- error_handling_records:错误处理记录;
- error_status_history:错误状态历史。
资源监控:
- resource_metrics:资源指标;
- resource_metric_definitions:指标定义;
- resource_thresholds:监控阈值;
- resource_metric_history:资源指标历史。
服务监控:
- service_health_checks:服务健康检查;
- service_availability_records:服务可用性记录;
- interface_health_checks:接口检查记录;
- external_service_status:外部服务状态。
告警管理:
- monitoring_alerts:告警记录;
- alert_rules:告警规则;
- alert_events:告警事件;
- alert_relations:告警关联;
- alert_handling_records:告警处理记录。
上述表名为建议工程模型,不是WSaiOS-SI理论规定。实际开发应根据系统规模、数据库类型和已有项目结构进行调整。
52.11.3 关键数据关联
运行管理系统需要建立以下关联:
系统
|
+----> 运行实例
| |
| +----> 运行状态
| |
| +----> 运行日志
|
+----> 服务
| |
| +----> 健康检查
| |
| +----> 可用性记录
|
+----> 任务
| |
| +----> 执行实例
| |
| +----> 状态历史
| |
| +----> 执行追踪
|
+----> 错误
|
+----> 资源指标
|
+----> 告警
通过这些关联,可以从一个错误追溯到相关系统、运行实例和任务,也可以从一个任务追溯到其执行期间发生的错误和资源变化。
52.11.4 数据保存与查询性能
运行日志和监控指标通常具有较高增长速度。
因此,数据库设计应当考虑:
- 时间字段索引;
- 系统标识索引;
- 任务标识索引;
- trace_id索引;
- 错误等级索引;
- 归档策略;
- 历史数据分区;
- 查询时间范围限制;
- 高频数据清理和保留。
不应当让综合运行管理页面每次加载全部历史日志。
建议将当前状态和历史数据分开查询,避免大量历史记录影响实时管理性能。
52.12 运行管理程序模块与接口设计
52.12.1 程序模块划分
建议采用面向对象方式组织运行管理程序。
主要模块包括:
| 模块 | 主要职责 |
|---|---|
| RuntimeMonitorService | 运行状态监控 |
| SystemStatusService | 系统状态管理 |
| TaskRuntimeService | 任务运行状态管理 |
| ExecutionTraceService | 执行过程追踪 |
| SystemLogger | 统一日志记录 |
| ErrorManagementService | 错误记录与管理 |
| ResourceMonitorService | 资源采集与分析 |
| ServiceHealthService | 服务健康检查 |
| InterfaceMonitorService | 接口运行监控 |
| AlertManagementService | 告警管理 |
| RuntimeAnalysisService | 运行数据分析 |
| RuntimeArchiveService | 历史记录归档 |
| RuntimeDashboardService | 综合运行管理数据组织 |
这些模块应当具有明确的功能边界。
例如,RuntimeMonitorService负责获取运行状态,AlertManagementService负责依据规则产生告警,ErrorManagementService负责管理错误记录。
52.12.2 程序目录建议
对于采用PHP OOP和Smarty的项目,可以参考以下目录:
app/
Controllers/
RuntimeController.php
SystemStatusController.php
TaskRuntimeController.php
LogController.php
ErrorController.php
ResourceController.php
AlertController.php
Services/
RuntimeMonitorService.php
SystemStatusService.php
TaskRuntimeService.php
ExecutionTraceService.php
ErrorManagementService.php
ResourceMonitorService.php
ServiceHealthService.php
InterfaceMonitorService.php
AlertManagementService.php
RuntimeArchiveService.php
Repositories/
SystemRuntimeRepository.php
TaskRuntimeRepository.php
LogRepository.php
ErrorRepository.php
ResourceMetricRepository.php
ServiceHealthRepository.php
AlertRepository.php
Helpers/
SystemLogger.php
TraceContext.php
RuntimeFormatter.php
templates/
admin/
runtime/
systems/
tasks/
logs/
errors/
resources/
alerts/
以上为建议目录结构。
实际项目开发时,必须先检查现有项目目录和程序职责,不能直接按照示例覆盖已有结构。
52.12.3 运行状态接口
建议提供以下接口:
GET /api/runtime/systems
GET /api/runtime/systems/{system_id}
GET /api/runtime/systems/{system_id}/status
GET /api/runtime/systems/{system_id}/history
POST /api/runtime/systems/{system_id}/heartbeat
这些接口用于系统注册信息查询、运行状态查询、状态历史和心跳上报。
心跳接口应当验证调用方身份,不能允许未授权客户端伪造系统在线状态。
52.12.4 任务运行接口
建议提供:
GET /api/runtime/tasks
GET /api/runtime/tasks/{task_id}
GET /api/runtime/tasks/{task_id}/status
GET /api/runtime/tasks/{task_id}/history
GET /api/runtime/tasks/{task_id}/trace
POST /api/runtime/tasks/{task_id}/events
接口应根据任务所属系统和调用权限返回必要信息。
综合运行管理系统可以读取任务状态,但不能绕过任务所属系统的权限控制修改任务实际执行结果。
52.12.5 日志和错误接口
建议提供:
POST /api/runtime/logs
GET /api/runtime/logs
GET /api/runtime/logs/{log_id}
POST /api/runtime/errors
GET /api/runtime/errors
GET /api/runtime/errors/{error_id}
POST /api/runtime/errors/{error_id}/handling
POST /api/runtime/errors/{error_id}/verify
日志写入接口应限制请求频率和数据规模,防止恶意请求造成日志存储资源耗尽。
52.12.6 资源与告警接口
建议提供:
POST /api/runtime/metrics
GET /api/runtime/metrics
GET /api/runtime/metrics/history
GET /api/runtime/health
GET /api/runtime/health/services
GET /api/runtime/alerts
GET /api/runtime/alerts/{alert_id}
POST /api/runtime/alerts/{alert_id}/acknowledge
POST /api/runtime/alerts/{alert_id}/handling
POST /api/runtime/alerts/{alert_id}/close
接口具体路径和请求格式应根据项目接口规范统一定义。
52.13 运行管理后台界面设计
52.13.1 综合运行管理首页
建议建立统一运行管理首页。
主要展示:
- 当前注册系统数量;
- 正常运行系统数量;
- 降级系统数量;
- 不可用系统数量;
- 正在运行任务;
- 等待任务;
- 失败任务;
- 未处理告警;
- 数据库状态;
- 服务可用性;
- 资源使用情况。
首页显示的是经过采集和核验的运行数据。
对于未上报或无法检查的系统,应显示状态未知,不能默认显示正常。
52.13.2 系统状态管理页面
系统列表应展示:
- 系统名称;
- 系统编号;
- 系统版本;
- 当前运行状态;
- 最近心跳时间;
- 关键服务状态;
- 最近异常;
- 最近更新时间。
点击某个系统后,可以查看运行状态历史、模块状态、服务依赖和错误记录。
52.13.3 任务运行管理页面
任务管理页面应展示:
- 任务编号;
- 任务名称;
- 所属系统;
- 执行实例;
- 当前状态;
- 开始时间;
- 执行时间;
- 任务结果;
- 错误信息;
- trace_id。
管理人员可以按照任务状态、系统、时间范围和任务编号进行查询。
52.13.4 日志管理页面
日志管理页面支持:
- 按时间查询;
- 按系统查询;
- 按模块查询;
- 按日志等级查询;
- 按任务查询;
- 按trace_id查询;
- 按事件编码查询;
- 查看关联错误。
日志内容应当根据用户权限进行脱敏和限制展示。
52.13.5 错误管理页面
错误管理页面展示:
- 错误编号;
- 错误类型;
- 严重程度;
- 所属系统;
- 所属模块;
- 关联任务;
- 发生时间;
- 当前处理状态;
- 处理人员;
- 恢复验证结果。
52.13.6 资源监控页面
资源监控页面可以展示:
- CPU使用趋势;
- 内存使用趋势;
- 磁盘使用趋势;
- 网络使用情况;
- 数据库连接数量;
- 查询耗时;
- PHP运行请求情况;
- 任务队列变化。
52.13.7 告警管理页面
告警管理页面应展示:
- 告警编号;
- 告警对象;
- 告警等级;
- 触发时间;
- 持续时间;
- 影响范围;
- 当前处理状态;
- 最近处理记录。
管理人员可以确认告警、填写处理记录、执行恢复验证和关闭告警。
52.14 工程应用案例:跨系统产品信息处理任务的运行监控
52.14.1 案例背景
为了说明运行管理机制,建立一个跨系统产品信息处理的工程示例。
用户提交一项产品信息核验需求,综合应用系统依次调用需求系统、知识系统、动态语义系统、结构系统、认知决策系统和执行系统,最终形成处理结果,并将执行情况交给反馈系统管理。
以下系统编号、任务编号和运行状态均为演示数据,不代表已经部署或实际运行的WSaiOS-SI系统。
52.14.2 任务创建与运行
假设综合应用系统创建任务:
task_id: TASK-2026-001
trace_id: TRACE-2026-001
task_name: 产品信息核验
任务依次进入不同系统。
| 顺序 | 系统 | 处理内容 | 运行结果 |
|---|---|---|---|
| 1 | 需求系统 | 接收和确认需求 | 完成 |
| 2 | 知识系统 | 查询相关知识 | 完成 |
| 3 | 动态语义系统 | 识别产品属性和定义 | 完成 |
| 4 | 结构系统 | 形成产品信息结构 | 完成 |
| 5 | 认知决策系统 | 组织核验条件并形成处理决定 | 完成 |
| 6 | 执行系统 | 调用产品信息核验能力 | 完成 |
| 7 | 反馈系统 | 记录结果和后续问题 | 完成 |
52.14.3 运行状态记录
综合运行管理系统记录:
TASK-2026-001
TRACE-2026-001
需求系统:completed
知识系统:completed
动态语义系统:completed
结构系统:completed
认知决策系统:completed
执行系统:completed
反馈系统:completed
上述状态表示各系统对应的处理任务已经达到各自定义的完成条件。
52.14.4 异常事件示例
假设执行系统在调用外部产品信息接口时发生超时。
运行管理系统记录:
error_id: ERR-2026-001
system_id: execution_system
task_id: TASK-2026-001
trace_id: TRACE-2026-001
error_code: EXTERNAL_SERVICE_TIMEOUT
error_level: WARNING
error_status: detected
系统还应记录接口请求时间、目标服务、调用状态和是否已经收到远端执行结果。
此时不能直接认定外部服务没有执行,也不能直接将整个综合任务标记为最终失败。
执行系统需要根据接口业务规则检查实际结果,决定等待、查询、重试或人工处理。
52.14.5 资源监控示例
假设运行期间数据库连接数量持续增加,监控系统发现资源指标达到预设预警条件。
系统形成数据库连接资源告警,并关联相关运行实例和任务。
管理人员通过运行日志发现部分程序未能及时释放数据库连接。
确认问题后,由相关开发和维护人员执行修正,并通过后续运行监控验证连接数量是否恢复正常。
以上属于工程过程示例,不能视为实际测试结论。
52.14.6 案例验证结果
该案例说明,跨系统任务需要通过统一追踪标识关联各系统运行记录。
单个系统的状态不能代替综合任务状态。
接口调用成功不能代替业务结果验证。
运行告警不能直接代替问题原因确认。
只有将运行状态、任务记录、接口日志、错误信息、资源指标和恢复记录关联起来,才能形成完整的运行追踪机制。
52.15 系统运行管理的安全与可靠性保障
52.15.1 运行数据访问权限
运行管理系统保存大量系统内部信息。
因此,应当根据管理职责分配访问权限。
例如:
- 普通用户只能查看与其业务相关的状态;
- 系统管理员可以查看所属系统运行状态;
- 运维人员可以查看资源和服务状态;
- 安全审计人员可以查看安全日志;
- 综合管理人员可以查看授权范围内的跨系统状态。
不能让所有用户都能够查看完整运行日志和内部接口信息。
52.15.2 敏感信息过滤
日志和错误记录不得无条件保存:
- 数据库密码;
- 用户登录密码;
- 完整认证令牌;
- 外部服务密钥;
- 完整个人隐私信息;
- 不必要的业务敏感内容。
错误堆栈和请求参数在进入管理界面前,应根据权限和数据敏感等级进行处理。
52.15.3 监控系统自身的可靠性
运行监控系统自身也可能发生故障。
例如:
- 监控程序停止;
- 监控数据库不可用;
- 采集接口失败;
- 告警通知失败;
- 监控数据延迟;
- 监控规则配置错误。
因此,监控系统需要具备自身健康检查和故障记录机制。
不能因为监控页面显示没有告警,就认定所有业务系统正常。
如果监控系统本身失去数据采集能力,应当明确显示监控数据异常或状态未知。
52.15.4 运行记录备份与归档
重要运行日志、错误记录、任务追踪和审计信息应根据业务要求进行备份。
归档过程中应保持:
- 原始记录标识;
- 时间信息;
- 关联关系;
- 数据完整性;
- 访问权限;
- 恢复能力。
不能因为日志归档就破坏任务与错误之间的关联。
52.15.5 运行异常与系统恢复
系统发生严重异常时,应当根据故障类型制定恢复流程。
例如:
- 应用程序故障:恢复程序或修复代码;
- 数据库故障:恢复数据库服务或执行数据恢复;
- 网络故障:恢复网络连接;
- 文件系统故障:检查文件权限和存储状态;
- 外部接口故障:等待服务恢复或采用经过确认的替代方式;
- 资源不足:释放资源、调整负载或扩展容量。
恢复后必须检查实际业务功能,而不能仅以服务器进程重新启动作为恢复成功的依据。
52.16 系统运行管理的工程实施与验证
52.16.1 工程实施阶段
建议将运行管理系统的建设分为以下阶段。
第一阶段:运行对象确认。
确定需要监控的独立系统、服务、模块、任务和外部依赖。
第二阶段:运行状态定义。
明确系统状态、服务状态、任务状态、错误状态和告警状态。
第三阶段:运行数据模型设计。
设计系统状态、任务实例、日志、错误、资源指标、服务健康检查和告警记录等数据结构。
第四阶段:运行信息采集。
开发系统心跳、任务事件、日志写入、资源采集和服务检查功能。
第五阶段:运行管理服务开发。
实现状态管理、任务追踪、错误管理、告警管理和历史查询。
第六阶段:综合管理界面开发。
实现系统总览、任务总览、日志查询、错误管理、资源监控和告警管理。
第七阶段:实际部署验证。
将程序部署到目标服务器,检查真实运行状态和各项监控功能。
52.16.2 基础功能测试
测试至少应覆盖:
- 系统启动和停止记录;
- 心跳正常和失联识别;
- 系统状态变化;
- 任务状态变化;
- 任务执行实例关联;
- 日志生成和查询;
- 错误记录和状态更新;
- trace_id跨系统追踪;
- 资源指标采集;
- 服务健康检查;
- 告警生成;
- 告警恢复;
- 历史记录查询。
52.16.3 异常场景测试
应主动模拟或安全构造以下场景:
- 数据库连接中断;
- 外部接口超时;
- 任务执行失败;
- 任务重复提交;
- 心跳停止上报;
- 日志写入失败;
- 磁盘空间不足;
- 资源指标采集失败;
- 告警通知失败;
- 跨系统状态延迟。
测试时应记录实际表现、错误信息和恢复结果。
52.16.4 服务器实际验证
本地语法检查只能证明程序没有明显语法错误,不能证明运行管理系统在服务器上能够正常工作。
实际验证应当在目标服务器完成。
重点检查:
- PHP运行环境;
- 数据库连接;
- 监控采集接口;
- 日志写入;
- 任务状态记录;
- 错误记录;
- 资源数据采集;
- 后台展示;
- 告警触发;
- 跨系统追踪;
- 权限控制。
只有实际运行数据能够被正确采集、保存、查询和关联,才能确认相关功能已经实现。
52.16.5 工程验收标准
建议建立以下验收指标:
| 验收类别 | 验收要求 |
|---|---|
| 系统状态 | 能够记录当前状态和历史变化 |
| 任务状态 | 能够追踪任务完整生命周期 |
| 执行追踪 | 能够通过统一标识关联跨系统记录 |
| 日志管理 | 能够分类记录、查询和归档 |
| 错误管理 | 能够保存错误上下文和处理过程 |
| 资源监控 | 能够采集并展示必要资源指标 |
| 服务监控 | 能够检查关键服务可用性 |
| 告警管理 | 能够触发、处理、恢复和关闭告警 |
| 综合管理 | 能够统一查看授权范围内的系统状态 |
| 安全管理 | 能够控制运行数据访问并保护敏感信息 |
| 运行可靠性 | 监控自身异常能够被识别和记录 |
| 实际验证 | 目标服务器上的关键运行流程通过测试 |
验收指标应根据具体系统规模和运行要求进一步量化。
例如,服务可用性目标、告警响应时间、任务处理时间和日志保留期限,应由具体项目的业务要求和部署环境确定,不应在没有测试依据的情况下预设为所有系统统一标准。
52.17 本章研究结论
本章围绕WSaiOS-SI工程体系的持续运行管理与监控,研究了系统运行状态、任务状态、日志管理、错误记录、资源使用、服务可用性、告警管理和跨系统运行追踪机制。
通过研究形成以下结论。
第一,系统运行管理是工程系统持续运行的基础保障。
系统部署完成后,必须持续掌握实际运行状态,不能只依靠用户发现问题或服务器发生故障后再进行处理。
第二,系统状态、服务状态、模块状态和任务状态必须分别管理。
一个系统正常运行,不代表其中所有任务均成功;某个任务执行失败,也不必然代表整个系统不可用。
第三,日志和错误记录必须建立统一标识与关联机制。
通过系统标识、任务标识、运行实例标识、请求标识和trace_id,可以将分散的运行信息组织成完整的处理历史。
第四,资源监控和服务可用性监控必须与业务运行相结合。
CPU、内存、磁盘、网络和数据库指标能够反映基础设施状态,但不能单独证明业务处理正确。服务可用性检查也必须区分网络连通、接口响应和业务结果。
第五,跨系统综合运行管理必须保持各系统的独立职责。
综合运行管理负责统一观察和关联运行记录,不取代各独立系统的任务状态管理、业务数据管理和异常处理职责。
第六,运行管理必须形成可追踪、可分析、可验证的闭环。
运行信息采集、状态管理、日志记录、异常识别、告警处理、故障恢复和恢复验证应形成连续的工程过程。
本章建立的运行管理主线可以概括为:
系统运行 → 状态采集 → 任务追踪 → 日志记录 → 错误识别 → 资源监控 → 服务检查 → 告警管理 → 异常处理 → 恢复验证 → 历史归档。
通过上述机制,WSaiOS-SI工程应用体系不仅能够完成系统安装和实际部署,还能够在持续运行过程中掌握自身运行情况,追踪任务执行过程,识别异常和资源风险,并为系统维护、反馈分析和工程改进提供可靠依据。
下一章将进一步研究系统数据管理、数据完整性、数据备份、数据恢复和数据迁移机制,解决系统长期运行过程中数据安全、数据连续性和数据可恢复性问题。