第55章 工程验收与运行质量评估
55.1 工程验收与运行质量评估的总体定位
55.1.1 从功能测试进入工程验收
第54章研究了WSaiOS-SI工程应用体系的单元测试、模块测试、接口测试、数据库测试、业务流程测试和端到端测试,建立了从单个程序功能到完整业务流程的测试验证机制。
但是,测试通过并不意味着工程项目已经达到全部交付要求。
功能测试主要证明某项功能在规定条件下能够按照预期运行。工程验收还需要进一步确认整个项目是否完成了既定建设目标,系统是否具备持续运行条件,数据是否正确可靠,执行过程是否可控,故障发生后是否能够恢复,以及系统是否真正产生了预期应用效果。
例如,一个业务系统可能已经通过全部基本功能测试,但仍然存在以下问题:
- 系统运行一段时间后出现服务中断;
- 多个系统之间的数据出现不一致;
- 长时间运行时任务积压;
- 数据库备份文件无法恢复;
- 执行任务发生异常后无法继续;
- 用户权限配置不正确;
- 业务结果无法追溯;
- 实际应用过程不能达到原定目标。
这些问题并不能仅通过常规功能测试完全发现。
因此,WSaiOS-SI工程应用必须建立独立于功能测试的工程验收和运行质量评估机制。
55.1.2 工程验收与质量评估的区别
工程验收主要回答:
项目是否按照已经确认的工程要求完成建设,是否具备交付和使用条件?
运行质量评估主要回答:
系统在实际运行过程中是否稳定、正确、可靠,能否持续满足应用要求?
二者既相互联系,又有不同的评价重点。
| 比较项目 | 工程验收 | 运行质量评估 |
|---|---|---|
| 主要目标 | 判断项目是否达到交付条件 | 判断系统运行质量 |
| 评价范围 | 项目建设成果 | 系统实际运行过程 |
| 评价时间 | 项目阶段完成或交付前后 | 测试期及持续运行期间 |
| 主要依据 | 需求、设计、测试、交付材料 | 运行记录、监控数据、业务结果 |
| 重点内容 | 功能完整、接口正确、资料齐全 | 稳定、可靠、准确、可恢复 |
| 结果形式 | 验收结论 | 质量评价与改进建议 |
工程验收可以在某个项目阶段完成后进行,而运行质量评估应当持续开展。
一个项目通过初次验收,不意味着其后续运行质量永远符合要求。
55.1.3 工程验收的基本原则
WSaiOS-SI工程验收应遵循以下原则。
第一,依据已确认的需求验收。
验收标准应当来源于经过确认的需求、项目规划、系统设计和合同或项目约定,不能在验收阶段临时增加未经确认的要求。
第二,以真实运行结果为依据。
系统功能是否完成,必须通过真实运行和测试证据判断,不能仅依据程序代码、设计说明或开发人员口头说明。
第三,区分局部通过与整体通过。
单个模块通过测试,不代表整个系统通过验收;一个独立系统通过验收,也不代表多系统综合应用已经通过验收。
第四,区分建设完成与运行成熟。
项目可以在满足限定范围的情况下完成初次验收,但长期稳定性仍然需要通过持续运行数据评价。
第五,保留验收证据和责任记录。
每一项验收结论都应当能够追溯到相应需求、测试结果、运行记录和责任确认。
第六,尊重系统边界。
各独立系统按照自身职责接受验收,综合应用系统则对跨系统协作和整体业务效果进行验收。
55.1.4 本章研究范围
本章围绕六个主要质量维度展开:
- 功能完整性;
- 运行稳定性;
- 数据正确性;
- 执行可靠性;
- 故障恢复能力;
- 实际应用效果。
在此基础上,研究工程验收条件、质量指标、验收程序、质量评价方法、持续改进机制和综合验收标准,形成适用于WSaiOS-SI工程应用体系的工程验收框架。
55.2 WSaiOS-SI工程质量评价体系
55.2.1 工程质量的整体组成
WSaiOS-SI工程质量不是单一的程序质量,而是多个工程因素共同形成的综合结果。
建议将工程质量划分为以下方面:
| 质量维度 | 主要评价对象 |
|---|---|
| 功能质量 | 功能是否完整、正确、符合需求 |
| 结构质量 | 系统模块和数据结构是否合理 |
| 接口质量 | 系统之间能否正确协作 |
| 数据质量 | 数据是否准确、完整、一致和可追溯 |
| 运行质量 | 服务是否稳定、响应是否符合要求 |
| 执行质量 | 任务是否能够按照规定过程完成 |
| 安全质量 | 身份、权限和数据保护是否有效 |
| 恢复质量 | 故障后能否恢复并保持数据完整 |
| 应用质量 | 是否真正满足实际业务目标 |
| 维护质量 | 系统是否便于维护、升级和持续改进 |
这些维度之间存在关联,但不能相互替代。
例如,系统功能完整并不能自动证明运行稳定;系统运行稳定也不能证明业务数据正确。
55.2.2 工程质量评价层次
建议建立四个评价层次。
第一层:程序与模块质量。
评价代码、类、函数、模块和程序结构是否符合工程要求。
第二层:独立系统质量。
评价需求系统、知识系统、动态语义系统、结构系统、计算系统、认知决策系统、执行系统等独立系统的完整性和运行质量。
第三层:综合应用质量。
评价多个独立系统之间的数据传递、接口调用、状态协作和业务闭环。
第四层:实际应用质量。
评价系统在真实应用环境中是否能够持续满足用户需求,是否产生可验证的实际效果。
55.2.3 质量评价与理论体系的关系
WSaiOS-SI的工程质量评价必须围绕其自身理论和工程结构展开。
SAI是结构型人工智能理论体系,ICAI是个体认知人工智能体系,WSaiOS是王氏人工智能操作系统的工程实现架构。
工程质量评价不能只看页面数量、接口数量或程序代码规模,而应当检查系统是否正确实现了相应职责。
例如:
- 需求系统是否能够完成需求接收、识别、确认和管理;
- 知识系统是否能够管理知识来源、定义、关系和版本;
- 动态语义系统是否能够根据实际需求动态建立语义元素和概念定义;
- 结构系统是否能够管理结构元素、关系和约束;
- 结构计算系统是否能够执行已确认的规则和条件计算;
- 认知决策系统是否能够形成有依据、可追溯的认知和决策结果;
- 执行系统是否能够将方法转化为受控任务并完成真实执行;
- 反馈系统是否能够采集实际结果并形成可验证的问题记录。
工程验收必须检查这些功能是否真实存在,而不是只检查系统名称是否已经出现在菜单或架构图中。
55.2.4 工程质量与理论核心规则的边界
工程质量评估用于评价工程实现是否符合既定理论和项目要求,不用于随意改变SAI、ICAI和WSaiOS的核心规则。
例如,工程测试发现某个结构计算模块存在缺陷,首先应检查程序实现、数据定义和规则配置是否正确。
不能因为一次工程实现失败,就直接认定理论核心机制需要改变。
同样,工程质量评价结果可以推动架构改进、模块调整和程序升级,但理论核心规则的变化必须经过独立研究、论证和确认。
55.3 功能完整性评估
55.3.1 功能完整性的基本定义
功能完整性是指工程系统按照已经确认的需求和设计要求,完成了规定的功能建设,并且相关功能能够通过实际测试验证。
功能完整性不等于系统拥有大量功能,也不等于后台菜单齐全。
它关注的是:
- 应有功能是否已经实现;
- 功能之间的关系是否正确;
- 必要输入是否能够接收;
- 必要处理是否能够执行;
- 输出结果是否符合要求;
- 异常情况是否得到处理;
- 用户是否能够通过规定方式使用功能。
55.3.2 功能需求覆盖
工程项目应当建立需求与功能的对应关系。
例如:
| 需求编号 | 需求内容 | 对应功能 | 验证状态 |
|---|---|---|---|
| REQ-001 | 用户提交需求 | 需求接收 | 待验证 |
| REQ-002 | 用户确认需求 | 需求确认 | 待验证 |
| REQ-003 | 管理语义定义 | 语义定义管理 | 待验证 |
| REQ-004 | 形成结构 | 结构管理 | 待验证 |
| REQ-005 | 执行条件计算 | 结构计算 | 待验证 |
| REQ-006 | 生成执行任务 | 执行任务管理 | 待验证 |
| REQ-007 | 记录执行结果 | 结果管理 | 待验证 |
表格中的状态仅为示例。
实际项目应当根据测试执行记录更新状态,不能在没有真实测试的情况下将其标记为通过。
55.3.3 功能完整性检查内容
建议从以下方面检查:
功能存在性
规定功能是否已经开发,是否能够通过实际入口调用。
功能可用性
用户是否能够在授权条件下正常使用。
功能正确性
功能处理结果是否符合预定业务规则。
功能完整性
功能是否包含必要的输入、处理、输出和异常处理。
功能关联性
不同功能之间的数据传递和调用关系是否正确。
功能可追溯性
功能执行是否能够关联需求、操作人员、数据和结果。
功能边界
功能是否只承担规定职责,是否存在越权处理或重复管理。
55.3.4 独立系统功能完整性
每个独立系统都应建立自己的验收清单。
例如,动态语义系统的功能完整性可以包括:
- 语义输入;
- 语义单元管理;
- 动态元素管理;
- 概念定义管理;
- 语义匹配;
- 字段赋值;
- 定义修改;
- 冲突记录;
- 来源管理;
- 版本管理;
- 数据查询;
- 系统接口。
结构管理系统则应检查结构对象、元素、关系、约束、版本、查询、调整和接口等功能。
不同系统的功能清单应当依据各自确认的需求建立,不能把所有系统的功能混为一体。
55.3.5 功能完整性评价
建议使用以下统计指标:
需求功能覆盖率:
[
C_f=\frac{N_{\text{已实现且验证的需求功能}}}
{N_{\text{全部确认的需求功能}}}\times100%
]
测试通过率:
[
P_f=\frac{N_{\text{实际通过的功能测试}}}
{N_{\text{实际执行的有效功能测试}}}\times100%
]
其中,未执行、被阻塞和被跳过的测试不能计入通过数量。
这两个指标反映不同内容。
需求功能覆盖率用于判断规定功能是否完成并得到验证,测试通过率用于判断已执行测试的结果情况。
对于关键功能,还必须逐项验收,不能仅依靠总体百分比。
55.4 运行稳定性评估
55.4.1 运行稳定性的基本定义
运行稳定性是指系统在规定运行环境、负载条件和运行周期内,能够持续提供预定服务,并且不出现不可接受的中断、错误或资源异常。
稳定性不仅涉及程序是否崩溃,还涉及:
- 服务是否持续可用;
- 接口是否能够正常响应;
- 任务是否持续处理;
- 数据库是否正常运行;
- 系统资源是否保持在合理范围;
- 错误是否得到及时发现和处理。
55.4.2 服务可用性
服务可用性用于衡量系统在规定观察周期内能够正常提供服务的时间比例。
建议采用以下工程统计表达:
[
A=\frac{T_{\text{总观察时间}}-T_{\text{不可用时间}}}
{T_{\text{总观察时间}}}\times100%
]
计算时必须明确:
- 观察周期;
- 服务范围;
- 正常运行定义;
- 不可用判定条件;
- 计划维护是否计入;
- 统计数据来源。
例如,某个后台页面能够打开,不代表整个系统可用。
如果核心业务接口无法调用,系统可能仍然属于业务不可用状态。
55.4.3 系统运行连续性
运行连续性可以通过以下内容评价:
- 系统进程是否正常;
- Web服务是否正常;
- 数据库服务是否正常;
- 关键接口是否可用;
- 任务处理是否持续;
- 是否发生异常退出;
- 是否出现持续性错误;
- 系统重启后是否能够恢复正常。
对于长期运行系统,应当安排持续运行观察,而不是只进行一次启动测试。
55.4.4 响应时间评估
系统响应时间是评价运行质量的重要指标。
建议记录:
- 页面响应时间;
- API响应时间;
- 数据库查询时间;
- 任务排队时间;
- 任务实际执行时间;
- 外部服务响应时间。
可以统计平均响应时间、最大响应时间和P95、P99等分位数。
但必须明确统计对象和采样范围。
例如,平均响应时间正常,不代表少量请求没有出现严重延迟。
55.4.5 资源使用评估
运行稳定性还需要检查:
- CPU使用率;
- 内存使用量;
- 磁盘空间;
- 数据库连接数;
- 数据库查询负载;
- 网络流量;
- 文件数量;
- 缓存使用;
- 任务队列长度。
资源使用情况应当与实际业务量关联分析。
例如,任务队列持续增长,可能意味着任务产生速度超过处理速度,即使服务器当前CPU使用率并不高,也可能已经出现系统运行问题。
55.4.6 稳定性测试方式
建议采用:
持续运行测试
让系统在规定时间内持续运行,观察服务、接口、任务和数据库状态。
负载测试
模拟规定数量的并发用户或任务,观察系统运行表现。
压力测试
逐步增加负载,识别系统性能下降和运行异常的边界。
长时间运行测试
检查资源是否持续增长、连接是否泄漏、任务是否积压。
异常运行测试
模拟接口超时、数据库连接失败和资源不足等情况,检查系统是否能够正确处理。
55.4.7 稳定性评价结论
系统稳定性评价应当明确测试周期、运行环境、业务负载和异常情况。
不能用一次页面访问成功证明系统长期稳定,也不能用某次压力测试结果直接推断所有生产环境下的运行能力。
55.5 数据正确性评估
55.5.1 数据正确性的基本定义
数据正确性是指系统接收、保存、处理、关联和输出的数据符合其定义、来源、业务规则和实际状态。
WSaiOS-SI的各独立系统都依赖数据正确性。
如果需求信息错误,可能影响后续语义处理。
如果语义定义错误,可能影响字段赋值和结构形成。
如果结构关系错误,可能影响条件计算。
如果计算结果错误,可能影响认知和决策。
因此,数据正确性不是单个数据库模块的问题,而是整个系统运行质量的基础。
55.5.2 数据正确性评价维度
建议从以下方面评价:
准确性
数据内容是否符合真实来源或已经确认的定义。
完整性
必要字段和必要关联是否完整。
一致性
同一业务对象在不同系统中的数据是否存在无法解释的冲突。
有效性
数据是否符合字段定义、格式和业务约束。
时效性
数据是否在适用的时间范围内有效。
可追溯性
数据能否追溯到来源、处理过程和版本。
唯一性
是否存在不应重复的业务记录。
55.5.3 数据来源和确认状态
工程系统必须区分数据来源和确认状态。
例如:
| 数据状态 | 含义 |
|---|---|
| 原始输入 | 用户或外部系统提供的原始信息 |
| 待处理 | 已接收但尚未完成处理 |
| 待确认 | 内容需要进一步确认 |
| 已核验 | 已完成规定的核验 |
| 已确认 | 已经由有权主体确认 |
| 存在冲突 | 与其他信息存在未解决的差异 |
| 已失效 | 不再适用于当前处理范围 |
不同系统可以根据实际业务需要建立更详细的状态。
特别需要强调:外部信息被系统接收,不代表它已经成为正式知识;字段已经赋值,也不代表赋值内容已经核验。
55.5.4 跨系统数据一致性
多系统协作时,应检查:
- 需求标识是否一致;
- 知识版本是否正确;
- 语义定义是否正确;
- 结构版本是否正确;
- 计算结果是否关联正确结构;
- 决策是否引用正确认知对象;
- 执行任务是否关联正确方法;
- 反馈是否关联真实执行记录。
建议通过统一业务标识、版本标识和追踪标识建立跨系统关联。
55.5.5 数据质量指标
可以建立以下工程指标:
数据完整率:
[
C_d=\frac{N_{\text{符合要求的完整记录}}}
{N_{\text{应检查的记录}}}\times100%
]
数据关联正确率:
[
R_d=\frac{N_{\text{正确关联的记录}}}
{N_{\text{已检查的关联记录}}}\times100%
]
数据核验通过率:
[
V_d=\frac{N_{\text{实际核验通过的记录}}}
{N_{\text{实际执行核验的记录}}}\times100%
]
这些指标只能评价明确统计范围内的数据,不能直接代表整个系统所有数据均正确。
55.5.6 数据历史和版本正确性
对于知识、结构、规则、能力和方法等具有版本意义的对象,应当检查:
- 版本是否连续或符合版本管理规则;
- 历史版本是否保留;
- 当前版本是否正确;
- 历史执行记录是否关联原版本;
- 更新是否产生必要的变更记录;
- 回滚是否恢复到正确版本。
系统不能因为更新了当前数据,就使历史执行记录失去解释依据。
55.5.7 数据正确性验收
数据正确性验收应当通过实际数据库查询、业务数据检查、来源核验和跨系统关联检查完成。
对无法确认的数据,应保留未知、待确认或冲突状态,不能为了提高数据正确率而人为修改为满足状态。
55.6 执行可靠性评估
55.6.1 执行可靠性的基本定义
执行可靠性是指系统能够按照已经确认的方法、流程、任务定义和执行条件,持续、正确、受控地完成规定处理,并且能够真实记录执行结果。
WSaiOS-SI的执行系统不仅要能够调用程序和能力,还必须能够保证任务状态、执行过程和结果之间具有正确关系。
55.6.2 执行可靠性评价内容
建议重点检查:
- 任务是否正确创建;
- 任务依赖是否正确;
- 执行条件是否满足;
- 能力是否适用;
- 调用参数是否正确;
- 执行权限是否有效;
- 任务状态是否真实;
- 执行结果是否完整;
- 失败是否被正确记录;
- 重复执行是否受到控制。
55.6.3 任务完成率
可以建立任务完成率指标:
[
R_t=\frac{N_{\text{符合完成条件的任务}}}
{N_{\text{纳入统计的有效任务}}}\times100%
]
统计时应明确任务范围和完成定义。
不能把取消、失败、阻塞或尚未完成的任务当作已完成任务。
对于正在执行的任务,应根据统计口径单独处理。
55.6.4 能力调用成功率
能力调用成功率可以定义为:
[
R_a=\frac{N_{\text{实际成功完成的能力调用}}}
{N_{\text{有效能力调用总数}}}\times100%
]
但能力调用成功不等于业务目标完成。
例如,产品信息核验能力成功执行了所有检查程序,但发现产品适用范围信息缺失。
此时:
- 能力调用可以判定为成功;
- 业务核验结果可能是部分完成;
- 业务目标仍可能处于待确认状态。
因此,必须分别统计能力运行质量和业务任务完成质量。
55.6.5 执行过程可追溯性
每项重要任务应当能够追踪:
- 原始需求;
- 方法版本;
- 流程版本;
- 任务标识;
- 能力标识;
- 调用参数;
- 执行时间;
- 执行状态;
- 返回结果;
- 异常记录;
- 操作人员;
- 反馈记录。
如果最终结果无法追溯到执行过程,就无法有效评价执行可靠性。
55.6.6 执行一致性
对于在相同输入、相同规则、相同版本和相同环境条件下应当得到一致结果的处理,应当检查其重复运行结果。
如果结果出现差异,应进一步分析:
- 输入数据是否变化;
- 知识版本是否变化;
- 结构版本是否变化;
- 规则是否变化;
- 外部环境是否变化;
- 执行过程是否存在随机或非确定性因素;
- 是否存在并发和数据竞争。
不能在没有分析的情况下,将不同结果直接认定为系统错误。
55.6.7 执行可靠性验收
执行可靠性应通过实际任务执行、状态记录、结果检查、异常处理和重复测试进行评价。
不能只通过能力注册数量、任务数量或接口返回数量推断执行可靠性。
55.7 故障恢复能力评估
55.7.1 故障恢复能力的基本定义
故障恢复能力是指系统在发生服务中断、数据异常、接口失败、程序错误或执行中断后,能够通过规定的恢复机制重新达到可接受运行状态,并尽可能保持数据完整性和业务连续性。
恢复能力是WSaiOS-SI工程系统长期运行的重要保障。
55.7.2 故障类型
应当根据工程环境识别不同故障:
程序故障
包括程序异常退出、逻辑错误、内存不足和文件读取失败。
数据库故障
包括数据库服务停止、连接失败、数据损坏和事务异常。
接口故障
包括外部系统不可用、接口超时、返回格式错误和认证失败。
任务故障
包括任务执行失败、状态异常、重复执行和任务积压。
环境故障
包括磁盘空间不足、服务器资源不足、网络中断和运行环境变化。
人为操作故障
包括错误配置、误删除、错误发布和权限配置错误。
不同故障需要采用不同恢复方式。
55.7.3 故障检测能力
系统应能够通过监控、日志、异常记录和运行状态检查发现故障。
建议检查:
- 是否能够发现服务不可用;
- 是否能够发现数据库连接异常;
- 是否能够发现任务超时;
- 是否能够发现接口失败;
- 是否能够发现磁盘空间不足;
- 是否能够识别重复执行;
- 是否能够识别数据关联异常。
故障发现时间越长,可能造成的影响范围越大。
因此,关键故障应当设置明确的检测条件和通知机制。
55.7.4 故障恢复方式
建议根据故障类型采用:
- 服务重启;
- 任务重新执行;
- 任务断点恢复;
- 数据事务回滚;
- 数据备份恢复;
- 数据库恢复;
- 程序版本回退;
- 配置恢复;
- 接口重新连接;
- 人工介入处理。
恢复方式应当在工程设计阶段明确。
不能在故障发生后临时决定覆盖数据或删除执行记录。
55.7.5 备份与恢复验证
备份完成不代表恢复能力已经具备。
必须实际验证备份数据能否恢复。
建议开展:
数据库恢复测试
将备份数据恢复到隔离环境,检查表结构和数据完整性。
文件恢复测试
检查上传文件、配置文件和必要程序文件能否正确恢复。
系统恢复测试
检查程序、数据库、配置和依赖关系恢复后,系统能否正常启动。
业务恢复测试
检查恢复后的业务数据、任务状态和历史记录是否正确。
55.7.6 RPO与RTO指标
可以采用两个常用工程指标描述恢复要求。
RPO(Recovery Point Objective,恢复点目标)
表示发生故障时,允许损失的数据时间范围。
例如,RPO为1小时,表示项目要求在规定条件下将数据损失范围控制在最近1小时以内。
RTO(Recovery Time Objective,恢复时间目标)
表示发生故障后,要求在规定时间内恢复服务的目标。
例如,RTO为4小时,表示项目要求在规定故障场景下,4小时内恢复指定服务。
这些数值必须由项目业务要求、技术能力和资源条件确定,不能作为所有WSaiOS-SI系统的统一固定标准。
55.7.7 恢复成功率
可以统计:
[
R_r=\frac{N_{\text{成功恢复的故障事件}}}
{N_{\text{实际执行恢复测试的故障事件}}}\times100%
]
需要明确恢复成功的定义。
例如,仅仅重新启动Web服务,并不代表数据库、任务状态和业务数据都已经恢复。
55.7.8 恢复后验证
恢复完成后,必须进一步检查:
- 系统服务是否正常;
- 数据库是否正常;
- 数据是否完整;
- 任务状态是否正确;
- 是否存在重复执行;
- 历史记录是否保留;
- 接口是否能够调用;
- 业务流程是否能够继续。
只有通过这些验证,才能认定相应故障恢复完成。
55.8 实际应用效果评估
55.8.1 实际应用效果的基本定位
工程项目最终需要服务于实际应用目标。
因此,系统不仅要能够运行,还应当证明它在实际使用中能够解决已经确认的问题。
实际应用效果评价关注:
- 用户需求是否得到满足;
- 业务处理是否得到改善;
- 处理过程是否更加清晰;
- 信息是否更加完整;
- 任务是否能够有效完成;
- 决策依据是否能够追溯;
- 运行成本是否符合预期;
- 系统是否具备持续使用价值。
55.8.2 应用效果与功能实现的区别
功能实现是系统具有某项处理能力。
实际应用效果是该能力在具体应用环境中产生的结果。
例如:
系统能够自动建立产品属性记录,属于功能实现。
实际使用中,产品信息整理时间是否减少、信息错误是否减少、后续业务处理是否改善,则属于应用效果。
二者必须分别评价。
55.8.3 应用目标确认
每个应用项目都应在建设前明确目标。
例如:
- 缩短某类信息处理时间;
- 提高业务数据完整性;
- 减少重复录入;
- 提高任务执行可追溯性;
- 改善异常处理过程;
- 降低人工重复操作;
- 提高知识复用能力。
目标必须能够通过实际数据或明确的验收条件进行判断。
不能在项目完成后,临时选择容易达到的指标代替原定目标。
55.8.4 应用效果评价指标
可以根据实际应用选择:
处理效率
单位时间完成的有效业务处理数量。
处理时间
从任务开始到达到规定完成条件所需的时间。
信息完整性
实际业务记录中符合要求的信息比例。
重复处理率
相同业务对象因系统原因产生重复处理的比例。
错误处理率
实际业务处理中出现错误结果的比例。
人工介入率
需要人工参与的任务占规定统计任务的比例。
任务完成率
满足规定完成条件的任务数量占统计任务总量的比例。
用户使用情况
包括活跃用户、有效使用次数、功能使用分布和用户反馈。
指标必须根据应用场景定义。
例如,人工介入率较高不一定意味着系统质量低。如果业务本身需要人工审批和专业确认,人工介入可能正是正确的设计结果。
55.8.5 应用前后对比
对于需要评价效率或业务改善的项目,可以建立应用前后的对比。
例如:
| 指标 | 应用前 | 应用后 |
|---|---|---|
| 信息整理时间 | 实测基准值 | 实测运行值 |
| 信息完整率 | 实测基准值 | 实测运行值 |
| 重复录入次数 | 实测基准值 | 实测运行值 |
| 任务追溯能力 | 原有状态 | 实际运行状态 |
| 异常处理时间 | 实测基准值 | 实测运行值 |
必须使用相同或具有可比性的统计口径。
如果业务规模、数据复杂程度或人员配置发生重大变化,应当在分析中说明这些因素。
不能仅凭前后两个数字就认定所有变化都是系统造成的。
55.8.6 用户评价与实际效果
用户评价可以作为应用效果的重要证据,但不能完全替代客观运行数据。
建议同时收集:
- 用户满意度;
- 用户问题反馈;
- 用户实际使用记录;
- 业务处理结果;
- 系统运行数据;
- 异常和故障记录。
对于用户提出的问题,应当区分个人使用体验、功能缺陷、业务规则问题和系统运行问题。
55.8.7 应用效果评价边界
如果系统仅完成技术部署,还没有进入实际业务使用阶段,就不能声称已经证明实际应用效果。
此时可以验收技术功能和部署结果,但应用效果应当标记为待评估。
55.9 工程质量指标体系与综合评价
55.9.1 质量指标的建立原则
工程质量指标应当满足:
- 与项目需求直接关联;
- 有明确的计算口径;
- 有实际数据来源;
- 有明确的统计周期;
- 能够重复测量;
- 能够区分不同系统和业务范围;
- 不因统计方式变化而产生虚假改善。
不同系统的质量指标可以有所不同。
例如,知识系统应重点关注知识来源、版本和数据关联;执行系统应重点关注任务状态、调用结果和故障恢复;综合应用系统则应重点关注跨系统协作和端到端业务完成情况。
55.9.2 六项核心质量维度
建议将本章研究的六项核心质量维度作为工程验收的主体。
| 质量维度 | 核心评价内容 | 主要证据 |
|---|---|---|
| 功能完整性 | 需求功能是否实现并验证 | 需求清单、测试报告 |
| 运行稳定性 | 服务是否持续正常 | 监控记录、运行日志 |
| 数据正确性 | 数据是否准确、完整、一致 | 数据核验、数据库记录 |
| 执行可靠性 | 任务是否正确执行 | 任务记录、执行结果 |
| 故障恢复能力 | 故障后能否恢复 | 恢复测试、恢复记录 |
| 实际应用效果 | 是否达到业务目标 | 业务数据、用户反馈 |
这六个维度应分别评价,不能仅凭其中一个维度的高分掩盖其他维度的严重问题。
55.9.3 综合质量评价模型
为了形成统一的工程质量评价结果,可以建立一个初步工程评价模型:
[
Q=w_fF+w_sS+w_dD+w_eE+w_rR+w_aA
]
其中:
- (Q):综合质量评价值;
- (F):功能完整性评价;
- (S):运行稳定性评价;
- (D):数据正确性评价;
- (E):执行可靠性评价;
- (R):故障恢复能力评价;
- (A):实际应用效果评价;
- (w_f,w_s,w_d,w_e,w_r,w_a):各维度的评价权重。
权重应当由项目实际目标和风险决定,并满足:
[
w_f+w_s+w_d+w_e+w_r+w_a=1
]
上述模型属于工程质量综合评价的初步表达,不是SAI理论定律,也不是WSaiOS-SI固定规定。
实际应用时,还必须建立独立的强制验收条件。
例如:
- 重大安全问题未解决;
- 核心业务功能无法运行;
- 关键数据存在严重错误;
- 备份无法恢复;
- 核心执行过程不可追溯。
这些问题不能仅靠其他维度得分较高而抵消。
55.9.4 质量评价等级
建议根据项目实际需要设置:
| 等级 | 评价说明 |
|---|---|
| 优秀 | 核心指标达到较高要求,运行稳定,应用效果良好 |
| 良好 | 主要指标满足要求,存在少量可控问题 |
| 合格 | 满足基本验收条件,能够在规定范围内运行 |
| 待改进 | 部分指标不符合要求,需要整改和复测 |
| 不合格 | 存在影响交付或实际使用的关键问题 |
具体等级阈值应当在项目实施前确定,不能在验收时随意调整。
55.9.5 质量评价的限制
综合质量评价值只用于辅助分析。
不能用单一数字代替工程验收报告。
尤其不能出现以下情况:
- 功能未实现,却因为其他指标得分高而判定合格;
- 数据存在严重错误,却通过平均分掩盖;
- 系统无法恢复,却以日常运行正常作为通过依据;
- 没有实际业务数据,却给出应用效果优秀的结论。
必须保留各项质量维度的独立评价结果。
55.10 工程验收标准与验收流程
55.10.1 工程验收的基本条件
WSaiOS-SI工程项目进入正式验收前,建议至少满足以下条件:
- 项目建设范围已经确认;
- 需求和功能清单已经形成;
- 系统架构和模块职责已经明确;
- 核心功能已经开发;
- 规定测试已经执行;
- 关键缺陷已经处理;
- 数据库结构和数据处理已经验证;
- 系统接口已经验证;
- 实际部署已经完成;
- 关键业务流程已经通过运行测试;
- 用户权限和安全措施已经检查;
- 备份和恢复能力已经验证;
- 系统运行资料已经整理;
- 验收证据已经归档。
具体项目可以根据实际规模和风险调整,但核心条件不能省略。
55.10.2 验收材料
建议建立完整的工程验收材料。
项目建设材料
- 项目需求说明;
- 项目规划;
- 系统架构说明;
- 模块职责说明;
- 数据模型说明;
- 接口规范。
测试验证材料
- 测试计划;
- 测试用例;
- 测试执行记录;
- 测试结果;
- 缺陷记录;
- 回归测试记录;
- 端到端测试报告。
部署运行材料
- 部署说明;
- 环境配置记录;
- 数据库初始化记录;
- 安装记录;
- 版本记录;
- 运行监控记录;
- 系统日志。
安全和恢复材料
- 用户权限配置;
- 操作审计记录;
- 数据备份记录;
- 恢复测试记录;
- 安全检查记录。
验收材料
- 验收标准;
- 验收测试记录;
- 质量评估报告;
- 遗留问题清单;
- 验收结论。
55.10.3 验收执行流程
建议建立以下验收流程:
项目建设完成
|
v
项目范围核对
|
v
需求功能核对
|
v
测试结果审查
|
v
实际部署检查
|
v
运行质量评估
|
v
数据正确性检查
|
v
执行可靠性检查
|
v
故障恢复验证
|
v
实际应用效果评价
|
v
遗留问题确认
|
v
形成验收报告
|
v
作出验收结论
55.10.4 验收结论
建议将验收结论分为四种:
验收通过
项目达到规定建设目标,核心功能、运行质量和交付条件符合要求。
有条件通过
项目核心要求已经满足,但仍存在不影响限定范围使用的遗留问题,需要明确整改期限、责任人和限制条件。
验收不通过
存在核心功能未完成、数据错误、运行不稳定、安全问题或其他影响交付的重大问题。
暂缓验收
项目缺少必要测试、运行记录或恢复证据,暂时无法形成有效结论。
验收结论必须由实际证据支持。
55.10.5 遗留问题管理
验收过程中发现的遗留问题应当建立记录。
建议包括:
- 问题编号;
- 问题描述;
- 影响系统;
- 影响功能;
- 风险等级;
- 处理要求;
- 责任人;
- 完成期限;
- 复测要求;
- 最终关闭状态。
未解决的严重问题不能通过简单修改验收报告文字的方式消除。
55.11 多系统综合应用工程验收
55.11.1 综合应用验收的特殊性
WSaiOS-SI不是单一程序模块,而是由多个独立系统通过接口形成的工程应用体系。
因此,综合应用验收不仅要检查每个独立系统是否正常,还必须检查它们之间的协作关系。
独立系统分别通过验收,不代表综合应用系统一定通过验收。
例如:
需求系统可以正常管理需求,知识系统可以正常查询知识,结构系统可以正常保存结构,但如果需求系统无法正确调用知识系统,或者结构系统无法正确使用知识版本,综合应用仍然可能无法完成业务目标。
55.11.2 综合系统验收对象
综合应用系统至少应检查:
系统独立性
各系统是否保持明确职责,是否存在不合理的功能混合。
接口协作
系统之间是否按照约定传递请求和数据。
数据一致性
同一业务对象在多个系统中的标识、版本和关联是否正确。
状态协调
任务、流程和业务对象状态是否真实且一致。
权限边界
各系统是否按照授权范围访问和修改数据。
故障隔离
一个系统出现故障时,是否能够限制影响范围。
过程追溯
能否从最终业务结果追踪到需求、知识、结构、计算、决策和执行记录。
业务完整性
系统组合后是否能够完成预定业务目标。
55.11.3 综合应用验收案例
以产品信息核验业务作为演示案例。
用户提出一项产品信息核验需求。
系统依次完成:
- 需求系统接收并确认核验目标;
- 动态语义系统建立相关语义元素和定义;
- 知识系统提供经过核验的产品知识;
- 结构系统形成产品对象、属性和关系;
- 计算系统执行规定条件检查;
- 认知决策系统组织当前状态并形成决策;
- 方法管理系统形成处理方法;
- 执行系统建立任务并调用能力;
- 反馈系统记录实际执行结果。
验收时检查:
- 原始需求是否完整保存;
- 需求确认是否可追溯;
- 语义定义是否正确;
- 知识来源和版本是否完整;
- 结构关系是否正确;
- 计算结果是否符合条件;
- 认知和决策是否具有明确依据;
- 方法和执行任务是否正确关联;
- 能力调用是否真实发生;
- 最终结果是否能够查询;
- 反馈是否关联原始任务。
如果其中一个环节没有实际执行,就只能认定该环节尚未完成验收。
55.11.4 综合系统故障隔离验收
还应测试某个独立系统不可用时,其他系统是否能够正确处理。
例如,知识系统暂时不可用:
- 需求系统是否能够保留已经确认的需求;
- 动态语义系统是否能够保存已经形成的定义;
- 结构系统是否会错误使用未取得的知识;
- 认知决策系统是否能够识别信息缺失;
- 执行系统是否能够暂停依赖该知识的任务;
- 反馈系统是否能够记录接口异常。
通过此类测试,可以检查独立系统之间是否建立了合理的故障边界。
55.11.5 综合验收与单系统验收的关系
综合验收必须以各系统的实际测试结果为基础。
但不能简单将所有独立系统验收报告合并成一个文件,就认定综合应用已经通过验收。
综合应用还必须单独执行跨系统接口、数据一致性、状态协作和端到端业务测试。
55.12 持续运行质量管理与工程改进
55.12.1 验收不是质量管理的终点
工程验收完成后,系统进入实际运行阶段。
随着用户需求、数据规模、外部环境、业务规则和系统版本发生变化,原有验收结果可能不再完全适用于当前系统。
因此,工程质量管理必须从一次性验收转变为持续运行管理。
55.12.2 持续质量监测
建议持续监测:
- 服务可用性;
- 接口成功率;
- 错误数量;
- 任务完成率;
- 任务积压;
- 数据库运行状态;
- 数据完整性;
- 数据关联异常;
- 系统资源使用;
- 备份执行情况;
- 恢复测试情况;
- 用户反馈;
- 业务目标完成情况。
监测周期和阈值应当根据系统实际运行特点确定。
55.12.3 质量问题触发机制
当运行指标出现异常时,应当形成质量问题记录。
例如:
- 服务可用性下降;
- 接口失败率上升;
- 数据关联错误增加;
- 任务长期处于等待状态;
- 数据库空间不足;
- 备份任务失败;
- 用户反馈集中出现某项功能问题。
系统应当将异常信号与实际运行记录关联,避免只生成没有证据的报警。
55.12.4 质量问题分析
质量问题应当沿系统链条定位。
例如,某个业务结果不正确,需要分别检查:
- 原始需求是否正确;
- 知识来源是否可靠;
- 动态语义定义是否正确;
- 结构关系是否完整;
- 计算规则是否正确;
- 能力调用是否正常;
- 认知状态是否正确;
- 决策条件是否符合要求;
- 执行过程是否正确;
- 反馈数据是否真实。
不能直接将最终结果错误归因于最后执行的程序模块。
55.12.5 质量改进与版本管理
质量问题修复后,应当记录:
- 原始问题;
- 问题原因;
- 修改对象;
- 修改范围;
- 程序版本;
- 数据库版本;
- 接口版本;
- 测试结果;
- 回归结果;
- 发布记录;
- 运行观察结果。
如果修改涉及结构、规则、能力或知识版本,还应检查对历史记录和下游系统的影响。
55.12.6 持续改进闭环
建议形成:
实际运行
|
v
质量监测
|
v
异常发现
|
v
问题分析
|
v
修正任务
|
v
程序或数据更新
|
v
测试验证
|
v
发布运行
|
v
质量复评
|
v
持续改进
该闭环与第42章反馈分析、第43章经验积累、第44章结构规则能力更新和第45章系统演化机制相衔接。
但工程质量管理不能未经授权直接修改其他独立系统的数据和规则。
更新必须交由相应责任系统按照其管理权限完成。
55.13 工程验收与质量评估系统的工程实现
55.13.1 系统定位
对于大型WSaiOS-SI工程项目,可以建立独立的工程验收与质量评估系统。
该系统负责管理:
- 工程项目;
- 验收范围;
- 验收标准;
- 质量指标;
- 测试证据;
- 运行数据;
- 缺陷记录;
- 质量评价;
- 验收结论;
- 持续改进记录。
它不替代实际运行监控系统、测试管理系统或业务系统,而是汇总经过授权的数据和证据,形成工程质量评价结果。
55.13.2 系统功能模块
建议划分为:
- 工程项目管理模块;
- 验收范围管理模块;
- 验收标准管理模块;
- 功能完整性评估模块;
- 运行稳定性评估模块;
- 数据正确性评估模块;
- 执行可靠性评估模块;
- 故障恢复评估模块;
- 应用效果评估模块;
- 质量指标管理模块;
- 证据管理模块;
- 缺陷与整改管理模块;
- 验收报告管理模块;
- 持续质量监测模块。
55.13.3 数据库设计建议
可以建立以下数据表。
项目与验收管理
- engineering_projects;
- engineering_project_versions;
- acceptance_scopes;
- acceptance_requirements;
- acceptance_criteria;
- acceptance_plans;
- acceptance_records;
- acceptance_conclusions。
质量指标管理
- quality_dimensions;
- quality_metrics;
- quality_metric_definitions;
- quality_metric_thresholds;
- quality_metric_records;
- quality_assessment_results。
证据管理
- quality_evidence;
- quality_evidence_relations;
- quality_evidence_versions;
- quality_evidence_verifications。
运行质量管理
- runtime_quality_records;
- service_availability_records;
- performance_quality_records;
- data_quality_records;
- execution_quality_records;
- recovery_test_records;
- application_effect_records。
问题和整改管理
- quality_issues;
- quality_issue_evidence;
- quality_correction_tasks;
- quality_correction_records;
- quality_retest_records;
- quality_issue_status_history。
报告管理
- quality_reports;
- acceptance_reports;
- quality_report_items;
- acceptance_document_records。
上述数据库结构属于工程设计建议。具体表结构应当根据实际项目规模、数据来源和现有系统接口确定。
55.13.4 程序模块建议
采用PHP OOP架构时,可以考虑:
- EngineeringProjectService;
- AcceptanceScopeService;
- AcceptanceCriteriaService;
- FunctionalQualityService;
- RuntimeStabilityService;
- DataQualityService;
- ExecutionReliabilityService;
- RecoveryAssessmentService;
- ApplicationEffectService;
- QualityMetricService;
- QualityEvidenceService;
- QualityIssueService;
- QualityCorrectionService;
- AcceptanceReportService。
各模块应当保持职责清晰。
55.13.5 数据来源和接口
质量评估系统的数据来源可以包括:
- 测试管理系统;
- 运行监控系统;
- 日志管理系统;
- 数据库管理系统;
- 执行控制系统;
- 反馈管理系统;
- 用户评价系统;
- 备份恢复系统。
数据接入时应保留来源、时间、系统版本、统计范围和核验状态。
不能将不同系统、不同统计周期的数据直接合并计算而不说明口径。
55.13.6 管理界面建议
建议建立:
- 工程质量总览;
- 项目验收管理;
- 验收标准管理;
- 功能完整性评估;
- 运行稳定性分析;
- 数据质量分析;
- 执行可靠性分析;
- 故障恢复评估;
- 应用效果分析;
- 质量问题管理;
- 整改跟踪;
- 验收报告。
管理界面展示的指标必须来源于实际记录,并能够查看相应证据。
55.13.7 系统自身验收
工程验收与质量评估系统自身也应经过完整测试。
包括:
- 项目资料管理;
- 验收标准维护;
- 指标计算;
- 证据关联;
- 质量评价;
- 缺陷整改;
- 验收结论;
- 报告生成;
- 权限控制;
- 数据备份和恢复。
尤其要检查评价数据是否能够追溯来源,避免出现质量评估系统自身的数据不准确,却输出看似完整的验收报告。
55.14 WSaiOS-SI工程验收标准建议
55.14.1 验收标准的总体结构
建议将工程验收标准划分为六个核心部分。
一、功能完整性标准
- 已确认的核心需求均有对应功能;
- 关键功能已经实际运行验证;
- 关键异常处理符合要求;
- 核心功能之间的调用关系正确;
- 未完成的功能已经明确标记;
- 不存在以界面或静态页面代替实际业务功能的情况。
二、运行稳定性标准
- 规定服务能够正常启动和运行;
- 核心接口能够正常提供服务;
- 运行监控有效;
- 关键错误能够发现和记录;
- 资源使用满足项目规定;
- 规定运行周期内没有不可接受的故障。
三、数据正确性标准
- 数据表结构符合设计;
- 关键数据能够正确保存和查询;
- 数据关联有效;
- 数据来源可追溯;
- 重要数据版本正确;
- 数据权限有效;
- 关键数据不存在未处理的重大错误。
四、执行可靠性标准
- 任务能够按照规定条件创建和执行;
- 任务状态与实际执行事件一致;
- 能力调用记录完整;
- 执行结果可以查询;
- 异常任务能够正确识别;
- 不存在无法解释的重复执行或状态错误。
五、故障恢复能力标准
- 关键故障能够发现;
- 备份任务能够正常执行;
- 备份数据经过恢复验证;
- 关键服务具有明确恢复方法;
- 故障恢复后数据和任务状态经过检查;
- 恢复目标符合项目要求。
六、实际应用效果标准
- 已确认的应用目标具有对应评价指标;
- 评价数据具有真实来源;
- 实际业务流程已经运行;
- 用户反馈得到记录;
- 应用效果能够通过数据或实际结果验证;
- 未经验证的应用效果不作通过结论。
55.14.2 关键指标的项目化确定
不同WSaiOS-SI应用系统的规模、用途和风险不同,因此不应当使用一个统一数值作为所有项目的固定验收门槛。
例如:
- 内部辅助工具可能不需要与高可用业务系统相同的服务可用性要求;
- 个人知识管理系统与企业业务执行系统具有不同的数据隔离要求;
- 专业信息服务系统与普通信息管理系统具有不同的来源核验要求;
- 任务执行系统可能需要更严格的状态管理和故障恢复要求。
因此,项目应当在建设阶段根据业务重要性、用户规模、数据风险和运行环境确定具体指标及阈值。
55.14.3 一票否决条件
对于以下问题,建议设置强制验收限制:
- 存在未处理的重大安全漏洞;
- 核心业务数据存在严重错误;
- 关键功能无法运行;
- 核心接口不能正常协作;
- 执行结果无法追溯;
- 重要数据备份无法恢复;
- 用户权限存在严重越权;
- 系统存在可能导致重大数据损失的未解决问题。
这些问题不能通过综合质量评分抵消。
55.14.4 工程交付条件
通过验收后,项目应当按照约定交付:
- 程序文件;
- 项目结构说明;
- 数据库结构;
- 安装和配置说明;
- 接口说明;
- 用户操作说明;
- 管理维护说明;
- 测试报告;
- 验收报告;
- 版本记录;
- 备份恢复说明;
- 遗留问题清单。
如果项目还没有达到某项交付要求,应当在验收材料中明确说明。
55.15 本章研究结论
本章围绕WSaiOS-SI工程应用体系的工程验收和运行质量评估,建立了从功能建设到持续运行的综合质量管理框架。
通过研究形成以下结论。
第一,工程验收与功能测试具有不同职责。
功能测试验证程序和业务功能是否正确运行,工程验收进一步确认项目是否达到既定建设目标和交付要求。
第二,工程质量必须进行多维评价。
功能完整性、运行稳定性、数据正确性、执行可靠性、故障恢复能力和实际应用效果共同构成工程质量评价的核心维度。
第三,数据正确性是多系统协作的基础。
数据来源、确认状态、定义、关系、版本和跨系统关联必须能够得到有效管理。
第四,执行可靠性必须通过真实任务验证。
能力调用成功、接口返回成功和任务完成是不同的工程状态,不能混为一谈。
第五,故障恢复能力必须经过实际恢复测试。
备份文件存在不代表能够恢复,服务重新启动也不代表业务数据已经恢复。
第六,实际应用效果必须有真实证据。
系统功能实现和系统实际产生应用价值是两个不同层次,应用效果应当通过实际业务数据和用户反馈进行评价。
第七,工程验收不是质量管理的终点。
系统通过初次验收后,还需要持续监控、质量分析、缺陷修复、回归测试和运行质量复评。
本章形成的工程质量管理主线可以概括为:
工程需求确认 → 功能建设 → 测试验证 → 实际部署 → 运行监控 → 数据质量检查 → 执行可靠性评价 → 故障恢复验证 → 实际应用效果评估 → 工程验收 → 持续质量改进。
至此,第十一篇“工程部署、运行与验证”形成了从项目部署安装、运行管理、安全权限、功能测试到工程验收与质量评估的工程闭环。
这一闭环为WSaiOS-SI从理论架构和应用系统设计走向可部署、可运行、可验证、可验收和可持续维护的工程应用体系提供了质量保障基础。
下一篇将进入WSaiOS-SI工程应用的对标研究与综合评估,进一步分析结构型人工智能工程体系与现有人工智能技术及软件工程体系之间的差异、适用边界、能力特点和发展方向。