WSaiOS-ICAI Learning System 开发规划(重新确定版)
当前开发目标是先完成结构化知识的构建、积累、保存、导出、导入与二次学习,为未来的结构智能能力建设奠定基础。
现阶段不开发“方法(运算)”功能,但在整体规划中保留未来扩展位置。开发必须以当前项目实际代码为依据,不擅自增加固定字段、行业规则或未经确认的功能。
一、总体开发路线
第一阶段:结构化知识构建
建立从用户需求到结构化知识形成的完整处理流程。
第二阶段:语义库完善
持续积累字段概念、语义表达、定义标识和字段边界识别规则,为不同需求提供对应的识别依据。
第三阶段:结构化知识导出与导入
将语义库和结构知识完整打包,支持压缩包导入、恢复和继续积累。
第四阶段:二次学习与持续完善
在已有知识基础上获取新资料、发现新字段值、完善语义规则,形成更新后的结构化知识成果。
第五阶段:方法(运算)与智能能力
未来阶段。基于已经形成的结构化知识,研究用户需求的结构匹配、方法定义、运算执行和结果输出。
二、第一阶段:结构化知识构建
这是当前开发的核心,必须先完成。
1. 用户需求与结构定义
用户自主定义需要构建的对象与字段。
例如:
| 对象 | 用户定义的字段 |
|---|---|
| 电动牙刷 | 品牌、价格、认证、功能、生产厂家、采购人群 |
系统不得擅自增加固定行业、对象、字段、关键词或别名映射。
2. 外部资料获取
依据当前需求获取相关外部资料,并保留原始资料。
必须区分:
-
外部搜索负责获取资料。
-
语义库负责提供字段概念与识别规则。
-
字段提取模块负责从资料中提取字段值。
资料范围受限时,只能在指定范围内提取;资料范围不受限时,可以在系统允许的资源范围内继续查找。
3. 字段值提取
根据语义库中的字段表达规则识别目标字段。
例如,用户要求获取电动牙刷品牌,系统就针对品牌字段查找对应的语句和定义标识,例如“是”“:”,提取标识之后的原始字段值,直到识别出下一个字段的定义标识或适用的内容边界。
需要遵守:
-
不使用关键词评分代替字段值提取。
-
不把普通语句中的每一个“是”都当作字段边界。
-
不擅自改写或删减提取内容。
-
保留必要的来源与字段关联信息。
-
识别到的新字段表达方式,可以作为语义库后续完善的依据。
4. 结构知识形成
将提取结果组织为结构化知识,至少能够管理:
-
对象定义。
-
字段定义。
-
字段值。
-
对象、字段和值之间的关联。
-
原始资料来源及必要的追溯信息。
后台需要持续保留这些数据,不能把临时提取结果当作最终知识成果。
三、第二阶段:实时语义库建设
语义库是独立的规则积累与使用模块,不是外部资料本身,也不是字段值数据库。
语义库需要持续保存:
-
字段概念及其含义。
-
字段在自然语言资料中的表达方式。
-
字段定义标识及边界识别规则。
-
对象、字段与语义规则之间的关联。
-
随需求和资料处理逐步完善的规则内容。
例如,第一次处理“电动牙刷—品牌”时,系统使用已有规则识别品牌;后续资料出现新的品牌表达方式时,可以根据实际识别结果完善相应规则。
SemanticRelevanceScorer.php 只能用于语义库内部的规则匹配场景,不能直接用于外部资料的字段值提取,更不能把百分制相关性分数当成语义理解结论。
四、第三阶段:结构化知识压缩包
最终成果必须同时包含语义库和结构知识,而不是仅导出其中一部分。
结构化知识压缩包
建议文件名:WSaiOS-Structured-Knowledge.zip
语义库数据
字段概念、语义表达、定义标识、识别规则及其关联信息。
结构知识数据
对象、字段、字段值、结构关系及必要的来源信息。
导入恢复数据
数据格式版本、必要的关联标识及完整性校验信息。
导出规则
-
后台继续保留全部实时数据。
-
导出时生成独立的压缩包。
-
语义库与结构知识必须保持关联。
-
导出不清空后台,不删除原始资料。
-
文件格式应支持未来版本升级。
导入规则
-
检查压缩包的完整性和数据格式。
-
恢复语义库、结构知识及关联关系。
-
识别重复数据和冲突数据。
-
明确选择合并、更新或独立导入的处理方式。
-
不因导入而意外覆盖或丢失已有知识。
五、第四阶段:二次学习
二次学习必须在已有结构化知识基础上,继续接收新需求和新资料。
导入已有结构化知识压缩包
恢复原有语义库与结构知识
接收新需求,获取新的外部资料
依据语义规则提取新增字段值
保留旧知识,识别新增、重复及待修正内容
更新语义库与结构知识,重新导出完整压缩包
这里的“二次学习”不是单纯重新导入,也不是只对原有数据进行重复处理,而是通过新资料带来新的知识,通过新的表达方式完善语义库。
必须注意,系统能够提取的是已获取资料中符合规则的内容,不能仅凭一次或多次搜索就保证发现现实世界中的全部知识。
六、第五阶段:未来方法(运算)与智能能力
当前不开发该功能,但整体架构应允许未来接入。
未来可能包含:
-
用户提出智能能力需求。
-
识别需求所需的对象、字段和结构关系。
-
查找所需的结构知识。
-
定义或选择相应的方法。
-
执行结构化运算。
-
输出结果并保留必要的执行记录。
这一阶段依赖前面已经形成的结构知识,不能反过来影响当前字段定义与知识提取规则。
七、当前阶段的完成标准
| 检查项目 | 完成要求 |
|---|---|
| 需求定义 | 用户能够自主定义对象和字段 |
| 资料获取 | 能获取并保留外部原始资料 |
| 字段提取 | 按语义库规则提取字段值 |
| 语义库 | 能够持续保存和完善规则 |
| 结构知识 | 能够持续保存对象、字段、值及关系 |
| 数据导出 | 语义库与结构知识完整打包 |
| 数据导入 | 能恢复已有数据与关联 |
| 二次学习 | 能获取新资料并增加或完善知识 |
| 再次导出 | 能生成包含新旧成果的完整压缩包 |
| 数据安全 | 不因导入、导出而意外丢失原有数据 |
当前开发顺序确定为:先完成结构化知识构建,再完成语义库完善、压缩包导入导出和二次学习,最后才进入方法(运算)与智能能力开发。