WSaiOS-ICAI Learning System 学习系统规划
一、总体目标
建立一个能够:
读取资料 → 机器解析 → 结构化匹配 → 人工修改完善 → 保存知识 → 再次学习时调用已有知识 → 持续完善
的独立学习系统。
核心原则:
机器负责处理,人工负责修正,系统负责保存、调用和积累。
机器处理错误不是系统失败。
只要人工能够修改,系统就能够继续运行和学习。
二、总体架构
人工
│
┌────────────┴────────────┐
│ │
指定语言 创建学习结构
│ 对象 / 字段 / 规则
│ │
└────────────┬────────────┘
↓
学习资料
↓
资料预处理
↓
语句拆分
↓
词元/词组解析
↓
简单汉语语法规则
↓
词元类别/语义候选
↓
对象 / 字段普通匹配
↓
初始结构化知识
↓
人工修改完善
↙ ↓ ↘
修改 删除 补充
↓
最终结构化知识
↓
知识库存储
↙ ↘
数据库 文件导出
↓
下一轮学习继续调用
↓
循环学习完善
三、第一阶段:学习资料管理
首先保持现在 Learning System 的资料输入体系。
支持:
- 人工录入资料
- 文档资料
- 网页资料
- URL资料
- 已保存资料再次学习
每份资料建立唯一记录:
资料ID
资料名称
语言
资料来源
原始内容
学习时间
学习状态
原始资料永远保留,不因为后续人工修改知识而改变。
四、第二阶段:汉语基础解析
当前先只做:
汉语
不做多语言自动识别。
由人工指定:
学习语言:汉语
以后再增加:
语言模式
├── 汉语
├── 英语
├── 日语
├── 德语
└── 其他语言
但现在不实施多语言。
五、第三阶段:语句拆分
机器首先进行最基础的语言处理。
例如:
飞利浦电动牙刷售价399元,具有压力感应功能,适合成人使用。
先拆成语句:
飞利浦电动牙刷售价399元
具有压力感应功能
适合成人使用
再进一步进行:
词
词组
数字
单位
标点
关系词
等基础识别。
这里不要求机器完整理解汉语。
六、第四阶段:简单汉语语法规则
建立可配置的语法规则。
例如:
主语 + 谓语
主语 + 谓语 + 宾语
主语 + 系词 + 表语
主语 + 有 + 内容
主语 + 具有 + 内容
主语 + 适合 + 对象
主语 + 谓语 + 数值
主语 + 否定词 + 谓语
例如:
电动牙刷 + 售价 + 399元
得到:
对象:电动牙刷
关系:售价
内容:399元
再例如:
电动牙刷 + 具有 + 压力感应功能
得到:
对象:电动牙刷
关系:具有
内容:压力感应功能
这些规则以后可以继续增加。
七、第五阶段:词元分类
对资料中的词元进行基础分类。
例如:
飞利浦
→ 品牌候选
电动牙刷
→ 产品候选
399
→ 数值
元
→ 货币单位
压力感应
→ 功能候选
成人
→ 使用对象候选
这里先采用:
普通规则 + 普通匹配
不要求第一次就判断正确。
八、第六阶段:外部知识辅助
后续可以增加外部网络资源。
但外部资源的定位非常明确:
辅助机器理解词元,不直接决定最终结构化知识。
例如机器遇到:
飞利浦
可以通过外部资源获得:
公司
品牌
产品相关名称
等候选信息。
机器再结合:
词元本身
语法位置
对象
字段
已有知识
匹配结果
进行判断。
外部资源不是系统核心依赖。
九、第七阶段:结构化匹配
机器将解析结果与人工创建的:
对象
字段
规则
进行匹配。
例如用户建立:
对象:电动牙刷
字段:
品牌
价格
功能
适用人群
机器处理资料后:
品牌 → 飞利浦
价格 → 399元
功能 → 压力感应
适用人群 → 成人
形成初始结构化知识。
十、第八阶段:人工修改完善
这是整个系统非常重要的一层。
机器产生:
初始结构化知识
人工可以:
修改
删除
补充
调整字段
调整对象
修正匹配
例如:
机器:
品牌:电动牙刷
产品:飞利浦
价格:压力感应
人工修改:
品牌:飞利浦
产品:电动牙刷
价格:399元
功能:压力感应
最终保存人工修正后的结果。
不需要单独设置“人工确认”环节。
人工直接修改最终知识即可。
十一、第九阶段:结构化知识库
最终知识进入知识库。
建议知识记录至少包含:
知识ID
对象
字段
字段值
来源资料
原始语句
机器解析结果
人工修改结果
规则
版本
创建时间
更新时间
形成:
原始资料
+
机器结果
+
人工修正
+
最终知识
完整保留。
十二、第十阶段:知识导出
结构化知识可以随时导出。
第一阶段建议重点支持:
JSON
CSV
其中:
JSON作为系统内部知识交换和再次导入的主要格式。
例如:
{
"object": "电动牙刷",
"fields": {
"品牌": "飞利浦",
"价格": "399元",
"功能": "压力感应",
"适用人群": "成人"
}
}
以后可以把知识:
下载
备份
迁移
重新导入
其他系统调用
十三、第十一阶段:循环学习
这是最终形成学习系统的核心。
第一次:
资料
↓
机器解析
↓
人工修改
↓
知识库
第二次:
新资料
↓
调用已有知识
↓
机器解析
↓
匹配已有知识
↓
人工修改
↓
更新知识库
第三次:
更多资料
↓
更多已有知识
↓
更丰富的规则
↓
机器处理
↓
人工修改
↓
知识继续增加
最终形成:
资料
↓
解析
↓
匹配
↓
人工修正
↓
知识
↓
规则
↓
再次学习
↓
再次修正
↓
知识不断完善
十四、概率功能放在后面
你前面提出的:
单词语义解析 → 逻辑判断 → 概率值
可以作为后续升级。
第一阶段先:
普通匹配
↓
人工修改
跑通。
之后再增加:
候选A:品牌
候选B:公司
候选C:产品
匹配证据
↓
逻辑判断
↓
概率计算
↓
候选排序
↓
人工修改
这里的概率是结构化匹配概率,不是大模型的Token概率。
十五、人工修正数据的二次利用
人工修改不是一次性操作。
例如系统长期发现:
“售价”
→ 经常对应“价格”
“具有”
→ 经常对应“功能/能力”
“适合”
→ 经常对应“适用对象”
这些人工修正结果以后可以沉淀为规则。
因此:
人工修改
↓
修正记录
↓
规则积累
↓
下一次解析
↓
减少相同错误
这才真正形成学习。
十六、开发顺序
当前不需要一次做完。
建议严格按照:
第1步
资料读取
第2步
标点拆分
第3步
词元/词组解析
第4步
简单汉语语法规则
第5步
对象/字段普通匹配
第6步
初始结构化知识
第7步
人工修改完善
第8步
知识库存储
第9步
知识JSON/CSV导出
第10步
已有知识再次调用
第11步
循环学习
第12步
词元语义判断
第13步
概率计算
第14步
外部知识资源辅助
最终目标
不是:
让机器一次性把所有内容理解正确。
而是建立:
机器可以不断处理,人工可以不断修正,知识可以不断保存,下一次学习可以继续利用以前的结果。
这就构成了一个真正可以逐步扩展的 WSaiOS Learning System 学习闭环。