外部资源语义理解阶段规划
前面的资料结构化已经完成,这一阶段的任务是:
利用外部资源,对已经结构化形成的知识元素进行语义理解。
一、整体流程
当前学习任务
↓
已经结构化的知识元素
↓
识别需要进行语义理解的元素
↓
确定外部资源需求
↓
获取外部资源
↓
解析外部资源
↓
提取可用于理解的语义内容
↓
与当前知识元素进行对应
↓
建立语义关系
↓
形成语义理解结果
↓
保存语义理解数据
↓
进入下一阶段
二、不是重新结构化
这一点要明确:
原始资料
↓
结构化
↓
知识元素
已经完成。
现在不是重新读取原始资料,而是:
知识元素
↓
外部资源
↓
理解知识元素
例如已经有:
对象:电动牙刷
字段:品牌
值:飞利浦
语义理解阶段需要进一步理解:
飞利浦
↓
它是什么
↓
它属于什么
↓
它与“电动牙刷”的关系
↓
相关语义属性
↓
形成理解结果
三、外部资源的作用
外部资源不是直接替代当前知识,而是作为语义理解依据。
可以包括:
公开网页
公开资料
百科资料
产品资料
行业资料
专业资料
其他允许使用的外部信息
以后可以继续增加外部资源类型。
系统应该形成:
知识元素
+
外部资源
↓
语义理解
四、语义理解的基本对象
建议围绕已经形成的结构化知识元素进行:
Object
Attribute
Value
也就是:
对象
↓
字段
↓
字段值
例如:
电动牙刷
├─ 品牌:飞利浦
├─ 价格:……
├─ 功能:……
├─ 认证:……
└─ 生产厂家:……
系统逐个理解这些内容,而不是把整篇资料再次当成一个整体处理。
五、语义关系
语义理解完成以后,不能只是保存一段文字。
应该逐步形成结构关系:
元素
↓
概念
↓
关系
↓
含义
↓
状态
例如:
飞利浦
↓
品牌
↓
电动牙刷
或者:
某功能
↓
功能关系
↓
电动牙刷
这样后面才能继续进入真正的认知、推理和决策。
六、SemanticUnderstandingEngine 的职责
现有:
app/engines/SemanticUnderstandingEngine.php
以后主要负责:
接收知识元素
↓
确定语义理解对象
↓
调用外部资源获取机制
↓
处理外部资源
↓
提取语义信息
↓
建立语义关系
↓
返回结构化语义理解结果
它不负责:
- 原始资料结构化
- HTML 拆分
- 字段匹配
- 知识元素首次提取
- 最终设备数据输出
这些保持职责分离。
七、LearningKernel 的位置
整体以后形成:
LearningKernel
│
├── InformationSource
│
├── ElementExtractor
│
├── KnowledgeModel
│
├── MemoryModel
│
└── SemanticUnderstandingEngine
↓
外部资源
↓
语义理解
LearningKernel 负责流程组织。
SemanticUnderstandingEngine 负责语义理解处理。
这样后面增加其他认知能力时,不需要把所有逻辑都塞进 LearningKernel。
八、这一阶段的结果
最终应该产生独立的语义理解数据,例如逻辑上:
知识元素
↓
语义概念
↓
语义关系
↓
语义含义
↓
理解结果
然后才进入下一阶段:
语义理解
↓
认知
↓
推理
↓
决策
↓
行动
九、现在的开发顺序
我们不要一次把后面的东西全部做进去。
现在按这个顺序:
① 检查 SemanticUnderstandingEngine.php
↓
② 确定外部资源接口
↓
③ 确定外部资源数据进入方式
↓
④ 确定语义理解输入
↓
⑤ 确定语义理解输出数据结构
↓
⑥ 接入 LearningKernel
↓
⑦ 实际运行测试
↓
⑧ 再进入下一阶段