语义字典的核心逻辑与智能理解思路
一、对主流大模型智能能力的认识
通过实际软件开发体验,发现主流大模型虽然能够生成代码、解释概念、组织语言,但在整体逻辑推理、因果关系判断、复杂需求理解和持续遵守既定约束方面,仍然存在明显不足。
主要问题包括:
- 能够描述正确的逻辑,不代表能够持续按照该逻辑执行。
- 能够生成合理的解释,不代表解释反映了真实的因果关系。
- 能够生成正确的局部代码,不代表能够完成逻辑一致的完整软件系统。
- 语言表达能力强,不代表其理解能力和逻辑推理能力同样可靠。
自回归大模型通过上下文计算下一个 Token 的概率分布,逐步生成语言内容。但不能仅凭语言生成机制,就认定其具备可靠的因果推理能力,也不能仅凭这一机制断定其完全不具备推理能力。
核心认识:语言生成的表现与可靠的逻辑理解能力,是两个需要分别考察的问题。
二、语义字典的设计目标
当前语义字典只负责需求语义处理,不承担通用智能系统的全部功能。
其核心目标是:
根据用户提出的需求,搜索相关信息,识别语义元素,匹配元素的语义概念定义,并将其保存下来,供后续结构知识模块使用。
不需要预先建立覆盖所有领域的大型语义库,也不需要预先固定所有元素、字段及字段值。
三、语义字典的核心工作流程
- 接收需求: 获取用户提出的问题、需求或待理解的内容。
- 搜索信息: 根据需求搜索相关资料,为语义识别和概念定义提供依据。
- 识别语义元素: 从需求或资料中识别需要理解的元素对象。
- 匹配语义概念: 查找元素对应的语义概念定义;没有合适定义时,根据实际信息进行匹配或构建。
- 确定定义字段: 根据元素的实际语义,动态确定需要哪些定义字段。
- 确定字段值: 将字段值作为该字段当前的定义内容。
- 保存语义概念: 将元素及其定义字段、字段值等语义信息保存下来。
- 供后续复用: 结构知识模块通过匹配语义元素,读取已有定义,理解知识元素的含义。
简化流程:
需求输入 → 信息搜索 → 语义元素识别 → 概念匹配 → 字段与定义值构建 → 保存 → 后续复用。
四、语义概念的基本结构
语义字典不是简单的“单词名称—解释”对照表,而是围绕元素对象建立语义概念。
基本关系:
语义元素 → 定义字段 → 字段值(当前字段的定义内容)
其中:
- 语义元素: 当前需要理解的对象。
- 定义字段: 描述或解释该元素语义的字段。
- 字段值: 当前字段的具体定义内容。
字段及其定义内容根据实际需求和检索到的信息动态确定,而不是预先固定。
示例
假设系统识别到一个“评论者”元素:
| 项目 | 内容 |
|---|---|
| 语义元素 | 胃病 |
| 定义字段 | 定义 |
| 症状 | 胃痛,胃胀 等 |
| 治疗 | 具体治疗方法比如用是39胃泰的药品,在外资源查找对应不同症状治疗方法等 |
| 症状 | 胃痛,胃胀 等 |
这里,“定义”是字段,“发表评论的主体”是该字段当前的定义值。
上述内容仅用于说明结构,不代表所有元素都必须采用相同字段。
五、与程序变量赋值的关系
语义字段及其定义值,可以类比程序中的变量赋值。
$element = '胃病';
$field = '症状';
$value = '胃痛,胃胀';
这种类比说明了字段和值之间的关系,但语义字典的特殊之处在于:
- 字段可以根据实际语义动态确定。
- 字段值来自对概念定义的识别、匹配或构建。
- 元素及其语义定义可以保存并重复使用。
- 后续模块可以依据已有定义理解新的知识内容。
因此,语义字典不仅保存数据,还承担语义概念的组织与复用功能。
六、语义字典与结构知识模块的关系
两个模块职责分离。
语义字典
负责需求语义处理、元素识别、概念定义匹配、定义字段和值的构建与保存。
结构知识模块
负责将待处理的知识元素与语义字典中的概念定义进行匹配,利用已有定义理解知识元素,并用于后续结构知识构建。
两者通过语义元素及其概念定义建立联系。
当遇到已有定义的元素时,可以复用已有语义信息;遇到尚未建立定义的元素时,再根据实际需求和相关信息进行处理。
七、关于人类理解文档的启发
人阅读文档时,会根据词语所表达的概念理解内容,并结合上下文和不同概念之间的关系,形成对整段内容的理解。
例如:
“胃痛怎么办?”
理解这句话,需要识别“胃痛”“怎么办”语义元素或表达,并理解它们的含义及相互关系。
语义字典尝试将其中的概念理解过程转化为机器能够执行的工程机制:
识别语义元素 → 匹配概念定义 → 读取定义字段值 → 结合上下文与元素关系理解内容。
需要注意,概念定义匹配是基础机制。对于歧义、上下文变化和复杂关系,还需要相应的处理机制,不能仅凭单个词语的定义就保证完整理解。
八、核心设计原则
- 不预先固定所有语义概念。
- 不预先固定所有定义字段。
- 根据用户实际需求搜索和处理信息。
- 以语义元素为匹配对象。
- 以元素的语义概念及其定义字段值作为理解依据。
- 将建立的语义信息保存下来,供后续结构知识模块复用。
- 语义字典只承担明确限定的需求语义工作,不擅自扩展为复杂的通用推理系统。
- 对于无法确定的概念定义,不应凭空补充,应继续检索或保留未知状态。
九、今日讨论的最终结论
本次讨论明确了语义字典的核心思想:
机器理解内容,可以通过识别语义元素、匹配元素的概念定义,并读取定义字段的当前定义值来实现基础语义处理。
语义字典不追求预先存储所有知识,而是根据实际需求动态识别和构建语义概念,并将其保存下来,供后续结构知识模块匹配和理解知识元素。
其基本逻辑是:
需求驱动、动态识别、动态定义、语义匹配、保存复用。
这就是当前语义字典的设计方向,也是后续结构知识系统建立概念理解能力的基础。