WSaiOS-ICAI-Learning-System 动态语义库总体思路归纳
你的动态语义库不是一个普通的搜索引擎,也不是预先收集所有领域知识的静态数据库,而是 以现有结构智能学习系统已经形成的知识结构为基础,由当前学习任务驱动需求,通过外部公开资源理解知识、建立语义关系、保留证据,并形成可计算、可验证、可持续更新的语义知识体系。
它服务于现有的 WSaiOS-ICAI-Learning-System,不是另起一个独立项目,也不改变已有的资料结构化学习流程。
一、总体架构:两个库,一个处理过程
第一部分:动态语义需求库
负责确定系统当前需要理解什么、为什么需要理解,以及需要从哪些方面寻找外部依据。
需求来源包括当前学习任务、现有结构定义、已经形成的知识元素,以及知识之间尚未解决的关系、缺失和冲突。
根据需求动态生成检索条件,获取外部材料
第二部分:外部资源获取与语义理解
从合法、公开、可访问的网页和资料中获取内容,经过解析、清洗、语义单元提取、知识对应、关系分析与证据关联,形成可用于理解的材料。
外部材料不能未经分析就直接认定为事实,也不能直接替代现有结构化知识。
组织语义单元、关系、证据和验证状态
第三部分:实时语义库
保存与当前需求有关的语义内容、知识对应关系、证据来源、相关性评分、冲突情况、验证状态和版本变化。
它是后续知识匹配、组合、分析、认知、推理和决策可以调用的语义材料基础。
这里最重要的区分是:动态语义需求库决定理解什么;实时语义库保存理解所需的材料、关系、证据和处理结果。 两者相互关联,但不是同一个库。
二、核心驱动逻辑:从已有结构产生动态需求
你的系统不应该先假定一个固定行业、固定产品或固定字段,再编写专门的抓取代码。它必须读取现有结构定义,根据真实数据动态生成需求。
核心检索组合只有两类:
1. 行业 + 字段
根据当前结构所涉及的行业和实际字段,寻找与该字段有关的专业资料、定义、标准、说明或证据。
2. 分类 + 字段
根据现有结构中的真实分类和字段,寻找更具体的语义材料,缩小理解范围。
对象、属性值和已有关系可以用于进一步限定需求、区分不同语境、确定待核实的问题,但不能取代上述两种核心检索组合。
例如,如果现有结构定义中存在某个产品分类和一个实际属性,系统就应从结构定义中读取这些信息,动态生成相关检索条件,而不是在代码中写死产品名称或属性名。
因此,系统需要做到:
-
动态读取
StructureDefinitionModel.php中的真实结构定义。 -
动态识别当前任务需要理解的知识元素。
-
识别已有知识、缺失信息、重复需求、依赖关系和冲突。
-
生成有来源、有理由、可追溯的语义需求。
-
需求随学习任务和知识状态变化而更新,而不是固定不变。
三、完整运行流程
01
读取现有知识
当前学习任务、结构定义、已有知识元素
02
生成动态需求
确定待理解的问题、目标和需求依据
03
生成检索条件
行业 + 字段;分类 + 字段
04
获取外部资源
发现并获取合法、公开、可访问的资料
05
形成语义预内容
解析、清洗、拆分,保留原始来源
06
建立语义关联
与现有知识对应,提取关系和主张
07
关联证据并核验
记录支持、反驳、冲突和未知状态
08
评分与评估
计算相关性;在具备验证条件时评估概率
09
写入实时语义库
保存内容、来源、关系、状态和版本
10
提供后续运算
用于匹配、组合、分析、认知、推理与决策
11
反馈与更新
根据新需求、新证据和核验结果更新
其中有一个必须保持的边界:已经完成的资料结构化流程属于现有学习系统,不应因为建设动态语义库而重新开发或重复执行。 当前阶段要围绕已结构化形成的 Object / Attribute / Value 等知识元素,开展外部资源理解和语义关联。
四、实时语义库应当保存什么
实时语义库不只是一个网页内容集合。它需要保存可追溯、可运算的语义材料。
| 数据类别 | 作用 |
|---|---|
| 语义需求 | 记录要理解的问题、需求来源和生成依据 |
| 外部资源 | 记录来源地址、资源类型、获取时间和原始内容 |
| 语义单元 | 将外部内容拆解为可以独立分析的内容单元 |
| 知识对应关系 | 说明外部语义单元与现有对象、属性、值之间的联系 |
| 关系记录 | 表示支持、反驳、冲突、包含、条件约束、因果候选、方法依赖等关系 |
| 证据记录 | 保存具体证据内容及其来源,支持追溯 |
| 评分与验证 | 区分相关性评分、证据支持程度、验证状态和概率估计 |
| 版本记录 | 保存新增内容、证据变化、结论变化及变化原因 |
关系不能仅凭文本相似或共同出现就认定成立;两个信息相关,也不能直接推导出因果关系。
同样,来源数量多不意味着结论必然正确,最新资料也不应自动覆盖已有结论。遇到冲突时,系统应保留不同证据并标记待复核状态。
五、相关性评分、事实核验和概率估计必须分开
这是整个动态语义库的重要计算边界。
相关性评分
衡量候选资源与当前语义需求有多相关。当前已有的 SemanticRelevanceScorer.php 使用目标词项匹配计算 relevance_score,其结果属于关键词相关性,不代表事实正确率。
证据支持与事实核验
判断资源内容是否有证据支持、是否存在反证、来源是否可靠,以及结论是否经过核验。评分高不等于核验通过。
概率估计
需要明确概率所描述的事件,并基于真实核验样本、独立测试和校准过程评估。没有足够数据时,不应伪造概率,也不能把关键词匹配分数直接改名为概率。
外部 AI 的回答可以作为一种待分析材料,但只能来自允许的网页交互或人工导入;系统不调用大模型 API,也不模拟或伪造 AI 回答。交叉验证的重点是比较不同来源的主张与证据,而不是简单统计有多少来源给出了相同答案。
六、系统实现必须遵守的工程约束
-
不依赖大模型逻辑。 不使用大模型 API、Transformer、Embedding、向量搜索或提示词工程来替代结构智能的理解与运算过程。
-
不硬编码业务字段。 行业、分类、对象、属性和值都应从真实结构定义及当前任务中动态读取。
-
不使用第三方搜索 API。 按既定方案获取合法、公开、可访问的网页信息,不绕过登录、付费墙或禁止抓取限制。
-
不破坏现有学习流程。 不重做资料结构化,不擅自更改数据格式、调用接口或重构核心模块。
-
保留来源和处理依据。 语义结论必须能够追溯到具体内容与证据。
-
冲突不能被静默覆盖。 证据变化、结论变化和待核验状态需要明确记录。
-
不自动重新导入历史学习包。 每轮学习成果交给用户保存;后续继续学习时,由用户人工重新导入先前的数据包。
七、结合当前代码,项目应当怎样推进
现有项目中已经存在相关组件:
-
app/models/StructureDefinitionModel.php:结构定义来源,需要用它动态生成需求和检索条件。 -
app/models/KnowledgeModel.php:现有知识元素模型,是语义理解的基础输入之一。 -
app/models/SemanticResourceModel.php:目前主要负责管理semantic_resources.json中的资源记录,不等于完整实时语义库。 -
app/engines/SemanticUnderstandingEngine.php:需要先审计并恢复为真正的语义理解引擎。 -
app/engines/SemanticRelevanceScorer.php:当前评分逻辑是关键词相关性评分,不能作为事实核验或概率引擎。 -
app/engines/LearningKernel.php及另一个app/LearningKernel.php:需要查清实际调用链,不能凭文件名推断哪个文件正在运行。
当前审计发现,app/engines/SemanticUnderstandingEngine.php 的输出中混入了 SemanticRelevanceScorer 的类代码和 PowerShell 命令内容。因此,下一步不是直接覆盖文件,而是先核实两个文件的语法、实际调用位置和现有接口,再进行最小范围修复。
实施顺序建议保持为六个阶段:
-
审计现有语义引擎、资源模型、评分器和调用链。
-
基于真实结构定义,建立动态语义需求生成与公开网页发现机制。
-
建立语义单元、知识对应关系和证据关联机制。
-
完善相关性评分及可解释的评分指标。
-
建设交叉验证、冲突处理和具备真实样本基础的概率校准。
-
完成实时更新、版本管理、查询接口及后续学习运算的应用连接。
最终定义
WSaiOS 动态语义库,是由当前学习任务和已有结构化知识驱动,通过动态语义需求生成、公开资源获取、语义单元解析、知识关系构建、证据关联与验证、相关性计算和版本更新,持续形成可追溯、可计算、可验证的语义知识体系,为 WSaiOS 结构智能系统提供外部知识理解能力的组成部分。
它的核心不是预先存储尽可能多的信息,而是让系统能够根据当前知识状态,确定需要理解什么、寻找什么依据、建立什么关系、哪些结论可信到什么程度,以及接下来还需要学习什么。
这就是动态语义需求库与实时语义库共同服务于 WSaiOS 结构智能的整体思路。