WSaiOS 实时语义结构化语义库建设规划
一、项目目标
建设 WSaiOS 实时语义结构化语义库,使系统能够依据现有结构定义,实时检索外部网络中合法可获取的信息,将检索到的网页内容转化为可追溯、可关联、可计算的结构化语义资料,为后续知识学习、语义理解、能力结构匹配和问题求解提供数据基础。
整个过程不依赖大模型 API,以外部资源检索、网页内容获取、语义结构化、关系关联、证据核验和程序规则计算为基础。
本规划以现有 PHP 5.6 项目 WSaiOS-ICAI-Learning-System 为基础,不脱离现有代码另建孤立系统,不擅自修改已经存在的原始结构化流程。
二、核心检索原则
实时语义库以现有结构定义中的行业、分类和字段为依据,动态生成外部资源搜索条件。
仅采用以下两种核心组合:
-
行业 + 字段
-
分类 + 字段
不以结构名称代替检索条件,不把固定的行业、分类、字段名称写死在程序中,也不将 AI 作为所有搜索任务必须包含的关键词。
2.1 行业 + 字段
读取当前结构定义中的行业值,遍历实际存在的字段,动态生成搜索组合。
2.2 分类 + 字段
读取当前结构定义中的分类值,遍历实际存在的字段,动态生成搜索组合。
2.3 动态生成机制
假设某个结构定义包含:
-
行业:口腔护理
-
分类:电动牙刷
-
字段:制造商、产品规格、适用场景
系统应动态生成以下搜索条件:
| 检索类型 | 搜索条件 |
|---|---|
| 行业 + 字段 | 口腔护理 + 制造商 |
| 行业 + 字段 | 口腔护理 + 产品规格 |
| 行业 + 字段 | 口腔护理 + 适用场景 |
| 分类 + 字段 | 电动牙刷 + 制造商 |
| 分类 + 字段 | 电动牙刷 + 产品规格 |
| 分类 + 字段 | 电动牙刷 + 适用场景 |
以上仅为机制示例。实际检索必须读取项目中的真实结构定义,不得将示例内容固定到程序中。
当行业、分类或字段为空时,应根据实际情况跳过无效组合,不得擅自用结构名称或其他字段替代。
三、总体架构
第一层:现有结构定义与知识元素
读取现有定义、行业、分类、对象、字段及关联信息
第二层:动态检索条件生成
行业 + 字段;分类 + 字段
第三层:外部网络实时检索与内容获取
搜索引擎、开放数据源、公开网页及其他合法可访问资源
第四层:语义预内容库
原始内容、语义单元、检索条件、来源及证据
第五层:语义结构化与关系构建
实体、属性、关系、条件、上下文和证据关联
第六层:实时结构化语义库
可查询、可关联、可计算、可追溯、可持续更新
第七层:后续知识学习与问题求解
四、各阶段建设内容
第一阶段:动态检索条件生成
目标: 根据现有结构定义自动生成检索任务。
主要工作:
-
读取当前有效的结构定义。
-
获取其中真实存在的行业、分类及字段信息。
-
动态生成两组搜索组合。
-
为每个搜索组合保留来源结构及关联信息。
-
处理空值、重复组合和结构定义变更。
-
为每个组合建立独立的检索任务及执行状态。
本阶段只负责生成检索条件,不负责网页搜索,也不修改原始结构化处理逻辑。
第二阶段:外部网络实时检索
目标: 根据动态生成的组合发现外部信息资源。
信息来源包括:
-
搜索引擎能够检索到的公开网页。
-
企业官网、产品页面及行业网站。
-
新闻、技术文章和公开研究资料。
-
开放数据、公开报告、政府网站和开放许可文档。
-
其他允许系统访问和处理的信息源。
实施要求:
-
通过实际可用的搜索接口或合法的网页检索方式发现资源。
-
获取搜索结果中的标题、链接、摘要及可用的来源信息。
-
根据搜索组合判断结果是否值得进一步获取。
-
对符合访问条件的网页进行正文获取。
-
记录搜索时间、获取时间、来源网址和任务状态。
-
对访问失败、内容受限及无结果的任务保留状态,支持后续重试。
这里的“整个外部网络”指尽可能广泛地检索合法可用的资源,不代表能够访问或获取互联网中的全部内容。
第三阶段:语义预内容库
目标: 将实时检索获取的外部信息转化为后续结构化处理所需的预内容。
每条预内容根据实际需要记录:
| 信息 | 作用 |
|---|---|
| 原始网页内容或内容片段 | 保留后续处理依据 |
| 来源网址 | 追溯原始资料 |
| 检索组合 | 记录内容通过什么条件被发现 |
| 结构关联 | 关联相关结构定义和字段 |
| 内容上下文 | 保留标题、段落或相关上下文 |
| 时间信息 | 记录检索、获取及可查证的发布时间 |
| 处理状态 | 标记待处理、已处理、失败等状态 |
预内容库与最终语义库应当区分:
-
语义预内容库保存外部信息及其证据,为结构化提供原始依据。
-
实时结构化语义库保存经过结构化处理的语义单元、关系及证据关联。
预内容不因被检索到就自动成为已经验证的知识。
第四阶段:外部内容清洗与语义单元拆分
目标: 将网页转换为可处理的内容单元。
主要工作:
-
清理 HTML 标签、脚本、样式和无关页面内容。
-
规范化文本和字符编码。
-
根据段落、标题、标点和文档结构拆分内容。
-
保留必要的上下文与来源位置。
-
对重复内容进行识别。
-
为内容单元建立稳定的标识及其来源关联。
这一阶段可以基于现有 PHP 内容处理能力逐步实现,不要求调用大模型。
第五阶段:实时语义结构化
目标: 将预内容转换成可计算的语义资料。
处理对象来自外部网页,而不是仅仅把搜索关键词保存到数据库。
主要工作:
-
从文本中识别可识别的实体和概念。
-
根据实际结构定义和内容证据识别属性。
-
识别文本中能够由规则支持的关系。
-
保留关系成立的条件、上下文和原文证据。
-
将语义单元与对应的检索任务、来源和结构定义关联。
-
对无法确认的实体、属性或关系保留未知状态。
不使用大模型 API 时,可以使用规则、词典、模式匹配及可部署的传统自然语言处理工具。
需要明确:关键词匹配只能提供候选结果,不能独立证明实体关系正确。对于无法通过现有规则可靠判断的内容,应保留候选状态,不得自动认定为事实。
第六阶段:实时结构化语义库
目标: 建立可以持续更新和重复使用的语义资料集合。
语义库应支持以下能力:
-
按来源和检索任务追溯资料。
-
按结构定义及关联字段检索资料。
-
查询语义单元及其上下文。
-
查询实体、属性和关系。
-
记录关系对应的原文证据。
-
识别重复资料。
-
保留不同来源之间的冲突。
-
标记尚未确认的内容。
-
根据新的外部资料更新相关内容。
-
为后续学习和问题求解提供结构化数据。
语义库的具体存储结构应依据现有项目的真实数据模型确定,不预先假定必须采用某种数据库、固定字段或特定关系表。
第七阶段:语义理解与知识应用
目标: 将实时结构化语义库提供给后续知识学习和问题求解过程。
处理逻辑为:
-
根据任务获取相关语义资料。
-
检查资料与当前结构及需求的关联。
-
根据证据和规则判断可用关系。
-
区分已支持、存在冲突及尚未知晓的信息。
-
形成可供后续计算和决策使用的知识结构。
-
保留结果与原始资料之间的追溯关系。
该阶段负责使用语义库,不应把外部检索、语义预内容生成和原始结构化处理混为一个步骤。
五、实时更新机制
实时语义库不是只在首次运行时建立一次,而是需要支持持续发现和处理新信息。
更新机制包括:
-
按需检索: 学习任务触发时生成组合并搜索。
-
重复检测: 判断新内容是否已经存在。
-
内容更新: 重新获取可访问的来源,并保留必要的历史记录。
-
关系更新: 根据新证据补充或调整语义关系。
-
冲突管理: 不同来源互相矛盾时保留冲突证据,不随意选择一方。
-
失败重试: 对暂时不可访问的来源按策略重试。
-
来源追溯: 保留检索和获取记录,以便核查信息时效性。
实时性受搜索服务、网络延迟、来源访问限制及处理能力影响,因此不能承诺所有外部信息都能即时发现和更新。
六、技术约束与边界
本项目建设过程中必须遵守以下约束:
-
不依赖大模型 API。
-
不使用 Transformer、Embedding、向量相似度或概率预测作为本方案的核心机制。
-
不固定业务行业、分类、对象或字段。
-
不以结构名称代替“行业 + 字段”和“分类 + 字段”。
-
不将搜索命中直接认定为语义理解结果。
-
不将未经核验的网页内容直接认定为可靠事实。
-
不擅自修改原有结构化阶段。
-
不脱离实际代码设计新的固定字段映射。
-
遵守来源网站的访问条件、版权许可、个人信息保护和适用法律。
-
对当前程序尚不具备的能力,必须先完成对应开发,不能仅凭规划认定已经实现。
七、与现有项目的衔接
此前检查过的代码中:
-
StructureDefinitionModel.php已提供结构定义及行业、分类、对象和字段信息。 -
SemanticResourceModel.php已提供语义资源的基础数据管理。 -
SemanticUnderstandingEngine.php已具备已知 URL 获取、HTML 清洗、内容拆分和候选文本匹配的基础。 -
LearningKernel.php可以调用现有语义理解流程,但尚未自动完成通用外部网络搜索。 -
LearningController.php尚未接通完整的实时外部检索及语义库更新流程。
因此,应当优先在现有架构中补齐实时检索、预内容存储、语义结构化及更新机制,而不是重新实现已经存在的功能。
在修改代码前,还需要核对实际的知识元素存储结构,以及语义资源与结构定义之间的关联方式。未确认的部分不能通过假设补齐。
八、建议实施顺序与交付成果
| 阶段 | 交付成果 |
|---|---|
| 1. 现有代码核查 | 确认结构定义、知识元素和资源模型的真实关系 |
| 2. 动态检索条件生成 | 自动生成行业 + 字段、分类 + 字段组合 |
| 3. 实时外部检索 | 能够调用实际可用的外部搜索来源 |
| 4. 语义预内容库 | 保存外部内容、来源、检索条件和证据 |
| 5. 语义结构化 | 将预内容转换为可计算的语义单元及关系 |
| 6. 实时语义库管理 | 支持查询、去重、更新、冲突及来源追溯 |
| 7. 学习流程衔接 | 将结构化语义资料提供给现有后续处理流程 |
| 8. 集成测试 | 验证动态字段、检索结果、证据、更新和异常处理 |
最终建设目标: 形成一套以“行业 + 字段”和“分类 + 字段”为外部信息检索入口,以语义预内容为原始资料基础,以实时语义结构化为核心处理过程,以可追溯、可计算的语义库为成果,并为 WSaiOS 后续学习与问题求解提供知识支持的系统。