首页 理论 架构 工程 规划 文档 白皮书 著作 研究 规范 下载 博客 关于 联系 开始使用 →

第十三章 外部资料的语义单元化

《WSaiOS结构智能(WSaiOS-SI)理论工程》

第十九卷:动态语义库理论与工程

第十三章 外部资料的语义单元化

13.1 外部资料语义单元化的提出

外部资料的语义单元化,是 WSaiOS 结构智能(WSaiOS-SI)动态语义库将外部信息转化为可识别、可关联、可比较、可计算、可核验知识材料的基础过程。

外部资料可能来自公开网页、电子文档、产品资料、技术标准、公开数据库、接口返回内容、研究报告、公告以及其他可访问的信息资源。这些资料在表达形式、组织方式、内容完整性、语义精度和来源可信程度方面存在差异。即使两份资料描述同一个对象,也可能使用不同的名称、表达不同的属性、采用不同的单位,或者具有不同的时间条件和适用范围。

如果系统仅保存原始文本,虽然能够保留资料内容,却无法直接确定其中包含哪些对象、对象具有哪些属性、属性值之间存在什么关系,以及某项陈述是否能够用于当前任务。

如果系统仅将文本切分成若干句子或段落,也不能保证切分结果具有独立的语义意义。一个完整事实可能跨越多个句子,一句话可能同时包含多个对象和多项陈述,而一个属性值又可能依赖前文的对象、时间或条件才能得到正确解释。

因此,WSaiOS-SI 需要建立外部资料语义单元化机制。

语义单元化不是简单的文本切割,不是关键词提取,也不是将自然语言改写成固定格式。它的核心任务是:

从外部资料中识别具有明确语义指向的信息单元,恢复其必要的对象、属性、值、关系、条件和来源,并将这些信息组织为能够进入结构智能运算过程的知识材料。

这一过程以结构为基础,以实际语义为处理对象,以动态语义需求为任务依据,并以可追溯、可关联和可验证为工程要求。

语义单元化的目标不是消除所有自然语言表达的复杂性,而是使资料中能够被识别的语义内容获得明确的结构位置,同时保留暂时无法确定的部分,避免将解释结果误当成已经确认的事实。

13.2 语义单元的基本定义

在 WSaiOS-SI 动态语义库中,语义单元是从原始资料或已有知识结构中识别出来的、具有明确语义指向和可追溯来源的信息组织单位。

一个语义单元可以表示一个对象、一项属性、一组属性值、一种关系、一项事实主张、一项规则、一项条件、一段状态描述,或者其他具有独立处理意义的语义内容。

这里的“独立”并不意味着该单元脱离上下文后仍然能够被完整理解,而是指它能够在系统中被单独识别、引用、关联和管理,同时保留解释它所必需的上下文。

例如,外部资料中存在以下描述:

某型号电动牙刷采用可充电电池,支持两种清洁模式,产品资料于某日期更新。

对这段资料进行语义单元化时,不能只得到三个孤立的词组:“可充电电池”“两种清洁模式”“某日期”。

系统还需要识别这些内容分别指向什么对象、表达什么属性,以及时间信息描述的是产品本身、资料发布时间,还是资料更新事件。

在语义明确的情况下,可以形成以下语义内容:

  • 对象:某型号电动牙刷。

  • 属性:电池类型。

  • 属性值:可充电电池。

  • 属性:清洁模式数量。

  • 属性值:两种。

  • 事件:产品资料更新。

  • 时间:对应的更新日期。

但这只是对示例资料的结构化解释。它是否准确,仍取决于原始内容、上下文、来源定位和解析结果。尤其是“某日期更新”,不能在缺少进一步依据时直接认定为产品的生产日期、上市日期或技术规格生效日期。

因此,语义单元的形成至少需要考虑三个问题:

第一,它表达什么语义内容。

第二,它指向什么对象、关系、条件或事件。

第三,系统凭什么将它解释为当前识别的语义内容。

第三个问题决定了语义单元不能只保存解释结果,还必须能够追溯到产生该结果的原始资料及其内容位置。

13.3 语义单元与信息片段、知识结构的区别

外部资料处理过程中,信息片段、语义单元和知识结构具有不同的含义。

信息片段是根据资料形式或处理需要获得的一段内容。它可以是句子、段落、表格单元格、标题、列表项、接口字段,也可以是其他可定位的内容区域。

语义单元是对信息片段进行语义识别后形成的、具有明确语义指向的处理单位。

知识结构则是在语义单元之间建立必要的对象、属性、关系、条件和规则联系后形成的可组织、可运算的知识组织形式。

三者之间并不存在一一对应关系。

一段信息片段可能包含多个语义单元;多个信息片段可能共同构成一个语义单元;一个语义单元也可能需要结合其他单元,才能形成完整的知识表达。

例如,某份技术文档将产品型号写在标题中,将产品属性写在正文中,将适用条件写在脚注中。若系统仅按照段落切分,正文中的属性描述可能失去对象指向,脚注中的限制条件也可能与正文脱离。

正确的处理方式不是强行把所有内容塞入同一段文本,而是分别保留其原始位置,再通过对象对应关系、上下文关系和条件关系将它们关联起来。

因此,三者的基本关系可以表达为:

原始资料 → 信息片段识别 → 语义单元识别 → 语义关系建立 → 知识结构形成。

这条链路表示处理过程,而不是要求每种资料都必须经过完全相同的步骤。对于已经具有明确对象、属性和关系的结构化数据,系统可以直接识别其中的语义单元;对于表达复杂或上下文依赖较强的资料,则需要更多解析和关联工作。

无论采用何种路径,原始资料都不能因为已经形成语义单元而被丢弃。语义单元必须保留回溯原始内容的能力,以便后续纠错、核验和重新解释。

13.4 语义单元的结构基础:Element 与 Relation

WSaiOS-SI 的基本结构原理是:

\[ \text{Element}+\text{Relation}\rightarrow\text{Structure} \]

其中,Element 是构成结构的基本单元,Relation 是单元之间具有语义意义的关系,Structure 是由相关单元及其关系组织形成的结构。

在外部资料语义单元化过程中,Element 不应被简单等同于一个词、一个关键词或一个文本片段。

一个词可以表达对象名称,也可能只是对象名称的一部分;一个数字可能表示价格、数量、比例、型号、时间或编号;一个完整句子可能包含多个具有不同语义角色的元素。

因此,Element 的识别必须考虑当前语境和结构定义。

例如,资料中出现数字“12”,仅凭数字本身无法确定它表示十二元价格、十二个月期限、十二种模式、产品型号的一部分,还是某个文件编号。

只有结合其上下文、关联对象、属性类型、单位和其他必要条件,系统才能判断该数字是否能够被解释为特定属性的值。

Relation 同样不能被简化为词语之间的表面共现关系。

两个元素出现在同一句话中,并不意味着它们一定存在确定的语义关系。它们可能属于不同对象,也可能分别描述不同时间的状态,或者具有条件限制、否定关系和比较关系。

因此,语义单元化需要同时完成元素识别和关系识别。

其基本过程包括:

  1. 识别可能具有语义意义的元素。

  2. 确定元素在当前资料中的语义角色。

  3. 判断元素所指向的对象及其范围。

  4. 识别元素之间明确表达或可由可靠上下文支持的关系。

  5. 保留关系成立所依赖的条件。

  6. 对无法确定的元素或关系标记不确定状态。

  7. 将识别结果与原始内容位置建立对应关系。

只有当必要元素及其关系得到合理确定后,相关内容才能形成适用于当前任务的知识结构。

13.5 语义单元的基本类型

外部资料的表达方式具有多样性,语义单元不能被限定为某一种固定类型,也不能要求所有资料都必须使用同一组字段。

为了便于系统识别和处理,可以根据语义角色对语义单元进行分类。这种分类是对语义处理对象的组织方式,不是要求工程系统预先硬编码全部类型。

13.5.1 对象指向单元

对象指向单元用于识别资料所描述的实体、事物、主体、产品、组织、地点、事件或其他可识别对象。

对象指向可能来自名称、编号、上下文指代、结构化记录或其他明确标识。

同一对象可能具有多个名称,同一名称也可能指向多个不同对象。因此,对象识别不能仅依赖字符串相同。

例如,两个不同型号的产品可能共享一个品牌名称;同一产品可能在不同市场使用不同的商品名称;同一机构可能存在简称、正式名称和历史名称。

系统需要根据实际可获得的标识、上下文和对应证据判断对象之间的关系。

在无法确定两个名称是否指向同一对象时,应保留候选对应关系,而不是直接合并。

13.5.2 属性单元

属性单元用于描述对象可以具有的某种特征或状态。

属性的具体含义来自当前任务、真实资料和实际结构定义,不应预先假设所有行业或所有对象都具有相同的属性集合。

例如,在不同任务中,产品的某项属性可能是价格、尺寸、材料、认证状态、适用范围或其他信息;对于组织、事件或技术规范,属性内容则可能完全不同。

属性单元需要回答:描述的是什么特征、该特征属于哪个对象、在什么条件下成立。

如果资料只给出了属性名称,却没有提供对应值,那么系统只能确认该属性在资料中被提及,不能自行补齐其取值。

13.5.3 值单元

值单元用于表达属性、关系、状态或其他语义内容所对应的具体值。

值可以是文本、数字、日期、时间、布尔状态、枚举项、范围、集合、引用对象,或其他能够被当前结构定义识别的内容。

值单元不能脱离语义角色而被直接解释。

例如,数字“100”本身没有确定的业务含义。只有明确其对应属性、计量单位、适用条件和对象后,系统才能执行有效的比较或计算。

对于存在单位的数值,应保留单位及必要的换算依据;对于范围值,应保留上下界及其包含关系;对于约数、估计值和不确定值,应保留其原始精度和不确定性。

13.5.4 关系单元

关系单元用于表达对象与对象、对象与属性、属性与值、事实与条件,以及不同语义主张之间的联系。

关系可能包括归属、组成、依赖、包含、等同、相似、先后、因果、适用、排除、支持、反驳等语义类型。

这些关系不应被无条件视为同等确定。

例如,“A 包含 B”与“A 可能包含 B”具有不同的确定程度;“A 先于 B”是时间关系,不等于“A 导致 B”;“A 与 B 相似”也不意味着二者属于同一对象。

系统必须保留关系的语义类型和必要条件,避免将不同关系混合处理。

13.5.5 条件单元

条件单元用于描述语义主张成立所需要的限制、前提、适用范围或触发条件。

条件可能涉及时间、地点、对象范围、版本、环境、使用方式、法律适用范围或其他因素。

例如,某项技术参数可能只适用于指定型号;某项政策只适用于特定时间段;某个价格可能只适用于特定采购数量。

如果系统提取了参数,却遗漏其适用条件,就可能把局部成立的结论错误地扩展到其他对象或场景。

因此,条件不能被视为可有可无的附属文本。只要条件会影响结论是否成立,就应将其识别为可管理、可关联的语义内容。

13.5.6 事件与状态单元

事件单元描述发生了什么、涉及什么对象,以及事件在何时、何地或何种条件下发生。

状态单元描述对象在特定时间或条件下所处的状态。

事件和状态不能混为一谈。

例如,“产品认证申请已提交”描述一个事件或流程状态;“产品已获得认证”描述另一种状态。前者不能直接证明后者成立。

同样,“网页在某日被更新”描述资料的变化,不必然意味着网页中描述的现实对象也在该日发生变化。

语义单元化需要区分现实对象的状态、资料自身的状态和系统处理任务的状态,避免在不同层级之间建立错误对应。

13.5.7 事实主张单元

事实主张单元用于记录资料明确表达、但仍需要根据来源和证据判断是否成立的陈述。

例如:

“某产品符合某项标准。”

这句话可以形成一个事实主张单元,其中包含产品对象、符合关系、标准对象以及必要的适用范围。

但该单元的存在只说明资料提出了这项主张,并不意味着主张已经被 WSaiOS-SI 核验为真实。

系统必须区分:

  • 资料表达了某项主张。

  • 某项主张与当前需求相关。

  • 某项主张得到一个或多个来源支持。

  • 某项主张满足既定核验规则。

  • 某项主张在指定条件和时间范围内被判定成立。

这些状态属于不同的处理层次,不能因为语义单元已被成功提取就直接跳到事实确认。

13.5.8 规则与方法单元

外部资料可能包含操作规则、判断规则、计算方法、执行步骤或其他方法性内容。

这类内容需要保留其输入条件、适用对象、执行顺序、约束和预期结果。

例如,技术资料中的某种检测方法,不仅包含方法名称,还可能包含样本要求、设备条件、执行步骤、判定标准和结果解释方式。

如果只提取方法名称,系统得到的只是方法的指称,并没有获得足以执行或评估该方法的完整结构。

规则与方法单元是否能够直接用于执行,还需要进一步检查其完整性、适用范围、依赖条件和授权边界。

上述分类是语义识别的功能分类,而不是固定字段模板。 一个单元可以在不同任务中承担不同语义角色,系统应根据实际内容和结构定义判断其归属,而不是根据预设行业名称强行分配字段。

13.6 语义单元的边界确定

语义单元化最关键的问题之一,是确定一个语义单元从哪里开始、在哪里结束,以及它需要保留哪些上下文。

如果单元过大,可能同时包含多个对象、多项主张和不同条件,使后续比较、计算与核验难以准确定位。

如果单元过小,又可能丢失主语、谓语、否定词、时间范围、数量单位、条件限制和指代关系,导致原意发生变化。

因此,语义单元的边界不能只依据字符长度、句子数量或固定切分规则确定,而应以语义完整性和任务可处理性为依据。

13.6.1 语义完整性原则

一个语义单元应尽可能保留理解其核心语义所必需的信息。

例如:

“该产品不适用于高温环境。”

如果只提取“适用于高温环境”,就会因为丢失否定词而改变原意。

如果只提取“高温环境”,则又无法知道它与产品之间存在什么关系。

在这种情况下,单元边界必须保留否定关系及其作用对象。系统可以将“该产品”“适用关系”“高温环境”和否定状态分别表示,也可以在内部将它们组织成一个完整的主张单元,但无论采用哪种表示方式,都必须能够恢复原始语义。

13.6.2 上下文依赖原则

有些语义单元不能独立理解,必须引用前文或外部结构。

例如:

“其额定功率为 20 W。”

如果没有前文,“其”指向哪个对象并不明确。

系统可以暂时将其识别为一个待解析的属性主张,但不能在缺乏依据时自行确定对象。

当上下文能够明确解决指代问题时,系统可以建立对象对应关系,并记录这一对应关系的依据。

当存在多个候选对象时,应保留歧义和候选结果,等待进一步证据或后续任务处理。

13.6.3 多主张分离原则

一句话可能同时表达多个可以独立核验的主张。

例如:

“该产品采用可充电电池,并支持两种清洁模式。”

其中至少包含电池类型和清洁模式数量两项主张。二者可能来自同一资料,但其证据是否充分、是否发生变化,以及是否与其他来源冲突,都需要分别判断。

因此,语义单元化应允许从一个信息片段中产生多个主张单元,并通过共同的来源位置保留它们之间的关联。

13.6.4 跨片段关联原则

一个完整语义内容可能分布在标题、正文、表格、脚注、图片说明或多个文档之中。

如果系统只在单个段落内部识别语义单元,就可能无法恢复对象、条件或关系。

例如,表格标题说明数据所属产品,列标题说明属性含义,单元格提供属性值,脚注限定适用范围。这些内容分别位于不同位置,却共同构成完整的语义表达。

因此,语义单元化必须支持跨片段关联,同时保留每个内容片段的来源位置。跨片段关联只有在对象、结构或上下文依据足够明确时才能成立;不能仅因为几个片段相邻,就认定它们属于同一个语义对象。

13.7 从原始内容到语义单元的处理流程

外部资料的语义单元化应形成可检查、可追溯、可重复处理的工程过程。

完整流程可以概括为:

资源确认 → 内容定位 → 信息片段识别 → 候选元素识别 → 语义角色判断 → 对象对应 → 关系与条件识别 → 单元边界确定 → 语义单元形成 → 结构一致性检查 → 来源绑定 → 状态登记。

这些步骤具有逻辑依赖关系,但不要求所有资源严格按照单一线性顺序处理。某些环节可以根据资料形式提前完成,某些关系也可能在后续获得新证据后重新判断。

13.7.1 资源确认

首先确认正在处理的是哪一份资料、哪个版本,以及当前获取记录。

资源确认的作用是建立稳定的来源指向,避免相同名称的不同文件、不同版本的网页或内容发生变化后,语义单元无法追溯到正确的原始材料。

如果资源身份尚不明确,系统仍可暂时解析内容,但必须保留身份不确定状态,不应将结果与其他同名资源自动合并。

13.7.2 内容定位

系统需要确定语义信息来自资源中的什么位置。

内容定位可以采用适合实际资源形式的方式,例如段落位置、页面区域、表格坐标、标题层级、文件页码、记录标识或其他可恢复的定位信息。

不同资源不必采用同一种定位方法。工程实现的目标是能够重新找到原始内容,而不是要求所有来源拥有完全一致的物理结构。

13.7.3 信息片段识别

根据资源的实际形式识别可能承载语义内容的片段。

对于普通网页,可以利用标题、正文、列表、表格和说明文字之间的组织关系。

对于文档,可以结合章节结构、段落、表格、脚注及其他可解析内容。

对于结构化数据,可以利用记录之间的组织关系、字段定义和数据类型。

对于图像或扫描资料,如果当前解析手段无法可靠识别其中内容,则应记录解析限制,不得将未识别内容当作已经提取的信息。

13.7.4 候选元素识别

从信息片段中识别可能具有语义意义的名称、数值、对象指称、属性描述、关系表达、条件和其他元素。

候选识别与最终确认应当分开。

例如,系统识别到一个产品名称,只能说明发现了一个候选对象指称;还需要进一步判断它是否为正式名称、简称、型号、类别名称,或者只是正文中的一般描述。

同样,系统识别到一个数字,只能说明存在一个数值候选,不能立即确定它的属性含义。

13.7.5 语义角色判断

系统根据上下文和现有结构判断候选元素承担什么语义角色。

角色判断应优先利用资料明确表达的信息,以及当前任务已经确定的结构定义和关系依据。

如果某个词语既可能是对象名称,也可能是属性值,系统应保留候选解释及其依据,不能通过任意选择一种解释来制造确定性。

13.7.6 对象对应与关系识别

系统将语义内容与适当的对象建立对应关系,并识别对象、属性、值、条件和主张之间的联系。

对象对应需要区分名称相同、对象相同、对象类别相同以及对象具有某种关系等不同情况。

关系识别则需要判断关系是否由资料明确表达、由已有结构支持,还是仅属于待验证的推测。

未经确认的关系可以作为候选关系保存,但必须与已确认关系区分。

13.7.7 单元边界确定与语义单元形成

在明确主要语义角色及其联系后,确定哪些内容应形成一个单元,哪些内容需要分别处理。

如果一个片段包含多项可独立核验的主张,可以拆分为多个相关单元。

如果一个片段中的代词、属性值或限制条件必须依赖上下文才能解释,则需要在单元内部保留必要上下文,或通过明确的关系引用相关单元。

单元化的目标是形成语义清晰的处理对象,而不是追求单元数量最多或文本片段最短。

13.7.8 结构一致性检查

语义单元形成后,需要检查其内容是否存在明显的结构问题。

例如:

  • 属性值是否具有明确的对象或语义指向。

  • 数值及其单位是否保持完整。

  • 否定、范围和限制条件是否被保留。

  • 对象与属性之间的关系是否合理。

  • 时间信息是否与所描述的事件或状态对应。

  • 是否将资料更新时间误认为现实对象的状态变化。

  • 是否把来源中的主张误认为已核验事实。

  • 是否丢失了可能改变结论的上下文。

一致性检查只能识别和处理其规则及输入范围所能覆盖的问题,不能保证所有语义解释必然正确。

13.7.9 来源绑定与状态登记

每个语义单元都应保留足以回溯原始资料的来源信息,包括适当的资源标识、版本、内容位置及相关处理记录。

如果一个单元由多个片段共同构成,就应能够追溯到相关的多个片段。

如果同一语义单元经过重新解析或修正,应记录变化过程,使系统能够区分原始识别结果、当前结果以及发生变化的原因。

语义单元完成登记后,才能进入后续的关系组织、需求匹配、证据比较和核验过程。

13.8 语义单元的动态结构表达

WSaiOS-SI 不应把语义单元限定为某一种固定数据表,也不应预设所有外部资料都必须转换成同一组行业字段。

不同任务需要不同的语义表达。系统应当根据实际内容、结构定义、关系需求和后续运算要求,动态确定语义单元需要表达的信息。

从逻辑上看,一个语义单元可以涉及以下信息类别:

信息类别 处理目的
单元身份 区分不同语义单元及其版本
语义内容 保留识别出的具体含义或主张
对象指向 确定内容涉及的对象或候选对象
属性与值 表达对象特征、状态或具体取值
关系 说明单元与其他对象或单元之间的联系
条件与范围 保留语义成立所需的时间、对象范围及其他限制
来源与位置 回溯原始资料及具体内容区域
解析状态 说明单元的识别和结构化处理情况
确定程度 区分明确识别、候选解释和暂时无法确定的内容
证据与核验关联 关联支持、反驳或待核验的资料
版本与变化记录 追踪单元内容及其解释的变化

以上是功能信息类别,不是必须逐项建立的固定字段表。某个任务可能不需要某些信息,也可能需要其他特殊信息。工程系统应根据实际结构定义决定具体表达方式。

例如,如果资料明确提供了一个日期,但当前任务只需要比较产品的材料属性,该日期未必需要参与当前匹配运算;不过,如果日期关系到资料时效性或产品版本,则它可能成为必要信息。

关键不是将所有信息一律保存为相同字段,而是确保需要参与判断的语义信息不会因结构设计而丢失。

13.9 语义单元的确定状态与不确定状态

语义单元化并不意味着所有识别结果都能获得相同的确定程度。

实际处理过程中,系统可能遇到名称歧义、对象指向不明、属性值缺失、上下文不足、多个解释相互竞争等情况。

因此,语义单元应当支持不同的处理状态。

第一,明确识别。 原始资料对相关语义表达清楚,必要上下文完整,系统能够确定当前单元表达的内容。

第二,候选识别。 系统发现了可能的对象、属性、值或关系,但仍存在多个合理解释。

第三,部分识别。 单元中的某些部分已经明确,另一些部分尚未确定。例如属性名称已知,但其对应对象不明。

第四,信息缺失。 当前资料没有提供完成某项解释所需的信息。

第五,解析失败。 由于文件损坏、格式异常、内容不可访问或解析能力不足,系统无法可靠获得必要内容。

第六,存在冲突。 不同来源或不同版本对同一条件下的相关主张提供了不一致的信息。

第七,待核验。 语义内容已经能够被识别,但尚未完成针对事实主张的核验。

这些状态不能混为一谈。

信息缺失不等于事实不存在;候选识别不等于错误;解析失败不等于资料内容错误;存在冲突也不意味着所有来源都不可信。

例如,一份资料写明某产品具有两种工作模式,另一份资料写明同一产品具有三种工作模式。系统首先需要判断两份资料是否针对同一型号、同一版本和同一配置。如果适用对象不同,则可能不存在真正冲突;如果对象和条件一致,才需要进一步核验。

语义单元化的职责是如实表达当前识别状态,并为后续判断提供依据,而不是提前消除所有不确定性。

13.10 语义单元与动态语义需求的对应

外部资料可以产生大量语义单元,但并不是每个单元都与当前任务有关。

动态语义需求库负责表达当前任务需要解决的知识问题,动态语义库负责组织外部资料及其语义内容。两者之间需要建立动态对应关系。

例如,当前任务是判断某项产品认证是否有效,那么产品名称、认证名称、证书编号、认证主体、有效期限、适用型号和状态信息可能与需求直接相关。

同一份资料中的企业宣传语、网页导航文字或与认证无关的其他产品信息,即使能够形成语义单元,也未必需要进入当前核验流程。

这并不意味着系统应该预设一套适用于所有认证任务的固定字段。相反,相关语义内容应从实际需求和当前结构定义中推导出来。

对应过程可以表达为:

动态语义需求 → 确定待解决的知识缺口 → 识别相关语义角色 → 查找候选语义单元 → 判断对象与条件是否匹配 → 形成需求与单元之间的关联 → 进入后续运算或核验。

在这一过程中,必须区分四种情况:

  1. 语义相关。 单元内容与需求具有一定关联。

  2. 对象匹配。 单元指向的对象符合当前需求所要求的对象。

  3. 条件匹配。 单元内容的时间、范围、版本及其他必要条件符合任务要求。

  4. 证据适用。 单元所关联的资料足以支持当前需要判断的主张。

这四种情况之间具有依赖关系,但并不等价。

语义相关的内容可能指向错误对象;对象匹配的内容可能已经过期;对象和条件均匹配的资料仍可能只是未经核验的主张。

因此,需求匹配不能直接代替事实核验,语义单元化也不能自行决定某个主张的真实性。

13.11 语义单元的关系建立与知识结构形成

语义单元化的最终价值,不仅在于产生可识别的信息单位,更在于使这些单位能够按照明确的语义关系组成知识结构。

如果系统只建立语义单元清单,虽然能够保存单元内容,却无法充分表达不同单元之间的依赖、约束和推理关系。

因此,在语义单元形成之后,系统还需要建立适当的关系。

关系建立应以实际依据为基础,而不是因为单元之间存在文字相似性,就自动认定二者具有确定关系。

例如:

  • 产品对象与其属性之间存在属性归属关系。

  • 属性与取值之间存在取值对应关系。

  • 事实主张与原始资料之间存在来源关系。

  • 事实主张与支持性资料之间存在支持关系。

  • 两个不同版本的主张之间可能存在版本变化关系。

  • 两个主张之间可能存在一致、冲突、条件依赖或范围包含关系。

每一种关系都有自己的语义含义。系统不能用一种通用的“相关”关系代替所有关系,否则会使知识结构失去必要的区分能力。

关系的确定程度也需要保留。例如,某两个对象之间可能存在候选对应关系,但尚未确认是否为同一对象;某个来源可能提供了支持性内容,但其证据适用性仍有待检查。

因此,知识结构应能够同时表达已确认关系、候选关系和待验证关系,并使它们在后续运算中得到不同处理。

13.12 语义单元化与 WSaiOS-SI 七类运算

语义单元化为 WSaiOS-SI 的结构运算提供处理对象,但语义单元化本身并不能替代这些运算。

13.12.1 比较

比较运算用于判断不同语义单元在对象、属性、值、条件、时间或其他相关维度上是否相同、相近、不同或存在冲突。

比较前必须确认比较对象具有可比性。

例如,不同单位的数值需要适当的单位处理;不同产品型号的属性值不能未经判断就作为同一对象的冲突证据。

13.12.2 计算

计算运算使用已经获得明确含义和必要类型的语义值执行计算。

如果数值的单位、范围、统计口径或适用条件不明确,系统不能直接将其作为可靠的计算输入。

语义单元化的作用,是保留计算所需的属性和值及其相关条件。

13.12.3 判断

判断运算根据任务条件、规则和当前知识状态,判断某个语义单元是否满足要求。

例如,某个参数是否符合指定标准,取决于标准要求、参数含义、适用范围及必要证据,而不是取决于资料中是否出现了相关关键词。

13.12.4 匹配

匹配运算用于确定语义单元与需求、结构定义、对象或其他知识内容之间的对应程度。

匹配结果可以存在不同程度,也可以存在多个候选对象。匹配过程应保留判断依据,不能在存在歧义时强行选择唯一结果。

13.12.5 概率

概率运算用于表达具有明确含义的概率问题或不确定性评估。

语义单元之间的文字相似程度、关键词命中率和来源数量,不能直接作为事实为真的概率。

如果系统需要估计某种不确定事件的概率,就必须明确事件定义、适用条件、可用数据及计算依据,不能将任意相关性分数包装成事实概率。

13.12.6 排序

排序运算可以依据任务相关性、时间、证据充分程度、来源适用性或其他明确标准,对语义单元及候选结果进行排序。

不同排序目标可能产生不同结果。相关性排序第一的单元,不一定是可信度最高的单元;来源可信度较高的资料,也不一定能够直接证明当前主张。

因此,排序必须明确排序依据及其用途。

13.12.7 验证

验证运算用于检查语义单元、关系、结构或事实主张是否满足明确的验证条件。

验证对象可能是结构完整性、数据类型、关系约束、来源对应,也可能是事实主张。

不同验证目标需要不同的验证规则。结构完整性验证通过,不等于事实主张已经成立;来源位置能够追溯,也不等于来源内容真实。

由此可见,语义单元化是七类运算的重要基础,但它只负责提供具有适当语义表达和来源依据的处理对象。具体运算仍然需要依据各自的规则完成。

13.13 语义单元的质量评估

语义单元形成之后,还需要判断其是否适合进入后续的知识组织和运算流程。

语义单元的质量不能只用一个综合分数表达,因为某些关键问题无法通过其他优点抵消。

例如,一个单元即使表达清晰、来源容易访问,如果对象指向错误,就不能作为该对象的可靠知识材料。

因此,语义单元质量评估至少需要考察以下方面:

语义明确程度。 单元表达的内容是否能够被清楚解释,是否存在未解决的歧义。

结构完整程度。 当前任务所必需的对象、属性、值、关系、条件是否齐全。

上下文保留程度。 是否保留可能改变原意的否定、范围、单位、时间和限制条件。

对象对应程度。 单元是否指向正确对象,或者是否仍存在多个候选对象。

来源可追溯程度。 是否能够回到原始资料及对应内容位置。

关系依据充分程度。 建立的语义关系是否有明确依据,是否把推测误当作确认关系。

解析可靠程度。 当前结果是否可能受到格式异常、识别错误或内容缺失影响。

任务适用程度。 单元是否满足当前需求的必要条件。

这些维度应分别记录和判断。对于必须满足的条件,应设置明确的通过、未通过或待确认状态,而不是让综合分数掩盖关键缺陷。

如果单元只完成部分识别,可以保留部分结果供后续补充;如果其核心对象不明,则不应把它作为已确定对象的事实输入;如果来源定位丢失,则需要标记追溯能力不足。

质量评估的目的是确定单元当前能够用于什么用途,而不是给每个单元赋予一个看似精确、实际却缺乏依据的总体可信度数字。

13.14 语义单元的更新、修正与版本管理

动态语义库中的语义单元不是永久不变的记录。

随着新资料到达、原始资源更新、对象关系被重新识别、解析规则得到修正,已有语义单元可能需要补充、修改、拆分、合并或撤销当前解释。

语义单元更新至少应区分以下情况:

内容更新。 原始资源中的相关内容发生变化,需要重新解析或更新对应单元。

解释修正。 原始资料没有变化,但系统发现此前的语义解释存在错误或不完整。

关系更新。 单元本身的内容保持不变,但它与其他对象、属性、条件或主张之间的关系发生变化。

对象重新对应。 新证据表明某个名称应当指向其他对象,或者原先的候选对象对应关系需要重新判断。

单元拆分。 原有单元包含多个不同主张,需要拆分成多个单元,并保留它们与原始资料的关联。

单元合并。 多个单元原本被分别识别,但后续证据表明它们属于同一个完整语义表达。合并必须有依据,不能只因文字相似而进行。

单元失效或撤销。 原有解释不再适用,或者经过核验后发现原识别结果不成立。撤销当前解释不意味着应删除其历史记录。

版本管理需要区分原始资源版本、解析过程版本、语义单元版本和事实核验状态。

例如,网页内容更新后,某个单元的值发生变化。这可能意味着现实对象的状态发生变化,也可能意味着网页修正了原来的错误,还可能意味着网页只是重新组织了文字。

系统不能仅凭文本发生变化,就认定现实对象必然发生了相应变化。

正确做法是记录变化发生在哪个层面,再判断是否需要重新评估相关主张和知识结构。

13.15 语义单元化的异常处理

在实际工程中,语义单元化不可能始终顺利完成。系统需要能够识别异常类型,并根据异常原因采取不同处理方式。

当原始内容无法访问时,应记录资源获取问题,而不是生成虚构的语义单元。

当内容能够访问但解析失败时,应保留解析失败状态,并尽可能记录失败位置和原因。

当名称具有多个候选解释时,应保留候选对象和歧义信息,而不是随意选择一个结果。

当属性值缺失时,应记录缺失情况,不能自动补写一个推测值。

当上下文不足时,应保留未解决的指代关系,并将其作为后续处理的知识缺口。

当多个来源提供相互冲突的内容时,应将相关主张分别保留,并建立冲突关联,而不是直接覆盖旧内容。

当语义关系无法确定时,应将其标记为候选关系,不应把可能关系作为已确认关系参与依赖该关系的确定性判断。

当语义单元质量不足以支持当前任务时,系统可以要求补充资料、重新解析、调整需求或转入人工确认,但不应为了完成流程而降低必要条件。

异常处理的根本原则是:无法确定的内容可以保留,尚未完成的任务可以继续等待,但系统不能用未经证实的内容填补知识缺口。

13.16 工程示例:外部产品资料的语义单元化

假设动态语义需求库接收到一项任务:

“核实某型号电动牙刷的电池类型、清洁模式数量及其认证情况。”

这项任务并不意味着系统应预先加载一套固定的电动牙刷字段模板。它只是说明当前任务需要解决三个具体知识问题。系统应从当前需求推导所需语义角色,并依据实际资料识别相应内容。

外部资料包含以下示例性描述:

型号 QX-10 配备可充电电池,支持两种清洁模式。产品页面列出一项认证信息,但未提供可供独立核验的证书编号。该页面于某日期更新。

13.16.1 第一步:识别信息片段

系统确认该段文字来自某个已记录的网页版本,并保存相关内容位置。

该步骤只建立资料身份和内容定位,不直接判断资料中各项描述是否真实。

13.16.2 第二步:形成候选语义单元

根据资料内容,可以识别出以下候选单元:

候选单元 识别内容 当前解释
U1 QX-10 候选产品型号指称
U2 可充电电池 电池类型主张
U3 两种清洁模式 清洁模式数量主张
U4 页面列出一项认证信息 认证信息存在的主张
U5 未提供证书编号 当前页面中缺少该项核验材料
U6 页面于某日期更新 资料更新事件

这些单元只是依据示例文本形成的语义识别结果,并不表示相关产品参数或认证情况已经得到外部独立确认。

13.16.3 第三步:建立必要关系

系统将 U2 和 U3 与候选产品对象 U1 建立属性描述关系,同时保留来源定位。

U4 表示页面列出认证信息,并不等于认证有效或产品已经通过相关认证。

U5 表示当前页面未提供证书编号。这只能说明当前资料存在一个核验信息缺口,不能直接推断证书不存在。

U6 描述网页更新事件,不能自动解释为产品参数在该日期发生了变化。

13.16.4 第四步:与动态语义需求匹配

系统分别判断候选单元能否满足当前需求。

对于电池类型,U2 可能提供直接相关的资料主张,但仍需要根据任务要求判断是否需要其他来源确认。

对于清洁模式数量,U3 具有明确的语义内容,但仍需检查对象型号是否一致,以及资料是否适用于当前产品版本。

对于认证情况,U4 只能表明页面列出了认证信息,U5 则揭示当前资料缺少一项可能需要的核验材料。系统应根据具体认证要求寻找进一步证据,而不是直接将认证状态判定为有效。

13.16.5 第五步:生成后续知识任务

处理完成后,动态语义需求库可以根据当前知识缺口生成后续任务,例如:

  • 确认 QX-10 是否对应目标产品及其具体版本。

  • 查找能够支持或核验电池类型的其他资料。

  • 查找能够支持或核验清洁模式数量的其他资料。

  • 进一步识别认证名称、认证主体、证书标识及有效范围。

  • 检查新获取的资料是否针对同一产品、同一版本和相同适用条件。

这些后续任务应由当前实际缺口产生,不应预设所有产品任务都必须经历完全相同的处理步骤。

本例说明,语义单元化的价值不是把资料转换成一张表就结束,而是将原本混杂在文本中的对象、属性、值、主张、条件和缺口明确区分,使它们能够被后续的结构运算和核验过程使用。

13.17 语义单元化与知识学习的关系

语义单元化是动态语义库的重要处理环节,也是 WSaiOS-SI 学习过程中的一个基础环节,但二者不能等同。

语义单元化解决的是:外部资料中有哪些可识别的语义内容,以及这些内容如何获得明确的结构位置。

知识学习还需要进一步解决:这些单元与已有知识如何对应,是否形成新的关系,是否满足当前结构定义,是否存在冲突,以及哪些内容能够进入后续认知、决策和方法形成过程。

因此,语义单元化的输出应当是能够继续处理的语义材料,而不是直接宣告学习完成。

在 WSaiOS-SI 的总体链路中,语义单元化可以放置于以下过程:

需求 → 知识缺口 → 外部资源发现 → 资源解析 → 语义单元化 → 关系组织 → 证据关联 → 核验 → 知识结构更新 → 运算 → 能力 → 认知 → 决策 → 方法 → 执行 → 反馈 → 学习与演化。

这条链路并不意味着每项任务都必须经历完全相同的流程。例如,某项任务可能只需要识别对象和属性,无须执行事实核验;另一项任务可能涉及高风险事实判断,需要经过更严格的证据检查。

具体处理路径应当由任务目标、结构依赖、必要条件和风险要求决定。

尤其需要强调:外部资料中出现了某项内容,不代表系统已经掌握了相关知识;系统形成了语义单元,不代表相关主张已经被确认;系统确认某项主张,也不代表已经形成解决任务所需的完整能力。

只有当语义材料与适当的结构、关系、规则和方法建立有效联系后,才能进一步支持结构智能的运算和能力形成。

13.18 本章总结

外部资料的语义单元化,是 WSaiOS-SI 动态语义库将原始信息转化为可识别、可关联、可运算和可核验知识材料的基础过程。

本章确立了以下原则。

第一,语义单元不等于文本片段。文本片段是资料中的内容区域,语义单元则是具有明确语义指向、能够被独立引用和管理的处理单位。

第二,语义单元的形成必须遵循结构原理。Element 的识别需要结合其语义角色,Relation 的建立需要具有相应依据,二者共同支持知识结构的形成。

第三,语义单元必须保留必要上下文。对象指向、否定关系、数值单位、时间条件、适用范围等内容,只要可能改变语义解释,就不能在单元化过程中被随意丢弃。

第四,语义单元的类型与边界应当由真实内容和当前任务决定。对象、属性、值、关系、条件、事件、状态、事实主张、规则和方法等分类用于支持语义处理,但不能演变为预设行业字段或固定字段映射。

第五,语义识别、对象匹配、证据关联和事实核验是不同过程。语义单元化成功,只说明相关内容已被识别和组织,不代表其中的事实主张已经成立。

第六,语义单元应当保留来源、内容位置、处理状态和版本变化,使其能够被追溯、修正、重新解释和持续演化。

第七,语义单元的质量应当根据明确性、结构完整性、对象对应、条件保留、来源可追溯性和任务适用性等维度分别判断。必要条件不能被单一综合评分替代。

第八,语义单元化必须服务于动态语义需求和 WSaiOS-SI 的结构运算,而不是为了增加数据量或单元数量而进行无目标的信息切分。

由此,动态语义库建立了从外部资料到语义单元、再到知识结构的基础转换机制。它使外部资料不再只是被保存或检索的内容,而是能够进入结构智能的知识组织、关系计算、证据判断和持续学习过程的语义材料。

下一章:第十四章《语义关系的识别、建立与管理》。

Leave a Reply

Your email address will not be published. Required fields are marked *

客服咨询
● 欢迎咨询与合作
您好!欢迎咨询。 我可以帮助您了解人工智能技术研发、智能软件系统开发、网站建设、搜索优化及项目定制等相关信息。 请问有什么可以帮您?
免费申请
请填写以下信息,方便我们进一步沟通。
欢迎咨询 AI 系统开发、网站建设、搜索优化、项目定制合作
电话:15089196448
邮箱:1602401899@qq.com
地址:陕西省渭南市
服务时间:周一至周五 09:00 - 18:00 | 7×24小时技术值守