第二十五章 多模态结构语义匹配
- 多模态信息与结构语义的关系
- 文字与对象结构匹配
- 图片与对象结构匹配
- 视频与动态状态结构匹配
- 多来源信息的交叉匹配
- 匹配结果与对象属性赋值
- 多模态认知对象的动态更新
第二十五章 多模态结构语义匹配
多模态结构语义匹配是 WSaiOS 将不同来源、不同表达形式的信息与现实对象结构建立对应关系的工程处理过程。其核心任务是依据已经建立的对象结构定义,将文字、图片、视频以及传感器、设备运行记录等信息,分别匹配到对象、结构元素、属性、状态和关系,形成统一的结构语义关联。
不同模态的信息具有不同的表达方式和信息边界。文字可以描述对象名称、属性、用途、状态和关系;图片可以呈现对象外观、可见结构元素及静态空间关系;视频则是现实对象静态结构元素的状态与多维参数变化,经过特定视角的连续感知、结构处理和方法运算后形成的动态场景表达对象。传感器和控制器等其他来源,还可以提供测量参数与运行反馈。
因此,多模态结构语义匹配不是把所有信息转换成相同的数据形式,也不是简单地将不同模态的识别结果合并,而是以现实对象结构定义为基础,建立不同信息来源与结构语义之间的对应关系,并通过来源验证、时间关联、属性约束和关系判断,形成可以追溯、验证和动态更新的认知数据。
本章围绕多模态信息与结构语义的关系,研究文字、图片、视频与对象结构的匹配方法,多来源信息交叉匹配机制,匹配结果向对象属性赋值的程序过程,以及多模态认知对象的动态更新。
25.1 多模态信息与结构语义的关系
多模态信息与结构语义之间不是简单的一一对应关系。一个现实对象可以同时具有文字描述、图片表达、视频动态表达、传感器测量数据和设备运行记录;同一条信息也可能涉及多个结构对象、多个属性或多个关系。
WSaiOS 首先需要建立现实对象的结构定义,再将不同来源的信息与结构定义进行关联。结构定义描述对象是什么、由哪些结构元素组成、具有哪些属性和状态、能够建立哪些关系,以及受到什么约束。多模态信息则提供与这些结构内容有关的观察、描述、测量和运行证据。
现实对象结构可以表示为:
其中,\(ID_o\) 表示对象结构标识,\(T_o\) 表示对象类型,\(E_o\) 表示结构元素集合,\(P_o\) 表示属性定义,\(M_o\) 表示方法定义,\(S_o\) 表示状态定义,\(R_o\) 表示对象关系定义,\(C_o\) 表示结构约束,\(V_o\) 表示结构版本。
多模态信息统一组织为:
其中,\(ID_m\) 表示信息记录标识,\(T_m\) 表示模态类型,\(S_m\) 表示信息来源,\(C_m\) 表示信息内容,\(\tau_m\) 表示采集或形成时间,\(W_m\) 表示观察视角或采集环境,\(Q_m\) 表示信息质量,\(E_m\) 表示相关证据。
不同模态的内容可以采用各自适合的数据格式,但进入结构匹配阶段后,需要形成统一的结构语义关联。文字信息可能对应对象名称和属性描述;图片信息可能对应视觉对象和可见结构元素;视频信息可能对应结构元素的动态参数、状态变化和对象关系;传感器信息可能对应某个属性的测量值。
多模态信息与对象结构之间的匹配关系可以表示为:
其中,\(C_m\) 是匹配约束集合,\(R_m\) 是结构语义匹配结果。匹配过程需要判断信息是否对应目标对象,是否能够关联到具体结构元素,是否符合属性定义和状态定义,以及是否满足来源、时间、单位和质量条件。
工程上需要将多模态接入、模态信息处理、语义解析、结构匹配、结果验证和认知对象更新组织为相互关联但职责独立的程序层次。
为实现上述调用关系,建议将多模态结构语义匹配系统组织为以下程序目录:
WSaiOS/
└── MultimodalSystem/
├── Input/
│ ├── TextInput.php
│ │ 功能:接收文字信息,保存文字内容、来源标识、采集时间及信息类型。
│ ├── ImageInput.php
│ │ 功能:接收图片文件及图片元数据,建立图片信息记录,保存图片来源和采集环境。
│ ├── VideoInput.php
│ │ 功能:接收视频文件或实时视频流,登记观察视角、采集时间和视频来源。
│ └── SensorInput.php
│ 功能:接收传感器测量数据,登记设备标识、测量值、单位和采样时间。
│
├── Processing/
│ ├── TextProcessor.php
│ │ 功能:提取文字中的对象、属性、状态、关系及其语义表达。
│ ├── ImageProcessor.php
│ │ 功能:处理图片中的视觉对象、可见结构元素、属性信息和空间位置。
│ ├── VideoProcessor.php
│ │ 功能:处理视频动态场景表达,提取对象轨迹、动态参数、状态变化和关系变化。
│ └── SensorProcessor.php
│ 功能:整理传感器数据,执行数据类型、单位、采样时间和质量检查。
│
├── Semantic/
│ ├── SemanticNormalizer.php
│ │ 功能:统一不同来源信息的语义表达格式,保留原始信息含义和来源。
│ ├── SemanticResolver.php
│ │ 功能:根据 WSaiOS 动态结构定义解析对象、属性、状态和关系标识。
│ └── SemanticEvidence.php
│ 功能:组织语义匹配所依据的原始来源、证据、质量和时间信息。
│
├── Matching/
│ ├── ObjectMatcher.php
│ │ 功能:将多模态信息中的现实对象候选与 WSaiOS 对象实例进行身份匹配。
│ ├── PropertyMatcher.php
│ │ 功能:将信息表达的属性名称、属性类型及属性值与动态属性定义匹配。
│ ├── StateMatcher.php
│ │ 功能:将观察结果和动态参数与对象状态定义及状态转换条件匹配。
│ ├── RelationMatcher.php
│ │ 功能:匹配不同对象及结构元素之间的静态关系和动态关系。
│ └── MultimodalMatcher.php
│ 功能:组织文字、图片、视频和传感器信息的统一结构语义匹配过程。
│
├── Validation/
│ ├── SourceValidator.php
│ │ 功能:验证信息来源、来源类型、证据完整性及来源有效性。
│ ├── TimeValidator.php
│ │ 功能:验证采集时间、数据有效期及多来源信息的时间关联。
│ └── MatchValidator.php
│ 功能:验证对象身份、结构版本、属性类型、单位和匹配约束。
│
├── Assignment/
│ └── PropertyAssignmentService.php
│ 功能:根据匹配和验证结果,执行对象属性赋值、待确认登记及历史记录保存。
│
├── Cognitive/
│ ├── CognitiveObjectBuilder.php
│ │ 功能:根据已匹配的对象、属性、状态、关系和证据构建多模态认知对象。
│ ├── CognitiveObjectUpdater.php
│ │ 功能:比较新旧认知数据,组织属性、状态、关系和证据的动态更新。
│ └── CognitiveVersionManager.php
│ 功能:管理认知对象版本,保存更新历史并处理结构版本变化。
│
└── Repository/
├── MultimodalRepository.php
│ 功能:负责多模态原始信息及其元数据的持久化访问。
├── MatchRepository.php
│ 功能:负责结构语义匹配结果及其关联关系的保存和读取。
└── CognitiveRepository.php
功能:负责多模态认知对象、认知数据和历史版本的持久化管理。
该目录划分明确了不同程序的职责边界。Input 负责信息接入,Processing 负责模态信息处理,Semantic 负责语义组织,Matching 负责结构匹配,Validation 负责约束验证,Assignment 负责属性赋值,Cognitive 负责认知对象构建与更新,Repository 负责数据访问。
其中,SemanticResolver.php 不应当将行业字段写死在程序中,而应当读取 WSaiOS 已有的动态结构定义。新增对象类型、属性或关系时,主要通过结构定义管理机制完成,不应要求每增加一个语义概念就修改匹配引擎的核心程序。
还需要区分四类工程对象:现实对象结构定义、模态信息表达、结构语义匹配结果和多模态认知对象。它们之间具有数据关联,但不能相互替代。图片识别出的视觉对象不等于正式智能对象实例,视频跟踪得到的目标标识也不等于现实对象标识。
25.2 文字与对象结构匹配
文字是多模态信息中具有明确语义表达能力的一种来源。它可以描述现实对象的名称、类型、组成、属性、用途、运行条件、状态和对象关系。
文字信息与对象结构的匹配,不应停留在关键词查找或名称相似程度判断,而应当将文字表达的具体内容关联到对象结构定义中的相应结构位置。
例如,某段文字描述:
工业电机A的额定功率为15kW,
额定电压为380V,
当前运行温度为68℃,
与冷却风机B存在散热配合关系。
这段文字包含多个结构语义内容。“工业电机A”是对象名称或身份描述;15kW和380V分别对应两个属性值;68℃对应运行参数;与冷却风机B存在散热配合关系,则对应两个对象之间的关系定义。
文字处理程序首先需要将自然语言内容组织成结构化语义数据:
{
"source_type": "text",
"source_id": "txt_20261116001",
"object_candidates": [
{
"object_name": "工业电机A",
"object_type": "industrial_motor",
"properties": [
{
"semantic_name": "额定功率",
"value": 15,
"unit": "kW"
},
{
"semantic_name": "额定电压",
"value": 380,
"unit": "V"
},
{
"semantic_name": "运行温度",
"value": 68,
"unit": "℃"
}
],
"relations": [
{
"relation_type": "散热配合",
"target_name": "冷却风机B"
}
]
}
]
}
该数据属于文字信息的语义提取结果,并不意味着已经完成对象匹配和属性赋值。后续程序还需要查询 WSaiOS 中已有的对象结构定义和实例数据,确定“工业电机A”对应哪个现实对象,以及每个语义名称对应哪个结构属性。
文字语义与结构属性的匹配可以表示为:
其中,\(N_t\) 表示文字提取出的语义名称,\(N_p\) 表示结构属性定义中的属性名称或语义定义,\(C_n\) 表示名称匹配约束。
名称匹配之后,还需要检查属性类型、数据单位、适用对象、取值范围和信息时间。例如,文字中的“运行温度”不能直接匹配到“环境温度”属性,即使两者的数据类型都是数值;额定功率不能直接赋值到实际输出功率;历史运行温度也不能直接覆盖当前温度。
对象识别、属性匹配和关系匹配应当分开处理。对象匹配用于确定文字描述涉及哪个对象;属性匹配用于确定文字中的内容对应哪个属性定义;关系匹配用于确定两个对象之间表达了什么关系。
文字匹配程序可以通过统一接口调用结构定义和语义解析服务:
class TextStructureMatcher
{
protected $structureRepository;
protected $semanticResolver;
public function __construct(
$structureRepository,
$semanticResolver
) {
$this->structureRepository = $structureRepository;
$this->semanticResolver = $semanticResolver;
}
public function match($semanticData, $instanceId)
{
$instance = $this->structureRepository
->getInstance($instanceId);
if (!$instance) {
return array(
'status' => 'OBJECT_NOT_FOUND'
);
}
$results = array();
foreach ($semanticData['properties'] as $item) {
$property = $this->semanticResolver
->resolveProperty(
$instance['structure_id'],
$item['semantic_name']
);
if (!$property) {
$results[] = array(
'semantic_name' => $item['semantic_name'],
'status' => 'UNMATCHED'
);
continue;
}
$results[] = array(
'property_id' => $property['property_id'],
'source_value' => $item['value'],
'source_unit' => $item['unit'],
'status' => 'CANDIDATE_MATCH'
);
}
return array(
'instance_id' => $instanceId,
'results' => $results
);
}
}
该程序只负责形成文字语义与对象属性之间的候选匹配结果。resolveProperty() 需要依据已有结构定义查询属性,不应在程序中为工业电机、机器人或其他对象预先写死固定字段。
对于文字中没有明确表达的内容,系统应当保留未知状态。例如,文字只说“电机运行正常”,不能自动推导出温度、转速、电流和振动等全部参数均正常。文字描述可以形成候选认知,但不能超出原始信息实际表达的范围。
25.3 图片与对象结构匹配
图片提供的是特定视角下的静态视觉信息。它可以帮助识别现实对象、对象组成元素、外观特征、可见标识和空间位置,但不能直接获得对象所有属性、内部状态和运行能力。
图片与对象结构匹配的工程任务,是将图像处理程序得到的视觉对象和可见结构元素,关联到 WSaiOS 对象结构定义中的对象和结构元素。
例如,一张工业设备图片可能识别出电机主体、接线盒、散热风扇、安装底座和设备铭牌。这些识别结果需要进一步与电机结构定义中的结构元素进行匹配。
图片处理结果可以组织为:
{
"source_type": "image",
"source_id": "img_20261116001",
"view_id": "camera_view_01",
"visual_objects": [
{
"visual_id": "visual_001",
"candidate_type": "industrial_motor",
"region": {
"x": 120,
"y": 80,
"width": 460,
"height": 320
},
"elements": [
{
"visual_element_id": "ve_001",
"candidate_name": "电机主体",
"visible": true
},
{
"visual_element_id": "ve_002",
"candidate_name": "接线盒",
"visible": true
},
{
"visual_element_id": "ve_003",
"candidate_name": "散热风扇",
"visible": true
}
]
}
]
}
这里的 visual_id 和 visual_element_id 仅表示当前图片中的视觉识别对象和视觉元素,不是 WSaiOS 现实对象标识或正式实例标识。只有在完成对象身份匹配后,才可以建立它们与 object_id、element_id 或 instance_id 的关联。
图片对象与结构元素之间的匹配可以表示为:
其中,\(E_v\) 表示图片识别出的视觉元素,\(E_r\) 表示现实对象结构中的结构元素,\(W\) 表示图片观察视角,\(Q\) 表示识别质量,\(C_e\) 表示元素匹配约束。
匹配过程中需要考虑视觉外观、空间位置、对象类型、组成关系和已有结构定义。例如,图片中的散热风扇可能与电机主体形成组成关系,但不能仅凭两者在画面中相邻,就认定风扇属于该电机。还需要检查结构关系定义和其他可用证据。
图片与结构属性的匹配还需要区分可直接观察属性和不能直接观察的属性。颜色、外形、铭牌文字、可见部件数量等可以通过图像信息提取;设备内部温度、真实电流、机械负载、控制器运行状态等则需要其他信息来源,不能凭普通图片直接赋值。
图片结构匹配按照以下过程执行:
图片匹配结果应当保留原始图片、区域坐标、识别程序版本、观察视角和识别质量。这样,当后续图片处理程序更新或现实对象结构版本发生变化时,可以重新进行结构匹配,而不必丢失原始依据。
对于没有足够证据的匹配结果,应当保留候选状态。例如,图片中识别出一个圆形部件,但无法判断其是传动轮还是其他旋转部件,就不能直接将其写入正式对象结构。图片识别负责提供视觉证据,结构匹配负责确定语义对应关系,正式对象结构的建立仍然需要满足身份和结构约束。
25.4 视频与动态状态结构匹配
视频与动态状态结构匹配必须建立在第二十四章已经明确的视频定义基础上。
视频不是现实对象本身,也不是现实场景的完整复制,更不能简单地定义为连续图片帧的集合。视频是现实对象静态结构元素的状态与多维参数变化,经过特定视角的连续感知、结构处理和方法运算后形成的动态场景表达对象。
现实对象的静态结构定义相对稳定,而视频所表达的重点是这些结构元素在时间过程中的状态变化、属性参数变化、对象运动和关系变化。
现实对象的静态结构可以表示为:
其中,\(E\) 表示结构元素,\(P\) 表示属性定义,\(M\) 表示方法定义,\(S\) 表示状态定义,\(R\) 表示对象关系,\(C\) 表示结构约束。
结构元素在运行过程中的动态参数可以表示为:
视频从特定视角获取这些结构元素的可观察变化,并经过连续处理形成动态场景表达:
其中,\(W\) 表示观察视角,\(I_w\) 表示连续采集的信息序列,\(M\) 表示相关处理方法,\(C\) 表示处理约束,\(V_e\) 表示最终形成的视角动态场景表达。
因此,视频与结构语义匹配的主要对象不是视频文件名称或单帧图像,而是动态场景表达中已经识别出的现实对象、结构元素、状态和多维参数变化。
例如,视频中记录了一台机械臂的运行过程。经过连续感知和结构处理,可以得到机械臂末端位置、关节运动参数、运动方向、速度变化以及末端与工件之间的动态关系。这些结果需要匹配到机械臂结构定义中的末端执行器、关节、运动状态、位置属性和工件关系。
视频动态参数与结构属性之间的匹配可以表示为:
其中,\(X_v(t)\) 表示视频处理得到的动态参数序列,\(P_r\) 表示结构属性定义,\(S_r\) 表示状态定义,\(R_r\) 表示关系定义,\(W\) 表示观察视角,\(C_v\) 表示视频匹配约束。
视频匹配数据可以组织为:
{
"source_type": "video",
"source_id": "video_20261116001",
"view_id": "camera_01",
"object_candidate": {
"visual_track_id": "track_001",
"candidate_type": "robot_arm",
"target_instance_id": "robot_instance_001"
},
"dynamic_elements": [
{
"element_name": "末端执行器",
"parameter_name": "image_position",
"time": 1763268000,
"value": {
"x": 320,
"y": 210
},
"value_type": "image_observation"
},
{
"element_name": "末端执行器",
"parameter_name": "movement_direction",
"time": 1763268000,
"value": "forward",
"value_type": "derived_result"
}
],
"relations": [
{
"source_element": "末端执行器",
"target_object": "工件A",
"relation_type": "approaching",
"time": 1763268000
}
]
}
其中,image_position 是图像坐标中的观察结果,不能直接当作现实空间中的物理坐标。若需要获得机械臂末端的真实位置、速度或关节角度,还需要摄像机标定、空间坐标转换、设备结构参数和相应的计算方法。
动态状态匹配还需要区分观察结果与状态判断结果。例如,视频识别到机械臂末端接近工件,只能说明两者在当前观察视角下呈现接近关系,不能直接认定已经完成夹持。夹持成功可能需要结合夹爪状态、力传感器、控制器反馈或后续运动结果进行验证。
对于连续时间参数,可以使用时间序列匹配:
其中,\(T_v\) 表示视频形成的动态参数时间序列,\(T_s\) 表示对象结构中的状态与属性时间序列,\(C_t\) 表示时间同步和有效性约束。
视频与动态结构匹配必须保留视角和时间信息。不同摄像机的坐标系不能直接混合,不同采集时间的数据不能直接认定为同一时刻的对象状态。对于遮挡、丢帧和跟踪中断,应当区分未观察、未知和状态变化,不能将没有获取到数据解释为对象状态已经改变。
25.5 多来源信息的交叉匹配
文字、图片和视频分别提供不同形式的结构信息,但它们通常并不是相互独立的现实事实,而是对同一现实对象、结构元素、属性或状态的不同来源表达。
在实际工程中,还可能同时存在传感器测量数据、设备控制器反馈、运行日志、人工记录和历史知识。这些信息需要通过统一的对象标识、结构元素标识、时间参照和空间参照建立交叉关系。
例如,某工业电机的运行状态可能同时具有以下信息:文字记录说明电机正在运行,图片显示电机外观及铭牌,视频显示电机轴旋转,温度传感器报告温度为68℃,控制器反馈当前运行指令已经下达。
这些信息涉及同一个现实对象,但其证据含义并不相同。文字记录可能是人工描述,图片是静态观察,视频提供视角动态表达,温度传感器提供温度测量,控制器反馈则反映控制系统所报告的执行情况。不能将它们简单合并为一个没有来源区分的对象属性集合。
多来源信息可以统一组织为:
交叉匹配结果为:
其中,\(D_o\) 是现实对象结构定义,\(C_c\) 包含对象身份、时间、空间、单位、来源、质量和冲突处理约束。
多来源匹配首先要解决对象身份一致性。文字中的“电机A”、图片识别出的视觉对象、视频跟踪得到的 track_id 和传感器记录中的设备编号,必须经过身份映射才能关联到同一个 WSaiOS 对象实例。不能仅凭名称相似或时间接近就将不同来源认定为同一对象。
其次,需要进行时间一致性处理。图片可能在某个时间点采集,视频可能覆盖一个时间区间,传感器则可能以较高频率持续采样。只有在时间关系和数据有效期满足要求时,才可以将这些信息作为同一运行过程的交叉证据。
再次,需要处理空间参照和单位一致性。不同摄像机的图像坐标需要经过标定才能建立空间映射;不同传感器的数值可能使用不同单位和测量范围。完成必要的坐标转换和单位换算后,才能进行有效的数值比较。
多来源交叉匹配可以按照以下流程组织:
多来源数据的一致性可以用以下关系表示:
其中,\(C_{ij}\) 表示两个信息来源针对同一结构语义的比较结果。比较结果可以是相互支持、部分一致、存在冲突、时间不一致或无法比较。
对于同一属性的多个数值来源,不能默认采用平均值解决冲突。例如,视频经过图像计算得到的估计温度与温度传感器的测量值,可能根本不属于同一种测量依据,不能直接平均。应当先检查两者是否对应同一属性、同一对象、同一时间和同一物理量,再依据测量方法、来源质量和结构约束决定如何处理。
建议建立统一的多来源证据记录:
{
"evidence_id": "evidence_001",
"object_id": "motor_001",
"element_id": "motor_body",
"property_id": "operating_temperature",
"sources": [
{
"source_type": "sensor",
"source_id": "sensor_001",
"value": 68,
"unit": "℃",
"time": 1763268000,
"quality": "verified_measurement"
},
{
"source_type": "text",
"source_id": "txt_001",
"value": 68,
"unit": "℃",
"time": 1763268010,
"quality": "recorded_statement"
}
],
"comparison": {
"status": "CONSISTENT",
"verification": "PENDING"
}
}
这里的 CONSISTENT 只表示当前比较条件下信息一致,不代表已经完成所有物理事实验证。多来源交叉匹配的目的,是建立信息之间的结构关系和证据关系,为后续认知和赋值提供依据,而不是简单将不同来源的数据合并为一个数值。
25.6 匹配结果与对象属性赋值
多模态结构语义匹配完成后,并不意味着所有匹配结果都可以立即写入对象实例。匹配结果与对象属性赋值属于两个不同的工程过程。
匹配过程解决信息表达与结构定义之间的对应关系;赋值过程则解决是否允许将某条信息写入某个对象实例的具体属性,以及以什么方式写入。
例如,图片识别出电机铭牌上的额定功率为15kW,并且已经与电机结构中的额定功率属性匹配。这时仍然需要检查识别结果是否可靠、铭牌是否属于目标电机、属性单位是否一致、当前结构版本是否允许该属性赋值,以及是否需要人工确认。
属性赋值可以表示为:
其中,\(R_m\) 表示结构语义匹配结果,\(O_i\) 表示目标对象实例,\(P_j\) 表示目标属性,\(C_a\) 表示赋值约束,\(A_p\) 表示最终赋值处理结果。
赋值前需要完成目标对象身份检查、属性定义检查、数据类型检查、单位兼容性检查、来源和时间有效性检查、信息质量检查、赋值权限检查,以及与现有属性值的冲突检查。
匹配结果采用统一状态:
MATCHED
PARTIAL_MATCH
CANDIDATE
CONFLICT
UNMATCHED
PENDING_CONFIRMATION
其中,MATCHED 表示语义对应关系已经通过当前匹配规则验证;PARTIAL_MATCH 表示部分结构内容已经匹配;CANDIDATE 表示存在候选对象或属性;CONFLICT 表示不同信息或约束之间存在冲突;UNMATCHED 表示没有找到适当的结构对应项;PENDING_CONFIRMATION 表示需要进一步确认。
赋值结果还需要区分不同来源和确认状态。建议将属性值来源分为观察值、计算值、预测值、人工确认值和控制器反馈值,并保留对应证据。
例如:
{
"instance_id": "motor_instance_001",
"property_id": "rated_power",
"assignment": {
"value": 15,
"unit": "kW",
"source_type": "image",
"source_id": "img_001",
"match_status": "MATCHED",
"assignment_status": "PENDING_CONFIRMATION",
"evidence_id": "evidence_001"
}
}
该记录说明图片识别结果已经匹配到额定功率属性,但赋值仍等待确认。只有满足自动赋值规则或者通过人工确认后,才可以进入正式对象属性数据。
程序实现时,赋值服务不能直接接收未经验证的任意数据并写入数据库。它应当从匹配结果中读取目标对象、属性定义、来源证据和验证状态,再根据赋值规则执行事务操作。
class PropertyAssignmentService
{
protected $instanceRepository;
protected $propertyRepository;
protected $evidenceRepository;
public function __construct(
$instanceRepository,
$propertyRepository,
$evidenceRepository
) {
$this->instanceRepository = $instanceRepository;
$this->propertyRepository = $propertyRepository;
$this->evidenceRepository = $evidenceRepository;
}
public function assign($matchResult)
{
if ($matchResult['match_status'] !== 'MATCHED') {
return array(
'status' => 'ASSIGNMENT_REJECTED',
'reason' => 'MATCH_NOT_CONFIRMED'
);
}
$instance = $this->instanceRepository
->getInstance($matchResult['instance_id']);
if (!$instance) {
return array(
'status' => 'ASSIGNMENT_REJECTED',
'reason' => 'INSTANCE_NOT_FOUND'
);
}
$property = $this->propertyRepository
->getDefinition(
$instance['structure_id'],
$matchResult['property_id']
);
if (!$property) {
return array(
'status' => 'ASSIGNMENT_REJECTED',
'reason' => 'PROPERTY_NOT_FOUND'
);
}
$evidence = $this->evidenceRepository
->getEvidence($matchResult['evidence_id']);
if (!$evidence) {
return array(
'status' => 'ASSIGNMENT_REJECTED',
'reason' => 'EVIDENCE_NOT_FOUND'
);
}
if (!$this->propertyRepository
->validateAssignment($property, $matchResult, $evidence)) {
return array(
'status' => 'ASSIGNMENT_REJECTED',
'reason' => 'VALIDATION_FAILED'
);
}
if ($matchResult['assignment_status'] !== 'CONFIRMED') {
return array(
'status' => 'PENDING_CONFIRMATION'
);
}
return $this->instanceRepository
->savePropertyValue($matchResult);
}
}
上述程序展示的是赋值服务的工程组织方式。实际项目还需要在数据库事务中完成对象实例版本检查、属性定义版本检查、数值类型和单位验证、权限校验、来源记录写入及历史值保存。程序返回赋值结果也不能直接等同于物理设备状态已经得到确认。
属性值存储继续使用动态属性管理体系,并增加多模态来源关联。匹配表负责保存信息来源与结构语义之间的对应关系,实例属性值表负责保存经过确认的对象属性值。两者分离后,可以在不修改原始对象属性值的情况下,重新计算匹配结果、补充证据或进行人工复核。
建议建立以下匹配记录表:
CREATE TABLE ws_multimodal_match (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
match_id VARCHAR(64) NOT NULL,
source_id VARCHAR(64) NOT NULL,
instance_id VARCHAR(64) DEFAULT NULL,
structure_id VARCHAR(64) DEFAULT NULL,
element_id VARCHAR(64) DEFAULT NULL,
property_id VARCHAR(64) DEFAULT NULL,
state_id VARCHAR(64) DEFAULT NULL,
relation_id VARCHAR(64) DEFAULT NULL,
match_status VARCHAR(32) NOT NULL,
evidence_id VARCHAR(64) DEFAULT NULL,
created_at DATETIME NOT NULL,
UNIQUE KEY uk_match_id (match_id)
);
对于同一属性存在多来源数据的情况,还需要明确赋值策略。例如,设备铭牌中的额定功率通常属于相对稳定的定义属性,而运行温度属于动态运行属性;前者可以通过图片和文字资料进行确认,后者则应依据实时测量来源和有效时间进行更新。不能用同一套赋值规则处理所有属性。
25.7 多模态认知对象的动态更新
多模态结构语义匹配的最终结果,是将不同来源的信息组织成与现实对象结构相关联的认知数据,使 WSaiOS 能够持续获得对象的属性、状态、关系及其变化信息。
这里形成的多模态认知对象,不是原始图片、视频或文字文件的简单集合,而是围绕现实对象结构组织起来的动态认知对象。它需要同时保留对象标识、结构版本、模态信息来源、匹配结果、属性状态、关系变化和证据记录。
多模态认知对象可以表示为:
其中,\(ID_o\) 表示现实对象标识,\(D_o\) 表示对象结构定义,\(I_m\) 表示多模态信息集合,\(E_o\) 表示已关联的结构元素,\(P_o\) 表示认知属性及其值,\(S_o\) 表示认知状态,\(R_o\) 表示对象关系,\(Q_o\) 表示信息质量和证据状态,\(T_o\) 表示时间信息,\(V_o\) 表示结构和认知数据版本。
多模态认知对象的动态更新可以表示为:
其中,\(I_m(t+1)\) 表示新获取的多模态信息,\(R_m\) 表示本次结构语义匹配结果,\(C_u\) 表示更新约束。
更新过程不是将新信息直接覆盖旧数据,而是根据新信息与现有认知对象之间的关系,确定本次更新属于新增证据、属性值变化、状态变化、关系变化、匹配修正还是结构版本调整。
例如,某工业电机原有认知对象记录显示运行温度为65℃。随后温度传感器报告68℃,视频动态场景表达显示电机轴仍在旋转,设备日志记录运行状态没有变化。此时系统可以增加新的温度测量记录,将当前温度更新为68℃,同时保留视频和设备日志作为运行状态的辅助证据。原来的65℃不能被删除,因为它是此前时刻的有效记录,可以用于计算温度变化趋势。
对于新识别出的对象组成元素,也不能立即修改现实对象结构定义。比如图片中识别出电机外部增加了一个防护罩,系统可以先形成新增视觉元素和候选组成关系,经过结构匹配和必要确认后,再决定是否更新对象实例的结构关系。对象结构定义的修改还需要遵循结构版本管理机制,不能直接覆盖原有结构版本。
动态更新过程可以组织为:
为了支持动态更新,需要建立多模态认知对象主体记录和历史记录。主体记录保存当前有效的认知状态,历史记录保存每次更新的变化内容和来源依据。
认知对象主体表可以组织为:
CREATE TABLE ws_multimodal_cognitive_object (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
cognitive_id VARCHAR(64) NOT NULL,
instance_id VARCHAR(64) NOT NULL,
structure_id VARCHAR(64) NOT NULL,
structure_version VARCHAR(32) NOT NULL,
cognitive_version INT NOT NULL DEFAULT 1,
cognitive_status VARCHAR(32) NOT NULL,
updated_at DATETIME NOT NULL,
UNIQUE KEY uk_cognitive_id (cognitive_id)
);
认知对象更新历史表可以组织为:
CREATE TABLE ws_multimodal_cognitive_history (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
cognitive_id VARCHAR(64) NOT NULL,
cognitive_version INT NOT NULL,
update_type VARCHAR(32) NOT NULL,
source_id VARCHAR(64) DEFAULT NULL,
evidence_id VARCHAR(64) DEFAULT NULL,
target_element_id VARCHAR(64) DEFAULT NULL,
target_property_id VARCHAR(64) DEFAULT NULL,
old_value TEXT,
new_value TEXT,
verification_status VARCHAR(32) NOT NULL,
created_at DATETIME NOT NULL,
KEY idx_cognitive_version (
cognitive_id,
cognitive_version
)
);
实际工程中,属性当前值仍应存储在既有的实例属性值表中,状态当前值仍应存储在对象状态管理体系中,关系数据仍由对象关系管理体系负责。多模态认知对象负责组织这些数据之间的关联,不应再复制一套互不一致的属性、状态和关系数据。
认知对象更新还必须处理离线运行条件。对于非通信运行的智能个体,多模态信息可以在本地完成采集、结构匹配和认知对象更新,并在恢复通信后同步更新记录。中央系统不能假定能够实时获取离线个体的最新认知状态。同步时需要检查结构版本、认知版本、事件时间和数据来源,处理重复记录、更新冲突和版本差异。
当对象结构定义发生变化时,多模态认知对象需要检查原有匹配关系是否仍然有效。例如,原来识别出的结构元素被拆分为两个独立元素,原有图片区域、视频跟踪结果和属性关联就可能需要重新匹配。此时应当保留旧版本认知记录,生成新版本匹配结果,并经过验证后完成迁移。
多模态认知对象的更新程序可以进一步组织为:
class CognitiveObjectUpdater
{
protected $cognitiveRepository;
protected $matchRepository;
protected $validationService;
public function __construct(
$cognitiveRepository,
$matchRepository,
$validationService
) {
$this->cognitiveRepository = $cognitiveRepository;
$this->matchRepository = $matchRepository;
$this->validationService = $validationService;
}
public function update($cognitiveId, $matchId)
{
$current = $this->cognitiveRepository
->getCurrent($cognitiveId);
if (!$current) {
return array(
'status' => 'COGNITIVE_OBJECT_NOT_FOUND'
);
}
$match = $this->matchRepository
->getMatch($matchId);
if (!$match) {
return array(
'status' => 'MATCH_RESULT_NOT_FOUND'
);
}
$validation = $this->validationService
->validateUpdate($current, $match);
if (!$validation['valid']) {
return array(
'status' => 'UPDATE_PENDING',
'reason' => $validation['reason']
);
}
return $this->cognitiveRepository
->saveNewVersion(
$current,
$match,
$validation
);
}
}
上述程序展示认知对象更新的调用关系。实际运行时,saveNewVersion() 应当在事务中保存更新结果、历史记录和证据关联,并通过版本号检查防止并发更新覆盖。结构版本发生变化时,还应当先执行结构兼容性检查,再决定是否允许迁移。
从工程运行角度看,多模态认知对象的更新形成以下关系:
其中,\(I_m\) 是新获取的多模态信息,\(R_m\) 是结构语义匹配结果,\(V_m\) 是验证结果,\(O_c(t+1)\) 是更新后的多模态认知对象,\(C_o\) 表示后续认知处理所使用的对象数据。
至此,多模态信息从获取、结构语义匹配、证据交叉验证、属性赋值到认知对象动态更新,形成了完整的工程处理链路。
本章建立的多模态结构语义匹配体系,解决的是不同信息形式如何关联到统一现实对象结构的问题。文字、图片、视频以及其他来源的数据不需要改变各自的原始表达方式,而是通过统一的结构定义和匹配机制建立对应关系。文字提供语义描述,图片提供特定视角下的静态观察,视频提供现实对象结构元素动态变化的视角场景表达,传感器和设备反馈提供测量及运行证据。它们共同参与对象认知,但各自的信息边界、来源属性和验证条件必须保留。
第五篇由此形成从多模态信息结构化处理、图片对象结构构建、视频动态场景结构构建,到多模态结构语义匹配的工程逻辑。下一篇将进入智能实例运行与动态呈现阶段,研究已经形成的结构化认知对象及其属性、状态、关系和变化结果,如何进入实际运行程序,并通过 Smarty 前台呈现体系进行动态组织和展示。



