第四章(B)
图片感知元素结构理论
Image Perception Element Structure Theory
4.1 图片在视觉认知中的作用
图片是视觉信息的一种静态表现形式。
它记录:
- 某一时间点的空间状态;
- 对象存在情况;
- 对象之间的位置关系;
- 环境组成结构。
在人类认知过程中,
图片并不是最终认识。
人看到图片后,会进一步形成:
- 对象认识;
- 环境认识;
- 关系认识;
- 状态认识。
例如:
一张工厂图片。
人的视觉输入:
图片
经过认知组织:
机器
人员
生产区域
操作关系
最终形成:
工厂生产场景
因此,WSaiOS 将图片定义为:
一种承载空间信息的视觉输入介质,通过结构化解析形成图片感知元素,并进一步转换为认知元素。
4.2 图片感知元素结构
WSaiOS认为:
图片不是像素集合。
图片是由多个视觉元素组成的结构整体。
基本结构:
Image
↓
Image Elements
↓
Object Elements
↓
Attribute Elements
↓
Relation Elements
↓
Scene Elements
↓
Cognitive Elements
其中:
Image
表示:
原始图片信息。
Image Element
表示:
图片中的基本视觉信息单元。
Object Element
表示:
图片中的具体对象。
Attribute Element
表示:
对象具有的特征。
Relation Element
表示:
对象之间的关系。
Scene Element
表示:
多个对象共同形成的环境结构。
4.3 图片对象元素
Image Object Element
图片首先需要被组织为对象。
对象元素:
Object Element
{
ID
Category
Existence
Attribute
Position
State
}
例如:
图片中存在一台电脑。
形成:
Object:
Computer
Attribute:
Color:
Black
Position:
Desk Area
State:
Power On
对象元素不是简单名称。
它包含:
- 对象是什么;
- 对象有什么属性;
- 对象在哪里;
- 对象处于什么状态。
4.4 图片属性元素
对象本身不能完整描述视觉信息。
需要通过属性描述对象。
属性元素:
Attribute Element
{
Type
Value
Description
}
例如:
电脑:
Type:
Color
Value:
Black
设备:
Type:
State
Value:
Running
人物:
Type:
Clothing
Value:
Uniform
属性元素用于增强对象表达能力。
4.5 图片空间元素
空间是图片理解的重要组成部分。
WSaiOS认为:
视觉认知不仅需要知道:
“有什么”。
还需要知道:
“在哪里”。
空间元素:
Position Element
{
Location
Direction
Distance
Area
}
例如:
图片:
Person
Computer
空间关系:
Person
Near
Computer
或者:
Computer
On
Desk
空间元素使图片从对象集合变成空间结构。
4.6 图片关系元素
单个对象不能形成完整认知。
认知依赖对象之间关系。
关系元素:
Relation Element
{
Object A
Relation
Object B
}
例如:
办公场景:
Person
Using
Computer
生产场景:
Worker
Operating
Machine
交通场景:
Vehicle
Behind
Vehicle
关系元素是图片进入认知系统的重要桥梁。
4.7 图片状态元素
图片虽然是静态信息,
但是其中包含对象状态。
状态元素:
State Element
{
Object
Current State
}
例如:
机器图片:
Object:
Machine
State:
Running
车辆图片:
Object:
Vehicle
State:
Stopped
人员图片:
Object:
Person
State:
Standing
状态元素使图片不仅描述外观,
还描述对象当前情况。
4.8 图片场景元素
多个对象通过关系组合后,
形成完整场景。
场景元素:
Scene Element
{
Environment
Objects
Relations
Layout
State
}
例如:
图片:
Person
Computer
Desk
Chair
单独看:
只是对象。
经过关系组织:
Person
↓
Using
↓
Computer
Computer
↓
Located On
↓
Desk
形成:
Office Scene
场景元素代表更高层视觉理解。
4.9 图片元素组织过程
WSaiOS 图片感知过程:
图片输入
↓
对象发现
↓
属性组织
↓
空间建立
↓
关系连接
↓
场景形成
↓
认知元素生成
例如:
输入:
工厂图片。
对象:
Worker
Machine
属性:
Worker:
Uniform
Machine:
Running
关系:
Worker
Operating
Machine
形成:
认知:
生产作业场景
4.10 图片元素与认知元素转换
图片元素解决:
看到了什么
认知元素解决:
理解了什么
转换过程:
Image Element
↓
Semantic Organization
↓
Cognitive Element
例如:
图片元素:
Person
Uniform
Factory
Machine
转换:
Factory Worker
图片元素:
Machine
Stopped
Production Area
转换:
Production Equipment Abnormal State
4.11 图片感知元素在 WSaiOS 中的位置
图片感知不是最终智能。
它属于:
WSaiOS 感知层。
完整结构:
视觉输入层
↓
图片感知元素
↓
认知元素层
↓
知识组织层
↓
推理层
↓
决策层
4.12 本章总结
本章建立 WSaiOS 图片感知元素结构理论。
核心观点:
- 图片是静态视觉信息载体;
- 图片不是像素集合,而是视觉元素集合;
- 图片由对象、属性、空间、关系、状态组成;
- 多个图片元素通过关系形成场景元素;
- 图片感知元素经过语义组织形成认知元素;
- WSaiOS 图片理解依靠结构化元素体系,而不是依靠大模型视觉识别。
最终结构:
Image
↓
Image Element
↓
Object Element
↓
Relation Element
↓
Scene Element
↓
Cognitive Element
下一章:
第五章
视频感知元素结构理论
Video Perception Element Structure Theory
重点:
- 视频作为动态视觉输入;
- 时间连续元素;
- 状态变化;
- 事件形成;
- 动态认知结构。