首页 理论 架构 工程 文档 白皮书 著作 研究 案例 下载 博客 关于 开始使用 →

第132章 Dynamic Scene 动态场景

第132章 Dynamic Scene

动态场景

第131章建立了:

Scene
├── Elements
├── Objects
├── Attributes
├── Relations
├── States
└── Environment

但一个真正的现实世界从来不会停留在一个固定 Scene。

机器在:

t

观察到一个场景。

经过时间:

t + 1

场景已经发生变化。

再经过:

t + 2

又形成新的场景状态。

因此:

Scene(t)
   ↓
Scene(t+1)
   ↓
Scene(t+2)

构成:

Dynamic Scene

本章研究的核心问题是:

多个 Object、Attribute、Relation、State 的局部变化,如何共同形成一个可以被机器识别的 Scene Change?


132.1 Scene 不是一个状态,而是状态序列

静态 Scene 可以表示:

Scene(t)

但动态世界应该表示为:

Scene(t0)
Scene(t1)
Scene(t2)
Scene(t3)
...

因此:

Dynamic Scene
=
{Scene(t0), Scene(t1), Scene(t2), ...}

机器真正面对的不是:

Scene

而是:

Scene
   ↓
Change
   ↓
New Scene
   ↓
Change
   ↓
New Scene

所以:

动态场景的本质不是“一个会动的图片”,而是 Scene State 随时间连续演化。


132.2 Scene(t)

定义:

Scene(t)
=
{
    Elements(t),
    Objects(t),
    Attributes(t),
    Relations(t),
    States(t),
    Environment(t)
}

因此:

Scene(t)

是某一时刻机器对世界的认知状态。

例如:

Scene(t0)

可能是:

Table
Egg
Hand

Egg → SupportedBy → Table
Hand → Far → Egg

132.3 Scene(t+1)

经过一个时间周期:

t0 → t1

机器获得新的 Perception:

Perception(t1)

于是:

Scene(t0)
+
Perception(t1)

产生:

Scene(t1)

例如:

Hand

从:

Far

变成:

Near

于是:

Scene(t0)

与:

Scene(t1)

不再相同。


132.4 Scene Change

定义:

Scene Change
=
Difference(Scene(t), Scene(t+1))

可以写成:

ΔScene(t)
=
Scene(t+1) - Scene(t)

这里的“减”不是简单数值减法,而是:

结构差异

包括:

Object Change
Attribute Change
Relation Change
State Change
Environment Change
Element Change

因此:

ΔScene
=
ΔElement
+
ΔObject
+
ΔAttribute
+
ΔRelation
+
ΔState
+
ΔEnvironment

132.5 Scene Change 的六种基本来源

动态场景变化可以首先分为:

1. Element Change
2. Object Change
3. Attribute Change
4. Relation Change
5. State Change
6. Environment Change

例如:

Object Change
+
Attribute Change
+
Relation Change

共同导致:

Scene Change

132.6 Element Change

最底层变化来自:

Element

例如:

声音

从:

Absent

变成:

Detected

或者:

Pressure

发生变化:

0
↓
2N

又或者:

Edge

从:

Not Detected

变成:

Detected

于是:

Element Change
       ↓
Perception Change

进一步可能:

Perception Change
       ↓
Object / Attribute / Relation Change

132.7 Object Change

Scene 中的 Object 也可能发生:

Created
Removed
Appeared
Disappeared
Merged
Separated

例如:

Scene(t0):
Table
Egg

下一时刻:

Scene(t1):
Table
Egg
Cup

于是:

Object Added:
Cup

反过来:

Scene(t2):
Table
Egg

说明:

Cup Removed

因此:

Object Set(t)

本身也是动态的。


132.8 Object Identity Continuity

但 Object 消失与重新出现不能简单理解为:

Removed
+
Added

例如:

Egg

暂时被手遮挡:

t1: Visible
t2: Occluded
t3: Visible

如果机器没有 Object Identity Memory,可能错误理解为:

Egg Removed
Egg Added

正确理解应该是:

Egg
   ↓
Occluded
   ↓
Visible Again

因此 Dynamic Scene 必须具有:

Object Identity Continuity

132.9 Attribute Change

Object 没有消失,但是属性发生变化。

例如:

Egg
Position = P1

变成:

Egg
Position = P2

或者:

Temperature:
20°C
↓
25°C

或者:

Force:
0N
↓
1.5N

于是:

Object = Same
Attribute = Changed

这是一种典型的:

Scene Change

132.10 Stable Attribute 与 Dynamic Attribute

第128章已经区分:

Stable Attributes

与:

Dynamic Attributes

动态场景中尤其重要。

例如:

Fragility = High
Material = Glass
Shape = Oval

可能长期不变。

而:

Position
Velocity
Orientation
Force
Contact

不断变化。

因此:

Scene Change

不应该因为:

Fragility = High

每一帧重复产生变化。

而应该重点关注:

ΔDynamicAttribute

132.11 Relation Change

Relation 是 Dynamic Scene 最重要的变化来源之一。

例如:

Scene(t0)
Hand ──Far──> Egg

变成:

Scene(t1)
Hand ──Approaching──> Egg

再:

Scene(t2)
Hand ──Contact──> Egg

关系发生:

Far
 ↓
Approaching
 ↓
Contact

因此:

ΔRelation

本身就是:

ΔScene

132.12 Relation Creation

例如:

Scene(t0)

不存在:

Near(Hand,Egg)

到了:

Scene(t1)

出现:

Near(Hand,Egg)

于是:

Relation Created

形成:

ΔScene

因此 Scene Change 可以由:

Relation Created

直接触发。


132.13 Relation Removal

反过来:

Scene(t0)
Hand ──Contact──> Egg

变成:

Scene(t1)
Hand ──Far──> Egg

说明:

Contact

结束。

所以:

Relation Removed

也是:

Scene Change

132.14 State Change

Object 还可能保持:

Object Identity

保持:

Attributes

甚至关系也基本不变。

但是:

State

发生变化。

例如:

Door
State = Closed

变成:

Door
State = Open

于是:

ΔState

产生:

Scene Change

132.15 Environment Change

环境也可能发生变化。

例如:

Lighting

从:

Bright

变成:

Dark

或者:

Temperature
20°C
↓
25°C

或者:

Noise
Low
↓
High

于是:

Environment Change

导致:

Scene Change

因此 Scene 不是只关注 Object。


132.16 Scene Change Vector

可以建立:

SceneChangeVector

表示:

ΔScene

例如:

ΔScene
{
    element_changes,
    object_changes,
    attribute_changes,
    relation_changes,
    state_changes,
    environment_changes
}

例如:

ΔScene
{
    objects: 0,

    attributes:
        Egg.Position changed,

    relations:
        Hand Far → Near,

    states:
        Hand Moving,

    environment:
        unchanged
}

这就是一个结构化的 Scene Change。


132.17 Local Change 与 Global Change

并不是所有变化都具有同样范围。

例如:

Egg.Position

发生变化。

这是:

Local Change

但如果:

Power Failure

导致:

Lighting ↓
Robot State
Camera State
Temperature
Visibility

同时变化:

Global Scene Change

所以:

Scene Change
├── Local
└── Global

132.18 Micro Change

有些 Scene Change 极其微小。

例如:

Egg Position:
10.00cm
→
10.02cm

数学上发生了变化。

但认知上未必重要。

因此系统需要区分:

Physical Change

与:

Cognitive Change

也就是说:

不是所有物理变化都值得成为认知意义上的 Scene Change。


132.19 Change Threshold

可以建立:

Change Threshold

例如:

|ΔPosition| > ε

才认为:

Position Changed

或者:

|ΔForce| > ε

才产生:

Force Change

因此:

Raw Change
   ↓
Threshold
   ↓
Cognitive Change

这样可以避免:

Noise

被错误识别成:

Scene Change

132.20 Change Significance

除了数值阈值,还需要:

Semantic Significance

例如:

Egg Position

变化:

1mm

可能没有意义。

但:

Egg
Table

之间的:

SupportedBy

消失:

即使位置只变化了几毫米,也可能具有非常高的认知意义。

因此:

Change Magnitude

与:

Change Significance

必须区分。


132.21 Scene Change Detection

基本流程:

Scene(t)
   +
Perception(t+1)
        ↓
Update
        ↓
Scene(t+1)
        ↓
Compare
        ↓
ΔScene

更完整:

Previous Scene
      ↓
Current Perception
      ↓
Object Matching
      ↓
Attribute Comparison
      ↓
Relation Comparison
      ↓
State Comparison
      ↓
Environment Comparison
      ↓
Scene Change Detection

132.22 Scene Comparison

可以定义:

Compare(SceneA, SceneB)

输出:

SceneDifference

例如:

Scene A:
Hand Far from Egg

Scene B:
Hand Near Egg

输出:

RelationChanged:
Far → Near

又例如:

Scene A:
Egg on Table

Scene B:
Egg in Hand

输出:

RelationRemoved:
SupportedBy(Egg,Table)

RelationAdded:
Holding(Hand,Egg)

132.23 Scene Delta

因此可以定义:

ΔScene

为:

{
    Added,
    Removed,
    Modified
}

进一步:

Added:
Objects
Relations
States
Elements

Removed:
Objects
Relations
States
Elements

Modified:
Attributes
Relation Values
State Values
Environment

这形成一个统一的:

Scene Delta Model

132.24 Scene Delta 与 Memory

Scene Change 必须进入记忆。

例如:

Scene(t0)

保存。

然后:

ΔScene(t0→t1)

保存。

再:

ΔScene(t1→t2)

保存。

因此不必每次只保存完整 Scene:

Scene0
Delta1
Delta2
Delta3
...

可以重建:

Scene(t3)

即:

Scene(t3)
=
Scene(t0)
+
Δ1
+
Δ2
+
Δ3

这形成:

Temporal Scene Memory

132.25 Scene History

因此:

Scene History

可以表示:

S0
 ↓ Δ1
S1
 ↓ Δ2
S2
 ↓ Δ3
S3

机器不仅知道:

Current Scene = S3

还知道:

S0 → S1 → S2 → S3

这就是:

Scene Evolution History

132.26 Scene Transition

如果:

ΔScene

足够明确,就可以形成:

Scene Transition

例如:

S1:
Egg on Table

      ↓

S2:
Egg Held by Hand

Transition:

Table Support Lost
+
Hand Contact Created
+
Hand Holding Created

于是:

Scene Transition

成为一个更高层的结构。


132.27 Scene Transition Pattern

连续多个 Transition:

S1 → S2
S2 → S3
S3 → S4

可以形成:

Transition Pattern

例如:

Far
 ↓
Approaching
 ↓
Near
 ↓
Contact
 ↓
Holding

这实际上已经接近:

Behavior Pattern

因此:

Scene Change
   ↓
Scene Transition
   ↓
Transition Pattern
   ↓
Behavior

132.28 Scene Change 与 Event

Event 可以定义为:

具有明确认知意义的 Scene Change 或 Scene Change Pattern。

例如:

Relation:
Far → Contact

可以形成:

Contact Event

又例如:

State:
Closed → Open

形成:

Door Open Event

所以:

Scene Change

是:

Event

的重要底层来源。


132.29 Scene Change 与 Situation

Scene 是:

Current World Structure

Scene Change 是:

World Structure Change

而 Situation 更关注:

Current Meaningful Configuration

因此:

Scene
   ↓
Scene Change
   ↓
Situation Change

例如:

Before:
Egg is safely supported.

After:
Egg is being handled.

这里不仅发生了:

Relation Change

还发生了:

Situation Change

132.30 Dynamic Scene 与 Time

时间不是 Scene 的附加字段那么简单。

时间决定:

Scene(t)

之间的:

顺序
持续时间
变化速度
变化方向

例如:

Hand Near Egg

如果持续:

10 seconds

和持续:

0.01 seconds

其认知意义可能完全不同。

因此 Dynamic Scene 必须包含:

Temporal Structure

132.31 Scene Change Rate

还可以计算:

Change Rate

例如:

Scene Change Frequency

一个稳定房间:

Low Change Rate

一个拥挤机器人工作区:

High Change Rate

因此:

Scene
├── State
└── Change Rate

可以帮助系统判断:

Stable

还是:

Highly Dynamic

132.32 Scene Stability

定义:

Scene Stability

如果:

ΔScene ≈ 0

持续一段时间:

Scene Stable

例如:

S1
S2
S3
S4

变化极小。

则:

Stable Scene

反之:

S1
S2
S3
S4

持续发生重大变化:

Dynamic / Unstable Scene

因此:

Scene Stability

也是 Scene State 的重要组成部分。


132.33 Stable → Changing

Scene 可以形成:

Stable
   ↓
Change Detected
   ↓
Changing
   ↓
Updated
   ↓
Stable

例如:

桌面静止

然后:

Hand Enter

于是:

Stable
 ↓
Changing

手停止移动:

Changing
 ↓
Stable

因此 Dynamic Scene 自身也具有:

Scene State Machine

132.34 Scene Change Cascade

一个小变化可能产生多个变化。

例如:

Hand Contacts Egg

首先:

Relation Change

然后:

Egg Force Change

然后:

Egg State Change

然后:

Egg Position Change

然后:

Table Support Relation Change

最终:

Scene Change Cascade

形成:

Contact
 ↓
Force
 ↓
Motion
 ↓
Position
 ↓
Relation
 ↓
State

这说明:

Scene Change 并不总是单点变化,而可能是一个因果传播过程。


132.35 Scene Change Dependency

因此可以建立:

Change A
   ↓
Change B
   ↓
Change C

例如:

Hand Movement
      ↓
Hand Position Change
      ↓
Distance Change
      ↓
Near Relation
      ↓
Contact Relation
      ↓
Egg State Change

这形成:

Scene Change Dependency Graph

它为后续:

Causal Cognition

提供基础。


132.36 Scene Change 的认知层次

可以把 Scene Change 分成:

Level 1
Physical Change

例如:

Position changed

Level 2
Structural Change

例如:

Relation changed

Level 3
State Change

例如:

Egg = Held

Level 4
Situation Change

例如:

Object is being picked up

Level 5
Event

例如:

Pickup Event

因此:

Physical Change
   ↓
Structural Change
   ↓
State Change
   ↓
Situation Change
   ↓
Event

132.37 Dynamic Scene 与 Prediction

一旦拥有:

Scene(t)
+
ΔScene History

系统就可以预测:

Scene(t+1)

例如:

Hand
Approaching
Egg
Distance decreasing

系统可以预测:

Future Scene:
Hand Contact Egg

所以:

Scene History
   ↓
Change Pattern
   ↓
Future Scene

形成:

Dynamic Scene Prediction

132.38 Prediction Error

实际 Scene:

Scene(t+1)

与预测 Scene:

PredictedScene(t+1)

可以比较:

Prediction Error

例如:

Expected:
Hand Contact Egg

Actual:
Hand Stops 5cm Away

于是:

Prediction Error

进入:

Learning

这使 Dynamic Scene 与学习系统连接。


132.39 Dynamic Scene 与 Action

Action 会主动造成:

Scene Change

例如:

Action:
Move Hand

预期:

Hand Position Change

进一步:

Distance Change

最终:

Relation Change

所以:

Action
   ↓
Expected Scene Change

实际:

Perception
   ↓
Actual Scene Change

比较:

Expected
vs
Actual

就能够判断:

Action Success
Action Failure
Unexpected Outcome

132.40 Dynamic Scene 与 Decision

决策系统真正需要的是:

Current Scene
+
Scene Dynamics

而不是只有:

Current Scene

例如:

Object

当前安全。

但:

Velocity
+
Direction
+
Relation Change

显示它正在快速接近障碍物。

因此:

Current State

与:

Current Trend

必须结合。

形成:

Scene
+
Scene Change
+
Scene Prediction

最终:

Decision

132.41 Dynamic Scene 的统一公式

可以建立:

Scene(t+1)
=
Update(
    Scene(t),
    Perception(t+1)
)

而:

ΔScene(t)
=
Compare(
    Scene(t),
    Scene(t+1)
)

进一步:

ΔScene
=
{
    ΔElement,
    ΔObject,
    ΔAttribute,
    ΔRelation,
    ΔState,
    ΔEnvironment
}

最终:

Scene(t)
+
ΔScene(t)
=
Scene(t+1)

这就是动态场景最核心的计算结构。


132.42 Dynamic Scene Engine

工程上可以形成:

Perception
      ↓
Scene Builder
      ↓
Current Scene
      ↓
Scene Comparator
      ↓
Scene Delta
      ↓
Change Classifier
      ↓
Scene Transition
      ↓
Situation / Event

核心组件:

DynamicSceneEngine
├── SceneBuilder
├── ObjectTracker
├── AttributeTracker
├── RelationTracker
├── StateTracker
├── EnvironmentTracker
├── SceneComparator
├── ChangeDetector
└── TransitionManager

132.43 完整动态场景数据模型

可以定义:

DynamicScene
{
    scene_id,

    timestamp,

    elements,

    objects,

    attributes,

    relations,

    states,

    environment,

    previous_scene_id,

    changes,

    stability,

    confidence
}

其中:

previous_scene_id

建立:

Scene(t)
   ↓
Scene(t+1)

的时间连接。

而:

changes

保存:

ΔScene

132.44 Dynamic Scene 的完整数据流

最终形成:

               Perception(t)
                    ↓
               Elements(t)
                    ↓
               Objects(t)
                    ↓
              Attributes(t)
                    ↓
               Relations(t)
                    ↓
                 States
                    ↓
              Scene(t)
                    │
                    │
             New Perception
                    ↓
              Scene Update
                    ↓
              Scene(t+1)
                    ↓
              Scene Compare
                    ↓
                ΔScene
                    ↓
       ┌────────────┼────────────┐
       ↓            ↓            ↓
   Object Change  Relation     State
                  Change       Change
       └────────────┼────────────┘
                    ↓
              Scene Transition
                    ↓
                 Situation
                    ↓
                  Event
                    ↓
                Behavior

132.45 Dynamic Scene 的核心架构

                    Dynamic Scene
                          │
          ┌───────────────┼───────────────┐
          ↓               ↓               ↓
       Scene(t)       Scene Change     Scene(t+1)
                          │
              ┌───────────┼───────────┐
              ↓           ↓           ↓
           Object      Relation      State
           Change       Change       Change
              │           │           │
              └───────────┼───────────┘
                          ↓
                    Scene Transition
                          ↓
                       Situation
                          ↓
                         Event

进一步:

Scene(t)
   ↓
ΔScene
   ↓
Scene(t+1)
   ↓
ΔScene
   ↓
Scene(t+2)
   ↓
ΔScene
   ↓
Scene(t+3)

这形成:

Dynamic Cognitive World

132.46 本章核心定义

Dynamic Scene 是 Scene 随时间持续演化形成的动态认知结构。它通过持续跟踪 Elements、Objects、Attributes、Relations、States 与 Environment 的变化,将多个局部变化组织为统一的 Scene Change,并进一步形成 Scene Transition、Situation 和 Event。

最核心公式:

Scene(t+1)
=
Scene(t)
+
ΔScene(t)

其中:

ΔScene(t)
=
ΔElement
+
ΔObject
+
ΔAttribute
+
ΔRelation
+
ΔState
+
ΔEnvironment

因此:

Object Change
        +
Attribute Change
        +
Relation Change
        +
State Change
        +
Environment Change
        ↓
      Scene Change
        ↓
   Scene Transition
        ↓
     Situation
        ↓
       Event

最终,WSaiOS-ICAI 的场景模型从:

Scene

升级为:

Scene(t)
   ↓
Scene(t+1)
   ↓
Scene(t+2)

机器由此不再只是拥有:

Current World Model

而开始拥有:

World Evolution Model

也就是说:

机器不仅知道“世界现在是什么样”,还知道“世界刚刚发生了什么变化”。

而当系统进一步研究:

Scene(t-2)
   ↓
Scene(t-1)
   ↓
Scene(t)
   ↓
Scene(t+1)

就会出现一个比单纯 Scene Change 更重要的问题:

连续的 Scene Change 是否能够形成一个具有方向、阶段和意义的过程?

这将自然进入下一层:

Scene
   ↓
Scene Change
   ↓
Scene Transition
   ↓
Process

即从“动态场景”进入 认知过程(Cognitive Process)

Leave a Reply

Your email address will not be published. Required fields are marked *