首页 理论 架构 工程 文档 白皮书 著作 研究 案例 下载 博客 关于 开始使用 →

第158章 Dynamic Experience 动态经验

第158章 Dynamic Experience

动态经验

第157章 Cognitive Feedback(认知反馈) 建立了:

Action
 ↓
Result
 ↓
World Change
 ↓
New Perception
 ↓
Feedback

本章进一步解决一个问题:

机器经历过一次认知—行为过程之后,究竟应该保存什么?

不是简单保存:

Action = Grip
Result = Success

而应该把一次完整的动态过程组织成:

Scene
+
Cognition
+
Method
+
Action
+
Result
 ↓
Experience

因此:

Experience 不是一个静态事实,而是一次完整认知—行为过程形成的结构化经验。


158.1 Experience 不是 Memory 的简单复制

需要首先区分:

Memory

与:

Experience

Memory 可以保存:

Egg
Fragile

这是一个知识事实。

而 Experience 保存的是:

Scene
 ↓
Cognition
 ↓
Method
 ↓
Action
 ↓
Result

例如:

Scene:
Egg on tilted table

Cognition:
Egg unstable

Method:
Safe Intervention

Action:
Slow Approach

Result:
Egg stabilized

因此:

Memory
=
What is known

而:

Experience
=
What happened through cognition and action

158.2 Dynamic Experience

为什么叫 Dynamic Experience

因为 Experience 本身来自一个时间过程。

不是:

Scene
→
Experience

而是:

Scene(t0)
 ↓
Cognition(t0)
 ↓
Method(t0)
 ↓
Action(t0)
 ↓
Result(t1)
 ↓
Scene(t1)

所以经验实际上包含:

Before
+
Process
+
After

可以表示:

Experience
=
Initial State
+
Cognitive Process
+
Action Process
+
Result State

158.3 Experience 是“过程”

例如机器抓取鸡蛋。

开始:

Scene:
Egg on Table

认知:

Egg
+
Stable
+
Reachable

得到:

Cognition:
Safe to Grip

方法:

Method:
Safe Grasp

动作:

Action:
Approach
→
Grip
→
Lift

结果:

Result:
Egg in Hand

于是形成一个完整 Experience:

Egg on Table
 ↓
Recognized as Stable
 ↓
Safe Grasp
 ↓
Grip
 ↓
Egg Lifted

未来遇到类似 Scene 时,系统可以利用这段经验。


158.4 Experience 的结构

可以正式建立:

Experience
├── Scene
├── Cognition
├── Method
├── Action
├── Result
└── Outcome

其中:

Scene

表示:

当时世界是什么样。

Cognition

表示:

机器当时如何理解世界。

Method

表示:

机器选择了什么行为策略。

Action

表示:

实际执行了什么。

Result

表示:

行为直接产生了什么结果。

Outcome

表示:

最终是否达成 Goal,以及产生了什么新的状态。


158.5 Experience 不等于成功案例

非常重要:

失败同样是 Experience。

例如:

Scene
+
Cognition
+
Method
+
Action
+
Result

得到:

Failure

仍然形成:

Experience

例如:

Scene:
Egg near edge

Cognition:
Egg stable

Method:
Normal Grasp

Action:
Grip

Result:
Egg falls

这也是经验。

而且它可能比成功经验更有价值:

Condition
+
Method
+
Action
→
Failure

系统可以以后避免:

Normal Grasp

158.6 Experience 与 Action Failure

第154章建立:

Expected Result
≠
Actual Result

第158章则把这个过程保存下来:

Scene
+
Cognition
+
Method
+
Action
+
Expected Result
+
Actual Result
 ↓
Experience

因此:

Action Failure

不再只是一个瞬时事件。

它可以被转化为:

Failure Experience

例如:

Egg
+
Unstable
+
Normal Grasp
+
Grip
+
Egg Falls

形成:

Experience #001

以后遇到:

Egg
+
Unstable

系统可以检索:

Experience #001

并发现:

Normal Grasp
→
High Failure Risk

158.7 Experience 与 Unexpected Scene

第155章:

Unexpected Scene

描述:

Expected Scene
≠
Actual Scene

现在可以将其纳入 Experience:

Expected Scene
+
Action
+
Unexpected Scene
+
Actual Result
 ↓
Experience

例如:

Expected:
Egg remains stable

实际:

Egg starts rolling

形成:

Unexpected Experience

长期积累后:

Unexpected Experience
 ↓
Pattern
 ↓
Prediction

于是原本的:

Unexpected

逐渐变成:

Expected

158.8 Experience 与 Re-Cognition

第156章建立:

New Scene
 ↓
Re-Cognition
 ↓
New Cognition
 ↓
New Method
 ↓
New Action

本章可以进一步记录整个过程:

Old Cognition
 ↓
Action
 ↓
Unexpected Scene
 ↓
Re-Cognition
 ↓
New Cognition
 ↓
New Method
 ↓
New Action

这就是一种更高级的:

Adaptive Experience

因为机器不仅记住:

What happened

还记住:

How cognition changed

因此:

动态经验不仅记录世界变化,还记录机器自身认知变化。


158.9 Experience 与 Feedback

第157章:

Action
 ↓
Result
 ↓
World Change
 ↓
New Perception

第158章:

Scene
+
Cognition
+
Method
+
Action
+
Result
 ↓
Experience

因此:

Feedback

提供经验形成所需要的:

Result
+
World Change
+
New Perception

而 Experience 将这些信息与:

Previous Scene
+
Cognition
+
Method
+
Action

重新组织起来。

形成:

Action
 ↓
Feedback
 ↓
Experience

158.10 Experience 是时间序列

更完整地表达:

E(t)
=
{
Scene(t),
Cognition(t),
Method(t),
Action(t),
Result(t+1)
}

下一次:

E(t+1)
=
{
Scene(t+1),
Cognition(t+1),
Method(t+1),
Action(t+1),
Result(t+2)
}

因此:

Experience

可以组成:

E1
 ↓
E2
 ↓
E3
 ↓
E4

形成:

Experience Sequence

这使机器可以研究:

What happened before?
What happened after?
What action caused what result?
What cognition led to what method?

158.11 Experience 与因果关系

这是 Dynamic Experience 非常重要的价值。

如果只保存:

Egg
Rolling

机器知道:

What happened

但不知道:

Why happened

而 Experience 保存:

Scene
+
Cognition
+
Method
+
Action
+
Result

就可以进一步建立:

Action
→
Result

以及:

Scene
→
Cognition
→
Method
→
Action
→
Result

例如:

Tilted Table
+
Egg
 ↓
Recognized Unstable
 ↓
Safe Intervention
 ↓
Slow Approach
 ↓
Egg Stabilized

于是经验开始具有:

Causal Structure

158.12 Experience → Future Method Selection

经验的真正价值不是“保存过去”。

而是:

影响未来。

未来出现:

New Scene

系统可以进行:

Experience Matching

例如:

Current Scene
+
Past Experiences
 ↓
Similarity / Relevance
 ↓
Candidate Methods
 ↓
Method Selection

形成:

Past Experience
 ↓
Current Cognition
 ↓
Future Method

所以:

Experience

成为:

Method

与:

Learning

之间的重要桥梁。


158.13 Experience 不应该被固定为规则

例如过去一次:

Egg
+
Tilted Table
→
Rolling

不能直接形成绝对规则:

IF Tilted Table
THEN Egg Rolls

因为现实可能还存在:

Friction
+
Egg Position
+
Surface
+
Contact
+
Motion

因此 Experience 应保存为:

Condition Pattern
+
Observed Result

而不是:

Universal Rule

例如:

Experience:

Table Tilt = High
Friction = Low
Egg Orientation = X
Initial Velocity = 0
 ↓
Egg Rolling

未来系统可以通过相似性判断:

Current Scene
≈
Past Experience

然后提高:

Rolling Probability

这使 Experience 与前面的 Cognitive Similarity 建立连接。


158.14 Experience → Prediction

经验积累以后:

Experience 1
Experience 2
Experience 3
Experience 4

可以形成:

Pattern

例如:

Tilted Surface
+
Low Friction
+
Egg
→
Rolling

系统于是能够:

Current Scene
 ↓
Experience Matching
 ↓
Pattern
 ↓
Expected Result

也就是:

Experience
→
Prediction

最终:

Prediction
→
Action
→
Feedback
→
Experience

形成学习闭环。


158.15 Dynamic Experience 的闭环

现在可以把第151—158章连接起来:

Scene
 ↓
Cognition
 ↓
Method
 ↓
Action Condition
 ↓
Dynamic Action
 ↓
Expected Result
 ↓
World Change
 ↓
New Perception
 ↓
New Scene
 ↓
Actual Result
 ↓
Comparison
 ↓
Failure / Success
 ↓
Re-Cognition
 ↓
New Cognition
 ↓
New Method
 ↓
New Action
 ↓
Experience

进一步:

Experience
 ↓
Pattern
 ↓
Prediction
 ↓
Future Cognition

最终形成:

        ┌───────────────┐
        │     Scene     │
        └───────┬───────┘
                ↓
           Cognition
                ↓
             Method
                ↓
             Action
                ↓
              World
                ↓
          New Perception
                ↓
            New Scene
                ↓
           Feedback
                ↓
          Re-Cognition
                ↓
           Experience
                │
                ↓
             Pattern
                │
                └────────→ Future Cognition

158.16 Experience 的核心定义

可以正式定义:

Dynamic Experience 是机器在特定 Scene 中经过 Cognition、Method、Action,并获得实际 Result 后形成的具有时间、状态、行为和结果关联的结构化经验。

核心模型:

Experience
=
Scene
+
Cognition
+
Method
+
Action
+
Result

更完整:

Experience(t)
=
{
Scene(t),
Cognition(t),
Goal(t),
Method(t),
Condition(t),
Action(t),
Expected Result(t+1),
Actual Result(t+1),
World Change,
Outcome
}

因此 Experience 不只是:

Memory

而是:

State
+
Cognition
+
Decision
+
Action
+
Feedback
+
Outcome

形成的:

Dynamic Cognitive Experience

158.17 本章的核心推进

到第158章,系统开始出现一个重要变化:

前面研究的是:

机器如何感知?
机器如何认知?
机器如何选择 Method?
机器如何 Action?
机器如何获得 Feedback?

而现在开始研究:

机器如何把一次完整的认知—行为过程保存为可再次利用的经验?

于是:

Cognition
 ↓
Action
 ↓
Feedback
 ↓
Experience
 ↓
Learning

成为新的主链。

最终:

过去 Experience
 ↓
当前 Cognition
 ↓
未来 Method
 ↓
未来 Action
 ↓
新的 Experience

因此,Dynamic Experience 正式成为连接:

Perception
→
Cognition
→
Method
→
Action
→
Feedback
→
Learning

的核心中间层。

一句话定义:

经验不是机器“记住发生过什么”,而是机器“记住自己在什么场景下如何认知、采用什么方法、执行什么动作,以及最终发生了什么”。

Leave a Reply

Your email address will not be published. Required fields are marked *