第158章 Dynamic Experience
动态经验
第157章 Cognitive Feedback(认知反馈) 建立了:
Action
↓
Result
↓
World Change
↓
New Perception
↓
Feedback
本章进一步解决一个问题:
机器经历过一次认知—行为过程之后,究竟应该保存什么?
不是简单保存:
Action = Grip
Result = Success
而应该把一次完整的动态过程组织成:
Scene
+
Cognition
+
Method
+
Action
+
Result
↓
Experience
因此:
Experience 不是一个静态事实,而是一次完整认知—行为过程形成的结构化经验。
158.1 Experience 不是 Memory 的简单复制
需要首先区分:
Memory
与:
Experience
Memory 可以保存:
Egg
Fragile
这是一个知识事实。
而 Experience 保存的是:
Scene
↓
Cognition
↓
Method
↓
Action
↓
Result
例如:
Scene:
Egg on tilted table
Cognition:
Egg unstable
Method:
Safe Intervention
Action:
Slow Approach
Result:
Egg stabilized
因此:
Memory
=
What is known
而:
Experience
=
What happened through cognition and action
158.2 Dynamic Experience
为什么叫 Dynamic Experience?
因为 Experience 本身来自一个时间过程。
不是:
Scene
→
Experience
而是:
Scene(t0)
↓
Cognition(t0)
↓
Method(t0)
↓
Action(t0)
↓
Result(t1)
↓
Scene(t1)
所以经验实际上包含:
Before
+
Process
+
After
可以表示:
Experience
=
Initial State
+
Cognitive Process
+
Action Process
+
Result State
158.3 Experience 是“过程”
例如机器抓取鸡蛋。
开始:
Scene:
Egg on Table
认知:
Egg
+
Stable
+
Reachable
得到:
Cognition:
Safe to Grip
方法:
Method:
Safe Grasp
动作:
Action:
Approach
→
Grip
→
Lift
结果:
Result:
Egg in Hand
于是形成一个完整 Experience:
Egg on Table
↓
Recognized as Stable
↓
Safe Grasp
↓
Grip
↓
Egg Lifted
未来遇到类似 Scene 时,系统可以利用这段经验。
158.4 Experience 的结构
可以正式建立:
Experience
├── Scene
├── Cognition
├── Method
├── Action
├── Result
└── Outcome
其中:
Scene
表示:
当时世界是什么样。
Cognition
表示:
机器当时如何理解世界。
Method
表示:
机器选择了什么行为策略。
Action
表示:
实际执行了什么。
Result
表示:
行为直接产生了什么结果。
Outcome
表示:
最终是否达成 Goal,以及产生了什么新的状态。
158.5 Experience 不等于成功案例
非常重要:
失败同样是 Experience。
例如:
Scene
+
Cognition
+
Method
+
Action
+
Result
得到:
Failure
仍然形成:
Experience
例如:
Scene:
Egg near edge
Cognition:
Egg stable
Method:
Normal Grasp
Action:
Grip
Result:
Egg falls
这也是经验。
而且它可能比成功经验更有价值:
Condition
+
Method
+
Action
→
Failure
系统可以以后避免:
Normal Grasp
158.6 Experience 与 Action Failure
第154章建立:
Expected Result
≠
Actual Result
第158章则把这个过程保存下来:
Scene
+
Cognition
+
Method
+
Action
+
Expected Result
+
Actual Result
↓
Experience
因此:
Action Failure
不再只是一个瞬时事件。
它可以被转化为:
Failure Experience
例如:
Egg
+
Unstable
+
Normal Grasp
+
Grip
+
Egg Falls
形成:
Experience #001
以后遇到:
Egg
+
Unstable
系统可以检索:
Experience #001
并发现:
Normal Grasp
→
High Failure Risk
158.7 Experience 与 Unexpected Scene
第155章:
Unexpected Scene
描述:
Expected Scene
≠
Actual Scene
现在可以将其纳入 Experience:
Expected Scene
+
Action
+
Unexpected Scene
+
Actual Result
↓
Experience
例如:
Expected:
Egg remains stable
实际:
Egg starts rolling
形成:
Unexpected Experience
长期积累后:
Unexpected Experience
↓
Pattern
↓
Prediction
于是原本的:
Unexpected
逐渐变成:
Expected
158.8 Experience 与 Re-Cognition
第156章建立:
New Scene
↓
Re-Cognition
↓
New Cognition
↓
New Method
↓
New Action
本章可以进一步记录整个过程:
Old Cognition
↓
Action
↓
Unexpected Scene
↓
Re-Cognition
↓
New Cognition
↓
New Method
↓
New Action
这就是一种更高级的:
Adaptive Experience
因为机器不仅记住:
What happened
还记住:
How cognition changed
因此:
动态经验不仅记录世界变化,还记录机器自身认知变化。
158.9 Experience 与 Feedback
第157章:
Action
↓
Result
↓
World Change
↓
New Perception
第158章:
Scene
+
Cognition
+
Method
+
Action
+
Result
↓
Experience
因此:
Feedback
提供经验形成所需要的:
Result
+
World Change
+
New Perception
而 Experience 将这些信息与:
Previous Scene
+
Cognition
+
Method
+
Action
重新组织起来。
形成:
Action
↓
Feedback
↓
Experience
158.10 Experience 是时间序列
更完整地表达:
E(t)
=
{
Scene(t),
Cognition(t),
Method(t),
Action(t),
Result(t+1)
}
下一次:
E(t+1)
=
{
Scene(t+1),
Cognition(t+1),
Method(t+1),
Action(t+1),
Result(t+2)
}
因此:
Experience
可以组成:
E1
↓
E2
↓
E3
↓
E4
形成:
Experience Sequence
这使机器可以研究:
What happened before?
What happened after?
What action caused what result?
What cognition led to what method?
158.11 Experience 与因果关系
这是 Dynamic Experience 非常重要的价值。
如果只保存:
Egg
Rolling
机器知道:
What happened
但不知道:
Why happened
而 Experience 保存:
Scene
+
Cognition
+
Method
+
Action
+
Result
就可以进一步建立:
Action
→
Result
以及:
Scene
→
Cognition
→
Method
→
Action
→
Result
例如:
Tilted Table
+
Egg
↓
Recognized Unstable
↓
Safe Intervention
↓
Slow Approach
↓
Egg Stabilized
于是经验开始具有:
Causal Structure
158.12 Experience → Future Method Selection
经验的真正价值不是“保存过去”。
而是:
影响未来。
未来出现:
New Scene
系统可以进行:
Experience Matching
例如:
Current Scene
+
Past Experiences
↓
Similarity / Relevance
↓
Candidate Methods
↓
Method Selection
形成:
Past Experience
↓
Current Cognition
↓
Future Method
所以:
Experience
成为:
Method
与:
Learning
之间的重要桥梁。
158.13 Experience 不应该被固定为规则
例如过去一次:
Egg
+
Tilted Table
→
Rolling
不能直接形成绝对规则:
IF Tilted Table
THEN Egg Rolls
因为现实可能还存在:
Friction
+
Egg Position
+
Surface
+
Contact
+
Motion
因此 Experience 应保存为:
Condition Pattern
+
Observed Result
而不是:
Universal Rule
例如:
Experience:
Table Tilt = High
Friction = Low
Egg Orientation = X
Initial Velocity = 0
↓
Egg Rolling
未来系统可以通过相似性判断:
Current Scene
≈
Past Experience
然后提高:
Rolling Probability
这使 Experience 与前面的 Cognitive Similarity 建立连接。
158.14 Experience → Prediction
经验积累以后:
Experience 1
Experience 2
Experience 3
Experience 4
可以形成:
Pattern
例如:
Tilted Surface
+
Low Friction
+
Egg
→
Rolling
系统于是能够:
Current Scene
↓
Experience Matching
↓
Pattern
↓
Expected Result
也就是:
Experience
→
Prediction
最终:
Prediction
→
Action
→
Feedback
→
Experience
形成学习闭环。
158.15 Dynamic Experience 的闭环
现在可以把第151—158章连接起来:
Scene
↓
Cognition
↓
Method
↓
Action Condition
↓
Dynamic Action
↓
Expected Result
↓
World Change
↓
New Perception
↓
New Scene
↓
Actual Result
↓
Comparison
↓
Failure / Success
↓
Re-Cognition
↓
New Cognition
↓
New Method
↓
New Action
↓
Experience
进一步:
Experience
↓
Pattern
↓
Prediction
↓
Future Cognition
最终形成:
┌───────────────┐
│ Scene │
└───────┬───────┘
↓
Cognition
↓
Method
↓
Action
↓
World
↓
New Perception
↓
New Scene
↓
Feedback
↓
Re-Cognition
↓
Experience
│
↓
Pattern
│
└────────→ Future Cognition
158.16 Experience 的核心定义
可以正式定义:
Dynamic Experience 是机器在特定 Scene 中经过 Cognition、Method、Action,并获得实际 Result 后形成的具有时间、状态、行为和结果关联的结构化经验。
核心模型:
Experience
=
Scene
+
Cognition
+
Method
+
Action
+
Result
更完整:
Experience(t)
=
{
Scene(t),
Cognition(t),
Goal(t),
Method(t),
Condition(t),
Action(t),
Expected Result(t+1),
Actual Result(t+1),
World Change,
Outcome
}
因此 Experience 不只是:
Memory
而是:
State
+
Cognition
+
Decision
+
Action
+
Feedback
+
Outcome
形成的:
Dynamic Cognitive Experience
158.17 本章的核心推进
到第158章,系统开始出现一个重要变化:
前面研究的是:
机器如何感知?
机器如何认知?
机器如何选择 Method?
机器如何 Action?
机器如何获得 Feedback?
而现在开始研究:
机器如何把一次完整的认知—行为过程保存为可再次利用的经验?
于是:
Cognition
↓
Action
↓
Feedback
↓
Experience
↓
Learning
成为新的主链。
最终:
过去 Experience
↓
当前 Cognition
↓
未来 Method
↓
未来 Action
↓
新的 Experience
因此,Dynamic Experience 正式成为连接:
Perception
→
Cognition
→
Method
→
Action
→
Feedback
→
Learning
的核心中间层。
一句话定义:
经验不是机器“记住发生过什么”,而是机器“记住自己在什么场景下如何认知、采用什么方法、执行什么动作,以及最终发生了什么”。