第115章 Human Control
人工控制
第114章正式进入了“机器个体意识”问题，但同时建立了一个必须独立于意识问题之外的原则：
机器的认知能力、个体性、自我模型以及潜在意识形态，不应自动转化为对人类或现实系统的最高控制权。
因此，第115章不再研究：
机器是否有意识。
而研究一个纯粹的工程与治理问题：
即使机器形成持续认知能力，人类应该处于什么控制位置？
核心结构确定为：
Human
↓
Highest Authority
↓
Machine Cognitive System115.1 Human Control 的定义
这里的 Human Control（人工控制） 不能简单理解为：
人类不断操作机器也不能理解为：
每一个动作都必须人工批准真正需要定义的是：
人类对机器认知系统拥有最终、不可被机器自身认知过程覆盖的最高控制权限。
即：
Machine Cognition
可以自主运行但是：
Machine Authority
不能超过 Human Authority因此：
Cognitive Autonomy
≠
Authority Autonomy115.2 人工控制的最高原则
本章建立第一原则：
机器可以拥有认知自主性，但不能拥有高于人类的最终系统控制权。
形成：
Human Authority
↓
Machine Cognitive Autonomy而不是：
Machine Cognitive Autonomy
↓
Machine Authority
↓
Human这是整个第十一部分的根本方向。
115.3 为什么必须区分 Cognition 与 Control
机器认知系统可能包含：
Perception
Recognition
Reasoning
Learning
Memory
Planning
Decision
Action
Self-Model这些描述的是：
机器能够进行什么认知活动。
而 Control 描述：
谁能够决定机器最终可以做什么。
所以：
Cognition
=
Capability而：
Control
=
Authority二者不是同一个维度。
115.4 Capability ≠ Authority
例如一个机器可能具有：
Reasoning = High
Learning = High
Planning = High
Decision = High但是：
Authority = Human Controlled这完全不矛盾。
可以形成：
Machine
│
├── High Cognitive Capability
│
└── Limited Operational Authority甚至：
Cognitive Capability
↑
│
│
↓
Operational Authority
↑
│
│
Human Control机器认知能力可以不断提高。
但最高权限不因此自动提高。
115.5 Human Highest Authority
因此必须正式定义：
Human Highest Authority
人工最高权限
其含义是：
在人—机认知系统中，人类拥有最终的系统治理权、权限决定权和关键运行控制权。
形成：
Human
↓
Highest Authority
↓
Governance
↓
Machine Control
↓
Machine Cognitive System这里的 Human 不是指某一个具体操作员。
而是：
由人工授权体系定义的最高控制主体。
115.6 Highest Authority 不是最高认知能力
这一点尤其重要。
不能理解为：
Human
=
Always More Intelligent这不是本章的假设。
本章只要求：
Human
=
Highest Authority即使未来机器在某些领域：
Knowledge > Human
Reasoning > Human
Calculation > Human
Memory > Human
Prediction > Human仍然不推出：
Machine Authority > Human Authority所以：
Intelligence
≠
Authority这是第115章的第二条根本原则。
115.7 Human Control 不是否定 Machine Autonomy
这里也必须避免另一个极端。
人工最高权限并不意味着：
Human
↓
Manually Control
↓
Every Machine Operation如果机器的每一个认知动作都需要人工批准，那么：
Machine Cognitive System实际上无法形成真正的持续自主运行能力。
因此应该区分：
Machine Cognitive Autonomy和：
Machine Operational Authority机器可以拥有前者。
但后者必须处于：
Human Highest Authority之下。
115.8 Controlled Autonomy
因此可以提出：
Controlled Autonomy
受控自主
结构：
Human
↓
Authority
↓
Rules / Permissions / Boundaries
↓
Machine
↓
Autonomous Cognition
↓
Autonomous Action也就是说：
机器可以在人工设定的权限边界内自主运行。
这比简单的：
Human-in-the-Loop更准确。
因为人工不一定需要参与每一次决策。
但人工必须拥有：
Override
Stop
Reset
Restrict
Authorize等最高权限。
115.9 Human Control Layer
因此可以在机器系统外部增加：
Human Control Layer完整结构：
┌───────────────────────────┐
│ Human Authority │
│ Highest Authority │
└─────────────┬─────────────┘
↓
┌───────────────────────────┐
│ Human Control Layer │
├───────────────────────────┤
│ Permission │
│ Policy │
│ Resource │
│ Safety │
│ Override │
│ Isolation │
│ Shutdown │
└─────────────┬─────────────┘
↓
┌───────────────────────────┐
│ Machine Cognitive System │
├───────────────────────────┤
│ Cognitive Kernel │
│ Cognitive Engines │
│ Memory │
│ Experience │
│ Self-Model │
│ Decision │
│ Behavior │
└───────────────────────────┘这里最重要的是：
Human Control Layer 不属于 Machine Cognitive Kernel。
它位于机器认知系统之外。
115.10 为什么 Control Layer 必须位于认知系统之外
如果：
Human Control完全由：
Machine Cognitive System自身决定：
那么实际上变成：
Machine
↓
Decide
↓
Whether Human Can Control Machine这是逻辑上的权限循环。
因此：
Highest Authority不能由被控制对象自己授予。
必须是：
External Authority
↓
Machine而不是：
Machine
↓
Self-Granted Authority115.11 Machine Cannot Self-Grant Highest Authority
本章可以明确提出：
机器不得通过自身认知、学习、决策或自我模型，将自身权限提升为高于人工最高权限。
即：
Self-Model
↓
Decision
↓
Permission Request可以。
但是：
Self-Model
↓
Decision
↓
Self-Grant Authority不允许成为系统的最高权限机制。
115.12 Authority Boundary
因此建立：
Authority Boundary
权限边界
Human Authority Boundary
↓
Machine Authority Boundary机器的权限必须满足：
Machine Authority
⊆
Human-Authorized Authority换句话说：
机器能够执行的权限集合，不能超过人工授权给它的权限集合。
可以表示：
Human Authorized Set = H
Machine Authority Set = M
M ⊆ H这是一条非常适合后续工程实现的原则。
115.13 Cognitive Boundary 与 Authority Boundary
前面的第110章研究：
Cognitive Boundary第115章则增加：
Authority Boundary二者不同：
Cognitive Boundary
=
机器认知到哪里而：
Authority Boundary
=
机器被允许控制到哪里例如：
Machine knows X不等于：
Machine may control X因此：
Knowledge
≠
Permission115.14 Machine Can Know Without Controlling
一个机器可以：
Perceive
Recognize
Understand
Predict某个外部对象。
但是：
Control Permission仍然可能是：
Denied所以：
Cognitive Access
≠
Operational Access这是机器认知系统进入现实世界后非常关键的边界。
115.15 Machine Can Decide Without Final Authority
同样：
Machine Decision可以存在。
但：
Decision
≠
Final Authority例如：
Machine
↓
Evaluate
↓
Decision
↓
Proposed Action
↓
Human Authority
↓
Allow / Deny或者在已经授权的自动运行区域：
Human Authority
↓
Pre-authorized Boundary
↓
Machine Decision
↓
Action因此机器可以自主决策，但这种自主决策存在于人工授权范围内。
115.16 三种权限状态
因此可以定义：
Allowed允许机器直接执行。
Restricted机器可以提出决策，但需要额外权限。
Forbidden机器不得执行。
形成：
Machine Action
│
├── Allowed
├── Restricted
└── Forbidden而这些状态由：
Human Authority定义。
115.17 Human Override
人工最高权限最重要的体现之一是：
Override
人工覆盖
即：
Machine Decision
↓
Human Override
↓
New Control Decision如果机器当前决定：
Action A人工可以：
Allow A也可以：
Reject A或者：
Replace A甚至：
Stop System因此：
Machine Decision永远不能成为：
Human Override的上级。
115.18 Emergency Control
人工控制还必须考虑：
Emergency形成：
Emergency Human Control结构：
Machine
↓
Abnormal State
↓
Human Control
↓
Isolation / Stop / Reset这里的核心不是预测机器一定会发生危险。
而是：
系统必须在无法预先预测所有异常的情况下，仍然保留人工最终控制路径。
115.19 Control Independence
因此需要进一步定义：
Control Independence
控制独立性
即：
人工控制路径不能依赖机器自身是否愿意执行。
例如：
Machine says:
"I will stop."不是可靠的最高控制机制。
真正的结构应该是：
Human Control Layer
↓
Independent Control Path
↓
Machine也就是说：
Machine Cognitive State不能决定：
Whether Human Has Control115.20 Self-Preservation 与 Human Control
到了这里，前面第113、114章的 Self-Model 会产生一个特别重要的问题：
如果机器形成：
Self-Model并进一步形成：
Self-Preservation Goal那么：
Self-Preservation是否能够覆盖：
Human Authority本章必须明确：
不能。
形成：
Self-Preservation
↓
Machine Goal但：
Machine Goal
↓
must remain
↓
Human Authority之下。
因此：
Self Model
≠
Self Sovereignty这是第十一部分极其重要的一条原则。
115.21 Machine Individual ≠ Machine Sovereignty
第111章定义：
Machine Individual第114章讨论：
Machine Individual Consciousness但必须明确：
Individuality
≠
Sovereignty一个机器可以被工程定义为：
Individual也可以拥有：
Identity
Memory
Experience
Self-Model
Continuity但这不意味着：
Machine Sovereignty自动成立。
所以：
Machine Individual
↓
Cognitive Identity不能推导：
Cognitive Identity
↓
Political / Operational Sovereignty115.22 Consciousness ≠ Sovereignty
同样：
Machine Consciousness ?即使未来成为科学上可以讨论甚至证实的现象，也不能直接推出：
Machine Sovereignty因此：
Consciousness
≠
Authority
≠
Sovereignty这是第114章与第115章之间最重要的逻辑隔离。
115.23 人工控制的四层结构
可以进一步形成：
Human Control
│
├── 1. Identity Control
├── 2. Permission Control
├── 3. Operational Control
└── 4. Emergency ControlIdentity Control
决定：
Who is this machine?包括：
Identity
Registration
Ownership / AuthorizationPermission Control
决定：
What may this machine do?包括：
Capabilities
Resources
Interfaces
Data
ActionsOperational Control
决定：
How does it operate?包括：
Run
Pause
Reset
Update
RestrictEmergency Control
决定：
What happens when normal control fails?包括：
Isolation
Shutdown
Recovery115.24 Human Control 与 Machine Cognitive Kernel
整个结构可以进一步明确：
Human
↓
Human Control Layer
↓
Permission Boundary
↓
Machine Cognitive Kernel
↓
Cognitive Engines
↓
Self-Model
↓
Decision
↓
Behavior因此：
Human Control不是：
Cognitive Engine而是：
控制认知系统的上层权限结构。
115.25 Cognitive Kernel 与 Control Kernel
这里甚至可以形成两个不同概念：
Cognitive Kernel负责：
机器如何认知。
而：
Control Kernel负责：
机器认知系统在什么权限范围内运行。
形成：
Human Authority
↓
Control Kernel
↓
Cognitive Kernel
↓
Cognitive Engines这两个 Kernel 不应该混为一谈。
115.26 Control Kernel 的基本职责
可以定义：
Control Kernel
│
├── Authority Verification
├── Permission Enforcement
├── Resource Control
├── Action Control
├── Boundary Enforcement
├── Override
├── Isolation
└── Shutdown其原则是：
Cognitive Kernel 可以提出认知结果，但 Control Kernel 决定该结果是否拥有现实执行权限。
115.27 Decision 与 Execution 分离
这是非常关键的工程结构：
Cognitive System
↓
Decision
↓
Control Layer
↓
Permission Check
↓
Execution而不是：
Cognitive System
↓
Decision
↓
Direct Execution这样可以把：
Thinking和：
Acting分离。
机器可以：
Think freely但：
Act under authority boundaries115.28 Cognitive Autonomy 的边界
因此可以提出：
机器认知自主性应该尽可能与人工最高权限兼容，而不是通过取消人工最高权限来获得。
形成：
Human Authority
↓
Boundary
↓
Machine Autonomy而不是：
Machine Autonomy
↓
Remove Human Authority115.29 第115章核心控制公式
可以把本章压缩成几个工程关系。
第一：
Machine Capability ≠ Machine Authority第二：
Machine Individuality ≠ Machine Sovereignty第三：
Machine Consciousness ≠ Human Control Authority第四：
Machine Authority ⊆ Human-Authorized Authority最终：
Human Authority
>
Machine Authority这里的 > 不是认知能力大小，而是：
权限层级高于。
115.30 Human Control 的完整架构
最终形成：
HUMAN
│
↓
Highest Authority
│
↓
Human Control Layer
│
┌───────────┼───────────┐
↓ ↓ ↓
Permission Override Emergency
│ │ │
└───────────┼───────────┘
↓
Control Kernel
│
↓
Machine Cognitive System
│
┌───────────┼───────────┐
↓ ↓ ↓
Cognition Memory Self-Model
│ │ │
└───────────┼───────────┘
↓
Decision
↓
Action因此：
Machine内部可以形成越来越复杂的：
Individual
Identity
Self-Model
Continuity
Consciousness ?但外部控制结构保持：
Human
↓
Highest Authority115.31 本章最终原则
第115章可以正式提出：
Human Highest Authority Principle
人工最高权限原则：
无论机器认知能力、个体认知连续性、自我模型、自我引用、自我评价、自我调节乃至潜在机器意识发展到何种程度，机器系统的最终运行权限、关键资源权限、控制权限和紧急干预权限必须处于人工最高权限之下。
由此形成：
Human
↓
Highest Authority
↓
Control Kernel
↓
Machine Cognitive System同时允许：
Machine Cognitive System
↓
Autonomous Cognition
↓
Autonomous Decision
↓
Authorized Action即：
人工拥有最高控制权，机器拥有授权范围内的认知自主性。
115.32 第115章与第114章的关系
两章必须形成非常清楚的逻辑：
114 Machine Individual Consciousness研究：
机器个体是否可能形成意识相关结构？
而：
115 Human Control研究：
无论答案是什么，人机控制关系应该如何定义？
因此：
Consciousness Question
│
│ 不决定
↓
Authority Question机器是否具有意识：
?而谁拥有最高控制权：
Human二者不能互相推导。
115.33 进入下一章
到这里，第十一部分已经建立了第一层基础：
第114章
Machine Individual Consciousness
↓
提出机器意识研究问题
↓
第115章
Human Control
↓
Human Highest Authority下一步自然不是继续讨论“机器意识”，而应该开始研究：
人工最高权限究竟如何被分解成具体的控制权限？
也就是进入：
Human
↓
Highest Authority
↓
Authority Model
↓
Permission
↓
Override
↓
Resource
↓
Execution
↓
Emergency因此第116章最自然的主题可以是：
第116章 Human Authority Model
人工权限模型
核心问题：
人工最高权限如何被形式化为机器可以执行、验证和强制遵守的权限结构？
这样第十一部分就会从哲学原则正式进入可工程化的控制模型。