第六章
音频感知元素结构理论
Audio Perception Element Structure Theory
6.1 音频在 WSaiOS 感知体系中的定义
声音是人工认知系统获取外部环境信息的重要方式。
视觉主要获得:
- 空间信息;
- 对象信息;
- 环境布局。
音频主要获得:
- 时间变化;
- 来源信息;
- 状态变化;
- 事件信息。
例如:
机器运行声音。
人类不会只听到:
“一段声音”。
而会理解:
- 哪台机器;
- 是否正常;
- 是否发生异常。
因此,WSaiOS 将声音信息结构化为:
音频感知元素
Audio Perception Element
定义:
音频感知元素是 WSaiOS 对声音输入中的来源、对象、状态、变化和事件关系进行组织后形成的可计算认知信息单元。
音频感知过程:
声音输入
↓
音频信息
↓
声音元素构建
↓
声音对象关联
↓
状态变化分析
↓
事件形成
↓
认知元素
6.2 声音作为时间感知输入
声音与视觉不同。
视觉:
强调:
空间结构
声音:
强调:
时间过程
例如:
图片:
机器
只能知道:
机器存在。
声音:
机器运行
↓
声音变化
↓
停止
可以理解:
机器状态发生变化。
因此:
WSaiOS认为:
声音是一种时间变化信息。
结构:
Audio
=
Source
+
Time
+
State Change
6.3 音频感知元素组成
WSaiOS音频元素采用结构化描述。
基本结构:
Audio Element
{
ID
Source
Type
Pattern
State
Time
Relation
Event
}
6.3.1 ID(元素标识)
用于管理音频元素。
例如:
audio_machine_001
audio_voice_001
作用:
保证声音信息可以被:
- 记录;
- 查询;
- 关联。
6.3.2 Type(音频类型)
声音根据来源分为:
Audio Element
├ Speech
├ Machine Sound
├ Environment Sound
├ Alarm Sound
└ Natural Sound
不同类型进入不同认知路径。
例如:
语音:
进入:
语言理解。
机器声音:
进入:
设备状态分析。
报警声音:
进入:
事件处理。
6.3.3 Source(声音来源元素)
声音必须关联来源。
声音不是独立存在。
例如:
声音:
机械轰鸣
关联:
Machine
声音:
讲话
关联:
Person
结构:
Sound
↓
Source Object
6.3.4 Pattern(声音模式元素)
WSaiOS 不关注单个声音数据。
关注声音变化模式。
例如:
正常机器:
稳定连续
异常机器:
间断
变化
突然增强
声音模式:
描述:
声音行为。
结构:
Sound Pattern
{
Regularity
Change
Duration
Sequence
}
6.3.5 State(声音状态元素)
声音反映对象状态。
例如:
机器:
正常运行声音
↓
异常声音
↓
停止声音
状态变化:
State(t)
↓
State(t+1)
6.3.6 Relation(声音关系元素)
声音需要与环境建立关系。
例如:
声音:
讲话
关系:
Person
Located In
Meeting Room
形成:
Meeting Activity
6.4 语音感知元素
语音是特殊音频元素。
语音不仅包含声音。
还包含:
- 发出者;
- 内容;
- 意图;
- 场景。
结构:
Speech Element
{
Speaker
Content
Context
Intent
State
}
例如:
输入:
关闭办公室灯
形成:
语音元素:
Speaker:
User
Content:
关闭办公室灯
Intent:
Control Request
进入认知:
User Operation Request
6.5 环境声音元素
环境声音描述:
周围环境状态。
例如:
办公室:
Keyboard
Conversation
Air Conditioner
工厂:
Machine
Motor
Alarm
环境声音结构:
Environment Audio Element
{
Source
Location
Pattern
State
}
例如:
Factory
Machine Sound
Normal State
6.6 声音事件元素
声音变化可以形成事件。
例如:
声音:
玻璃破裂
不是简单声音。
而是:
Breaking Event
事件结构:
Sound Event Element
{
Source
Change
Time
Location
Meaning
}
例如:
Source:
Window
Change:
Broken
Time:
10:30
Meaning:
Possible Accident
6.7 音频状态变化结构
声音可以反映对象变化。
例如:
汽车:
正常:
Engine Normal
变化:
Sound Change
结果:
Vehicle Abnormal State
状态分析:
Current Sound State
+
Historical Sound State
+
Change Relation
↓
State Understanding
6.8 音频与空间认知连接
声音具有来源位置。
例如:
办公室:
声音:
Conversation
结合空间:
Meeting Room
形成:
Meeting Activity
结构:
Audio Element
+
Space Element
↓
Scene Understanding
6.9 音频元素到认知元素转换
音频元素解决:
听到了什么
认知元素解决:
意味着什么
转换:
Audio Element
↓
Source Analysis
↓
Relation Organization
↓
Event Formation
↓
Cognitive Element
案例:
声音:
Machine Abnormal Sound
↓
音频元素:
Machine Sound Change
↓
认知:
Equipment Abnormal Condition
案例:
声音:
User Speech
↓
语音元素:
Operation Request
↓
认知:
Execute User Command
6.10 音频元素与认知对象化
音频元素不是声音文件。
而是认知对象。
结构:
Audio Element
{
Source
State
Relation
Event
Function
}
例如:
{
Type:
Machine Sound
Source:
Motor
State:
Abnormal
Event:
Failure Risk
}
6.11 音频元素生成与表达
WSaiOS不仅可以理解音频。
也可以根据认知元素生成音频表达。
过程:
Cognitive Element
↓
Audio Element
↓
Sound Expression
例如:
认知:
Alarm Event
生成:
Warning Sound
环境:
Office Scene
生成:
Office Audio Environment
6.12 音频感知在 WSaiOS 中的位置
音频属于:
感知输入层。
完整结构:
声音输入
↓
音频感知元素
↓
事件元素
↓
认知元素
↓
知识网络
↓
推理系统
↓
决策系统
6.13 本章总结
本章建立 WSaiOS 音频感知元素结构理论。
核心观点:
- 音频是时间变化型感知信息;
- 音频元素描述声音来源、状态和关系;
- 语音元素表达语言和意图;
- 环境声音元素表达空间状态;
- 声音事件元素表达变化过程;
- 音频状态变化支持认知判断;
- 音频元素通过结构转换形成认知元素。
最终结构:
Audio Input
↓
Audio Element
↓
Speech Element
↓
Sound Event Element
↓
State Element
↓
Cognitive Element
↓
Understanding
↓
Decision
6.14 音频感知元素进入 PHP OOP 工程结构
上一节完成了:
Audio Element → Cognitive Element
的理论结构。
从本节开始,与第四章图片感知元素工程实现方式保持一致,进入:
PHP OOP + MVC + Smarty + Repository + Database + WSaiOS Audio Engine
工程实现。
核心对应关系:
人类听觉感知
↓
声音输入
↓
音频解析
↓
声音对象识别
↓
声音属性识别
↓
时间状态分析
↓
声音关系建立
↓
声音事件形成
↓
AudioScene
↓
WSaiOS Audio Engine
↓
PHP OOP Objects
↓
MVC
↓
Smarty
↓
Database
6.15 从 Audio Element 到 PHP Object
上一节定义:
Audio Element
├ ID
├ Source
├ Type
├ Pattern
├ State
├ Time
├ Relation
└ Event
在 PHP OOP 中,可以首先映射为:
<?php
class AudioElement
{
protected $id;
protected $source;
protected $type;
protected $pattern = [];
protected $state = [];
protected $time = [];
protected $relations = [];
protected $event = null;
public function __construct(array $data = [])
{
$this->id = $data['id'] ?? null;
$this->source = $data['source'] ?? null;
$this->type = $data['type'] ?? null;
$this->pattern = $data['pattern'] ?? [];
$this->state = $data['state'] ?? [];
$this->time = $data['time'] ?? [];
$this->relations = $data['relations'] ?? [];
$this->event = $data['event'] ?? null;
}
public function getId()
{
return $this->id;
}
public function getSource()
{
return $this->source;
}
public function getType()
{
return $this->type;
}
public function getPattern()
{
return $this->pattern;
}
public function getState()
{
return $this->state;
}
public function getTime()
{
return $this->time;
}
public function getRelations()
{
return $this->relations;
}
public function getEvent()
{
return $this->event;
}
}
这里的:
AudioElement
与第四章:
ImageElement
形成对应。
6.16 AudioElement 的领域对象定位
AudioElement 不负责:
音频文件读取
数据库保存
声音算法
HTML输出
它只表示:
一个已经被 WSaiOS 组织起来的音频感知领域对象。
因此:
AudioElement
│
├ Source
├ Type
├ Pattern
├ State
├ Time
├ Relation
└ Event
形成:
Audio Domain Object
6.17 AudioSource 来源对象
声音必须回答:
这个声音是谁产生的?
因此建立独立的来源对象。
<?php
class AudioSource
{
protected $id;
protected $type;
protected $name;
protected $confidence;
public function __construct(
$id = null,
$type = null,
$name = null,
$confidence = 1.0
) {
$this->id = $id;
$this->type = $type;
$this->name = $name;
$this->confidence = $confidence;
}
public function getId()
{
return $this->id;
}
public function getType()
{
return $this->type;
}
public function getName()
{
return $this->name;
}
public function getConfidence()
{
return $this->confidence;
}
}
例如:
AudioSource
type = Machine
name = Motor
confidence = 0.94
形成:
AudioElement
↓
AudioSource
↓
Motor
6.18 AudioPattern 声音模式对象
第四章视觉系统中有:
VisualAttribute
音频系统对应的一个重要对象是:
AudioPattern
<?php
class AudioPattern
{
protected $regularity;
protected $intensity;
protected $duration;
protected $frequency;
protected $sequence;
public function __construct(array $data = [])
{
$this->regularity = $data['regularity'] ?? null;
$this->intensity = $data['intensity'] ?? 0;
$this->duration = $data['duration'] ?? 0;
$this->frequency = $data['frequency'] ?? 0;
$this->sequence = $data['sequence'] ?? [];
}
public function toArray()
{
return [
'regularity' => $this->regularity,
'intensity' => $this->intensity,
'duration' => $this->duration,
'frequency' => $this->frequency,
'sequence' => $this->sequence
];
}
}
因此:
AudioElement
│
└── AudioPattern
6.19 AudioState 状态对象
声音的核心价值之一是:
通过声音变化判断对象状态。
因此建立:
<?php
class AudioState
{
protected $name;
protected $value;
protected $confidence;
public function __construct(
$name,
$value,
$confidence = 1.0
) {
$this->name = $name;
$this->value = $value;
$this->confidence = $confidence;
}
public function getName()
{
return $this->name;
}
public function getValue()
{
return $this->value;
}
public function getConfidence()
{
return $this->confidence;
}
}
例如:
AudioState
name = machine
value = abnormal
confidence = 0.91
6.20 AudioTime 时间对象
音频与视觉的重要区别之一就是:
音频天然具有时间结构。
因此可以建立:
<?php
class AudioTime
{
protected $start;
protected $end;
protected $duration;
public function __construct(
$start = 0,
$end = 0,
$duration = 0
) {
$this->start = $start;
$this->end = $end;
$this->duration = $duration;
}
public function toArray()
{
return [
'start' => $this->start,
'end' => $this->end,
'duration' => $this->duration
];
}
}
于是:
AudioElement
│
└── AudioTime
形成:
Source
+
Pattern
+
Time
+
State
6.21 AudioRelation 关系对象
声音与视觉一样,也需要建立关系。
例如:
Person
│
│ Speaking
↓
Speech
或者:
Machine
│
│ Produces
↓
Machine Sound
因此:
<?php
class AudioRelation
{
protected $sourceId;
protected $relation;
protected $targetId;
protected $confidence;
public function __construct(
$sourceId,
$relation,
$targetId,
$confidence = 1.0
) {
$this->sourceId = $sourceId;
$this->relation = $relation;
$this->targetId = $targetId;
$this->confidence = $confidence;
}
public function toArray()
{
return [
'source_id' => $this->sourceId,
'relation' => $this->relation,
'target_id' => $this->targetId,
'confidence' => $this->confidence
];
}
}
形成:
Audio Element
↓
AudioRelation
↓
Object / Scene / Event
6.22 AudioEvent 事件对象
声音变化达到一定条件之后,可以形成事件。
例如:
Glass
↓
Breaking Sound
↓
Breaking Event
建立:
<?php
class AudioEvent
{
protected $type;
protected $source;
protected $time;
protected $location;
protected $meaning;
public function __construct(array $data = [])
{
$this->type = $data['type'] ?? null;
$this->source = $data['source'] ?? null;
$this->time = $data['time'] ?? null;
$this->location = $data['location'] ?? null;
$this->meaning = $data['meaning'] ?? null;
}
public function toArray()
{
return [
'type' => $this->type,
'source' => $this->source,
'time' => $this->time,
'location' => $this->location,
'meaning' => $this->meaning
];
}
}
于是:
AudioElement
↓
AudioEvent
成为动态认知的重要入口。
6.23 SpeechElement 语音元素对象
语音属于特殊音频对象。
因此不应该与普通环境声音完全混合。
建立:
<?php
class SpeechElement extends AudioElement
{
protected $speaker;
protected $content;
protected $context;
protected $intent;
public function __construct(array $data = [])
{
parent::__construct($data);
$this->speaker = $data['speaker'] ?? null;
$this->content = $data['content'] ?? null;
$this->context = $data['context'] ?? null;
$this->intent = $data['intent'] ?? null;
}
public function getSpeaker()
{
return $this->speaker;
}
public function getContent()
{
return $this->content;
}
public function getContext()
{
return $this->context;
}
public function getIntent()
{
return $this->intent;
}
}
形成继承关系:
AudioElement
│
└── SpeechElement
这就是 PHP OOP 中的:
Inheritance 继承。
6.24 EnvironmentAudioElement 环境音频对象
环境声音可以独立建模。
<?php
class EnvironmentAudioElement extends AudioElement
{
protected $location;
public function __construct(array $data = [])
{
parent::__construct($data);
$this->location = $data['location'] ?? null;
}
public function getLocation()
{
return $this->location;
}
}
例如:
EnvironmentAudioElement
source = Air Conditioner
location = Office
state = Running
6.25 AudioScene 场景对象
多个音频元素最终形成:
AudioScene
建立:
<?php
class AudioScene
{
protected $id;
protected $type;
protected $elements = [];
protected $relations = [];
protected $events = [];
protected $environment = [];
public function __construct(
$id = null,
$type = null
) {
$this->id = $id;
$this->type = $type;
}
public function addElement(AudioElement $element)
{
$this->elements[] = $element;
}
public function addRelation(AudioRelation $relation)
{
$this->relations[] = $relation;
}
public function addEvent(AudioEvent $event)
{
$this->events[] = $event;
}
public function getElements()
{
return $this->elements;
}
public function getRelations()
{
return $this->relations;
}
public function getEvents()
{
return $this->events;
}
}
形成:
Audio
│
├── AudioElement
├── SpeechElement
├── EnvironmentAudioElement
│
├── AudioRelation
└── AudioEvent
↓
AudioScene
6.26 AudioScene 与 VisualScene 的对应
第四章:
VisualScene
第六章:
AudioScene
形成平行结构:
Visual Engine Audio Engine
ImageElement AudioElement
VisualAttribute AudioPattern
VisualPosition AudioTime
VisualRelation AudioRelation
VisualScene AudioScene
这样 WSaiOS 可以进一步实现:
Visual Scene
+
Audio Scene
↓
Multimodal Scene
6.27 Audio Engine 工程目录
建议建立:
engine/
└── Audio/
├── AudioElement.php
├── AudioSource.php
├── AudioPattern.php
├── AudioState.php
├── AudioTime.php
├── AudioRelation.php
├── AudioEvent.php
├── SpeechElement.php
├── EnvironmentAudioElement.php
├── AudioScene.php
│
├── AudioParser.php
├── SoundDetector.php
├── SpeechAnalyzer.php
├── PatternAnalyzer.php
├── StateAnalyzer.php
├── RelationBuilder.php
├── EventBuilder.php
├── SceneBuilder.php
└── AudioAnalyzer.php
形成独立的:
WSaiOS Audio Engine
6.28 AudioParser
AudioParser 负责:
音频输入标准化。
<?php
class AudioParser
{
public function parse($audio)
{
return [
'source' => $audio,
'duration' => 10,
'format' => 'wav',
'sample_rate' => 16000
];
}
}
它暂时不负责:
声音理解
事件判断
认知推理
只负责:
Input
↓
Standardized Audio Data
6.29 SoundDetector
负责发现:
输入中出现了什么声音对象。
<?php
class SoundDetector
{
public function detect(array $audioData)
{
return [
[
'type' => 'Machine Sound',
'source' => 'Motor',
'confidence' => 0.94
],
[
'type' => 'Environment Sound',
'source' => 'Air Conditioner',
'confidence' => 0.89
]
];
}
}
这里以后可以接入:
规则引擎
传统音频算法
外部声音识别模型
可选 AI Adapter
但:
AudioElement 不应该知道具体检测技术。
6.30 SpeechAnalyzer
对于语音:
Speech
需要进入独立处理链。
<?php
class SpeechAnalyzer
{
public function analyze(array $audioData)
{
return [
'speaker' => 'User',
'content' => '关闭办公室灯',
'intent' => 'Control Request',
'confidence' => 0.95
];
}
}
形成:
Speech Input
↓
SpeechAnalyzer
↓
SpeechElement
↓
CognitiveElement
6.31 PatternAnalyzer
声音模式分析:
<?php
class PatternAnalyzer
{
public function analyze(array $sound)
{
return [
'regularity' => 'irregular',
'intensity' => 0.82,
'duration' => 3.4,
'change' => 'increasing'
];
}
}
形成:
Sound
↓
Pattern
这对应前面理论中的:
Regularity
Change
Duration
Sequence
6.32 StateAnalyzer
声音状态分析:
<?php
class StateAnalyzer
{
public function analyze(
array $current,
array $history = []
) {
return [
'state' => 'abnormal',
'change' => 'increased_noise',
'confidence' => 0.91
];
}
}
形成:
Current Sound
+
Historical Sound
+
Rule
↓
Audio State
6.33 EventBuilder
当声音变化符合事件规则时:
<?php
class EventBuilder
{
public function build(array $audioElement)
{
if (
isset($audioElement['change']) &&
$audioElement['change'] === 'breaking'
) {
return new AudioEvent([
'type' => 'Breaking Event',
'source' => $audioElement['source'] ?? null,
'meaning' => 'Possible Accident'
]);
}
return null;
}
}
形成:
Audio Pattern
↓
State Change
↓
Rule
↓
AudioEvent
6.34 RelationBuilder
声音关系建立:
<?php
class RelationBuilder
{
public function build(array $elements)
{
$relations = [];
// 根据来源、时间、空间和规则
// 建立 AudioRelation
return $relations;
}
}
例如:
Person
↓
Speaking
↓
Speech
或者:
Motor
↓
Produces
↓
Machine Sound
因此:
AudioRelation 是声音认知网络的边。
6.35 SceneBuilder
<?php
class SceneBuilder
{
public function build(
array $elements,
array $relations,
array $events = []
) {
$scene = new AudioScene(
null,
'Office'
);
foreach ($elements as $element) {
$scene->addElement($element);
}
foreach ($relations as $relation) {
$scene->addRelation($relation);
}
foreach ($events as $event) {
$scene->addEvent($event);
}
return $scene;
}
}
形成:
Elements
+
Relations
+
Events
↓
AudioScene
6.36 完整 Audio Pipeline
最终:
Audio
↓
AudioParser
↓
SoundDetector
↓
AudioElement
↓
PatternAnalyzer
↓
AudioPattern
↓
StateAnalyzer
↓
AudioState
↓
RelationBuilder
↓
AudioRelation
↓
EventBuilder
↓
AudioEvent
↓
SceneBuilder
↓
AudioScene
这就是:
WSaiOS Audio Engine v1
6.37 音频感知数据库设计
与第四章视觉数据库保持一致。
第一版建议:
audio_inputs
audio_elements
audio_patterns
audio_states
audio_relations
audio_events
audio_scenes
audio_inputs
CREATE TABLE audio_inputs (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
audio_path VARCHAR(500) NOT NULL,
format VARCHAR(50) DEFAULT NULL,
duration DECIMAL(12,4) DEFAULT 0,
sample_rate INT DEFAULT 0,
source VARCHAR(100) DEFAULT NULL,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
6.38 audio_elements
CREATE TABLE audio_elements (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
audio_id INT UNSIGNED NOT NULL,
element_type VARCHAR(100) NOT NULL,
source_name VARCHAR(255) DEFAULT NULL,
state VARCHAR(100) DEFAULT NULL,
start_time DECIMAL(12,4) DEFAULT 0,
end_time DECIMAL(12,4) DEFAULT 0,
confidence DECIMAL(6,4) DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_audio_id (audio_id),
INDEX idx_element_type (element_type),
INDEX idx_source_name (source_name)
);
6.39 audio_patterns
CREATE TABLE audio_patterns (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
element_id INT UNSIGNED NOT NULL,
regularity VARCHAR(100) DEFAULT NULL,
intensity DECIMAL(8,4) DEFAULT 0,
duration DECIMAL(12,4) DEFAULT 0,
frequency DECIMAL(12,4) DEFAULT 0,
pattern_data TEXT,
confidence DECIMAL(6,4) DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_element_id (element_id)
);
6.40 audio_states
CREATE TABLE audio_states (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
element_id INT UNSIGNED NOT NULL,
state_name VARCHAR(100) NOT NULL,
state_value VARCHAR(255) DEFAULT NULL,
change_type VARCHAR(100) DEFAULT NULL,
confidence DECIMAL(6,4) DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_element_id (element_id),
INDEX idx_state_name (state_name)
);
6.41 audio_relations
CREATE TABLE audio_relations (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
audio_id INT UNSIGNED NOT NULL,
source_element_id INT UNSIGNED NOT NULL,
relation_type VARCHAR(100) NOT NULL,
target_element_id INT UNSIGNED NOT NULL,
confidence DECIMAL(6,4) DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_audio_id (audio_id),
INDEX idx_source (source_element_id),
INDEX idx_target (target_element_id)
);
6.42 audio_events
CREATE TABLE audio_events (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
audio_id INT UNSIGNED NOT NULL,
event_type VARCHAR(100) NOT NULL,
source_element_id INT UNSIGNED DEFAULT NULL,
event_time DECIMAL(12,4) DEFAULT 0,
location VARCHAR(255) DEFAULT NULL,
meaning VARCHAR(500) DEFAULT NULL,
confidence DECIMAL(6,4) DEFAULT 0,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_audio_id (audio_id),
INDEX idx_event_type (event_type),
INDEX idx_source_element_id (source_element_id)
);
6.43 audio_scenes
CREATE TABLE audio_scenes (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
audio_id INT UNSIGNED NOT NULL,
scene_type VARCHAR(100) DEFAULT NULL,
scene_name VARCHAR(255) DEFAULT NULL,
state VARCHAR(100) DEFAULT NULL,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_audio_id (audio_id)
);
6.44 数据库与 OOP 对象映射
形成:
MySQL
audio_inputs
↓
AudioInput
audio_elements
↓
AudioElement
audio_patterns
↓
AudioPattern
audio_states
↓
AudioState
audio_relations
↓
AudioRelation
audio_events
↓
AudioEvent
audio_scenes
↓
AudioScene
因此:
数据库记录 → PHP OOP 对象 → WSaiOS 音频感知元素。
6.45 MVC 层接入
目录:
app/
│
├── Controllers/
│ └── Audio/
│ └── AudioController.php
│
├── Models/
│ └── Audio/
│ ├── AudioElement.php
│ ├── AudioSource.php
│ ├── AudioPattern.php
│ ├── AudioState.php
│ ├── AudioRelation.php
│ ├── AudioEvent.php
│ └── AudioScene.php
│
├── Services/
│ └── Audio/
│ ├── AudioService.php
│ ├── SpeechService.php
│ ├── PatternService.php
│ ├── StateService.php
│ └── SceneService.php
│
├── Repositories/
│ └── Audio/
│ └── AudioElementRepository.php
│
└── Views/
└── audio/
└── detail.tpl
6.46 AudioService
<?php
class AudioService
{
protected $repository;
protected $engine;
public function __construct(
AudioElementRepository $repository,
AudioAnalyzer $engine
) {
$this->repository = $repository;
$this->engine = $engine;
}
public function analyze($id)
{
return $this->engine->analyze($id);
}
public function get($id)
{
return $this->repository->find($id);
}
}
形成:
Controller
↓
AudioService
↓
AudioEngine
↓
Domain Objects
↓
Repository
6.47 AudioController
Controller 不负责音频识别算法。
<?php
class AudioController
{
protected $service;
protected $smarty;
public function __construct(
AudioService $service,
Smarty $smarty
) {
$this->service = $service;
$this->smarty = $smarty;
}
public function detail($id)
{
$scene = $this->service->analyze($id);
$this->smarty->assign(
'scene',
$scene
);
$this->smarty->display(
'audio/detail.tpl'
);
}
}
6.48 Smarty 音频场景模板
Smarty 负责 View。
<h1>音频感知场景</h1>
<div class="audio-scene">
<div>
场景类型:
{$scene->getType()}
</div>
<h2>音频元素</h2>
{foreach $scene->getElements() as $element}
<div class="audio-element">
<strong>
{$element->getType()}
</strong>
<div>
Source:
{$element->getSource()}
</div>
</div>
{/foreach}
<h2>音频事件</h2>
{foreach $scene->getEvents() as $event}
<div class="audio-event">
{$event->toArray()['type']}
</div>
{/foreach}
</div>
形成:
AudioScene
↓
Smarty
↓
HTML
6.49 MVC 完整链路
用户访问:
/audio/detail/100
系统:
Router
↓
AudioController
↓
AudioService
↓
AudioEngine
↓
AudioElement
↓
AudioPattern
↓
AudioState
↓
AudioRelation
↓
AudioEvent
↓
AudioScene
↓
Smarty
↓
HTML
数据库:
Repository
↕
MySQL
6.50 Visual Engine 与 Audio Engine
现在 WSaiOS 已经拥有两个感知工程模块:
WSaiOS
│
┌─────────┴─────────┐
↓ ↓
Visual Engine Audio Engine
│ │
↓ ↓
ImageElement AudioElement
│ │
VisualRelation AudioRelation
│ │
VisualScene AudioScene
│ │
└─────────┬─────────┘
↓
Cognitive Engine
这意味着:
WSaiOS 开始从单一感知模型向多感知架构发展。
6.51 Audio Element → CognitiveElement
音频系统最终不能只停留在:
Machine Sound
Speech
Alarm
而需要形成:
CognitiveElement
例如:
AudioElement
type = Machine Sound
source = Motor
state = Abnormal
经过:
Semantic Mapping
形成:
CognitiveElement
type = Equipment Abnormal Condition
subject = Motor
state = Abnormal
因此:
Audio Engine
↓
Semantic Mapping
↓
Cognitive Engine
6.52 Speech → CognitiveElement
例如:
Speech
Speaker = User
Content = 关闭办公室灯
Intent = Control Request
进入:
CognitiveElement
type = User Operation Request
subject = User
object = Office Light
action = Turn Off
形成:
SpeechElement
↓
Intent
↓
CognitiveElement
↓
Action
6.53 AudioScene → CognitiveScene
单个声音是元素。
多个声音形成:
AudioScene
而 AudioScene 与 VisualScene 结合:
VisualScene
+
AudioScene
↓
Multimodal Scene
例如:
视觉:
Person
Desk
Computer
Office
音频:
Keyboard
Conversation
Air Conditioner
最终:
Office Working Scene
进入:
Cognitive Scene
6.54 人类听觉系统 → WSaiOS Audio Engine
这里同样需要明确:
WSaiOS:
不是复制人类听觉神经系统。
而是:
对人类听觉感知过程进行软件工程抽象。
对应关系:
| 人类听觉过程 | WSaiOS 工程抽象 |
|---|---|
| 声音输入 | AudioParser |
| 声音特征处理 | PatternAnalyzer |
| 声音对象识别 | SoundDetector |
| 声音来源判断 | AudioSource |
| 时间定位 | AudioTime |
| 状态判断 | StateAnalyzer |
| 声音关系 | AudioRelation |
| 事件形成 | EventBuilder |
| 场景组织 | AudioScene |
| 认知输入 | CognitiveElement |
因此:
人类听觉感知
↓
声音
↓
特征
↓
来源
↓
时间
↓
状态
↓
关系
↓
事件
↓
理解
抽象为:
WSaiOS Audio Input
↓
AudioParser
↓
SoundDetector
↓
AudioElement
↓
AudioPattern
↓
AudioState
↓
AudioRelation
↓
AudioEvent
↓
AudioScene
↓
CognitiveElement
6.55 第一版音频工程目录
综合起来:
wsaios/
│
├── app/
│ │
│ ├── Controllers/
│ │ └── Audio/
│ │ └── AudioController.php
│ │
│ ├── Models/
│ │ └── Audio/
│ │ ├── AudioElement.php
│ │ ├── AudioSource.php
│ │ ├── AudioPattern.php
│ │ ├── AudioState.php
│ │ ├── AudioRelation.php
│ │ ├── AudioEvent.php
│ │ ├── SpeechElement.php
│ │ └── AudioScene.php
│ │
│ ├── Services/
│ │ └── Audio/
│ │ ├── AudioService.php
│ │ ├── SpeechService.php
│ │ ├── PatternService.php
│ │ ├── StateService.php
│ │ └── SceneService.php
│ │
│ ├── Repositories/
│ │ └── Audio/
│ │ └── AudioElementRepository.php
│ │
│ └── Views/
│ └── audio/
│ └── detail.tpl
│
├── engine/
│ └── Audio/
│ ├── AudioParser.php
│ ├── SoundDetector.php
│ ├── SpeechAnalyzer.php
│ ├── PatternAnalyzer.php
│ ├── StateAnalyzer.php
│ ├── RelationBuilder.php
│ ├── EventBuilder.php
│ ├── SceneBuilder.php
│ └── AudioAnalyzer.php
│
├── config/
│ └── database.php
│
└── public/
└── index.php
6.56 本章形成的 OOP 对象体系
最终:
AudioElement
│
├── AudioSource
├── AudioPattern
├── AudioState
├── AudioTime
├── AudioRelation
├── AudioEvent
│
├── SpeechElement
└── EnvironmentAudioElement
AudioScene
处理体系:
AudioParser
↓
SoundDetector
↓
SpeechAnalyzer
↓
PatternAnalyzer
↓
StateAnalyzer
↓
RelationBuilder
↓
EventBuilder
↓
SceneBuilder
↓
AudioAnalyzer
应用体系:
Controller
↓
Service
↓
Engine
↓
Repository
↓
Database
显示体系:
Controller
↓
Smarty
↓
HTML
6.57 Visual + Audio 多感知结构
现在可以把第四章与第六章统一起来:
WSaiOS
│
Perception Layer
│
┌────────────┴────────────┐
↓ ↓
Visual Perception Audio Perception
│ │
ImageElement AudioElement
│ │
VisualAttribute AudioPattern
│ │
VisualPosition AudioTime
│ │
VisualRelation AudioRelation
│ │
VisualScene AudioScene
│ │
└────────────┬────────────┘
↓
Cognitive Engine
这一步开始形成:
WSaiOS Multimodal Perception Architecture
6.58 本章核心工程结论
到这里,第六章已经从:
音频感知元素结构理论
进入:
Audio OOP Architecture
核心关系:
AUDIO
│
↓
AudioParser
│
↓
SoundDetector
│
↓
AudioElement
/ | \
/ | \
Source Pattern Time
\ | /
\ | /
State
│
↓
Relation
│
↓
Event
│
↓
AudioScene
│
↓
CognitiveElement
│
↓
Cognitive Engine
而 PHP MVC:
WSaiOS
│
┌────────┴────────┐
│ │
Audio Engine Cognitive Engine
│
┌────┴────┐
│ │
Domain Service
Objects │
│ │
└────┬─────┘
│
Repository
│
MySQL
│
Controller
│
Smarty
│
View
因此,音频感知正式形成:
Class → Object → Service → Engine → Repository → Controller → Smarty → Database
完整 PHP OOP 认知工程链路。
下一节继续保持当前编号体系:
6.59 音频感知元素之间的层级关系
重点进入:
AudioInput
↓
AudioElement
↓
AudioPattern
↓
AudioState
↓
AudioRelation
↓
AudioEvent
↓
AudioScene
↓
CognitiveElement
进一步研究AudioElement 的聚合、继承、组合、状态机以及 PHP OOP Interface / Abstract Class 设计。
下一章:
第七章
触觉感知元素结构理论
Touch Perception Element Structure Theory
重点:
- 触觉作为物理交互感知;
- 压力元素;
- 温度元素;
- 材质元素;
- 接触关系;
- 机器人触觉认知。