WSaiOS-ICAI 动态语义库开发规划(第一版·修订版)
一、开发目标
独立开发 WSaiOS-ICAI 动态语义库系统。
语义库以用户自定义的结构元素、元素字段及字段语义值为核心,根据元素所属的行业、分类搜索外部网站内容,提取相关文本,将外部内容与用户定义的字段语义值进行匹配,建立可持续扩充的语义知识库。
动态语义库负责生产 API Key,并提供语义匹配 API 接口。WSaiOS-ICAI 结构智能系统使用 API Key 调用语义库,将自身结构中的字段内容提交给语义库进行匹配和理解,再根据返回结果处理相应的结构数据。
开发原则:
- 不固定行业、分类、结构元素和字段。
- 不预设固定字段语义值。
- 不针对特定行业编写专用处理逻辑。
- 不开发未经确认的复杂语义算法。
- 不擅自确定尚未确认的计算公式和处理规则。
- 以实际代码和测试结果为依据完成开发与验收。
二、系统核心逻辑
整个系统分为两个相互协作的部分:动态语义库和 WSaiOS-ICAI 结构智能系统。
2.1 动态语义库内部处理流程
用户自定义行业、分类及结构元素 → 定义元素字段 → 定义字段语义值 → 按元素所属行业、分类搜索外部资源 → 提取文本 → 处理语句 → 匹配字段语义值 → 建立语义关联 → 去重与持续累积 → 评分与排名 → 保存语义知识。
2.2 结构智能系统调用流程
结构智能系统产生或接收到字段内容 → 使用语义库提供的 API Key → 调用语义匹配 API → 提交待理解的字段内容及必要的结构信息 → 语义库根据已有字段语义值和关联知识进行匹配 → 返回匹配结果及相关语义数据 → 结构智能系统使用返回结果理解自身的字段内容。
2.3 两个系统的职责
动态语义库负责:
- 自定义结构元素、字段及字段语义值的管理。
- 外部资源搜索、采集与文本处理。
- 字段语义值匹配及语义关联建立。
- 语句去重、次数累计、来源记录、评分和排名。
- API Key 生产与管理。
- 提供语义匹配及数据查询 API。
WSaiOS-ICAI 结构智能系统负责:
- 产生或接收自身结构中的字段内容。
- 使用语义库 API Key 调用语义匹配服务。
- 接收并使用语义库返回的匹配结果。
- 根据自身的结构智能处理逻辑理解和处理字段内容。
语义库是独立的语义知识与匹配服务,不代替结构智能系统本身的处理逻辑。
三、后台动态定义模块
3.1 行业管理
支持用户自行创建、编辑和管理行业。系统不预设固定行业名称。
3.2 分类管理
支持用户自行创建、编辑和管理分类,并与相应的行业建立关联。
3.3 结构定义管理
支持用户自定义结构名称及结构组织方式。
3.4 结构元素管理
结构元素由用户定义,并关联相应的行业、分类和结构定义。
系统不得根据采集到的网页内容擅自创建新的结构元素。
3.5 元素字段管理
用户可以为结构元素添加、编辑和管理字段,定义字段名称、类型及必要属性。
字段通过稳定标识与所属元素和字段语义值关联。字段名称修改不得破坏已有数据关系。
3.6 字段语义值管理
字段语义值是语义库的核心数据。
用户为实际定义的字段建立和维护对应的语义值。每个语义值必须能够关联到所属字段及结构元素。
系统不得把字段名称直接当作字段语义值,也不得未经确认自动创建新的字段定义或语义值。
四、外部资源搜索与采集模块
4.1 搜索依据
根据自定义结构元素所属的行业、分类,以及相关字段和字段语义值,搜索与目标元素相关的外部内容。
搜索的目的是为结构元素获取可供字段语义值匹配的资料,而不是建立与结构元素无关的通用语句库。
4.2 资源类型
支持搜索和采集:
- 官网。
- 公开网页。
- 公开文档。
具体文档格式依据实际开发环境能够处理的格式确定。
4.3 采集功能
支持:
- 用户设置每次搜索或采集的条数。
- 展示搜索候选资源。
- 用户勾选候选资源进行采集。
- 用户指定 URL 进行采集。
- 记录资源地址、所属主域名、搜索排名及采集状态。
- 记录资源与目标结构元素之间的关联。
- 后续继续采集其他资源并累积数据。
采集按照适用的网站访问规则和资源使用限制执行。
五、官网识别与基准页面选择模块
5.1 主域名识别
从搜索结果中识别可注册主域名,并对同一主域名下的资源进行归类。
5.2 基准页面选择
- 有官网候选时,根据确定的主域名排名积分规则选择官网基准。
- 存在多个候选官网时,选择排名积分最高的主域名。
- 没有识别到官网时,选择搜索引擎排名第一的页面作为基准。
5.3 规则约束
主域名识别应正确处理不同域名后缀。
排名积分公式尚未确认时,不擅自设定公式。基准页面选择必须保留选择依据和资源关联。
六、文本提取与语句处理模块
6.1 文本提取
网页内容去除 HTML 标签及非正文元素,提取 TXT 纯文本。
对于公开文档,根据实际文件格式提取文本。
保留原始资源、提取文本和后续语句之间的关联。
6.2 语句处理
按照确定的顺序处理:
- 标点符号分句。
- 标点符号功能。
- 单词提取。
- 单字处理,按最终确认的 50% 规则执行。
- 相同内容去重。
不擅自增加复杂语义推理或未经确认的文本分析规则。
标点功能和单字 50% 的具体含义尚未明确时,先确认再实现。
七、字段语义值匹配模块
这是动态语义库的核心模块。
7.1 匹配目标
以用户实际定义的结构元素、元素字段及字段语义值为匹配依据。
匹配时需要确定:
- 目标结构元素。
- 元素所属行业及分类。
- 目标字段。
- 该字段已定义的语义值。
- 待匹配的外部文本或结构智能系统提交的字段内容。
- 内容对应的来源或调用请求。
7.2 外部资源匹配
对外部资源提取的文本进行处理,并与目标元素的字段语义值进行匹配。
匹配成功后,建立文本、结构元素、字段、字段语义值及来源之间的关联。
7.3 结构智能系统字段内容匹配
结构智能系统调用语义库 API 时,可以提交需要理解的字段内容及必要的结构信息。
语义库根据已有的自定义定义、字段语义值和关联知识,匹配提交内容,返回匹配结果。
返回结果应能够说明实际匹配到的元素、字段、语义值及相关知识来源。
7.4 匹配约束
- 不将字段名称简单等同于字段语义值。
- 不将普通关键词出现直接视为完整语义匹配。
- 不使用固定行业字段或硬编码映射。
- 不自动创建未经确认的元素、字段或定义语义值。
- 不以匹配结果覆盖用户原有定义。
- 保留未匹配结果,便于后续处理。
- 不将尚未实现的匹配能力宣称为已经完成。
第一版不开发复杂语义算法。具体匹配判定规则和阈值尚未确认时,不擅自编造。
八、语句去重与持续累积模块
8.1 基准页面处理
首先处理基准页面,形成初始语句集合,并建立语句与原始资源的关联。
8.2 后续资源处理
之后依次处理其他搜索结果及公开资源:
- 相同语句不重复创建语句记录。
- 新语句加入语句库。
- 已有语句按照确定的统计规则累计出现次数。
- 记录语句对应的来源资源。
- 保留语句与结构元素、字段语义值及匹配结果之间的关联。
8.3 持续更新
新增资源时,在已有数据基础上继续处理,不重复初始化语义库。
应区分同一资源内的重复出现与不同资源之间的重复出现,避免重复执行采集任务造成不正确的累计。
去重和累计规则统一执行,不因行业或分类不同而改变。
九、评分与排名模块
根据最终确认的规则,对语句及相关语义数据进行评分和排名。
支持:
- 记录语句出现次数。
- 记录语句来源及关联资源。
- 根据确定的公式计算评分。
- 按评分形成排名。
- 新增资源后更新统计结果。
- 在 API 查询中返回实际存在的评分和排名。
官网排名积分、引用概率、评分权重及排名公式尚未确认时,先确认规则,不擅自设定。
十、动态语义库管理模块
统一管理:
- 行业、分类及结构定义。
- 结构元素及元素字段。
- 字段语义值及其关联关系。
- 外部资源、主域名和基准页面。
- 原始文本及提取文本。
- 语句、去重结果及出现次数。
- 来源记录。
- 字段语义值匹配结果。
- 评分与排名结果。
- 必要的处理状态及更新记录。
各类数据通过稳定标识建立关联。
系统应支持新增行业、分类、结构元素、字段和语义值,无须修改固定业务代码。
数据清理规则
清理动态语句、来源记录及相关采集数据时,保留用户定义的行业、分类、结构、元素、字段及字段语义值。
只有用户明确要求删除定义数据时,才执行对应的定义删除操作,并按实际关联关系处理依赖数据。
十一、API Key 生产与语义匹配 API 模块
11.1 API Key 生产
动态语义库负责生成、保存、管理和验证供 WSaiOS-ICAI 结构智能系统使用的 API Key。
API Key 用于标识和授权调用方,不承担语义匹配功能。
11.2 API 接口生产
动态语义库提供可供结构智能系统调用的语义匹配 API 和必要的数据查询 API。
接口负责接收结构智能系统提交的字段内容,调用语义库的匹配处理逻辑,并返回匹配结果。
11.3 请求内容
请求可以包含:
- 待理解的字段内容。
- 调用方能够提供的结构元素或字段标识。
- 必要的行业、分类或结构上下文。
- 其他由接口约定的查询参数。
具体请求格式应根据实际数据结构确定,不强制要求结构智能系统提供其无法确定的信息。
11.4 语义匹配处理
收到合法请求后,语义库根据已有定义和语义知识匹配字段内容,返回实际匹配结果。
不能匹配时,应明确返回未匹配状态,不得伪造匹配结果。
11.5 返回数据
根据实际匹配结果,返回:
- 匹配状态。
- 相关结构元素和字段信息。
- 匹配到的字段语义值。
- 相关语句及来源。
- 已存在的出现次数、评分和排名。
- 必要的数据关联标识。
没有实际计算或保存的数据不应伪装成有效结果。
11.6 接口权限与稳定性
支持 API Key 验证、必要的调用权限、错误处理和接口兼容性管理。
调用限额及权限规则根据实际需要和明确的配置实现,不擅自增加未经确认的固定限制。
11.7 结构智能系统调用验证
通过真实 API 请求验证:
- 语义库能够验证其生产的 API Key。
- 结构智能系统能够提交字段内容。
- 语义库能够执行字段语义值匹配。
- 返回结果能够正确关联元素、字段、语义值及来源。
- 结构智能系统能够接收和使用返回结果。
十二、分阶段开发计划
第一阶段:动态定义与核心数据结构
完成行业、分类、结构、结构元素、元素字段及字段语义值的定义管理和存储关联。
验收目标:用户可以动态定义元素和字段语义值,系统不依赖固定业务字段。
第二阶段:外部资源搜索与基准页面选择
完成按元素行业、分类搜索资源,候选结果展示、指定 URL 采集、主域名识别及基准页面选择。
验收目标:搜索与采集任务能够关联到相应的结构元素。
第三阶段:文本提取与语句处理
完成网页及已支持文档的文本提取、分句、标点处理、单词处理、单字处理及去重。
验收目标:提取文本、语句和原始资源之间可以追溯关联。
第四阶段:字段语义值匹配
完成外部资源内容与自定义字段语义值的匹配,建立元素、字段、语义值和来源之间的关联。
验收目标:更换行业、分类、元素及字段后,匹配仍由实际定义驱动。
第五阶段:持续累积、评分与排名
完成多资源处理、语句累计、来源记录及评分排名。
验收目标:新增资源后,语句、来源及相关匹配数据可以持续更新。
第六阶段:API Key 生产与结构智能系统接入
完成 API Key 生成与验证、语义匹配 API、数据查询接口及结构智能系统调用测试。
验收目标:结构智能系统能够提交自身字段内容,通过语义库获得真实的字段语义匹配结果。
第七阶段:整体验证
使用不同的行业、分类、结构元素、字段及字段语义值进行测试,验证搜索、采集、基准选择、文本处理、匹配、去重、累计、评分排名和 API 调用。
验收目标:完整链路可运行,数据关联正确,未确定规则没有被擅自实现。
十三、第一版验收标准
第一版必须满足:
- 用户能够动态定义行业、分类、结构元素及元素字段。
- 用户能够定义和维护各字段对应的语义值。
- 系统能够根据元素所属行业、分类搜索外部资源。
- 能够提取网页和已支持文档的文本。
- 能够按照已确认的规则进行语句处理。
- 能够将外部内容与字段语义值进行匹配。
- 能够保存元素、字段、语义值、匹配文本及来源之间的关联。
- 能够去重并持续累计语句及来源数据。
- 能够按照确认后的公式进行评分和排名。
- 能够生产和管理供结构智能系统使用的 API Key。
- 能够通过语义匹配 API 接收结构智能系统的字段内容并返回匹配结果。
- 新增行业、分类、结构元素、字段或语义值时,不需要修改固定业务代码。
- 不存在未经确认的固定字段映射、语义规则或评分公式。
十四、开发执行原则
- 以结构元素、元素字段及字段语义值为核心,不将通用语句采集工具当作语义库主体。
- 严格按照已确认的开发规划实施,不擅自改变系统逻辑。
- 不固定行业、分类、结构元素和字段。
- 不擅自开发复杂语义算法。
- 未确定的计算公式和处理规则先确认,再实现。
- 修改代码前检查实际项目结构和现有实现,不脱离实际代码开发。
- 每个阶段均通过实际测试验收,不以页面展示或接口返回成功代替功能验证。
- 动态语义库独立运行,通过 API 为 WSaiOS-ICAI 结构智能系统提供服务。
- 不声称尚未完成或未验证的功能已经实现。
最终目标:建立一个由自定义结构元素及其字段语义值驱动的动态语义库,能够持续采集外部知识、匹配字段语义值、建立和积累语义关联,并由语义库生产 API Key 和提供语义匹配 API,供 WSaiOS-ICAI 结构智能系统调用,以辅助理解其结构字段内容。