WSaiOS-ICAI 动态语义库开发规划(第一版)
一、开发目标
语义库逻辑就是自定义元素的。按照元素的行业 分类 搜索网站内容,匹配元素字段的定义值。
独立开发动态语义库,通过后台自定义行业、分类、字段,搜索官网及各类公开资源网页、文档,提取文本,按照既定规则拆分语句、去重、累积、评分和排名,建立可持续扩充的语义库。
最终通过 API Key 提供语义数据调用能力,供 WSaiOS-ICAI 结构智能系统使用。
开发原则:不需要复杂语义算法,不固定行业、分类和字段,不擅自增加未经确认的处理规则。
二、整体处理流程
1. 后台动态定义
行业、分类、字段
2. 搜索外部资源
官网、公开网页、公开文档;用户设置每次抓取条数
3. 识别官网并确定基准页面
有官网优先官网;多个候选按排名积分选择;没有官网则选搜索排名第一的页面
4. 文本提取与语句处理
提取 TXT、标点符号分句、标点功能、单词、单字(50%)
5. 去重与持续累积
其他资源依次处理,累计语句出现次数和来源信息
6. 评分、排名、保存语义库
7. API Key 调用
供 WSaiOS-ICAI 结构智能系统使用
三、功能模块规划
3.1 后台动态定义模块
支持用户自行创建、编辑和管理:
-
行业
-
分类
-
字段
所有定义均由后台数据驱动。系统不预先固定行业名称、分类结构或字段映射,不针对特定行业编写专用处理逻辑。
3.2 外部资源搜索与采集模块
主要信息来源:
-
官网
-
各类公开资源网页
-
公开文档
具体要求:
-
根据后台定义的行业、分类及相关内容开展搜索。
-
支持用户设置每次抓取的内容条数。
-
记录资源地址、所属主域名、搜索排名及采集状态。
-
支持后续继续采集其他资源。
-
按适用的网站访问规则和资源使用限制执行采集。
3.3 官网识别与基准页面选择模块
执行以下规则:
-
提取搜索结果中的可注册主域名,例如
example.com。 -
根据主域名识别和归类候选官网。
-
存在多个候选官网时,根据各主域名在搜索结果中的排名积分进行比较。
-
选择排名积分最高的主域名作为官网基准。
-
没有识别到官网时,选择搜索引擎排名第一的页面作为基准。
具体的排名积分计算公式,在实现前按照确定的规则执行,不擅自设定。
3.4 文本提取模块
将采集的网页内容去除 HTML 标签及元素,提取 TXT 纯文本,供后续语句处理使用。
对于公开文档,按照实际文件格式提取文本内容。
原始资源和提取后的文本需要能够对应,以便追溯语句来源。
3.5 语句处理模块
按照确定的规则依次处理:
-
标点符号分句。
-
标点符号功能。
-
单词。
-
单字(50%)。
-
相同内容去重。
不增加复杂语义算法,不擅自扩展其他语义分析机制。
其中,“单字(50%)”按你最终确定的计算含义执行,不在开发过程中自行改成其他比例或规则。
3.6 去重与语句累积模块
以基准页面形成初始语句集合。
之后依次处理其他搜索结果及公开资源:
-
已存在的相同内容不重复建立语句记录。
-
新的语句加入语句库。
-
已存在的语句根据实际规则累计出现次数及来源信息。
-
保留语句与原始资源之间的对应关系。
-
支持后续采集继续累积。
去重规则统一执行,不因行业或分类不同而擅自改变。
3.7 评分与排名模块
根据外部资源中语句的引用概率、出现次数进行评分和排名。
需要支持:
-
记录语句出现次数。
-
记录相关资源及来源信息。
-
按既定规则计算评分。
-
根据评分形成排名。
-
随新增资源更新相关统计结果。
具体的引用概率计算方法、排名积分公式和评分权重,以你确定的规则为准。
3.8 动态语义库模块
保存和管理上述流程产生的数据,包括:
-
后台自定义的行业、分类和字段。
-
外部资源及其主域名。
-
基准页面信息。
-
提取的文本及拆分后的语句。
-
去重结果。
-
语句出现次数及来源信息。
-
评分与排名结果。
-
数据关联和必要的更新记录。
语义库能够随着新资源采集持续扩充,不需要每次从头建立。
3.9 API Key 调用模块
独立提供语义库服务,供 WSaiOS-ICAI 结构智能系统调用。
基本要求:
-
API Key 身份验证。
-
按权限提供语义数据查询能力。
-
返回语句、相关字段、评分、排名及来源等已有数据。
-
支持调用限额和错误处理。
-
保持接口稳定,避免语义库内部调整直接影响结构智能系统。
API Key 负责接口认证,不承担语义处理功能。
四、分阶段开发计划
01
第一阶段:基础结构
完成后台动态定义、数据存储结构、行业分类字段关联,以及外部资源和语句的数据关联机制。
阶段目标:基础数据结构可用,不依赖固定业务字段。
02
第二阶段:搜索采集与基准选择
完成外部资源搜索、官网识别、主域名归类、排名积分选择、基准页面确定及用户抓取条数限制。
阶段目标:能够按既定规则取得并管理待处理资源。
03
第三阶段:文本与语句处理
完成 HTML 去除、TXT 提取、标点符号分句、标点功能、单词、单字(50%)及相同内容去重。
阶段目标:基准页面可以按照统一规则生成语句集合。
04
第四阶段:持续累积与评分排名
完成其他资源的连续处理、重复语句识别、出现次数累计、来源关联、评分和排名更新。
阶段目标:语句库可以随新资源持续增长。
05
第五阶段:API 接口与结构智能系统接入
完成 API Key 验证、语义库查询接口、返回数据格式、权限控制及结构智能系统调用测试。
阶段目标:外部结构智能系统能够稳定使用语义库数据。
06
第六阶段:整体验证
使用不同的行业、分类和字段进行测试,验证官网选择、文本提取、分句、去重、累计、评分、排名及 API 调用是否符合既定规则。
阶段目标:确认第一版整体流程能够稳定运行。
五、第一版验收标准
第一版完成时,应当满足以下条件:
六、开发边界
第一版不开发复杂语义算法,不擅自增加语义推理、复杂语义模型或其他未经确认的机制。
开发过程中需要严格区分:
-
已经明确的规则:直接实现。
-
尚未确定的计算公式:先确认,不擅自设定。
-
发现的技术问题:根据实际代码和实际运行结果处理,不擅自扩大重构范围。
最终目标:先把动态语义库从外部资源采集到 API 调用的完整链路实现并验证,再根据实际运行结果决定是否需要修改现有规则。