首页 理论 架构 工程 规划 文档 白皮书 著作 研究 规范 下载 博客 关于 联系 开始使用 →

WSaiOS-ICAI 动态语义库开发规划(第一版)

WSaiOS-ICAI 动态语义库开发规划(第一版)

一、开发目标

语义库逻辑就是自定义元素的。按照元素的行业 分类 搜索网站内容,匹配元素字段的定义值。

独立开发动态语义库,通过后台自定义行业、分类、字段,搜索官网及各类公开资源网页、文档,提取文本,按照既定规则拆分语句、去重、累积、评分和排名,建立可持续扩充的语义库。

最终通过 API Key 提供语义数据调用能力,供 WSaiOS-ICAI 结构智能系统使用。

开发原则:不需要复杂语义算法,不固定行业、分类和字段,不擅自增加未经确认的处理规则。

二、整体处理流程

1. 后台动态定义

行业、分类、字段

2. 搜索外部资源

官网、公开网页、公开文档;用户设置每次抓取条数

3. 识别官网并确定基准页面

有官网优先官网;多个候选按排名积分选择;没有官网则选搜索排名第一的页面

4. 文本提取与语句处理

提取 TXT、标点符号分句、标点功能、单词、单字(50%)

5. 去重与持续累积

其他资源依次处理,累计语句出现次数和来源信息

6. 评分、排名、保存语义库

7. API Key 调用

供 WSaiOS-ICAI 结构智能系统使用

三、功能模块规划

3.1 后台动态定义模块

支持用户自行创建、编辑和管理:

  • 行业

  • 分类

  • 字段

所有定义均由后台数据驱动。系统不预先固定行业名称、分类结构或字段映射,不针对特定行业编写专用处理逻辑。

3.2 外部资源搜索与采集模块

主要信息来源:

  • 官网

  • 各类公开资源网页

  • 公开文档

具体要求:

  • 根据后台定义的行业、分类及相关内容开展搜索。

  • 支持用户设置每次抓取的内容条数。

  • 记录资源地址、所属主域名、搜索排名及采集状态。

  • 支持后续继续采集其他资源。

  • 按适用的网站访问规则和资源使用限制执行采集。

3.3 官网识别与基准页面选择模块

执行以下规则:

  1. 提取搜索结果中的可注册主域名,例如 example.com。

  2. 根据主域名识别和归类候选官网。

  3. 存在多个候选官网时,根据各主域名在搜索结果中的排名积分进行比较。

  4. 选择排名积分最高的主域名作为官网基准。

  5. 没有识别到官网时,选择搜索引擎排名第一的页面作为基准。

具体的排名积分计算公式,在实现前按照确定的规则执行,不擅自设定。

3.4 文本提取模块

将采集的网页内容去除 HTML 标签及元素,提取 TXT 纯文本,供后续语句处理使用。

对于公开文档,按照实际文件格式提取文本内容。

原始资源和提取后的文本需要能够对应,以便追溯语句来源。

3.5 语句处理模块

按照确定的规则依次处理:

  1. 标点符号分句。

  2. 标点符号功能。

  3. 单词。

  4. 单字(50%)。

  5. 相同内容去重。

不增加复杂语义算法,不擅自扩展其他语义分析机制。

其中,“单字(50%)”按你最终确定的计算含义执行,不在开发过程中自行改成其他比例或规则。

3.6 去重与语句累积模块

以基准页面形成初始语句集合。

之后依次处理其他搜索结果及公开资源:

  • 已存在的相同内容不重复建立语句记录。

  • 新的语句加入语句库。

  • 已存在的语句根据实际规则累计出现次数及来源信息。

  • 保留语句与原始资源之间的对应关系。

  • 支持后续采集继续累积。

去重规则统一执行,不因行业或分类不同而擅自改变。

3.7 评分与排名模块

根据外部资源中语句的引用概率、出现次数进行评分和排名。

需要支持:

  • 记录语句出现次数。

  • 记录相关资源及来源信息。

  • 按既定规则计算评分。

  • 根据评分形成排名。

  • 随新增资源更新相关统计结果。

具体的引用概率计算方法、排名积分公式和评分权重,以你确定的规则为准。

3.8 动态语义库模块

保存和管理上述流程产生的数据,包括:

  • 后台自定义的行业、分类和字段。

  • 外部资源及其主域名。

  • 基准页面信息。

  • 提取的文本及拆分后的语句。

  • 去重结果。

  • 语句出现次数及来源信息。

  • 评分与排名结果。

  • 数据关联和必要的更新记录。

语义库能够随着新资源采集持续扩充,不需要每次从头建立。

3.9 API Key 调用模块

独立提供语义库服务,供 WSaiOS-ICAI 结构智能系统调用。

基本要求:

  • API Key 身份验证。

  • 按权限提供语义数据查询能力。

  • 返回语句、相关字段、评分、排名及来源等已有数据。

  • 支持调用限额和错误处理。

  • 保持接口稳定,避免语义库内部调整直接影响结构智能系统。

API Key 负责接口认证,不承担语义处理功能。

四、分阶段开发计划

01

第一阶段:基础结构

完成后台动态定义、数据存储结构、行业分类字段关联,以及外部资源和语句的数据关联机制。

阶段目标:基础数据结构可用,不依赖固定业务字段。

02

第二阶段:搜索采集与基准选择

完成外部资源搜索、官网识别、主域名归类、排名积分选择、基准页面确定及用户抓取条数限制。

阶段目标:能够按既定规则取得并管理待处理资源。

03

第三阶段:文本与语句处理

完成 HTML 去除、TXT 提取、标点符号分句、标点功能、单词、单字(50%)及相同内容去重。

阶段目标:基准页面可以按照统一规则生成语句集合。

04

第四阶段:持续累积与评分排名

完成其他资源的连续处理、重复语句识别、出现次数累计、来源关联、评分和排名更新。

阶段目标:语句库可以随新资源持续增长。

05

第五阶段:API 接口与结构智能系统接入

完成 API Key 验证、语义库查询接口、返回数据格式、权限控制及结构智能系统调用测试。

阶段目标:外部结构智能系统能够稳定使用语义库数据。

06

第六阶段:整体验证

使用不同的行业、分类和字段进行测试,验证官网选择、文本提取、分句、去重、累计、评分、排名及 API 调用是否符合既定规则。

阶段目标:确认第一版整体流程能够稳定运行。

五、第一版验收标准

第一版完成时,应当满足以下条件:

六、开发边界

第一版不开发复杂语义算法,不擅自增加语义推理、复杂语义模型或其他未经确认的机制。

开发过程中需要严格区分:

  • 已经明确的规则:直接实现。

  • 尚未确定的计算公式:先确认,不擅自设定。

  • 发现的技术问题:根据实际代码和实际运行结果处理,不擅自扩大重构范围。

最终目标:先把动态语义库从外部资源采集到 API 调用的完整链路实现并验证,再根据实际运行结果决定是否需要修改现有规则。

Leave a Reply

Your email address will not be published. Required fields are marked *

客服咨询
● 欢迎咨询与合作
您好!欢迎咨询。 我可以帮助您了解人工智能技术研发、智能软件系统开发、网站建设、搜索优化及项目定制等相关信息。 请问有什么可以帮您?
免费申请
请填写以下信息,方便我们进一步沟通。
欢迎咨询 AI 系统开发、网站建设、搜索优化、项目定制合作
电话:15089196448
邮箱:1602401899@qq.com
地址:陕西省渭南市
服务时间:周一至周五 09:00 - 18:00 | 7×24小时技术值守