《WSaiOS结构智能(WSaiOS-SI)理论工程》
第十九卷:动态语义库理论与工程
第二十六章 概率估计的定义、样本与校准条件
26.1 概率估计问题的提出
动态语义库在持续获取外部信息、建立语义关系、识别证据和核验事实的过程中,经常会遇到无法立即确定的问题。
例如,系统发现一条与目标产品有关的认证记录,但该记录缺少部分上下文;系统发现多个来源对同一产品状态作出不同描述;系统识别出某个候选对象可能与当前知识结构对应,但尚未获得足够信息确认这种对应关系。
面对这些情况,系统不能总是立即作出确定判断,也不能简单地将未知信息当作错误信息处理。它需要区分已经确认的事实、尚待确认的判断、存在冲突的证据,以及能够通过统计数据估计的不确定性。
概率估计是处理部分不确定问题的一种运算方式。
但在结构智能体系中,概率估计必须首先回答三个问题:
第一,究竟要估计什么事件或判断的发生可能性?
第二,依据什么样的样本、观测记录或证据形成估计?
第三,在什么条件下,这个估计可以被认为具有合理的校准程度?
如果这些问题没有明确,系统即使输出一个看似精确的百分比,也可能没有可靠的解释基础。
例如,系统为某条产品认证主张给出“真实性概率为 95%”,但没有定义什么算作真实、样本来自哪里、样本是否具有代表性、结果如何与实际核验情况比较,那么这个 95% 就只是一个数字,不能直接作为可靠的概率判断。
WSaiOS-SI 因此需要把概率估计建立在明确的事件定义、结构化样本、适用条件、计算规则和校准机制之上。
本章研究的不是词语出现的概率,也不是通过大模型生成概率,而是结构智能如何针对明确的对象、关系、状态、事件或判断结果,依据可追溯的数据与规则进行概率估计。
26.2 概率估计的定义
概率估计,是指系统针对一个定义明确的事件、状态或判断结果,依据已有样本、观测记录、证据、适用条件和计算规则,对该事件发生或该判断成立的可能性进行估计,并说明估计所适用的范围与不确定性。
这一过程至少包含六个基本要素:
-
估计目标:明确需要估计的事件、状态或判断结果。
-
样本依据:明确参与估计的样本、观测记录或历史案例。
-
适用条件:明确估计所对应的对象范围、时间范围和其他必要条件。
-
计算规则:明确如何从样本或其他依据形成概率估计。
-
估计结果:以适当形式表达结果,例如概率值、区间或定性等级。
-
校准依据:通过适当的实际结果或独立验证材料,检查估计与实际发生情况之间的一致程度。
这六个要素共同构成概率估计的基本结构。
缺少其中某些要素,并不意味着任何情况下都无法产生初步估计,但系统必须明确估计结果的限制,不能将缺乏样本、缺少校准或适用范围不明的估计,直接当作已经得到验证的概率结论。
在 WSaiOS-SI 中,概率估计不是独立于知识结构的数字运算,而是围绕明确语义对象、判断目标、样本关系和适用条件展开的结构化运算。
26.3 概率估计与语义相关性评分的区别
概率估计与语义相关性评分可能同时出现在动态语义库中,但二者的目标不同。
语义相关性评分判断候选内容与当前需求之间的语义联系及任务适用程度。
概率估计则针对一个明确的事件或判断结果,估计其发生或成立的可能性。
例如,一份认证机构的公开记录与“核验某型号电动牙刷是否通过认证”这一任务具有较高的语义相关性。
但是,相关性高并不能直接说明认证主张成立的概率有多大。系统仍需检查记录是否对应目标型号、来源是否可靠、时间范围是否适用,以及是否存在相反证据。
同样,一份资料与目标的相关性较低,也不能仅凭这一点就断言其中某项主张为真的概率较低。相关性低可能意味着资料与当前任务关系有限,但并不必然意味着资料所表达的事实是错误的。
两者的区别如下:
| 比较维度 | 语义相关性评分 | 概率估计 |
|---|---|---|
| 判断目标 | 候选内容与目标之间的语义联系 | 明确事件或判断结果的可能性 |
| 主要依据 | 对象、属性、关系、条件和任务适用性 | 样本、观测、事件定义、模型或统计规则 |
| 结果含义 | 相关程度或处理优先级 | 对指定事件或判断结果的概率估计 |
| 能否直接证明事实 | 不能 | 不能 |
| 是否需要样本 | 不一定需要统计样本 | 统计估计通常需要样本或其他明确依据 |
| 是否需要校准 | 需要检查评价规则是否适用 | 若将概率解释为可靠的发生可能性,通常需要适当的校准检验 |
| 动态更新依据 | 需求、候选内容、结构与相关性规则变化 | 新样本、实际结果、适用条件和估计方法变化 |
因此,相关性评分不能直接当作概率,综合评分也不能未经验证就解释为真实性概率。
如果系统确实需要从相关性评价进一步推导某项事件的概率,就必须另外建立明确的概率模型,并通过适当的数据和验证程序证明这种转换具有合理依据。
26.4 概率估计的对象必须明确
概率估计的首要条件是明确估计对象。
“这条信息可靠吗?”“这个产品是真的吗?”“这个候选结果有多大可能正确?”这些问题看似明确,实际上可能包含多个不同的估计目标。
例如,“产品认证是否真实”至少可能涉及以下不同事件:
-
认证文件是否真实存在;
-
文件是否由声称的机构发布;
-
文件是否对应目标产品型号;
-
认证是否在指定时间范围内有效;
-
产品是否满足某项认证要求;
-
整体认证主张是否满足当前核验规则。
这些事件之间存在联系,但不能直接视为同一个事件。
一份文件可以真实存在,却不对应目标产品;文件可以由真实机构发布,却已经过期;记录可以准确反映历史状态,却不能证明当前状态。
因此,系统必须先将模糊的问题分解为可识别、可判断的事件或主张,再分别估计或核验。
可以用以下概念模型表示:
其中:
-
\(E\):明确界定的事件或判断结果;
-
\(C\):估计时采用的已知条件;
-
\(D\):用于估计的样本、观测记录或其他依据;
-
\(P(E\mid C,D)\):在指定条件和依据下,对事件 \(E\) 形成的概率估计。
该表达式强调概率估计具有条件性。
这里的 \(D\) 并不意味着只要收集到数据就能够得到可靠概率。样本质量、样本选择方式、事件定义、数据依赖关系及适用范围都会影响估计结果。
此外,概率估计的对象必须与实际可观察的结果建立联系。如果事件无法明确判定,或者不同判断人员对事件含义存在重大分歧,就需要先完善事件定义和判定规则。
26.5 样本的定义及其在结构智能中的作用
样本,是指从某个明确的对象范围、事件范围或观测过程取得,并能够用于研究目标事件或判断规则的数据记录、案例或观测单位。
在动态语义库中,样本不应仅被理解为一段文字或一条网页。
样本可能是一项实际事件记录、一条已经核验的主张、一份具有明确判定结果的记录、一个对象在特定时间的状态,或者一次按照明确条件执行的观测。
样本必须与估计目标存在可说明的关系。
例如,如果系统需要估计某种认证记录被错误对应到产品型号的比例,那么样本应当能够识别:
-
每条记录所指向的产品对象;
-
系统对对象对应关系作出的判断;
-
通过独立检查得到的参考结果;
-
参与估计的记录范围;
-
记录形成时所采用的条件和规则。
如果系统只有大量产品网页,却没有可以比较的对象对应判定结果,就不能仅凭网页数量估计对象匹配判断的准确概率。
这说明,样本的价值并不取决于其数量本身,而取决于它是否能够支持当前估计目标。
26.6 样本与总体的关系
统计估计通常需要区分样本与总体。
总体,是指当前研究目标所覆盖的完整对象或事件范围。
样本,是从该范围内实际取得并参与估计的部分观测。
例如,系统可能需要估计某类公开认证记录中,产品型号对应判断的错误比例。
如果目标总体是某一时间范围内、某一来源范围内的特定认证记录,那么样本就应当与这个总体具有明确的对应关系。
不能用一个范围的样本,未经检验就推断另一个范围的结果。
例如:
-
不能仅凭某个行业的记录,推断所有行业记录的错误率;
-
不能仅凭某个网站的数据,直接推断所有公开来源的数据质量;
-
不能仅凭历史记录,直接推断当前记录的错误率;
-
不能仅凭容易获取的样本,假设它们代表所有难以获取的记录。
样本与总体之间的关系决定了估计结果可以推广到什么范围。
如果样本只代表某一特定来源、时间或对象类别,那么概率估计也应当限制在相应范围内。
当系统无法证明样本具有代表性时,可以形成针对现有样本的描述性统计,但不能无条件将其推广为整个总体的发生概率。
26.7 样本的主要类型
在动态语义库中,可以根据样本形成方式和用途区分多种样本类型。
第一,实际事件样本。
来源于实际发生的事件或状态变化,例如一条认证记录在特定日期的状态。
这类样本适合研究明确事件的发生情况,但需要确认事件是否被完整记录。
第二,人工核验样本。
由具有明确判定规则的人员或流程,对某项主张、关系或状态进行检查后形成的记录。
这类样本可以用于评价系统判断结果,但需要记录判定标准和分歧处理方式。
第三,规则验证样本。
围绕某项明确规则构造或收集,用于检查规则在不同条件下是否产生预期结果的样本。
这类样本适合验证规则行为,但如果样本主要由人工构造,就不能直接把它们视为真实环境中的自然发生频率。
第四,历史观测样本。
从系统过去的运行记录、历史状态或已完成任务中取得的样本。
历史样本可以用于分析过去的表现,但其适用性取决于当前对象范围、环境条件和规则是否与历史时期相近。
第五,连续观测样本。
在一个持续运行的过程中按时间顺序形成的记录。
这类样本适合研究状态变化,但相邻记录可能高度相关,不能简单地当作相互独立的样本。
第六,抽样取得的样本。
依据明确抽样规则从总体中取得的观测记录。
如果抽样过程合理,并且满足相应统计方法的适用条件,这类样本可以用于估计总体特征。
上述样本类型可以相互交叉。例如,一份历史记录也可能是人工核验样本;一条连续观测记录也可能通过抽样方式进入某项分析。
系统应当根据实际样本的形成过程和用途确定其类别,而不是为所有样本强制指定固定分类。
26.8 样本质量与样本有效性
样本数量多,并不意味着样本质量高;样本质量高,也不必然意味着样本适合当前概率估计。
样本质量主要涉及记录是否真实、完整、可追溯,以及目标事件的判定是否明确。
样本有效性则进一步关注样本是否适合当前估计目标和适用范围。
例如,一批记录可能保存完整、来源明确,但全部来自同一个平台。若目标是估计多个不同来源的总体表现,这批样本就可能缺少必要的来源覆盖。
又如,系统积累了一万条网页,但其中九千条都是对同一条原始信息的转载。对于估计独立来源之间的判断差异,这些记录不能被简单地当作一万份独立观测。
样本质量和有效性至少需要考虑以下问题:
-
样本是否对应明确的估计目标;
-
样本中的事件是否具有一致的定义;
-
样本的结果是否能够被可靠判定;
-
样本是否存在缺失、错误或重复;
-
样本是否来自同一来源或同一原始事件;
-
样本的选择方式是否导致系统性偏差;
-
样本覆盖的时间和对象范围是否适用;
-
样本形成时使用的规则是否与当前规则一致。
这些问题会影响概率估计的解释范围。
系统不能仅根据样本总量决定估计是否可靠,也不能把数据完整性分数直接当作统计代表性证明。
26.9 样本偏差与选择偏差
样本偏差,是指样本与目标总体之间存在系统性差异,使样本中的观察结果不能直接代表总体情况。
选择偏差则是样本进入观测集合的方式,使某些对象、事件或结果更容易被纳入,而另一些对象更难被纳入。
在动态语义库中,这类偏差可能来自多种情况。
例如,系统只能获取能够公开访问的网页,而无法获取受限制或已经删除的资料。如果某类信息更容易公开发布,那么样本中该类信息的比例可能高于真实总体中的比例。
又如,系统只检查与自身判断不一致的案例,就可能得到一组适合分析错误原因的样本,却不能直接用它们估计全部案例的错误率。
再如,系统只收集已经成功解析的网页,就可能忽略结构复杂、内容不完整或难以解析的资源。
因此,样本收集过程本身也需要被记录和评价。
如果样本选择方式已经明确,并且能够估计不同样本进入集合的机会,可以根据适当的统计方法处理部分偏差。
如果样本选择机制不明,或者某些重要对象完全没有机会进入样本,那么仅凭样本本身通常无法可靠地消除这类偏差。
在这种情况下,系统应当限制估计结论的适用范围,必要时将结果标记为探索性估计,而不是已经验证的总体概率。
26.10 样本数量与估计稳定性
样本数量通常会影响概率估计的稳定性,但样本数量并不能单独决定估计是否可靠。
在满足特定抽样和独立性条件的情况下,随着有效样本数量增加,某些统计估计的随机波动可能减小。
例如,对于明确的二元事件,如果有 \(n\) 个相互独立且来自同一目标总体的有效观测,其中 \(k\) 个事件实际发生,那么可以使用样本发生比例作为一个基础估计:
其中:
-
\(n\) 为有效观测数量;
-
\(k\) 为事件发生的观测数量;
-
\(\hat p\) 为样本发生比例。
例如,某项规则在 200 个满足规定条件的独立核验案例中,有 180 个案例的判断结果与参考结果一致,则样本一致比例为:
这只能说明,在这 200 个案例中,观察到的一致比例为 90%。
只有在样本选择方式、目标总体、判定标准和其他统计条件得到适当说明后,才可以进一步讨论该比例对总体表现的估计意义。
更重要的是,这个比例并不等于系统对每一个新案例都具有 90% 的正确概率。
如果 200 个案例来自同一原始数据集、同一来源或高度重复的观测过程,那么有效独立信息可能远少于 200 个独立样本。
如果样本主要集中于简单案例,而真实运行中包含大量复杂案例,样本比例也可能高估系统在真实环境中的表现。
因此,样本数量必须结合独立性、代表性、样本质量和估计目标共同判断。
26.11 独立样本、重复样本与相关样本
概率估计经常依赖样本之间的某些统计条件,其中样本独立性尤其重要。
在统计意义上,独立样本意味着一个样本的结果不会通过所采用的概率模型与另一个样本的结果形成相应依赖。
但在动态语义库中,样本之间经常存在明显的关联。
例如:
-
多个网页转载同一条原始公告;
-
多条数据库记录来自同一次事件;
-
同一对象在短时间内产生大量重复观测;
-
多个案例使用同一份原始文件进行判断;
-
同一个错误规则影响大量处理结果。
这些样本可以是不同的记录,却不一定提供同等数量的独立信息。
如果系统将所有重复记录都视为独立样本,可能高估有效样本数量,低估估计结果的不确定性。
因此,样本组织需要保留必要的来源关系、事件关系、重复关系和依赖关系。
这并不意味着所有相关样本都必须删除。相关样本仍然可以用于研究传播过程、重复率、时间变化或其他特定问题。
关键在于:系统必须知道当前估计需要的是独立事件样本、重复传播记录,还是连续观测记录,并选择与目标相适应的统计方法。
26.12 频率估计与条件概率估计
概率估计可以采用不同的统计思路,具体选择取决于事件定义、样本结构和已知条件。
频率估计通常依据样本中事件实际发生的比例,对相应总体的事件发生频率进行估计。
其基本形式为:
这种形式适用于事件可以明确记录、样本范围能够界定且相应统计条件合理的情况。
条件概率估计则针对已经给定某些条件时,事件发生的可能性进行估计。
例如,系统可能需要研究:在来源类型、对象对应状态和记录完整性满足指定条件时,某类判断错误发生的比例。
条件概率需要明确条件集合,并确保样本能够支持对该条件下事件的估计。
如果某个条件组合只包含极少数样本,估计结果就可能不稳定。
如果条件是根据观察结果事后选择的,也可能产生额外偏差。
因此,条件越细并不意味着估计越准确。更细的条件可以提高问题的针对性,但也可能减少有效样本数量,增加估计的不确定性。
WSaiOS-SI 应当根据任务需要选择合适的估计范围,并明确说明概率结果是在什么条件下形成的。
26.13 基础概率、先验依据与新增证据
在一些任务中,系统可能需要结合已有知识与新增证据,对某项事件的概率进行更新。
例如,系统先根据历史记录获得某类事件的基础发生比例,随后发现一条新的观测信息,需要判断该信息是否会改变原有估计。
在这种情况下,必须明确区分基础概率、条件概率和证据带来的更新。
基础概率描述指定总体或条件范围下事件的初始概率依据。
条件概率描述在给定某些条件后,事件发生的概率。
证据更新则需要分析新证据在不同事件状态下出现的可能性,以及该证据与原有依据之间的关系。
在适用条件满足时,贝叶斯规则可以用于更新概率:
其中:
-
\(H\) 为明确界定的假设或事件;
-
\(E\) 为新取得的证据;
-
\(P(H)\) 为更新前的概率;
-
\(P(E\mid H)\) 为假设成立时观察到该证据的概率;
-
\(P(E)\) 为观察到该证据的概率;
-
\(P(H\mid E)\) 为在观察到证据后形成的更新概率。
这个公式只有在概率对象、条件和所需概率依据明确时才具有可操作意义。
系统不能因为取得一份与目标相关的资料,就随意提高某个事件的概率。
如果新资料只是重复已有资料,或者其产生机制与已有证据高度依赖,那么更新时必须处理这种依赖关系。不能在没有依据的情况下,把重复证据当作相互独立的新增信息。
此外,贝叶斯更新得到的仍然是特定模型和条件下的概率结果。它不会自动解决假设定义错误、样本偏差、来源不可靠或证据解释错误等问题。
26.14 概率估计的校准条件
概率校准,是指检查系统给出的概率估计与相应事件的实际发生情况之间是否具有合理的一致关系。
校准并不是要求每一个单独案例的概率都能被直接证明正确,而是检查一组具有可比较条件的概率预测,是否与实际观察到的事件频率相符合。
例如,系统对一组事件都给出约 80% 的发生概率。如果在适当的独立评估样本中,这组事件实际发生的比例长期明显低于 80%,就说明该组预测可能存在高估。
如果实际发生比例长期明显高于 80%,则可能存在低估。
但校准判断必须建立在明确的事件定义、适当的评估样本和合理的分组方式之上。
校准至少需要以下条件。
第一,事件定义明确。
系统必须明确什么情况算作事件发生,什么情况算作未发生,以及无法判断的案例如何处理。
第二,预测与结果能够对应。
每个概率预测都应当能够对应到后续可观察或可核验的结果。
第三,评估样本具有适当的代表性。
校准样本应当适合评估目标所覆盖的对象范围和使用环境。
第四,预测与评估数据适当分离。
如果系统利用同一批案例调整概率模型,又用同一批案例宣称模型已经得到可靠校准,就可能高估实际表现。
第五,评估结果具有足够的信息量。
如果某个概率区间只有极少数案例,就难以对该区间的实际发生频率作出稳定判断。
第六,适用条件保持可比。
如果评估期间的对象范围、数据来源、运行规则或事件发生机制发生明显变化,历史校准结果就不一定适用于当前环境。
第七,校准方法与概率用途相符。
用于判断某类事件是否发生的概率,与用于比较候选对象的排序分数,是不同的输出类型。后者不能仅凭数值介于 0 和 1 之间就被认定为已经校准的概率。
这些条件共同决定了概率估计能否被合理解释为具有校准依据的概率输出。
26.15 概率校准与判断准确率的区别
概率校准与判断准确率之间存在联系,但它们评价的是不同性质的能力。
判断准确率通常关注系统作出的分类或判断结果,与参考结果有多大比例一致。
概率校准则关注系统给出的概率数值,是否与实际发生频率相符。
例如,系统对 100 个案例都给出某事件发生概率为 0.60。
如果其中约 60 个事件实际发生,那么这组预测在该分组层面可能表现出较好的校准。
但如果系统最终将概率大于 0.50 的案例全部判为“事件发生”,其分类准确率仍取决于每个案例的实际结果及决策规则。
反过来,一个系统可能在分类任务中取得较高准确率,却对概率估计存在明显过度自信。例如,系统经常作出正确判断,但对错误判断也给出接近 100% 的概率。
因此:
-
准确率主要描述判断结果是否正确;
-
校准主要描述概率输出与实际发生频率是否一致;
-
区分能力主要描述模型能否把事件发生与未发生的案例区分开来;
-
决策效用则关注这些输出在特定成本、风险和任务条件下是否有助于采取合理行动。
不能用其中一项指标完全代替其他指标。
26.16 校准的基本检查方法
校准需要根据概率输出的用途选择适当的检查方式。
一种基础方法是分组比较。
系统将概率预测按照预先确定的规则分组,例如划分为若干概率区间,再比较每组的平均预测概率与实际事件发生比例。
如果一组预测的平均概率为 0.70,而实际发生比例明显偏离 0.70,就需要进一步检查该组预测是否存在系统性高估或低估。
但分组校准也存在限制。
分组边界的选择可能影响结果;每组样本数量过少时,实际发生比例容易波动;不同对象范围混在一起时,整体结果可能掩盖某些子群体中的偏差。
因此,校准检查不能只依赖一张分组表,而应当同时关注样本数量、适用条件、时间范围和分组稳定性。
在有适当数据和明确用途时,也可以使用其他评价方法,例如布赖尔分数(Brier score)或对数损失(log loss)评估概率预测与实际结果之间的差异。
对于二元事件,布赖尔分数的一种常见形式为:
其中:
-
\(N\) 为参与评价的案例数;
-
\(p_i\) 为第 \(i\) 个案例的事件概率预测;
-
\(y_i\) 为该事件的实际结果,发生时为 1,未发生时为 0。
在同一评价定义下,布赖尔分数越低,通常表示概率预测与实际结果之间的平方误差越小。
但布赖尔分数同时受到概率校准、区分能力和事件发生率等因素影响,不能单独作为校准是否充分的完整证明。
对数损失则对极端错误的高置信度预测给予较大惩罚,但它同样不能替代对样本代表性、事件定义和实际使用条件的检查。
因此,校准评估应当结合概率输出的用途、实际结果和适用范围进行,而不是只追求某一个统计指标。
26.17 校准样本与训练样本、测试样本的关系
在建立概率估计机制时,需要区分不同样本的用途。
用于构建规则或估计模型参数的样本,属于模型建立或参数估计所使用的数据。
用于选择模型设置、调整参数或选择校准方法的样本,承担模型选择或校准调整的作用。
用于独立检查最终表现的样本,则用于评估模型在未参与相应调整的数据上的表现。
这几类用途可以根据系统规模和实际任务采用不同的工程组织方式,但必须明确各批数据承担什么职责。
如果同一批样本被反复用于调整模型,并且最终仍然被当作完全独立的验证依据,就容易高估系统的实际表现。
对于 WSaiOS-SI 而言,这种区分不要求照搬某一种主流机器学习架构,而是要求遵守可验证的基本逻辑:用于形成规则的数据、用于调整规则的数据和用于独立检查规则的数据,必须在评价过程上保持足够清晰的边界。
如果数据量不足,无法进行严格的独立校准,也应当如实记录这一限制,不能通过重复计算同一批样本来制造额外的验证证据。
26.18 概率估计的不确定性表达
概率估计本身也存在不确定性。
这种不确定性可能来自样本数量有限、样本选择存在偏差、事件定义不够明确、观测结果存在误差,或者实际环境与历史环境不同。
因此,系统不能只输出一个概率数字,而不说明其依据和适用范围。
在适当的统计条件下,可以使用置信区间或其他不确定性区间描述估计精度。
例如,若样本发生比例为 0.90,可以进一步根据样本数量、抽样方式和所采用的统计方法估计相应区间。
但区间的含义必须与具体统计方法相符,不能将所有区间都解释为“真实概率有某个固定百分比的机会落在区间内”。
在贝叶斯统计中,可信区间与频率学派的置信区间具有不同的解释基础,不能混为一谈。
如果系统缺乏足够样本,或者样本的适用范围无法明确,就可以采用定性表达,例如“证据有限”“估计不稳定”“样本代表性不足”或“暂时无法可靠估计”。
定性表达并不是概率估计的失败,而是在现有依据不足时避免制造虚假精度的必要机制。
26.19 概率估计与未知、矛盾及证据不足的区别
概率估计不能取代未知状态、矛盾状态和证据不足状态的结构化表达。
这几种情况具有不同的含义。
未知意味着当前系统缺少足够信息,无法判断某个事实、关系或状态是否成立。
矛盾意味着在需要一致的对象、时间和条件下,现有信息之间出现了无法直接协调的冲突。
证据不足意味着现有材料尚未满足当前任务所规定的判断要求。
概率不确定性则涉及对明确事件发生可能性的估计,以及估计本身受到的统计或模型限制。
例如,系统没有找到某款产品的认证记录,这并不能直接说明该产品没有认证,也不能在缺乏适当统计依据时直接估计其未认证概率为 80%。
如果系统发现两个来源对认证状态作出相反描述,也不能简单地将两条记录的相关性分数转换为概率,再通过平均值消除冲突。
合理的处理方式是先明确对象、时间、条件和来源关系,判断冲突是否真实存在,再决定是否能够使用适当的概率模型处理剩余不确定性。
概率估计是结构智能运算体系中的一种工具,而不是把所有未知、矛盾和证据不足都转换成数字的通用机制。
26.20 动态环境下的概率校准与变化监测
动态语义库持续接收新的资源、记录和观测结果。即使某个概率估计在历史数据上表现良好,也不能假定它在所有未来环境中始终保持同样的校准程度。
例如,某类资源的发布规则发生变化,某个外部数据源改变了记录方式,某项认证制度调整了适用条件,或者系统开始处理以前很少接触的对象类型,都可能影响原有估计规则的适用性。
这种情况要求系统对概率估计建立动态管理机制。
首先,应当记录每个概率估计所依据的样本范围、时间范围、事件定义和规则版本。
其次,应当持续收集能够用于评价实际结果的观测记录,并检查新结果与原有估计之间是否出现持续偏离。
再次,当发现明显的环境变化或校准偏差时,应当检查原因,而不是直接修改概率数值。
可能的原因包括样本分布变化、事件发生率变化、来源质量变化、规则变化、记录方式变化或原有模型本身存在问题。
最后,只有在具备适当的新数据和验证依据时,才应当调整概率模型或校准规则。
如果环境变化已经超出原有样本的覆盖范围,就应当明确说明旧估计的适用性受到限制,必要时重新收集样本。
动态校准的目标不是让概率数字始终看起来合理,而是使估计依据、实际结果和适用条件保持可检查的一致性。
26.21 概率估计在 WSaiOS-SI 运算体系中的位置
概率估计属于 WSaiOS-SI 的基础运算体系,但它不能取代比较、计算、判断、匹配、排序和验证。
各类运算的职责不同。
**比较()**用于检查对象、属性、状态和观测结果之间的差异。
**计算()**用于依据明确的统计定义和规则形成估计结果。
**判断()**用于根据条件与规则确定当前状态,例如样本是否满足纳入要求、某项条件是否成立。
**匹配()**用于建立样本、事件、对象和目标之间的对应关系。
**概率()**用于针对明确的事件或判断结果形成概率估计,并说明适用条件与不确定性。
**排序()**用于在适当条件下依据估计结果和任务规则排列候选对象,但不能把概率大小直接等同于整体任务价值。
**验证()**用于检查事件定义、样本依据、计算规则、校准结果和适用范围是否符合要求。
这些运算共同服务于知识组织和问题处理,但不必在每个任务中机械地执行全部步骤。
例如,如果事件定义不明确,应当先完善结构与判断规则,而不是直接计算概率;如果样本无法对应目标事件,应当先处理样本关系,而不是继续增加计算精度;如果估计结果未经适当校准,就不能将其当作已经验证的概率依据。
这体现了 WSaiOS-SI 的基本原则:运算必须建立在明确结构和可解释规则之上。
26.22 工程示例:认证记录对应判断的概率估计
假设系统需要评价某类公开认证记录中的产品型号对应判断,是否具有足够稳定的历史表现。
系统首先明确估计目标:
在指定来源范围、指定时间范围及既定判断规则下,系统对产品型号对应关系作出的判断,与独立核验结果一致的概率或长期一致比例是多少?
这个目标与“某个产品是否通过认证”不同。前者评价的是对象对应判断的表现,后者是具体产品的认证主张。
系统随后收集过去已经完成独立核验的案例,并为每个案例记录:
-
原始认证记录及其来源;
-
系统当时识别的产品对象;
-
系统作出的对应判断;
-
独立核验得到的参考结果;
-
判断规则和适用条件;
-
案例形成时间;
-
是否存在重复来源或其他依赖关系。
假设经过适当筛选后,得到 200 个符合当前统计目标的有效案例,其中 180 个案例的对应判断与参考结果一致。
那么,该样本的一致比例为 90%。
但是,系统不能直接据此宣布:“未来所有产品型号对应判断都有 90% 的概率正确。”
它还需要检查:
这些案例是否代表当前实际处理的记录范围?是否集中于少数来源?是否包含大量重复记录?当前运行条件是否与历史案例相近?参考结果是否可靠?是否有足够的独立评估数据?
如果这些条件得到适当满足,系统才可以进一步使用合适的统计方法估计相应总体表现,并检查概率输出的校准程度。
即使该估计具有较好的校准表现,它也只能用于所定义的估计目标和适用范围。
它不能自动证明某条新的认证记录真实,也不能代替对新记录的对象对应、来源可靠性、时间条件和事实主张进行核验。
如果新记录属于历史样本未覆盖的来源类型,或者对象对应规则已经发生变化,系统应当重新评估旧估计是否适用,而不是无条件沿用 90% 这一结果。
这个示例说明,概率估计必须明确事件、样本、参考结果、适用范围和校准条件。只有在这些条件清楚时,数字才具有可解释的统计意义。
26.23 工程实现的基本原则
WSaiOS-SI 的概率估计机制应当遵循以下原则。
一是事件优先。 在估计之前,必须先明确事件或判断目标,避免对模糊问题直接生成概率。
二是样本可追溯。 样本必须能够追溯到原始记录、形成过程、判断规则和适用条件。
三是样本范围明确。 必须区分目标总体、实际样本和可以合理推广的范围。
四是样本依赖可识别。 重复来源、重复记录和相关观测不能未经分析就当作独立样本。
五是计算规则明确。 概率计算必须建立在适当的统计定义和方法条件之上。
六是校准独立检查。 用于调整模型或规则的数据,与用于独立评价最终表现的数据,应当具有清楚的用途区分。
七是不确定性可表达。 当样本不足、条件不明或环境发生变化时,应当允许输出区间、限制说明或无法可靠估计的状态。
八是概率与事实核验分离。 概率估计可以辅助判断,但不能直接取代主张与证据之间的核验过程。
九是规则和结果可追溯。 应当保留必要的样本范围、方法版本、校准依据及更新记录。
十是动态适用。 当目标、样本分布、环境或规则发生变化时,应当检查估计结果是否仍然适用。
这些原则不要求工程系统使用固定行业字段,也不要求采用某一种特定的软件架构。系统应当根据真实的任务与结构定义组织样本、事件、规则和结果。
26.24 本章总结
概率估计是 WSaiOS-SI 用于处理明确事件、状态或判断结果不确定性的基础运算。它必须建立在可定义的估计目标、适当的样本、明确的适用条件、可解释的计算规则以及合理的验证和校准机制之上。
本章确立了五个核心区别。
第一,概率估计不等于语义相关性评分。 相关性评分衡量候选内容与目标之间的语义联系;概率估计针对明确事件或判断结果形成可能性估计。
第二,样本数量不等于样本质量。 样本是否适合当前估计,取决于事件定义、来源、代表性、独立性、判定结果和适用范围。
第三,样本比例不自动等于可靠的总体概率。 只有在相应统计条件和样本范围得到适当说明后,样本比例才能用于支持进一步的总体估计。
第四,概率估计不等于概率校准。 估计方法可以产生概率数值,但数值是否与实际发生频率具有合理一致性,需要通过适当的校准评估检查。
第五,概率估计不等于事实核验。 即使某个事件具有较高的估计概率,也不能因此跳过对象对应、证据适用、来源检查和事实核验规则。
在动态语义库中,概率估计应当与结构定义、样本管理、证据关系、规则验证和动态更新机制协同运行。其价值不在于为每个未知问题提供一个数字,而在于在适当条件下,以可解释、可检查和可更新的方式表达不确定性。
由此,WSaiOS-SI 将概率从孤立的数值输出,转化为具有明确对象、样本依据、适用范围和校准条件的结构化运算,为后续的证据联合评价、结论状态管理和动态知识演化提供基础。
下一章可继续研究《概率更新、先验依据与新证据的作用机制》,进一步讨论新证据如何影响已有估计、证据依赖如何限制更新,以及概率结果如何与事实核验状态协同管理。