KY开元

常见分类分级方式利用局限

当前各企业内部均堆集了大量的非结构化文档，其中大部门为无标签数据
。目前常见的无标签文档分类分级选取的是正则表白式匹配方式，其处置流程是先通过人为查看部门非结构化文档，并总结出正则模式，而后对数据进行匹配，匹配成功则划分到对应分类分级，匹配不成功文档归类缺失
。

但是这种处置方式有很多局限性：

??首先，企业堆集的非结构化文档数量巨大，正则匹配只利用了少部门无标签数据资源，更多的正则模式没有被提取出来，覆盖率低；

??其次，随着非结构化文档的不休堆集，数据散布可能会出现变动，初期开发的正则表白式不实时批改就会导致数据漏判和误判；

??此表，非结构化文档往往是拥有多页、字符数量多的长文本，使用正则表白式对全文进行匹配效能低下
。

非结构化数据自动分类分级技术规划

为破解传统正则表白式匹配方式的缺点，为行业内提供更高精准度、更高效的非结构化文档分类分级方式，更火速地驱动数据防护，KY开元技术研发团队深刻解构天生式人为智能、UEBA等各项前沿技术，将AI大模型与数据分类分级场景深度融合，沉淀出多个技术模型
。

在历经多轮尝试、多番能力验证后，KY开元在原有模型基础上拓展升级，迭代出更智能的非结构化数据自动分类分级步骤，擘画数据安全与AI技术融合发展新蓝图
。

该方法的主题是利用NLP技术有效结合无监督进建和监督进建模型，分阶段来实现对非结构化数据的分类分级
。在初期阶段使用无监督进建模型，通过对比进建+聚类的方式对大量的无标签样本进行分类分级，来累积初始的标签样本；之后通过监督进建模型来进一步提升整体分类分级的正确性
。

在无监督进建环节，KY开元技术团队开发了“文本对比进建+KMeans聚类“的方式进行建模
。

无监督对比进建模型自界说伪标签“文本类似”和“文本不类似”来构建正负样本，把自己界说的伪标签当作分类信号来实现建模和训练
。提取模型中央层的了局作为文本向量
。接下来通过对文本向量进行聚类，从而实现无监督分类分级
。

基于NLP的无监督分类分级模型技术优势

该步骤设计了通用的文档解析器，能够急剧对长文档抽取出主题概括
。同时该步骤搭载的基于NLP的无监督对比进建模型，是一种融合AI技术的无监督式文本向量抽取方式，实现的成效是在不监督数据的情况下天生高质量的句子向量
。凭据现实运行数据，在GPU加快下，该步骤可能在1秒以内实现对长文档分类分级
。而正则表白式匹配方式则需10秒以上，效能提升90%.

该模型结构能够直接迁徙到其他业务上：文档解析职能能够扩大到其他文德粪型；模型在设计上各环节解耦，获取到文档向量后能够选取多种方式进行分类分级，并不限于KMeans聚类；对比进建+聚类的结构能够利用在多个业务场景，使用对应的训练数据源即可
。