(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210005653.3 (22)申请日 2022.01.04 (71)申请人 四川新网银行股份有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都高新区吉泰三路8 号1栋1单 元26楼1-8号 (72)发明人 易磊　杨嘉　赵金铃　应翔飞　 (74)专利代理 机构 成都行之专利代理事务所 (普通合伙) 51220 代理人 张杨 (51)Int.Cl. G06F 40/186(2020.01) G06F 40/216(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01)G06F 16/33(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的短信模板生 成方法、 系 统及电子装置 (57)摘要 本发明公开了一种基于深度学习的短信模 板生成方法、 系统及电子装置， 方法包括以下步 骤： 获取短信文本的待压缩短信文本， 并对所述 待压缩短信文本进行预处理； 将预处理后的所述 待压缩短信文本输入至训练好的Transformer模 型中， 以获取压缩短信文本； 获取所述压缩短信 文本的语句通顺概率矩阵以及词频概率矩阵； 根 据所述语句通顺概率矩 阵以及所述词频概率矩 阵从所述压缩短信文本中选取最佳压缩短信文 本。 本发明的目的在于提供一种基于深度学习的 短信模板生成方法、 系统及电子装置， 通过构建 缩写模型生成大量与原文相似的句子， 再通过分 类模型， 选出符合语句通顺性和字数尽可能少的 句子作为输出， 以此达 到生成短信模板的目的。 权利要求书3页 说明书7页 附图1页 CN 114330276 A 2022.04.12 CN 114330276 A 1.一种基于深度学习的短信模板生成方法， 其特 征在于， 包括以下步骤： 获取短信文本的待压缩短信文本， 并对所述待压缩短信文本进行 预处理； 其中， 所述待压缩短信文本为删除标注内容后的所述短信文本， 所述标注内容为预先 标注在所述短信文本中的内容； 将预处理后的所述待压缩短信文本输入至训练好的Transformer模型中， 以获取压缩 短信文本； 获取所述压缩短信文本的语句通 顺概率矩阵以及词频概 率矩阵； 根据所述语句通顺概率矩阵以及所述词频概率矩阵从所述压缩短信文本中选取最佳 压缩短信文本 。 2.根据权利要求1所述的一种基于深度 学习的短信模板生成方法， 其特征在于， 获取所 述语句通 顺概率矩阵包括以下子步骤： 在每一条 所述压缩短信文本的文本前插 入“[CLS]”标记； 将添加了“[CLS]”标记的所述压缩短信文本输入至训练好的BERT分类模型中， 以获取 每一条所述压缩短信文本的语句通顺概率矩阵[P1(0)， P1(1)]， P1(0)表示语句通顺的概率， P1(1)表示语句不 通顺的概率。 3.根据权利要求1所述的一种基于深度 学习的短信模板生成方法， 其特征在于， 获取所 述词频概 率矩阵包括以下子步骤： 对所述压缩短信文本做分词处 理； 统计各个词汇在正类文本中的出现次数和在负类文本中的出现次数； 其中， 所述正类 文本和所述负类文本由训练所述Transformer模型时获取； 根据各个词汇在正类文本中的出现次数和各个词汇在负类文本中的出现次数获取所 述压缩短信文本的词频概 率矩阵[P2(0)， P2(1)]： 其中， P2(0)表示所述压缩 短信文本为所述正类文本的概率， P2(1)表示所述压缩 短信文 本为所述负类文 本的概率， N1表示所述正类文 本中的总词汇数， N2表示所述负类文本中的总 词汇数， count1(wn)表示第n个词汇在所述正类文本中的出 现次数， c ount2(wn)表示第n个词 汇在所述负类文本中的出现次数。 4.根据权利要求1 ‑3中任意一项所述的一种基于深度学习的短信模板生成方法， 其特 征在于， 根据所述语句通顺概率矩阵以及所述词频概率矩阵从所述压缩短信文本中选取最 佳压缩短信文本包括以下子步骤： 获取所述压缩短信文本的评分： S＝P1(0)‑P1(1)+P2(0)‑P2(1) 其中， S表示评分， P1(0)表示语句通顺的概率， P1(1)表示语句不通顺的概率， P2(0)表示 压缩短信文本为 正类文本的概 率， P2(1)表示压缩短信文本为负类文本的概 率； 选择评分最高的所述压缩短信文本作为所述 最佳压缩短信文本 。 5.一种基于深度学习的短信模板生成系统， 其特 征在于， 包括：权　利　要　求　书 1/3 页 2 CN 114330276 A 2第一获取模块， 获取短信文本的待压缩短信文本， 并对所述待压缩短信文本进行预处 理； 其中， 所述待压缩短信文本为删除标注内容后的所述短信文本， 所述标注内容为预先 标注在所述短信文本中的内容； 第二获取模块， 用于将预处理后的所述待压缩短信文本输入至训练好的Transformer 模型中， 以获取压缩短信文本； 第三获取模块， 用于获取 所述压缩短信文本的语句通 顺概率矩阵以及词频概 率矩阵； 选择模块， 用于根据 所述语句通顺概率矩阵以及所述词频概率矩阵从所述压缩短信文 本中选取最佳压缩短信文本 。 6.根据权利要求5所述的一种基于深度 学习的短信模板生成系统， 其特征在于， 所述第 三获取模块包括： 插入单元， 用于在每一条 所述压缩短信文本的文本前插 入“[CLS]”标记； 第一获取单元， 用于将添加了 “[CLS]”标记的所述压缩短信文本输入至训练好的BERT 分类模型中， 以获取每一条所述压缩短信文本的语句通顺概率矩阵[P1(0)， P1(1)]， P1(0)表 示语句通 顺的概率， P1(1)表示语句不 通顺的概率。 7.根据权利要求5所述的一种基于深度 学习的短信模板生成系统， 其特征在于， 所述第 三获取模块包括： 分词单元， 用于所述压缩短信文本做分词处 理； 统计单元， 用于统计各个词汇在正类文本中的出现次数和在负类文本中的出现次数； 其中， 所述 正类文本和所述负类文本由训练所述Transformer模型时获取； 第二获取单元， 用于根据各个词汇在正类文本 中的出现次数和各个词汇在负类文本中 的出现次数获取 所述压缩短信文本的词频概 率矩阵[P2(0)， P2(1)]： 其中， P2(0)表示所述压缩 短信文本为所述正类文本的概率， P2(1)表示所述压缩 短信文 本为所述负类文 本的概率， N1表示所述正类文 本中的总词汇数， N2表示所述负类文本中的总 词汇数， count1(wn)表示第n个词汇在所述正类文本中的出 现次数， c ount2(wn)表示第n个词 汇在所述负类文本中的出现次数。 8.根据权利要求6所述的一种基于深度 学习的短信模板生成系统， 其特征在于， 所述选 择模块包括： 计算单元， 用于获取 所述压缩短信文本的评分： S＝P1(0)‑P1(1)+P2(0)‑P2(1) 其中， S表示评分， P1(0)表示语句通顺的概率， P1(1)表示语句不通顺的概率， P2(0)表示 所述压缩短信文本为 正类文本的概 率， P2(1)表示所述压缩短信文本为负类文本的概 率； 选择单元， 用于选择评分最高的所述压缩短信文本作为所述 最佳压缩短信文本 。 9.一种电子装置， 其特 征在于， 包括处 理器和存 储器； 所述存储器， 用于存 储所述处 理器可执行指令；权　利　要　求　书 2/3 页 3 CN 114330276 A 3