说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211211145.7 (22)申请日 2022.09.30 (71)申请人 中国人民解 放军陆军 勤务学院 地址 401331 重庆市沙坪坝区大 学城北一 路20号 (72)发明人 曹琦 向群 王文政 钟蔚  李振强  (74)专利代理 机构 重庆棱镜智慧知识产权代理 事务所(普通 合伙) 50222 专利代理师 李兴寰 (51)Int.Cl. G06F 16/2453(2019.01) G06F 16/2455(2019.01) G06F 16/2458(2019.01) (54)发明名称 异构数据库的数据存储 方法、 数据查询方法 及相关装置 (57)摘要 本申请实施例公开了一种异构数据库的数 据存储方法、 异构数据库的数据查询方法及相关 装置。 其中异构数据库的数据存储 方法应用于数 据存储系统, 该数据存储系统包括多个存储索 引、 一个存储索引中包括多个存储节点、 一个存 储节点包括至少一个分片, 每个分片用于存储数 据。 数据存储方法包括: 获取多个数据库内的数 据; 多个数据库中存在至少两个数据库具有不同 的数据存储 结构; 将多个数据库内的数据按照数 据存储系统对应的数据存储结构进行异构数据 整合处理, 并将异构整合处理后的数据存储到数 据存储系统的分片中。 采用本申请实施例, 实现 了对异构数据库中数据统一整合存储, 方便后续 检索, 从而可提高检索效率。 权利要求书2页 说明书14页 附图3页 CN 115544071 A 2022.12.30 CN 115544071 A 1.一种异构数据库的数据存储方法, 其特征在于, 应用于数据存储系统, 所述数据存储 系统包括多个存储索引, 一个存储索引中包括多个存储节点, 一个存储节点包括至少一个 分片, 每个分片用于存 储数据, 所述方法包括: 获取多个数据库内的数据; 所述多个数据库中存在至少两个数据库 具有不同的数据存 储结构; 将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数 据整合处 理, 并将异构整合处 理后的数据存 储到所述数据存 储系统的分片中。 2.如权利要求1所述的方法, 其特征在于, 一个存储索引对应一个数据类型, 所述数据 存储系统对应的数据存储结构包括: 存储索引 ‑存储方式 ‑文档‑字段; 任意一个存储索引对 应的文档是用于记录存 储在所述任意 一个存储索引各个分片中数据包括的各个字段; 将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数 据整合处 理, 并将异构整合处 理后的数据存 储到所述数据存 储系统的分片中, 包括: 针对所述多个数据库中的任意一个数据, 基于所述任意一个数据的数据类型以及每个 存储索引对应的数据类型为所述任意 一个数据确定对应的目标存 储索引; 采用与所述任意一个数据类型相匹配的存储方式将所述任意一个数据存入到所述目 标存储索引的任意一个分片中, 并将所述任意一个数据对应的字段记录在所述目标存储索 引对应的文档中。 3.如权利要求2所述的方法, 其特征在于, 所述任意一个数据类型相匹配的存储方式包 括如下任意 一种或多种: 倒排索引存 储方式、 列式存 储方式以及域 值存储方式。 4.如权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 确定每个存储索引在预设时间段内的使用频率; 若任意一个存储索引在所述预设时间段内的使用频率小于频率阈值, 则获取所述任意 一个存储索引下存 储的数据量; 如果所述任意一个存储索引下的数据量小于数量阈值, 则删除所述存储索引以及存储 在所述存 储索引中的数据。 5.如权利要求1所述的方法, 其特征在于, 每个存储索引的每个节点中的分片随着时间 以及存入每个节点中数据不断增 加; 所述方法还 包括: 针对任意一个存储索引, 若所述任意一个存储索引中的任意一个节点中分片的数量超 过预设分片数量值, 则对所述任意一个节点内的部 分分片进 行合并处理, 得到新的分片, 并 将参与所述合并处理的分片删除; 新的分片中存储的数据量满足预先设置的合并分片数据 量阈值。 6.一种异构数据库的数据查询方法, 其特 征在于, 包括: 获取用户针对数据存储系统输入的数据查询文本; 所述数据存储系统包括多个存储索 引, 一个存储索引包括多个存储节点, 一个存储节点中包括至少一个分片, 每个分片用于存 储数据; 所述数据存储系统用于存储来自多个数据库的数据, 所述多个数据库中存在至少 两个数据库具有不同的数据存储结构; 所述多个数据库中的数据按照权利要求1 ‑5任一项 所述的方法被整合存 储到所述数据存 储系统中; 对所述数据查询文本进行查询关键词分词处理, 并将分词处理得到的分词添加到关键 词序列;权 利 要 求 书 1/2 页 2 CN 115544071 A 2基于所述关键词序列在所述数据存储系统的多个存储索引中进行检索, 得到检索结 果。 7.如权利要求6所述的方法, 其特征在于, 基于所述关键词序列在所述数据存储系统的 多个存储索引中进行检索, 得到检索结果, 包括: 确定用户所要查询数据的目标数据类型以及目标存储方式, 并确定与 所述目标数据类 型对应的存 储索引; 在所述与所述目标数据类型对应的存储索引下各个节点中, 按照所述目标存储方式对 应的查询方式检测所述关键词序列中各个关键词, 得到并输出检索结果。 8.如权利要求6所述的方法, 其特征在于, 基于所述关键词序列在所述数据存储系统的 多个存储索引中进行检索, 得到检索结果, 包括: 在所述多个存储索引中检索包括所述关键词序列中任意一个或多个分词的数据, 并将 与所述关键词序列相匹配的数据以及该 数据所在的存 储索引标识作为检索结果进行输出。 9.一种异构数据库的数据存储装置, 其特征在于, 应用于数据存储系统, 所述数据存储 系统包括多个存储索引, 一个存储索引中包括多个存储节点, 一个存储节点包括至少一个 分片, 每个分片用于存 储数据, 所述装置包括: 获取单元, 用于获取多个数据库内的数据; 所述多个数据库中存在至少两个数据库具 有不同的数据存 储结构; 处理单元, 用于将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结 构进行异构数据整合处理, 并将异构整合处理后的数据存储到所述数据存储系统的分片 中。 10.一种异构数据库的数据查询装置, 其特 征在于, 包括: 获取单元, 用于获取用户针对数据存储系统输入的数据查询文本; 所述数据存储系统 包括多个存储索引, 一个存储索引包括多个存储节点, 一个存储节点中包括至少一个分片, 每个分片用于存储数据; 所述存储系统用于存储来自多个数据库的数据, 所述多个数据库 中存在至少两个数据库具有不同的数据存储结构; 所述多个数据库中的数据按照权利要求 1‑5任一项所述的方法被整合存 储到所述数据存 储系统中; 处理单元, 用于对所述数据查询文本进行查询关键词分词处理, 并将分词处理得到的 分词添加到关键词序列; 所述处理单元, 还用于基于所述关键词序列在所述数据存储系统 的多个存储索引中进 行检索, 得到并输出检索结果。权 利 要 求 书 2/2 页 3 CN 115544071 A 3

PDF文档 专利 异构数据库的数据存储方法、数据查询方法及相关装置

文档预览
中文文档 20 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 异构数据库的数据存储方法、数据查询方法及相关装置 第 1 页 专利 异构数据库的数据存储方法、数据查询方法及相关装置 第 2 页 专利 异构数据库的数据存储方法、数据查询方法及相关装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:34:07上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。