说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083234.8 (22)申请日 2022.09.06 (71)申请人 平安科技 (深圳) 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 陈海钊  (74)专利代理 机构 北京鸿元知识产权代理有限 公司 11327 专利代理师 袁文婷 张娓娓 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/2455(2019.01) (54)发明名称 时序数据库 的数据处理方法、 系统、 设备及 存储介质 (57)摘要 本发明涉及大数据处理技术领域, 揭露一种 时序数据库的数据处理方法, 包括: 对上报至时 序数据库的时序数据进行汇聚处理; 根据从预设 规则组件中加载的数据处理规则, 通过第一计算 链和第二计算链对所汇聚的时序数据进行处理; 并将处理后的时序数据传递至数据转发模块; 通 过所述数据转发模块将所述处理后的时序数据 转发至时序数据库。 本发明还涉及区块链技术, 存储文件存储于区块链中。 本发 明通过自定义计 算规则及计算链、 数据审计、 计算恢复, 提供了灵 活且丰富多样的数据上报至数据落库过程中的 计算功能, 能够有效支持大规模的时序数据库集 群的落库处 理。 权利要求书2页 说明书12页 附图3页 CN 115422259 A 2022.12.02 CN 115422259 A 1.一种时序数据库的数据处 理方法, 应用于电子装置, 其特 征在于, 所述方法包括: 对上报至时序数据库的时序数据进行汇聚处 理; 根据从预设规则组件中加载的数据处理规则, 通过第 一计算链和第 二计算链对所汇聚 的时序数据进行处 理; 并将处 理后的时序数据传递至数据转发模块; 通过所述数据转发模块将所述处 理后的时序数据转发至时序数据库。 2.根据权利要求1所述的时序 数据库的数据处理方法, 其特征在于, 在对上报至时序 数 据库的时序数据进行汇聚处 理后, 对所汇聚的时序数据进行多路分发并行处 理; 其中, 在每一路处理中, 均根据从预设规则组件中加载的数据处理规则, 通过第一计算链和 第二计算链对所汇聚的时序数据进行处 理。 3.根据权利要求2所述的时序 数据库的数据处理方法, 其特征在于, 所述上报的时序 数 据的格式为: 表+标签+时间戳+值; 在对所汇聚的时序数据进行多路分发并行处理的过程中, 按照所述 时序数据的表名进 行分发。 4.根据权利要求1所述的时序 数据库的数据处理方法, 其特征在于, 所述预设规则组件 中包括自定义的计算 规则, 以及第一计算链、 第二计算链的组成; 其中, 所述第一计算链、 第二计算链中均配置有至少一个计算规则, 且所述计算规则在所述 第一计算链、 第二计算链中自由组合。 5.根据权利要求4所述的时序 数据库的数据处理方法, 其特征在于, 所述计算规则的条 目包括名字、 类型、 规则范围、 触发条件、 触发效果、 表达式、 数据流向; 其中, 所述名字用于 定义计算 规则的身份/ID; 所述类型用于表示所述计算 规则的计算类别; 所述规则范围用于限定所述计算 规则所涉及的预设格式的时序数据的具体字段; 所述触发条件、 触发效果与所述计算 规则的类型相关联; 所述表达式为所述计算 规则需要的特殊 参数; 所述数据流向表示所述计算 规则的结果 流向。 6.根据权利要求4所述的时序 数据库的数据处理方法, 其特征在于, 根据从预设规则组 件中加载的数据 处理规则, 通过第一计算链和第二计算链对所汇 聚的时序数据进行处理, 包括: 从所述预设规则组件同步计算规则及计算链, 并根据所同步的计算规则及计算链更新 所述第一计算链、 第二计算链的计算 规则; 基于所述第一计算链, 对所汇聚的时序数据进行计算处理, 并将处理后的数据传递给 数据转发模块、 数据缓存 模块; 基于所述第 二计算链, 对所述数据缓存模块中缓存的经所述第 一计算链 处理的数据进 行计算处 理, 并将处 理结果传递给 所述数据转发模块。 7.根据权利要求6所述的时序数据库的数据处 理方法, 其特 征在于, 基于所述第一计算链, 对所汇聚的时序数据进行的计算处理包括数据规范校验、 空数 据校验、 时间戳校验、 标签 变更; 基于所述第 二计算链, 对所述数据缓存模块中缓存的经所述第 一计算链 处理的数据进 行的计算处 理包括聚合计算、 变化 率计算、 单位换算、 跨表计算、 分流。权 利 要 求 书 1/2 页 2 CN 115422259 A 28.根据权利要求6所述的时序 数据库的数据处理方法, 其特征在于, 在基于所述第 一计 算链, 对所汇聚的时序数据进行计算处 理后, 还包括: 对经所述第一计算链处理后的数据进行过滤处理, 并将过滤掉的数据传递给审计模 块; 其中, 所述过滤所涉及的校验类的规则包括数据规范 校验、 空数据校验、 时间戳校验。 9.根据权利要求8所述的时序 数据库的数据处理方法, 其特征在于, 所述审计模块用于 对所述第一计算链过 滤掉的数据进行收集处 理, 所述收集处 理包括: 确定审计周期; 其中, 设当前时间为CT, 延迟时间为LT, 时间间隔为R, 上次结束时间为 ET, 当CT>=ET+R+LT时, 则设ST=ET, ET=ST+R, 确定审计周期为时间窗口[ ST,ET); 根据所述审计周期定时对所述第一计算链过 滤掉的数据进行聚合处 理。 10.根据权利要求9所述的时序数据库的数据处理方法, 其特征在于, 所述聚合处理包 括: 按所述时间窗口, 对所述第一计算链过滤掉的数据序列、 过滤原因进行聚合和数量统 计, 并加上field记录过 滤原因。 11.根据权利要求4所述的时序数据库的数据处理方法, 其特征在于, 从所述预设规则 组件同步计算规则及计算链, 并根据所同步的计算规则及计算链更新所述第一计算链、 第 二计算链的计算 规则, 包括: 从所述预设规则组件加载计算规则及计算链, 所述计算链包括第 一计算链和第 二计算 链; 根据所加载的计算 规则及计算链生成计算链路; 根据预设的定时查询周期定期查询所述预设规则组件, 以根据 所述计算规则及计算链 的更新更新所述计算链路的规则。 12.一种时序数据库的数据处 理系统, 其特 征在于, 包括: 时序数据汇聚单 元, 用于对上报至时序数据库的时序数据进行汇聚处 理; 数据处理单元, 用于从预设规则组件中加载的数据处理规则, 通过第一计算链和第二 计算链对所汇聚的时序数据进行处 理; 并将处 理后的时序数据传递至数据转发模块; 落库单元, 用于通过 所述数据转发模块将所述处 理后的时序数据转发至时序数据库。 13.一种电子设备, 其特 征在于, 所述电子设备包括: 至少一个处 理器; 以及, 与所述至少一个处 理器通信连接的存 储器; 其中, 所述存储器存储有可被所述至少一个处理器执行的指令, 所述指令被所述至少一个处 理器执行, 以使所述至少一个处理器能够执行如权利要求1至11中任一所述的时序数据库 的数据处 理方法的步骤。 14.一种计算机可读存储介质, 存储有计算机程序, 其特征在于, 所述计算机程序被处 理器执行时实现如权利要求1至1 1中任一所述的时序数据库的数据处 理方法中的步骤。权 利 要 求 书 2/2 页 3 CN 115422259 A 3

PDF文档 专利 时序数据库的数据处理方法、系统、设备及存储介质

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 时序数据库的数据处理方法、系统、设备及存储介质 第 1 页 专利 时序数据库的数据处理方法、系统、设备及存储介质 第 2 页 专利 时序数据库的数据处理方法、系统、设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:34:15上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。