(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211083234.8
(22)申请日 2022.09.06
(71)申请人 平安科技 (深圳) 有限公司
地址 518033 广东省深圳市福田区福田街
道福安社区益田路5033号平 安金融中
心23楼
(72)发明人 陈海钊
(74)专利代理 机构 北京鸿元知识产权代理有限
公司 11327
专利代理师 袁文婷 张娓娓
(51)Int.Cl.
G06F 16/2458(2019.01)
G06F 16/2455(2019.01)
(54)发明名称
时序数据库 的数据处理方法、 系统、 设备及
存储介质
(57)摘要
本发明涉及大数据处理技术领域, 揭露一种
时序数据库的数据处理方法, 包括: 对上报至时
序数据库的时序数据进行汇聚处理; 根据从预设
规则组件中加载的数据处理规则, 通过第一计算
链和第二计算链对所汇聚的时序数据进行处理;
并将处理后的时序数据传递至数据转发模块; 通
过所述数据转发模块将所述处理后的时序数据
转发至时序数据库。 本发明还涉及区块链技术,
存储文件存储于区块链中。 本发 明通过自定义计
算规则及计算链、 数据审计、 计算恢复, 提供了灵
活且丰富多样的数据上报至数据落库过程中的
计算功能, 能够有效支持大规模的时序数据库集
群的落库处 理。
权利要求书2页 说明书12页 附图3页
CN 115422259 A
2022.12.02
CN 115422259 A
1.一种时序数据库的数据处 理方法, 应用于电子装置, 其特 征在于, 所述方法包括:
对上报至时序数据库的时序数据进行汇聚处 理;
根据从预设规则组件中加载的数据处理规则, 通过第 一计算链和第 二计算链对所汇聚
的时序数据进行处 理; 并将处 理后的时序数据传递至数据转发模块;
通过所述数据转发模块将所述处 理后的时序数据转发至时序数据库。
2.根据权利要求1所述的时序 数据库的数据处理方法, 其特征在于, 在对上报至时序 数
据库的时序数据进行汇聚处 理后, 对所汇聚的时序数据进行多路分发并行处 理; 其中,
在每一路处理中, 均根据从预设规则组件中加载的数据处理规则, 通过第一计算链和
第二计算链对所汇聚的时序数据进行处 理。
3.根据权利要求2所述的时序 数据库的数据处理方法, 其特征在于, 所述上报的时序 数
据的格式为: 表+标签+时间戳+值;
在对所汇聚的时序数据进行多路分发并行处理的过程中, 按照所述 时序数据的表名进
行分发。
4.根据权利要求1所述的时序 数据库的数据处理方法, 其特征在于, 所述预设规则组件
中包括自定义的计算 规则, 以及第一计算链、 第二计算链的组成; 其中,
所述第一计算链、 第二计算链中均配置有至少一个计算规则, 且所述计算规则在所述
第一计算链、 第二计算链中自由组合。
5.根据权利要求4所述的时序 数据库的数据处理方法, 其特征在于, 所述计算规则的条
目包括名字、 类型、 规则范围、 触发条件、 触发效果、 表达式、 数据流向; 其中,
所述名字用于 定义计算 规则的身份/ID;
所述类型用于表示所述计算 规则的计算类别;
所述规则范围用于限定所述计算 规则所涉及的预设格式的时序数据的具体字段;
所述触发条件、 触发效果与所述计算 规则的类型相关联;
所述表达式为所述计算 规则需要的特殊 参数;
所述数据流向表示所述计算 规则的结果 流向。
6.根据权利要求4所述的时序 数据库的数据处理方法, 其特征在于, 根据从预设规则组
件中加载的数据 处理规则, 通过第一计算链和第二计算链对所汇 聚的时序数据进行处理,
包括:
从所述预设规则组件同步计算规则及计算链, 并根据所同步的计算规则及计算链更新
所述第一计算链、 第二计算链的计算 规则;
基于所述第一计算链, 对所汇聚的时序数据进行计算处理, 并将处理后的数据传递给
数据转发模块、 数据缓存 模块;
基于所述第 二计算链, 对所述数据缓存模块中缓存的经所述第 一计算链 处理的数据进
行计算处 理, 并将处 理结果传递给 所述数据转发模块。
7.根据权利要求6所述的时序数据库的数据处 理方法, 其特 征在于,
基于所述第一计算链, 对所汇聚的时序数据进行的计算处理包括数据规范校验、 空数
据校验、 时间戳校验、 标签 变更;
基于所述第 二计算链, 对所述数据缓存模块中缓存的经所述第 一计算链 处理的数据进
行的计算处 理包括聚合计算、 变化 率计算、 单位换算、 跨表计算、 分流。权 利 要 求 书 1/2 页
2
CN 115422259 A
28.根据权利要求6所述的时序 数据库的数据处理方法, 其特征在于, 在基于所述第 一计
算链, 对所汇聚的时序数据进行计算处 理后, 还包括:
对经所述第一计算链处理后的数据进行过滤处理, 并将过滤掉的数据传递给审计模
块; 其中,
所述过滤所涉及的校验类的规则包括数据规范 校验、 空数据校验、 时间戳校验。
9.根据权利要求8所述的时序 数据库的数据处理方法, 其特征在于, 所述审计模块用于
对所述第一计算链过 滤掉的数据进行收集处 理, 所述收集处 理包括:
确定审计周期; 其中, 设当前时间为CT, 延迟时间为LT, 时间间隔为R, 上次结束时间为
ET, 当CT>=ET+R+LT时, 则设ST=ET, ET=ST+R, 确定审计周期为时间窗口[ ST,ET);
根据所述审计周期定时对所述第一计算链过 滤掉的数据进行聚合处 理。
10.根据权利要求9所述的时序数据库的数据处理方法, 其特征在于, 所述聚合处理包
括: 按所述时间窗口, 对所述第一计算链过滤掉的数据序列、 过滤原因进行聚合和数量统
计, 并加上field记录过 滤原因。
11.根据权利要求4所述的时序数据库的数据处理方法, 其特征在于, 从所述预设规则
组件同步计算规则及计算链, 并根据所同步的计算规则及计算链更新所述第一计算链、 第
二计算链的计算 规则, 包括:
从所述预设规则组件加载计算规则及计算链, 所述计算链包括第 一计算链和第 二计算
链;
根据所加载的计算 规则及计算链生成计算链路;
根据预设的定时查询周期定期查询所述预设规则组件, 以根据 所述计算规则及计算链
的更新更新所述计算链路的规则。
12.一种时序数据库的数据处 理系统, 其特 征在于, 包括:
时序数据汇聚单 元, 用于对上报至时序数据库的时序数据进行汇聚处 理;
数据处理单元, 用于从预设规则组件中加载的数据处理规则, 通过第一计算链和第二
计算链对所汇聚的时序数据进行处 理; 并将处 理后的时序数据传递至数据转发模块;
落库单元, 用于通过 所述数据转发模块将所述处 理后的时序数据转发至时序数据库。
13.一种电子设备, 其特 征在于, 所述电子设备包括:
至少一个处 理器; 以及,
与所述至少一个处 理器通信连接的存 储器; 其中,
所述存储器存储有可被所述至少一个处理器执行的指令, 所述指令被所述至少一个处
理器执行, 以使所述至少一个处理器能够执行如权利要求1至11中任一所述的时序数据库
的数据处 理方法的步骤。
14.一种计算机可读存储介质, 存储有计算机程序, 其特征在于, 所述计算机程序被处
理器执行时实现如权利要求1至1 1中任一所述的时序数据库的数据处 理方法中的步骤。权 利 要 求 书 2/2 页
3
CN 115422259 A
3
专利 时序数据库的数据处理方法、系统、设备及存储介质
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:34:15上传分享