(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211063189.X (22)申请日 2022.08.31 (71)申请人 广东工业大 学 地址 510000 广东省广州市东 风东路729号 (72)发明人 陈平华　徐康业　 (74)专利代理 机构 长沙轩荣专利代理有限公司 43235 专利代理师 张慧敏 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/28(2019.01) G06Q 40/00(2012.01) (54)发明名称 一种海量金融时序数据的动态关联关系实 时计算方法 (57)摘要 本发明公开了一种海量金融时序数据的动 态关联关系实时计算方法， 其方法步骤包括： 数 据采集， 根据业务需求确定业务 关联的数据源与 字段信息， 进行数据采集； 数据预处理， 根据业务 需求对采集的数据预处理， 得到业务所需数据 集； 构建时 ‑空‑数据关联关系图模型； 接受业务 请求， 解析请求内容， 提取特征信息； 基于 所提取 的业务请求特征信息， 调整资源配置实现运行效 率最大化； 运行计算任务， 获得计算结果。 本发明 通过时‑空‑数据关联关系图模型， 对金融时序数 据包含的特征信息与关联关系信息进行高效组 织， 同时对业务请求所包含特征信息解析， 动态 自适应调整资源配置， 实现运行效率最大化， 高 效地完成海量金融时序数据的动态关联关系实 时计算任务。 权利要求书2页 说明书6页 附图1页 CN 115391428 A 2022.11.25 CN 115391428 A 1.一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于包括以下步骤： 步骤1： 数据采集； 根据业务需求确定与业务相关联的数据源， 确定所需字段信息， 进行 数据采集； 步骤2： 数据预处理； 根据业务需求， 将步骤1采集到的数据进行数据预处理， 包括数据 清洗、 聚合 等操作， 得到业 务所需数据集； 步骤3： 构 建时‑空‑数据关联关系图模型； 基于步骤2所得的数据集， 构建时 ‑空‑数据关 联关系图模型； 步骤4： 接受业务请求并解析； 接受并对业务请求内容进行解析， 确认请求所涉及的特 征信息； 步骤5： 提取特征信息， 调整资源配置； 提取业务请求与其所涉及数据范围中的特征信 息， 并根据特 征信息进行资源配置的调整实现运行效率 最大化； 步骤6： 运行计算任务， 获得计算结果； 基于所接受的业务请求， 运行相应的计算任务， 得到计算结果。 2.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤1中， 所述数据采集的具体步骤为： 根据业务需求确定与业务相关联的数据源与字段信息； 具体来说， 利用数据采集工具， 实时采集相关联的海量数据库或数据 表等数据源中存储的数据， 并将采集到的数据发送至 消息队列中等待下一步处理； 同时， 通过预先设置自定义的调 度计划， 自动地 获取相关数据 源中存储的数据； 相比于批处理计算框架， 流式实时计算框架的延时可低至毫秒级， 吞吐量 可达上亿 级别， 同时支持按时间顺序处 理， 适用于金融时序数据的采集、 分析与处 理。 3.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤2中， 所述数据预处 理的具体步骤为： 对消息队列中输出的数据， 实时且依次地进行数据清洗， 包括过滤， 去重等操作， 尽可 能地降低数据损失， 提高数据的质量， 保证数据的正确性， 提高所构建模 型的准确性； 另外， 根据业务需求， 采用不同的聚合算法基于不同时间切片对清洗后的数据进行聚合计算； 其 中， 时间切片指把连续的时间按照某个时间单位(如每天、 每小时等)进 行切割， 形成的一系 列固定长度的时间窗口； 所有数据根据其约定的时间属 性字段的值(如交易时间等)， 分配 到对应的时间窗口内； 时间窗口内的数据根据业务要求使用相应的聚合算法进行聚合， 计 算该时间窗口对应的聚合值， 并以键值的形式进行表示； 同时， 利用如Apriori等机器学习 关联分析算法， 对清洗后的数据进 行关联关系分析， 得到 关联关系分析结果， 并以关联键值 的形式进行表示； 将清洗后的数据与相应聚合值以及关联分析结果进行合并， 组成模型构 建数据。 4.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤3中， 所述构建时 ‑空‑数据关联关系图模型的具体步骤为： 根据所获得的模型构建数据， 基于其数据与其相应的属性特征， 生成相应的图节点， 包 括实体节点、 特征节 点、 数据节点等， 待节 点生成完成， 将节点进 行关联， 共同组成数据关联 关系子图模型； 每个数据都附带着其对应的时间信息与 空间信息， 依据其数据节点与其相 应的属性特征， 计算其相应的时间信息与空间信息， 并依据时间信息与空间信息生成相对 应的时间节点与空间节点； 基于所生成的时间节点与空间节点， 分别构建时间关联关系子权　利　要　求　书 1/2 页 2 CN 115391428 A 2图模型与空间关联关系子图模型； 根据时间节点、 空间节点与数据节点之间存在的关联关 系， 将所得的数据关联关系子图模型与时间关联关系子图模型与空间关联关系子图模型建 立连接， 进行关联， 构建时 ‑空‑数据关联关系图模型。 5.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤4中， 所述接受业 务请求并解析的具体步骤为： 通过命令行或程序接口等形式接受业务请求， 并对请求内容进行解析， 确定该业务请 求对应的请求主体与请求类型等信息； 从构建好的时 ‑空‑数据关联关系图模型中确定该业 务请求所 涉及的数据范围。 6.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤5中， 所述 提取特征信息， 调整资源配置的具体步骤为： 提取业务请求中所包含的特征信 息与所涉及数据 范围中包含的特征信 息； 根据业务请 求与其所涉及数据范围中的特征信息， 进 行资源配置的调整， 如选取合适的缓存 更新算法、 利用更为高效的缓存更新算法将目标数据范围内的数据在缓存节点上进 行缓存， 同时调整 存储节点个数， 实现运行效率的最大化； 另外， 对服务器的实际资源使用情况进行实时监 测， 若出现指标异常等情况， 进 行相应的调整， 分配对应负载压力较轻的服务器执行计算任 务， 以实现对资源进行最大化利用， 实现运行效率的最大化。 7.根据权利要求1所述的一种海量金融时序数据的动态关联关系实时计算方法， 其特 征在于步骤6中， 所述 运行计算任务， 获得计算结果的具体步骤为： 完成相应的资源配置后， 运行业务请求相应的计算任务， 获得计算结果， 则为对应业务 请求的结果。权　利　要　求　书 2/2 页 3 CN 115391428 A 3