(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211186174.2 (22)申请日 2022.09.27 (71)申请人 东北大学 地址 110167 辽宁省沈阳市和平区文化路3 号巷11号 申请人 北京奥星贝斯科技有限公司 (72)发明人 张济鹏　徐泉清　聂铁铮　王国平　 申德荣　杨传辉　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/2458(2019.01) G06F 16/2457(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种数据查询方法、 装置、 设备及可读存储 介质 (57)摘要 本说明书公开了一种数据查询方法、 装置、 设备及可读存储介质， 针对目标数据库生成奖励 矩阵， 通过预先训练的神经网络预测当前状态执 行各候选动作得到的查询结果的基数确定奖励 值， 并根据预测出的奖励值更新奖励矩阵， 以便 在接收到 数据查询请求时， 根据目标查询语句中 包含的各目标表， 从更新后的奖励 矩阵中确定各 目标表的连接顺序， 并以该连接顺序执行目标查 询语句得到查询结果。 可见， 通过神经网络得到 的查询结果的基数确定出以当前状态执行各候 选动作的奖励值， 以查询结果的基数作为选择数 据库中表的连接顺序的反馈， 不会受到执行数据 查询的硬件环 境的影响， 实现了在保证准确度的 前提下， 降低了时间成本的目的。 权利要求书3页 说明书16页 附图4页 CN 115525675 A 2022.12.27 CN 115525675 A 1.一种数据查询方法， 所述方法包括： 针对目标数据库生成奖励矩阵， 所述奖励矩阵中包含表征不同状态下执行不同动作的 奖励值， 所述状态为已执 行的动作的顺序， 所述动作为 查询所述目标 数据库中的一个表； 确定当前状态， 并根据所述当前状态确定 至少一个候选动作； 针对每个候选动作， 通过预先训练 的神经网络预测在所述当前状态下执行该候选动作 的奖励值， 其中， 根据所述已执行的动作以及所述候选动作查询到的查询结果的基数越少， 奖励值越大； 根据确定出的奖励值更新所述奖励矩阵， 并根据 更新后的奖励矩阵从各候选动作中选 择目标动作， 将所述目标动作作为已执行的动作， 并重新确定 当前状态， 根据重新确定的当 前状态继续确定候选动作， 直至 达到预设结束条件为止， 确定得到目标 奖励矩阵； 响应于目标查询语句， 确定所述目标查询语句中包 含的若干目标表； 根据所述目标奖励矩阵， 确定所述目标查询语句查询各目标表的顺序， 并执行所述目 标查询语句， 得到查询结果。 2.如权利要求1所述的方法， 预 先训练神经网络， 具体包括： 根据所述目标 数据库生成查询语句， 将所述 查询语句中包 含的各动作 作为训练样本； 在所述目标数据库中执行所述查询语句， 得到所述训练样本在所述目标数据库中的查 询结果的基数， 作为所述训练样本的标签； 将所述训练样本输入待训练 的神经网络， 得到所述神经网络输出的所述训练样本的预 测基数； 以所述预测基数与 所述训练样本的标签之间的差异最小化为训练目标， 训练所述神经 网络。 3.如权利要求1所述的方法， 通过预先训练的神经网络预测在所述当前状态下执行该 候选动作的奖励值， 具体包括： 当所述当前状态存在上一状态时， 则根据所述奖励矩阵， 确定在所述上一状态下执行 动作所能获得的最大奖励值， 并根据所述最大奖励值以及所述神经网络预测在所述当前状 态下执行该候选动作的奖励值， 确定该候选动作的奖励值； 当所述当前状态不存在上一状态时， 则通过所述神经网络预测在所述当前状态下执行 该候选动作的奖励值。 4.如权利要求1所述的方法， 根据更新后的奖励矩阵从各候选动作中选择目标动作， 具 体包括： 根据更新后的奖励矩阵中在所述当前状态下分别执行所述各候选动作的奖励值， 确定 奖励值最大的候选动作为目标动作。 5.如权利要求1所述的方法， 所述预设结束条件为所述奖励矩阵的更新次数达到预设 次数。 6.如权利要求1所述的方法， 根据所述当前状态确定 至少一个候选动作， 具体包括： 判断所述当前状态是否包 含所有动作； 若是， 将初始状态作为当前状态， 并根据所述奖励矩阵和所述当前状态确定至少一个 候选动作； 其中， 所述初始状态为没有已执 行的动作； 若否， 根据所述当前状态， 在未执行的动作中确定在所述当前状态下的至少一个候选权　利　要　求　书 1/3 页 2 CN 115525675 A 2动作。 7.如权利要求6所述的方法， 根据所述奖励矩阵和所述当前状态确定至少一个候选动 作， 具体包括： 根据所述奖励矩阵， 确定所述奖励矩阵的各状态的首位动作； 判断是否存在未作为首位动作的动作； 若是， 则根据未作为首位动作的动作， 确定候选动作； 若否， 根据所述奖励矩阵， 确定首位动作相同的各状态的奖励更新 次数， 作为各首位动 作的更新次数， 按照各 首位动作的更新次数从小到大的顺序， 确定候选动作。 8.如权利要求1所述的方法， 根据所述当前状态确定 至少一个候选动作， 具体包括： 获取所述目标 数据库的表查询记录， 确定各动作的执 行频率； 根据执行频率高于预设阈值的动作， 确定候选动作。 9.如权利要求8所述的方法， 根据各目标表， 根据所述目标奖励矩阵， 确定所述目标查 询语句查询各目标表的顺序， 具体包括： 当所述目标查询语句包含的目标表不属于任何候选动作查询 的表时， 根据所述目标 表， 确定查询所述目标表的动作， 根据确定出的动作更新 候选动作； 根据更新后的候选动作， 更新所述目标 奖励矩阵； 根据更新后的目标 奖励矩阵， 确定所述目标查询语句查询各目标表的顺序。 10.一种数据查询装置， 包括： 生成模块， 用于针对目标数据库生成奖励矩阵， 所述奖励矩阵中包含表征不同状态下 执行不同动作的奖励值， 所述状态为已执行 的动作的顺序， 所述动作为查询所述 目标数据 库中一个表； 第一确定模块， 用于确定当前状态， 并根据所述当前状态确定 至少一个候选动作； 第二确定模块， 用于针对每个候选动作， 通过预先训练的神经网络预测在所述当前状 态下执行该候选动作的奖励值， 其中， 根据所述已执行 的动作以及所述候选动作查询 到的 查询结果的基数越少， 奖励值越大； 更新模块， 用于根据确定出的奖励值更新所述奖励矩阵， 并根据更新后的奖励矩阵从 各候选动作中选择目标动作， 将所述目标动作作为已执行的动作， 并重新确定当前状态， 根 据重新确定的当前状态继续确定候选动作， 直至达到预设结束条件为止， 确定得到目标奖 励矩阵； 第三确定模块， 用于响应于目标查询语句， 确定所述目标查询语句中包含的若干目标 表； 执行模块， 用于根据 所述目标奖励矩阵， 确定所述目标查询语句查询各目标表的顺序， 并执行所述目标查询语句， 得到查询结果。 11.如权利要求10所述的装置， 所述装置还 包括： 训练模块， 具体用于根据所述目标数据库生成查询语句， 将所述查询语句中包含的各 动作作为训练样本； 在所述 目标数据库中执行所述查询语句， 得到所述训练样本在所述 目 标数据库中的查询结果的基数， 作为所述训练样本的标签； 将所述训练样本输入待训练的 神经网络， 得到所述神经网络输出 的所述训练样本的预测基数； 以所述预测基数与所述训 练样本的标签之间的差异最小化 为训练目标， 训练所述神经网络 。权　利　要　求　书 2/3 页 3 CN 115525675 A 3