(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154008.4 (22)申请日 2022.09.21 (71)申请人 北京爱奇艺科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 11层1101 (72)发明人 潘迪生　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 石鸣宇 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/2453(2019.01) G06F 16/248(2019.01) (54)发明名称 负样本确定方法、 装置、 电子设备及可读存 储介质 (57)摘要 本申请提供了一种负样本确定方法、 装置、 电子设备及可读存储介质， 属于大数据技术领 域。 本申请通过， 获取搜索词对应的查询列表， 所 述查询列表中包括多个查询词； 在多个所述查询 词中确定正样本及所述正样本在所述查询列表 中的目标排序位置； 针对所述查询列表中每个排 序位置在所述目标排序位置 之后的查询词， 按照 所述查询词对应的选取策略在预设集合中选取 对应的目标词， 所述预设集合中包含 所述查询词 和召回池中的召回词； 将所述查询列表中排序位 置在所述目标排序位置之前的查询词， 以及， 每 个所述目标词， 确定为所述搜索词的负样本。 如 此， 提高了优化模型的负样本的多样性， 从而提 高对推荐 模型的优化效果。 权利要求书2页 说明书9页 附图2页 CN 115391430 A 2022.11.25 CN 115391430 A 1.一种负 样本确定方法， 其特 征在于， 所述方法包括： 获取搜索词对应的查询列表， 所述 查询列表中包括多个查询词； 在多个所述 查询词中确定正样本及所述 正样本在所述 查询列表中的目标排序位置； 针对所述查询列表中每个排序位置在所述目标排序位置之后的查询词， 按照所述查询 词对应的选取策略在预设集合中选取对应的目标词， 所述预设集合中包含 所述查询词和召 回池中的召回词； 将所述查询列表中排序位置在所述目标排序位置之前的查询词， 以及， 每个所述目标 词， 确定为所述搜索词的负 样本。 2.根据权利要求1所述的方法， 其特征在于， 所述按照所述查询词对应的选取策略在预 设集合中选取对应的目标词， 包括： 基于所述查询词在所述查询列表中的排序位置确定第 一选取概率和第 二选取概率， 其 中， 所述第一选取概率为将所述查询词选取为所述 目标词的概率， 所述第二选取概率为将 所述召回词选取为所述目标词的概 率； 按照所述第一选取概 率和所述第二选取概 率， 在所述预设集 合中选取 所述目标词。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 确定预设时间段内是否基于所述 查询词进行 过查询； 在预设时间段内未选取过所述查询词作为所述搜索词的负样本的情况下， 执行所述基 于所述查询词在所述查询列表中的排序位置确定第一选取概率和第二选取概率至按照所 述第一选取概 率和所述第二选取概 率， 在所述预设集 合中选取 所述目标词的步骤； 在预设时间段内选取过所述查询词作为所述搜索词的负样本的情况下， 将所述查询词 确定为所述目标词。 4.根据权利要求1所述的方法， 其特征在于， 所述在多个所述查询词中确定正样本， 包 括： 获取所述搜索词对应的查询指令， 并解析 所述查询指令得到对应的查询词标识； 在多个所述 查询词中， 将所述 查询词标识对应的查询词确定为所述 正样本。 5.根据权利要求1所述的方法， 其特 征在于， 所述获取搜索词对应的查询列表， 包括： 将所述搜索词输入至推荐模型， 以使所述推荐模型输出 所述查询列表。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 利用所述 正样本和所述负 样本训练所述推荐模型， 得到更新模型； 利用所述更新模型 更新所述推荐模型。 7.一种负 样本确定装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取搜索词对应的查询列表， 所述 查询列表中包括多个查询词； 第一确定模块， 用于在多个所述查询词中确定正样本及所述正样本在所述查询列表中 的目标排序位置； 选取模块， 用于针对所述查询列表中每个排序位置在所述目标排序位置之后的查询 词， 按照所述查询词对应的选取策略在预设集合中选取对应的目标词， 所述预设集合中包 含所述查询词和召回池中的召回词； 第二确定模块， 用于将所述查询列表中排序位置在所述目标排序位置之前的查询词， 以及， 每个所述目标词， 确定为所述搜索词的负 样本。权　利　要　求　书 1/2 页 2 CN 115391430 A 28.根据权利要求7 所述的装置， 其特 征在于， 所述选取模块， 具体用于： 基于所述查询词在所述查询列表中的排序位置确定第 一选取概率和第 二选取概率， 其 中， 所述第一选取概率为将所述查询词选取为所述 目标词的概率， 所述第二选取概率为将 所述召回词选取为所述目标词的概 率； 按照所述第一选取概 率和所述第二选取概 率， 在所述预设集 合中选取 所述目标词。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑6任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑6任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115391430 A 3