光芒娱乐平台-平台首页本公开提供了变化点识别方法、变化点检测网络的训练方法级装置，涉及图像处理技术领域，尤其涉及智能交通领域。具体实现方案为：基于车道图像确定至少一条车道线对应的子图像；基于所述子图像以及所述子图像对应的至少一张热图，确定不同类型车道线的变化点在所述车道图像中的坐标信息；基于所述变化点的坐标信息在所述车道图像中标识所述变化点。

　　(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114187574 A (43)申请公布日 2022.03.15 (21)申请号 5.2 G06K 9/62 (2022.01) G06F 16/29 (2019.01) (22)申请日 2021.12.08 (71)申请人 北京百度网讯科技有限公司 地址 100089 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 赵松吴彬钟开杨建忠 张通滨卢振 (74)专利代理机构 北京乐知新创知识产权代理 事务所(普通合伙) 11734 代理人 王曌寅 (51)Int.Cl. G06V 20/58 (2022.01) G06V 10/776 (2022.01) G06V 10/30 (2022.01) G06V 10/32 (2022.01) 权利要求书3页 说明书11页 附图6页 (54)发明名称 变化点识别方法、变化点检测网络的训练方 法及装置 (57)摘要 本公开提供了变化点识别方法、变化点检测 网络的训练方法级装置，涉及图像处理技术领 域，尤其涉及智能交通领域。具体实现方案为：基 于车道图像确定至少一条车道线对应的子图像； 基于所述子图像以及所述子图像对应的至少一 张热图，确定不同类型车道线的变化点在所述车 道图像中的坐标信息；基于所述变化点的坐标信 息在所述车道图像中标识所述变化点。 A 4 7 5 7 8 1 4 1 1 N C CN 114187574 A 权利要求书 1/3页 1.一种变化点识别方法，包括： 基于车道图像确定至少一条车道线对应的子图像； 基于所述子图像以及所述子图像对应的至少一张热图，确定不同类型车道线的变化点 在所述车道图像中的坐标信息； 基于所述变化点的坐标信息在所述车道图像中标识所述变化点。 2.根据权利要求1所述的方法，其中，所述基于车道图像确定至少一条车道线对应的子 图像，包括： 检测所述车道图像中至少一条车道线； 确获取每条所述车道线分别对应的外接矩形框； 确定所述车道图像中所述外接矩形框对应的区域，为所述至少一条车道线所述的方法，其中，所述基于所述子图像以及所述子图像对应的至少 一张热图，确定不同类型车道线的变化点在所述车道图像中的坐标信息，包括： 获取所述子图像的第一特征； 基于所述第一特征，获取所述子图像对应的至少一张热图和所述至少一张热图对应的 特征； 基于所述第一特征和所述至少一张热图对应的特征，确定不同类型车道线的变化点在 所述车道图像中的坐标信息。 4.根据权利要求3所述的方法，其中，基于所述第一特征和所述至少一张热图对应的特 征，确定不同类型车道线的变化点在所述车道图像中的坐标信息，包括： 基于变化点检测网络确定所述子图像对应的第一热图和/或所述第一热图对应的特 征； 基于所述第一热图确定不同类型车道线的变化点在所述车道图像中的坐标信息。 5.根据权利要求3所述的方法，其中，基于所述第一特征和所述至少一张热图对应的特 征，确定不同类型车道线的变化点在所述车道图像中的坐标信息，包括： 基于变化点检测网络确定所述子图像对应的第一热图，以及所述第一热图对应的特 征； 将所述第一特征和所述第一热图对应的特征作为所述变化点检测网络的输入，得到所 述变化点检测网络输出的第二热图和/或所述第二热图对应的特征； 以此类推，直至所述变化点检测网络输出第N热图；其中所述第N热图为以所述第一特 征和所述第N‑1热图对应的特征作为所述变化点检测网络的输入得到；N为大于或等于2的 整数； 基于所述变化点检测网络最后输出的第N热图，确定不同类型车道线的变化点在所述 车道图像中的坐标信息。 6.根据权利要求1所述的方法，其中，所述基于所述子图像对应的至少一张热图，确定 不同类型车道图像的变化点之前，所述方法还包括： 对所述子图像进行预处理； 所述预处理至少包括以下之一：去除所述子图像中的噪声、对所述子图像进行归一化 处理。 2 2 CN 114187574 A 权利要求书 2/3页 7.根据权利要求1所述的方法，其中，所述确定不同类型车道线的变化点在所述车道图 像中的坐标信息之后，所述方法还包括： 更新所述车道图像中车道线的变化点在电子地图中的坐标信息。 8.一种变化点检测网络的训练方法，包括： 将车道样本图像中至少一条车道线对应的子样本图像输入至所述变化点检测网络，获 取所述子样本图像对应的至少一个样本热图，和/或所述至少一个样本热图中车道线的变 化点的预测坐标信息； 基于所述至少一个样本热图中车道线的变化点的预测坐标信息与所述子样本图像中 车道线的变化点的样本坐标信息确定至少一个损失值； 基于所述至少一个损失值之和，调整所述变化点检测网络的参数，直至所述至少一个 损失值之和不变，确认所述变化点检测网络训练完成。 9.根据权利要求8所述的方法，其中，所述将车道样本图像中至少一条车道线对应的子 样本图像输入至所述变化点检测网络，获取所述子样本图像对应的至少一个热图，和/或所 述至少一个热图中车道线的变化点的预测坐标信息，包括： 基于所述变化点检测网络确定所述子样本图像对应的第一样本热图； 基于所述第一样本热图确定不同类型车道线的变化点在所述车道样本图像中的预测 坐标信息。 10.根据权利要求8所述的方法，其中，将车道样本图像中至少一条车道线对应的子样 本图像输入至所述变化点检测网络，获取所述子样本图像对应的至少一个热图，和/或所述 至少一个热图中车道线的变化点的预测坐标信息，包括： 基于变化点检测网络确定所述子样本图像对应的第一样本热图，以及所述第一样本热 图对应的样本特征； 将所述子样本图像对应的第一样本特征和所述第一样本热图对应的样本特征作为所 述变化点检测网络的输入，得到第二样本热图和/或所述第二样本热图对应的特征； 以此类推，直至所述变化点检测网络输出第M样本热图；其中所述第M样本热图为以所 述第一样本特征和所述第M‑1样本热图对应的特征作为所述变化点检测网络的输入得到；M 为大于或等于2的整数； 基于所述变化点检测网络最后输出的第M样本热图，确定不同类型车道线的变化点在 所述车道图像中的预测坐标信息。 11.根据权利要求8所述的方法，其中，所述车道样本图像中至少一条车道线对应的子 样本图像或所述变化点检测网络输出的热图，输入至所述变化点检测网络之前，所述方法 还包括： 对所述车道样本图像中至少一条车道线对应的子样本图像或所述变化点检测网络输 出的样本热图进行不同频率的采样； 其中，输入至所述变化点检测网络的次数不同，采样频率不同。 12.一种变化点识别装置，包括： 第一确定单元，用于基于车道图像确定至少一条车道线对应的子图像； 变化点检测单元，用于基于所述子图像和所述子图像对应的至少一张热图，确定不同 类型车道线的变化点在所述车道图像中的坐标信息； 3 3 CN 114187574 A 权利要求书 3/3页 标识单元，用于基于所述变化点的坐标信息在所述车道图像中标识所述变化点。 13.一种变化点检测网络的训练装置，包括： 输入单元，用于将车道样本图像中至少一条车道线对应的子样本图像输入至所述变化 点检测网络，获取所述子样本图像对应的至少一个样本热图，和/或所述至少一个样本热图 中车道线的变化点的预测坐标信息； 第二确定单元，用于基于所述至少一个样本热图中车道线的变化点的预测坐标信息与 所述子样本图像中车道线的变化点的样本坐标信息确定至少一个损失值； 调整单元，用于基于所述至少一个损失值之和，调整所述变化点检测网络的参数，直至 所述至少一个损失值之和不变，确认所述变化点检测网络训练完成。 14.一种电子设备，包括： 至少一个处理器；以及 与所述至少一个处理器通信连接的存储器；其中， 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处 理器执行，以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法； 或者，以使所述至少一个处理器能够执行权利要求8‑11中任一项所述的方法。 15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于 使所述计算机执行根据权利要求1‑7中任一项所述的方法； 或者，所述计算机指令用于使所述计算机执行根据权利要求8‑11中任一项所述的方 法。 16.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根 据权利要求1‑7中任一项所述的方法； 或者，所述计算机程序在被处理器执行时实现根据权利要求8‑11中任一项所述的方 法。 4 4 CN 114187574 A 说明书 1/11页 变化点识别方法、变化点检测网络的训练方法及装置 技术领域 [0001] 本公开涉及图像处理技术领域，尤其涉及智能交通领域的变化点识别方法、变化 点检测网络的训练方法及装置。 背景技术 [0002] 近年来，随着终端定位技术和自动驾驶技术的快速发展与普及，电子地图成为智 能交通领域的重点研究对象；精细化的电子地图能够最大限度的发挥智能交通的优势。 发明内容 [0003] 本公开提供了一种变化点识别方法、变化点检测网络的训练方法及装置。 [0004] 根据本公开的一方面，提供了一种变化点识别方法，包括： [0005] 基于车道图像确定至少一条车道线] 基于所述子图像以及所述子图像对应的至少一张热图，确定不同类型车道线的变 化点在所述车道图像中的坐标信息； [0007] 基于所述变化点的坐标信息在所述车道图像中标识所述变化点。 [0008] 根据本公开的另一方面，提供了一种变化点检测网络的训练方法，包括： [0009] 将车道样本图像中至少一条车道线对应的子样本图像输入至所述变化点检测网 络，获取所述子样本图像对应的至少一个热图，和/或所述至少一个热图中车道线的变化点 的预测坐标信息； [0010] 基于所述至少一个热图中车道线的变化点的预测坐标信息与所述子样本图像中 车道线的变化点的样本坐标信息确定至少一个损失值； [0011] 基于所述至少一个损失值之和，调整所述变化点检测网络的参数，直至所述至少 一个损失值之和不变，确认所述变化点检测网络训练完成 [0012] 本公开第三方面提供一种电子设备，包括：至少一个处理器；以及与所述至少一个 处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的变化 点识别方法或变化点检测网络的训练方法。 [0013] 本公开第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，其 中，所述计算机指令用于使所述计算机执行上述所述的变化点识别方法或变化点检测网络 的训练方法。 [0014] 本公开第五方面提供一种计算机程序产品，包括计算机程序/指令，所述计算机程 序/指令在被处理器执行时实现上述所述的变化点识别方法或变化点检测网络的训练方 法。 [0015] 应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 5 5 CN 114187574 A 说明书 2/11页 附图说明 [0016] 附图用于更好地理解本方案，不构成对本公开的限定。其中： [0017] 图1示出了本申请实施例提供的车道线示出了本申请实施例提供的变化点识别方法的一种可选流程示意图； [0019] 图3示出了本申请实施例提供的变化点检测网络的训练方法的可选流程示意图； [0020] 图4示出了本申请实施例提供的变化点检测网络的训练示意图； [0021] 图5示出了本申请实施例提供的变化点识别方法的另一种可选流程示意图； [0022] 图6示出了本申请实施例提供的车道线检测网络的输出示意图； [0023] 图7示出了本申请实施例提供的变化点检测网络的输出示意图； [0024] 图8示出了本申请实施例提供的变化点识别装置的可选结构示意图； [0025] 图9示出了本申请实施例提供的变化点检测网络的训练装置的可选结构示意图； [0026] 图10示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。 具体实施方式 [0027] 以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种 细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识 到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同 样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。 [0028] 车道线的变化点，包括沿着地面车道线方向，如果车道线类型发生变化，则车道线 类型发生变化的位置定义为车道线示出了本申请实施例提供的车道线所示，图中所示车道线均为白色，沿着地面车道线方向，车道线由白色单虚 线变为可变导向车道线，发生变化的位置为车道线] 智慧交通中自动驾驶是当前计算机视觉的研究热点，而高精度电子地图对自动驾 驶至关重要，它可以为自动驾驶汽车提供真实世界的环境信息，帮助理解周围的交通场景， 例如车道的边界线、车道线的变化点、路口以及人行道等等。详细的交通信息可以提升高精 地图质量，自动驾驶车辆可以综合利用这些信息，做智能决策，从而充分发挥智能交通的优 势。 [0032] 在电子地图中标识出车道线的变化点，可以提升电子地图的精度；然而对于车道 线的变化点的检测通常是通过人工的方式标记车道线发送变化的位置，成本高且效率极 低。 [0033] 本公开提供一种变化点识别方法和变化点检测网络的训练方法，以至少解决现有 技术中电子地图存在的缺陷。 [0034] 图2示出了本申请实施例提供的变化点识别方法的一种可选流程示意图，将根据 各个步骤进行说明。 [0035] 步骤S101，基于车道图像确定至少一条车道线] 在一些实施例中，变化点识别装置(以下简称第一装置)可以基于车道线检测模型 确定至少一条车道线对应的子图像。所述车道图像可以是包括车道线的全景图像(如正视 图像)；所述至少一条车道线对应的子图像可以是所述车道图像中，至少一条车道线页 矩形框所对应的图像。 [0037] 具体实施时，所述第一装置检测所述车道图像中至少一条车道线；获取每条所述 车道线分别对应的外接矩形框；确定所述车道图像中所述外接矩形框对应的区域，为所述 至少一条车道线] 在一些可选实施例中，所述至少一条车道线对应的子图像可以通过车道线检测网 络获得，所述第一装置在基于车道图像确定至少一条车道线对应的子图像之前，还可以训 练所述车道线检测网络，具体可以包括：获取车道线训练样本集，以及所述车道线样本集中 每一个车道样本图像包括的至少一条车道线对应的子样本图像；基于所述车道线检测网络 确定所述车道线训练样本集中至少一条车道线对应的子预测图像；获取所述子样本图像与 所述子预测图像之间的差异，基于所述差异更新所述车道线检测网络的参数；直至所述差 异小于预设阈值或多次训练的结果均不变，确定所述车道线检测网络训练完成。 [0039] 其中，所述车道线训练样本集中可以包括多个不同类型车道线。所述车道线网络 可以基于YOLO、Faster RCNN等主流检测网络训练，本申请不做具体限定。 [0040] 步骤S102，基于所述子图像以及所述子图像对应的至少一张热图，确定不同类型 车道线的变化点在所述车道图像中的坐标信息。 [0041] 在一些实施例中，所述第一装置基于所述子图像以及所述子图像对应的至少一张 热图，确定不同类型车道图像的变化点之前，还可以对所述子图像进行预处理；所述预处理 至少包括以下之一：去除所述子图像中的噪声、对所述子图像进行归一化处理。如此，可以 避免奇异子图像，提升识别车道线的变化点的坐标信息的准确性。 [0042] 在一些实施例中，所述第一装置获取所述子图像的第一特征；基于所述第一特征， 获取所述子图像对应的至少一张热图和所述至少一张热图对应的特征；基于所述第一特征 和所述至少一张热图对应的特征，确定不同类型车道线的变化点在所述车道图像中的坐标 信息。 [0043] 具体实施时，所述第一装置可以基于变化点检测网络确定所述子图像对应的第一 热图，以及所述第一热图对应的特征；基于所述第一热图确定不同类型车道线的变化点在 所述车道图像中的坐标信息。 [0044] 或者，具体实施时，所述第一装置还可以基于变化点检测网络确定所述子图像对 应的第一热图，以及第一热图对应的特征；将所述第一特征和所述第一热图对应的特征作 为所述变化点检测网络的输入，得到所述变化点检测网络输出的第二热图和/或所述第二 热图对应的特征；以此类推，直至所述变化点检测网络输出第N热图；其中所述第N热图为以 所述第一特征和所述第N‑1热图对应的特征作为所述变化点检测网络的输入得到；N为大于 或等于2的整数；基于所述变化点检测网络最后输出的第N热图，确定不同类型车道线的变 化点在所述车道图像中的坐标信息。 [0045] 在一些实施例中，所述第一装置可以基于变化点检测网络确定不同类型车道线的 变化点在所述车道图像中的坐标信息。 [0046] 具体实施时，所述第一装置将所述子图像输入至所述变化点检测网络；所述变化 点检测网络获取所述子图像对应的至少一张热图，基于所述子图像以及所述子图像对应的 至少一张热图，确定所述不同类型车道线的变化点在所述车道图像中的坐标信息。 [0047] 步骤S103，基于所述变化点的坐标信息，在所述车道图像中标识所述变化点。 7 7 CN 114187574 A 说明书 4/11页 [0048] 在一些实施例中，所述第一装置基于所述变化点的坐标信息，在所述车道图像中 标识所述变化点。 [0049] 在另一些实施例中，所述第一装置还可以基于采集所述车道图像的设备的位置信 息、所述车道图像中变化点的坐标信息，更新所述车道图像中车道线的变化点在电子地图 中的坐标信息。 [0050] 如此，通过本申请实施例提供的变化点识别方法，通过车道图像确定至少一条车 道线对应的子图像；基于所述子图像以及所述子图像对应的至少一张热图，确定不同类型 车道线的变化点在所述车道图像中的坐标信息；基于所述变化点的坐标信息在所述车道图 像中标识所述变化点，可以高效地提升电子地图的精度。 [0051] 图3示出了本申请实施例提供的变化点检测网络的训练方法的可选流程示意图， 将根据各个步骤进行说明。 [0052] 通过本申请提供的变化点检测网络的训练方法训练所述变化点检测网络之后，可 以用于识别车道图像中的变化点(即上述步骤S102)，进而可以在车道图像中标识所述变化 点，以提升电子地图的精度。 [0053] 步骤S201，将车道样本图像中至少一条车道线对应的子样本图像输入至所述变化 点检测网络，获取所述子样本图像对应的至少一个样本热图，和/或所述至少一个样本热图 中车道线的变化点的预测坐标信息。 [0054] 在一些实施例中，变化点检测网络的训练装置(以下简称第二装置)将车道样本图 像中至少一条车道线对应的子样本图像或至少一个样本热图输入至所述变化点检测网络 之前，还可以对所述子样本图像和/或所述至少一个样本热图进行预处理；所述预处理至少 包括以下之一：去除所述子样本图像和/或所述至少一个样本热图中的噪声、对所述子样本 图像和/或所述至少一个样本热图进行归一化处理。如此，可以避免车道样本图像和/或所 述至少一个样本热图中的奇异样本数据对所述变化点检测网络造成的不良影响。 [0055] 在一些实施例中，所述第二装置将所述车道图像中至少一条车道线对应的子样本 图像输入至所述变化点检测网络，获取所述子样本图像对应的至少一个样本热图；其中，所 述子样本图像对应的至少一个样本热图，可以基于所述变化点检测网络直接获得，也可以 基于所述变化点检测网络的输出间接获得。具体的，所述子样本图像输入至所述变化点检 测网络后，获得第一样本热图；将所述第一样本热图和所述子样本图像输入至所述变化点 检测网络后，获得第二样本热图；后续以前一次变化点检测网络的输出以及所述子样本图 像作为下一次变化点检测网络的输入，获得至少一张热图；所述第一样本热图、所述第二样 本热图和后续所述变化点检测网络输出的至少一张样本热图为所述子样本图像对应的至 少一张热图。 [0056] 具体实施时，所述第二装置可以基于所述变化点检测网络确定所述子样本图像对 应的第一样本热图；基于所述第一样本热图确定不同类型车道线的变化点在所述车道样本 图像中的预测坐标信息。 [0057] 或者，具体实施时，所述第二装置还可以基于变化点检测网络确定所述子样本图 像对应的第一样本热图，以及所述第一样本热图对应的样本特征；将所述子样本图像对应 的第一样本特征和所述第一样本热图对应的样本特征作为所述变化点检测网络的输入，得 到第二样本热图和/或所述第二样本热图对应的特征；以此类推，直至所述变化点检测网络 8 8 CN 114187574 A 说明书 5/11页 输出第M样本热图；其中所述第M样本热图为以所述第一样本特征和所述第M‑1样本热图对 应的特征作为所述变化点检测网络的输入得到；M为大于或等于2的整数；基于所述变化点 检测网络最后输出的第M样本热图，确定不同类型车道线的变化点在所述车道图像中的预 测坐标信息。 [0058] 可选的，所述第二装置将所述子样本图像和所述至少一张样本热图输入至所述变 化点检测网络之前，还可以基于不同的采样频率对所述子样本图像或所述至少一张样本热 图进行采样；其中，采样的频率可以随输入至所述变化点检测网络的次数降低，也可以随输 入至所述变化点检测网络的次数升高，还可以是任意不重复的频率。以向所述变化点检测 网络输入三次为例，第一次的采样频率可以是4f，第二次的采样频率可以是2f，第三次的采 样频率可以是f；或者，第一次的采样频率可以是f，第二次的采样频率可以是2f，第三次的 采样频率可以是4f；或者，第一次的采样频率可以是2f，第二次的采样频率可以是4f，第三 次的采样频率可以是f。如此，可以使得所述变化点检测网络适用于各种分辨率的图像。 [0059] 步骤S202，基于所述至少一个热图中车道线的变化点的预测坐标信息与所述子样 本图像中车道线的变化点的样本坐标信息确定至少一个损失值。 [0060] 在一些实施例中，所述第二装置基于每一次所述变化点检测网络输出的热图中的 车道线的变化点的预测坐标信息，和所述子样本图像中车道线的变化点的样本坐标信息， 确定至少一个损失值。 [0061] 具体实施时，所述第二装置可以基于所述预测坐标信息和所述样本坐标信息之间 的欧氏距离，确定所述至少一个损失值。 [0062] 图4示出了本申请实施例提供的变化点检测网络的训练示意图。 [0063] 如图4所示，将变化点检测网络的训练过程分为三个阶段(即第一阶段、第二阶段 和第三阶段)。 [0064] 在第一阶段，以所述子样本图像(或子样本图像的第一特征)作为所述变化点检测 网络的输入，获取所述子样本图像对应的第一样本热图和/或第一样本热图对应的样本特 征；基于所述第一样本热图中车道线的变化点的预测坐标信息与所述子样本图像中车道线 的变化点的样本坐标信息之间的欧式距离，确定第一损失值Loss1； [0065] 在第二阶段，以所述第一样本热图和所述子样本图像(或所述第一样本热图的样 本特征和所述子样本图像的第一样本特征)作为所述变化点检测网络的输入，获取第二样 本热图和/或所述第二样本热图对应的样本特征(第一候选样本特征之一)；基于所述第二 样本热图中车道线的变化点的预测坐标信息与所述子样本图像中车道线的变化点的样本 坐标信息，确定第二损失值Loss2； [0066] 在第三阶段，以所述第二样本热图和所述子样本图像(或所述第二样本热图的样 本特征和所述子样本图像的第一样本特征)作为所述变化点检测网络的输入，获取第三样 本热图和/或所述第三样本热图对应的样本特征(第一候选样本特征之一)；基于所述第三 样本热图中车道线的变化点的预测坐标信息与所述子样本图像中车道线的变化点的样本 坐标信息，确定第三损失值Loss。 [0067] 步骤S203，基于所述至少一个损失值之和，调整所述变化点检测网络的参数，直至 所述至少一个损失值之和不变，确认所述变化点检测网络训练完成。 [0068] 在一些实施例中，所述第二装置基于所述至少一个损失值之和，调整所述变化点 9 9 CN 114187574 A 说明书 6/11页 检测网络的参数，装置所述至少一个损失值之和不变，或所述至少一个损失值之和小于第 一预设阈值，确认所述变化点检测网络训练完成。 [0069] 在一些可选实施例中，所述第二装置可以对所述至少一个损失值进行加权求和， 基于所述加权求和的结果调整所述变化点网络的参数。 [0070] 仍然以向所述变化点检测网络输入三次为例，假设第一损失值为Loss1、第二损失 值为Loss2、第三损失值为Loss3，则损失值之和Loss可以表示为： [0071] Loss＝α*Loss1+β*Loss2+γ*Loss3 [0072] 其中，α、β和γ分别为第一损失值、第二损失值和第三损失值的权重系数，α+β+γ ＝1。 [0073] 如此，通过本申请实施例提供的变化点检测网络，将车道样本图像中至少一条车 道线对应的子样本图像输入至所述变化点检测网络，获取所述子样本图像对应的至少一个 样本热图；基于所述至少一个样本热图中车道线的变化点的预测坐标信息与所述子样本图 像中车道线的变化点的样本坐标信息确定至少一个损失值；基于所述至少一个损失值之 和，调整所述变化点检测网络的参数，直至所述至少一个损失值之和不变，确认所述变化点 检测网络训练完成。子样本图像和每一个样本热图基于不同采样率的输入图像确定，可以 适用于各种分辨率的图像，提升变化点检测的准确性，为变化点识别提供有力支持。 [0074] 在一些实施例中，步骤S101至步骤S103的执行主体第一装置，与步骤S201至步骤 S203的执行主体第二装置可以是同一个装置，也可以是不同装置。 [0075] 图5示出了本申请实施例提供的变化点识别方法的另一种可选流程示意图，将根 据各个步骤进行说明。 [0076] 本申请实施例提供的变化点识别方法基于两个网络实现，其一是车道线检测网 络，用于检测车道图像中的车道线；其二是变化点检测网络，用于检测车道图像中变化点的 位置坐标。 [0077] 步骤S301，训练车道线] 本实施例中，训练车道线检测网络和训练变化点检测网络的执行主体，与变化点 识别的执行主体相同，为变化点识别装置(以下简称装置)。 [0079] 在一些实施例中，所述装置获取车道线训练样本集，以及所述车道线样本集中每 一个车道样本图像包括的至少一条车道线对应的子样本图像；基于所述车道线检测网络确 定所述车道线训练样本集中至少一条车道线对应的子预测图像；获取所述子样本图像与所 述子预测图像之间的差异，基于所述差异更新所述车道线检测网络的参数；直至所述差异 小于预设阈值或多次训练的结果均不变，确定所述车道线检测网络训练完成。 [0080] 其中，所述车道线训练样本集中可以包括多个不同类型车道线。所述车道线网络 可以基于YOLO、Faster RCNN等主流检测网络训练，本申请不做具体限定。 [0081] 步骤S302，训练变化点检测网络。 [0082] 在一些实施例中，所述装置将所述车道图像中至少一条车道线对应的子样本图像 输入至所述变化点检测网络，获取所述子样本图像对应的至少一个样本热图；其中，所述子 样本图像对应的至少一个样本热图，可以基于所述变化点检测网络直接获得，也可以基于 所述变化点检测网络的输出间接获得。具体的，所述子样本图像输入至所述变化点检测网 络后，获得第一样本热图；将所述第一样本热图和所述子样本图像输入至所述变化点检测 10 10 CN 114187574 A 说明书 7/11页 网络后，获得第二样本热图；后续以前一次变化点检测网络的输出以及所述子样本图像作 为下一次变化点检测网络的输入，获得至少一张热图；所述第一样本热图、所述第二样本热 图和后续所述变化点检测网络输出的至少一张样本热图为所述子样本图像对应的至少一 张热图。 [0083] 具体实施时，所述装置可以基于所述变化点检测网络确定所述子样本图像对应的 第一样本热图；基于所述第一样本热图确定不同类型车道线的变化点在所述车道样本图像 中的预测坐标信息。 [0084] 或者，具体实施时，所述装置还可以基于变化点检测网络确定所述子样本图像对 应的第一样本热图，以及第一样本热图对应的样本特征；将所述子样本图像对应的第一样 本特征和所述第一样本热图对应的样本特征作为所述变化点检测网络的输入，得到所述变 化点检测网络输出的第一候选样本特征；将所述第一样本特征和所述第一候选样本特征作 为所述变化点检测网络的输入，得到所述变化点检测网络输出的第二样本热图对应的样本 特征；基于所述变化点检测网络最后输出的样本热图，确定不同类型车道线的变化点在所 述车道图像中的样本坐标信息。 [0085] 可选的，所述装置将所述子样本图像和所述至少一张样本热图输入至所述变化点 检测网络之前，还可以基于不同的采样频率对所述子样本图像或所述至少一张样本热图进 行采样；其中，采样的频率可以随输入至所述变化点检测网络的次数降低，也可以随输入至 所述变化点检测网络的次数升高，还可以是任意不重复的频率。以向所述变化点检测网络 输入三次为例，第一次的采样频率可以是4f，第二次的采样频率可以是2f，第三次的采样频 率可以是f；或者，第一次的采样频率可以是f，第二次的采样频率可以是2f，第三次的采样 频率可以是4f；或者，第一次的采样频率可以是2f，第二次的采样频率可以是4f，第三次的 采样频率可以是f。如此，可以使得所述变化点检测网络适用于各种分辨率的图像。 [0086] 在一些实施例中，所述装置基于每一次所述变化点检测网络输出的热图中的车道 线的变化点的预测坐标信息，和所述子样本图像中车道线的变化点的样本坐标信息，确定 至少一个损失值。 [0087] 具体实施时，所述装置可以基于所述预测坐标信息和所述样本坐标信息之间的欧 氏距离，确定所述至少一个损失值。 [0088] 步骤S303，基于车道图像确定至少一条车道线] 在一些实施例中，所述装置获取车道图像，将所述车道图像作为所述车道线检测 网络的输入；获取所述车道线检测网络输出的所述车道线图像中每条车道线的外接矩形 框；确定所述车道图像中所述外接矩形框对应的区域，为所述至少一条车道线对应的子图 像。。 [0090] 图6示出了本申请实施例提供的车道线检测网络的输出示意图。如图6所示，所述 车道线检测网络识别所述车道图像中至少一条车道线对应的子图像，并通过外接矩形框标 识出来；可选的，所述车道线检测网络还可以截取所述外接矩形框获得子图像，所述子图像 作为所述变化点检测网络的输入；或者，所述车道线检测网络通过外接矩形框将所述子图 像在所述车道图像中标识出来之后，所述变化点检测网络截取所述外接矩形框，获得所述 子图像作为所述变化点检测网络的输入。 [0091] 在一些可选实施例中，在外接矩形框内，定义了12种变化点类型，例如【单虚线页 实线】，【双虚线，双实线】，【可变车道线，单虚线】等，外接矩形框首尾均不标注变化点，变化 点只存在于外接矩形框内。 [0092] 步骤S304，确定不同类型车道线的变化点在所述车道图像中的坐标信息。 [0093] 在一些实施例中，所述装置可以对所述子图像进行预处理；所述预处理至少包括 以下之一：去除所述子图像中的噪声、对所述子图像进行归一化处理。 [0094] 在另一些实施例中，所述装置还可以以预处理后的所述子图像作为所述变化点检 测网络的输入，输出所述子图像中每个车道线对应的变化点的坐标信息。 [0095] 步骤S305，基于所述变化点的坐标信息在所述车道图像中标识所述变化点。 [0096] 在一些实施例中，所述装置基于所述子图像中每个车道线对应的变化点的坐标信 息，所述子图像相对于所述车道图像的坐标信息，在所述车道图像中标识所述变化点。 [0097] 在另一些实施例中，所述装置还可以基于采集所述车道图像的设备的位置信息、 所述车道图像中变化点的坐标信息，更新所述车道图像中车道线的变化点在电子地图中的 坐标信息。 [0098] 图7示出了本申请实施例提供的变化点检测网络的输出示意图。如图7所示，所述 变化点检测网络识别确定所述不同类型车道线的变化点在所述车道图像中的坐标信息后， 在所述车道图像中标识所述变化点。 [0099] 在一些可选实施例中，所述车道线检测网络和所述变化点检测网络可以共同组成 车道线变化点检测模型；在实际应用时，输入为车道图像；输出为标识出变化点的车道图像 (图7所示)，用户无法感知到中间过程(如图6)，从而实现端到端的车道线] 如此，通过本申请实施例提供的变化点识别方法，通过车道线检测网络确定车道 图像中至少一条车道线对应的子图像；基于变化点检测网络确定所述子图像中不同类型车 道线的变化点的坐标信息；基于所述变化点的坐标信息在所述车道图像中标识所述变化 点，可以高效地提升电子地图的精度。 [0101] 图8示出了本申请实施例提供的变化点识别装置的可选结构示意图，将根据各个 部分进行说明。 [0102] 在一些实施例中，变化点识别装置400包括：第一确定单元401、变化点检测单元 402和标识单元403。 [0103] 所述第一确定单元401，用于基于车道图像确定至少一条车道线] 所述变化点检测单元402，包括变化点检测网络，用于基于所述子图像对应的至少 一张热图，确定不同类型车道线的变化点在所述车道图像中的坐标信息； [0105] 所述标识单元403，用于基于所述变化点的坐标信息在所述车道图像中标识所述 变化点。 [0106] 所述第一确定单元，具体用于检测所述车道图像中至少一条车道线；确获取每条 所述车道线分别对应的外接矩形框；确定所述车道图像中所述外接矩形框对应的区域，为 所述至少一条车道线] 所述变化点检测单元402，具体用于获取所述子图像的第一特征；基于所述第一特 征，获取所述子图像对应的至少一张热图和所述至少一张热图对应的特征；基于所述第一 特征和所述至少一张热图对应的特征，确定不同类型车道线的变化点在所述车道图像中的 坐标信息。 12 12 CN 114187574 A 说明书 9/11页 [0108] 所述变化点检测单元402，具体用于基于变化点检测网络确定所述子图像对应的 第一热图，以及所述第一热图对应的特征；基于所述第一热图确定不同类型车道线的变化 点在所述车道图像中的坐标信息。 [0109] 所述变化点检测单元402，具体用于基于变化点检测网络确定所述子图像对应的 第一热图，以及所述第一热图对应的特征；将所述第一特征和所述第一热图对应的特征作 为所述变化点检测网络的输入，得到所述变化点检测网络输出的第二热图和/或所述第二 热图对应的特征；以此类推，直至所述变化点检测网络输出第N热图；其中所述第N热图为以 所述第一特征和所述第N‑1热图对应的特征作为所述变化点检测网络的输入得到；N为大于 或等于2的整数；基于所述变化点检测网络最后输出的第N热图，确定不同类型车道线的变 化点在所述车道图像中的坐标信息。 [0110] 在一些可选实施例中，所述变化点识别装置400还包括：预处理单元404。 [0111] 所述预处理单元404，用于在所述基于所述子图像对应的至少一张热图，确定不同 类型车道图像的变化点之前，对所述子图像进行预处理；所述预处理至少包括以下之一：去 除所述子图像中的噪声、对所述子图像进行归一化处理。 [0112] 在一些可选实施例中，所述变化点识别装置400还包括：更新单元405。 [0113] 所述更新单元405，用于在确定不同类型车道线的变化点在所述车道图像中的坐 标信息之后，更新所述车道图像中车道线的变化点在电子地图中的坐标信息。 [0114] 图9示出了本申请实施例提供的变化点检测网络的训练装置的可选结构示意图， 将根据各个部分进行说明。 [0115] 在一些实施例中，变化点检测网络的训练装置500包括：输入单元501、第二确定单 元502和调整单元503。 [0116] 输入单元501，用于将车道样本图像中至少一条车道线对应的子样本图像输入至 所述变化点检测网络，获取所述子样本图像对应的至少一个样本热图，和/或所述至少一个 样本热图中车道线的变化点的预测坐标信息； [0117] 第二确定单元502，用于基于所述至少一个样本热图中车道线的变化点的预测坐 标信息与所述子样本图像中车道线的变化点的样本坐标信息确定至少一个损失值； [0118] 调整单元503，用于基于所述至少一个损失值之和，调整所述变化点检测网络的参 数，直至所述至少一个损失值之和不变，确认所述变化点检测网络训练完成。 [0119] 所述输入单元501，具体用于基于所述变化点检测网络确定所述子样本图像对应 的第一样本热图；基于所述第一样本热图确定不同类型车道线的变化点在所述车道样本图 像中的预测坐标信息。 [0120] 所述输入单元501，具体用于基于变化点检测网络确定所述子样本图像对应的第 一样本热图，以及所述第一样本热图对应的样本特征；将所述子样本图像对应的第一样本 特征和所述第一样本热图对应的样本特征作为所述变化点检测网络的输入，得到第二样本 热图和/或所述第二样本热图对应的特征；以此类推，直至所述变化点检测网络输出第M样 本热图；其中所述第M样本热图为以所述第一样本特征和所述第M‑1样本热图对应的特征作 为所述变化点检测网络的输入得到；M为大于或等于2的整数； [0121] 基于所述变化点检测网络最后输出的第M样本热图，确定不同类型车道线的变化 点在所述车道图像中的预测坐标信息。 13 13 CN 114187574 A 说明书 10/11页 [0122] 在一些可选实施例中，所述变化点检测网络的训练装置500还可以包括：采样单元 504。 [0123] 所述采样单元504，在所述车道图像中至少一条车道线对应的子样本图像或所述 变化点检测网络输出的热图，输入至所述变化点检测网络之前，对所述车道图像中至少一 条车道线对应的子样本图像或所述变化点检测网络输出的样本热图进行采样。 [0124] 根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种 计算机程序产品。 [0125] 图10示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电 子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数 字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各 种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计 算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在 限制本文中描述的和/或者要求的本公开的实现。 [0126] 如图10所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM) 802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序， 来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数 据。计算单元801、ROM 802以及RAM 803通过总线彼此相连。输入/输出(I/O)接口805也 连接至总线中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠 标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以 及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过 诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。 [0128] 计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单 元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工 智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及 任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理， 例如变化点识别方法或变化点检测网络的训练方法。例如，在一些实施例中，变化点识别方 法或变化点检测网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读 介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802 和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计 算单元801执行时，可以执行上文描述的变化点识别方法或变化点检测网络的训练方法的 一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例 如，借助于固件)而被配置为执行变化点识别方法或变化点检测网络的训练方法。 [0129] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电 路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统 的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实 现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算 机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器 可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出 14 14 CN 114187574 A 说明书 11/11页 装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至 少一个输出装置。 [0130] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来 编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处 理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的 功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件 包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。 [0131] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供 指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可 读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电 子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合 适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计 算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM 或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或 上述内容的任何合适组合。 [0132] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机 具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视 器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来 将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的 反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用 任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。 [0133] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据 服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算 系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界 面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部 件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数 字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网 (LAN)、广域网(WAN)和互联网。 [0134] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通 过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计 算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的 服务器，或者是结合了区块链的服务器。 [0135] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例 如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行， 只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。 [0136] 上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明 白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开 的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。 15 15 CN 114187574 A 说明书附图 1/6页 图1 图2 16 16 CN 114187574 A 说明书附图 2/6页 图3 图4 17 17 CN 114187574 A 说明书附图 3/6页 图5 18 18 CN 114187574 A 说明书附图 4/6页 图6 19 19 CN 114187574 A 说明书附图 5/6页 图7 图8 20 20 CN 114187574 A 说明书附图 6/6页 图9 图10 21 21

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　一种生物酶法生产氨基酸产生废水的综合处理方法及在制备鸟粪石中的应用.pdf

　　CJJ 28-2014 城镇供热管网工程施工及验收规范（含条文说明）.docx

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者