CN116030551A - 车辆自动驾驶软件的测试方法、装置、设备及存储介质 - Google Patents

Abstract

本公开是关于一种车辆自动驾驶软件的测试方法、装置、设备及存储介质，其中，该方法包括：获取车辆环境感知传感器采集的实时环境感知数据；根据实时环境感知数据，获取交通目标的速度真值曲线；根据实时环境感知数据和自动驾驶软件，获取交通目标的速度检测值曲线；将速度真值曲线和速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；根据分析结果，确定自动驾驶软件是否通过测试。本公开的技术方案可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

Description

车辆自动驾驶软件的测试方法、装置、设备及存储介质

技术领域

本公开涉及自动驾驶技术领域，尤其涉及一种车辆自动驾驶软件的测试方法、装置、设备及存储介质。

背景技术

自动驾驶软件的感知部分是自动驾驶其它部分下游的主要输入，感知结果会直接影响自动驾驶软件的最终决策。因此对感知能力进行测试对于自动驾驶软件功能的顺利实现尤为重要。相关技术中的测试方法主要通过人工进行路测获取测试数据，并将测试数据和实际数据进行对比以对感知能力进行测试，测试效率较低。

发明内容

为克服相关技术中存在的问题，本公开提供一种车辆自动驾驶软件的测试方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种车辆自动驾驶软件的测试方法，包括：获取车辆环境感知传感器采集的实时环境感知数据；根据所述实时环境感知数据，获取交通目标的速度真值曲线；根据所述实时环境感知数据和所述自动驾驶软件，获取所述交通目标的速度检测值曲线；将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；根据所述分析结果，确定所述自动驾驶软件是否通过测试。

在一种实现方式中，所述环境感知传感器至少包括激光雷达，所述实时环境感知数据至少包括实时激光点云数据；其中，所述根据所述实时环境感知数据，获取交通目标的速度真值曲线，包括：根据所述实时激光点云数据和训练好的第一点云深度学习模型，获取目标识别结果；所述目标识别结果包括目标的实时大小和实时位置；其中，所述训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，所述标注信息至少包括所述样本目标的大小和位置；根据所述目标识别结果之中所述目标的实时大小和实时位置，获取所述交通目标的实时位置信息；确定所述实时激光点云数据对应的时间信息，并根据所述实时位置信息和所述时间信息，获取所述交通目标的速度真值曲线。

在一种实现方式中，所述环境感知传感器包括以下传感器中的至少一种：激光雷达、摄像头和毫米波雷达；所述实时环境感知数据包括以下数据中的至少一种：实时激光点云数据、实时图像数据和实时毫米波雷达数据；所述自动驾驶软件包括以下感知模型中的至少一种：第二点云深度学习模型、图像识别模型和毫米波雷达感知模型。

在一种实现方式中，所述将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果，包括：将所述速度真值曲线和所述速度检测值曲线逐点进行方向和/或误差的分析；获得所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果。

在一种可选地实现方式中，所述根据所述分析结果，确定所述自动驾驶软件是否通过测试，包括：根据所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果，获取所述速度真值曲线和所述速度检测值曲线之中存在速度反向和/或速度误差满足预设条件的目标点；根据所述存在速度反向和/或速度误差满足预设条件的目标点，确定所述自动驾驶软件引起车辆行车问题的总次数；根据所述引起车辆行车问题的总次数，确定所述自动驾驶软件是否通过测试。

可选地，所述根据所述存在速度反向和/或速度误差满足预设条件的目标点，确定所述自动驾驶软件引起车辆行车问题的总次数，包括：对所述速度真值曲线和所述速度检测值曲线进行滑窗处理，并获得存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数；将存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数，确定为所述自动驾驶软件引起车辆行车问题的总次数。

在一种可选地实现方式中，所述方法还包括：响应于所述自动驾驶软件未通过测试，根据所述实时环境感知数据确定对应的场景信息，和/或，根据所述实时环境感知数据确定所述交通目标的类别。

根据本公开实施例的第二方面，提供一种车辆自动驾驶软件的测试装置，包括：获取模块，用于获取车辆环境感知传感器采集的实时环境感知数据；第一处理模块，用于根据所述实时环境感知数据，获取交通目标的速度真值曲线；第二处理模块，用于根据所述实时环境感知数据和所述自动驾驶软件，获取所述交通目标的速度检测值曲线；第三处理模块，用于将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；确定模块，用于根据所述分析结果，确定所述自动驾驶软件是否通过测试。

在一种实现方式中，所述环境感知传感器至少包括激光雷达，所述实时环境感知数据至少包括实时激光点云数据；其中，所述第二处理模块具体用于：根据所述实时激光点云数据和训练好的第一点云深度学习模型，获取目标识别结果；所述目标识别结果包括目标的实时大小和实时位置；其中，所述训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，所述标注信息至少包括所述样本目标的大小和位置；根据所述目标识别结果之中所述目标的实时大小和实时位置，获取所述交通目标的实时位置信息；确定所述实时激光点云数据对应的时间信息，并根据所述实时位置信息和所述时间信息，获取所述交通目标的速度真值曲线。

在一种实现方式中，所述环境感知传感器包括以下传感器中的至少一种：激光雷达、摄像头和毫米波雷达；所述实时环境感知数据包括以下数据中的至少一种：实时激光点云数据、实时图像数据和实时毫米波雷达数据；所述自动驾驶软件包括以下感知模型中的至少一种：第二点云深度学习模型、图像识别模型和毫米波雷达感知模型。

在一种实现方式中，所述第三处理模块具体用于：将所述速度真值曲线和所述速度检测值曲线逐点进行方向和/或误差的分析；获得所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果。

在一种可选地实现方式中，所述确定模块具体用于：根据所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果，获取所述速度真值曲线和所述速度检测值曲线之中存在速度反向和/或速度误差满足预设条件的目标点；根据所述存在速度反向和/或速度误差满足预设条件的目标点，确定所述自动驾驶软件引起车辆行车问题的总次数；根据所述引起车辆行车问题的总次数，确定所述自动驾驶软件是否通过测试。

可选地，所述确定模块具体用于：对所述速度真值曲线和所述速度检测值曲线进行滑窗处理，并获得存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数；将存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数，确定为所述自动驾驶软件引起车辆行车问题的总次数。

在一种实现方式中，所述装置还包括：第四处理模块，用于响应于所述自动驾驶软件未通过测试，根据所述实时环境感知数据确定对应的场景信息，和/或，根据所述实时环境感知数据确定所述交通目标的类别。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如第一方面所述的方法被实现。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：可以基于车辆环境感知传感器采集的实时环境感知数据获取交通目标的速度真值曲线，并结合自动驾驶软件获取该交通目标的速度检测值曲线，从而根据对速度真值曲线和速度检测值曲线进行分析获得的分析结果，确定自动驾驶软件是否通过测试。可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种车辆自动驾驶软件的测试方法的流程图。

图2是根据一示例性实施例示出的另一种车辆自动驾驶软件的测试方法的流程图。

图3是根据一示例性实施例示出的又一种车辆自动驾驶软件的测试方法的流程图。

图4是根据一示例性实施例示出一种车辆自动驾驶软件的测试流程图。

图5是根据一示例性实施例示出的一种车辆自动驾驶软件的测试装置框图。

图6是根据一示例性实施例示出的另一种车辆自动驾驶软件的测试装置框图。

图7是根据一示例性实施例示出的一种电子设备的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

其中，在本公开的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本公开中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围，也不表示先后顺序。

图1是根据一示例性实施例示出的一种车辆自动驾驶软件的测试方法的流程图。如图1所示，该方法可以包括但不限于以下步骤。

步骤S101：获取车辆环境感知传感器采集的实时环境感知数据。

其中，在本公开的实施例中，环境感知传感器包括以下传感器中的至少一种：激光雷达、摄像头和毫米波雷达；实时环境感知数据包括以下数据中的至少一种：实时激光点云数据、实时图像数据和实时毫米波雷达数据。

步骤S102：根据实时环境感知数据，获取交通目标的速度真值曲线。

举例而言，根据实时环境感知数据中每相邻两帧的数据获得相邻两帧之间的距离差，以及相邻两帧对应的时间差，根据该距离差和该时间差获取交通目标在相邻两帧之间的时间段内的速度数据，从而获取交通目标在一段时间内的多个速度数据，以时间和速度分别作为两坐标轴，将上述多个速度数据置于坐标系中并连线，获取交通目标的速度真值曲线。

其中，在本公开的实施例中，交通目标可以为可能对车辆行驶产生影响的目标（例如，同一道路上的其它车辆或者行人等）。

需要说明的是，在本公开的实施例中，速度真值曲线中的每个速度真值都为速度矢量，即包括速度的大小和方向。

在一种可能的实现方式中，可以利用实时环境感知数据中实时激光点云数据来获得交通目标的速度真值曲线。例如，将实时激光点云数据输入到激光点云模型中以得到对应的实时速度，将实时速度作为速度真值并进行连接，以得到交通目标的速度真值曲线。其中，该激光点云模型为预先训练完成的大模型，该大模型的性能远远大于自动驾驶软件中的激光点云模型的性能。

步骤S103：根据实时环境感知数据和自动驾驶软件，获取交通目标的速度检测值曲线。

举例而言，使用待测试的自动驾驶软件，基于实时环境感知数据对交通目标进行逐帧的速度预测，得到该交通目标的多个速度检测值，将实时环境感知数据的所有帧中该交通目标的速度检测值进行连线，获取交通目标的速度检测值曲线。

其中，在本公开的实施例中，自动驾驶软件为能够基于环境感知数据对交通目标的相关信息（例如，相对位置及速度）进行检测的软件，该自动驾驶软件中可以包括激光点云模型和视觉目标检测模型中的至少一种，并且该自动驾驶软件还可以包括其他任意类型的感知模型，本公开实施例并不对此作出限定，也不再赘述。

需要说明的是，在本公开的实施例中，速度检测值曲线中的每个速度检测值都为速度矢量，即包括速度的大小和方向。

在本公开的一些实施例中，步骤S103可以是在路测时执行的。

在本公开的另一些实施例中，为避免执行步骤S103导致路测车辆算力下降而影响路测，可在路测过程中仅利用环境感知传感器采集实时环境感知数据，并在路测结束后将实时环境感知数据输入到预先搭建的自动驾驶软件的仿真平台中，以执行步骤S103获取交通目标的速度检测值曲线。

其中，在本公开的实施例中，自动驾驶软件包括以下感知模型中的至少一种：第二点云深度学习模型、图像识别模型和毫米波雷达感知模型。

在本公开的一些实施例中，自动驾驶软件还可以包括激光点云模型。

步骤S104：将速度真值曲线和速度检测值曲线进行方向和/或误差的分析处理，获得分析结果。

作为一种示例，将速度真值曲线和速度检测值曲线进行方向的分析处理，获得速度真值曲线和速度检测值曲线是否存在同一时刻速度方向不同的分析结果。

作为另一种示例，将速度真值曲线和速度检测值曲线进行误差的分析处理，获得速度真值曲线和速度检测值曲线之间误差大小的分析结果。

作为一种示例，将速度真值曲线和速度检测值曲线进行方向和误差的分析处理，获得速度真值曲线和速度检测值曲线是否存在同一时刻速度方向不同，以及速度真值曲线和速度检测值曲线之间误差大小的分析结果。

步骤S105：根据分析结果，确定自动驾驶软件是否通过测试。

作为一种示例，以将速度真值曲线和速度检测值曲线进行方向的分析处理为例，响应于分析结果为速度真值曲线和速度检测值曲线不存在同一时刻速度方向不同，确定自动驾驶软件通过测试，或者，响应于分析结果为速度真值曲线和速度检测值曲线存在同一时刻速度方向不同，确定自动驾驶软件未通过测试。

作为又一种示例，以将速度真值曲线和速度检测值曲线进行误差的分析处理为例，响应于分析结果为速度真值曲线和速度检测值曲线之间的误差小于或等于预设的误差阈值，确定自动驾驶软件通过测试；或者，响应于分析结果为速度真值曲线和速度检测值曲线之间的误差大于预设的误差阈值，确定自动驾驶软件未通过测试。

作为又一种示例，以将速度真值曲线和速度检测值曲线进行方向和误差的分析处理为例，响应于分析结果为速度真值曲线和速度检测值曲线不存在同一时刻速度方向不同，并且速度真值曲线和速度检测值曲线之间的误差小于或等于预设的误差阈值，确定自动驾驶软件通过测试；否则确定自动驾驶软件未通过测试。

通过实施本公开实施例，可以基于车辆环境感知传感器采集的实时环境感知数据获取交通目标的速度真值曲线，并结合自动驾驶软件获取该交通目标的速度检测值曲线，从而根据对速度真值曲线和速度检测值曲线进行分析获得的分析结果，确定自动驾驶软件是否通过测试。可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

在一种实现方式中，环境感知传感器至少包括激光雷达，从而可以基于激光雷达获取的数据，获取交通目标的速度真值曲线。作为一种示例，请参见图2，图2是根据一示例性实施例示出的另一种车辆自动驾驶软件的测试方法的流程图。如图2所示，该方法可以包括但不限于以下步骤。

步骤S201：获取车辆环境感知传感器采集的实时环境感知数据。

在本公开的实施例中，步骤S201可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S202：根据实时激光点云数据和训练好的第一点云深度学习模型，获取目标识别结果。

其中，在本公开的实施例中，目标识别结果包括目标的实时大小和实时位置；训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，该标注信息至少包括该样本目标的大小和位置。

举例而言，将实时激光点云数据输入训练好的第一点云深度学习模型，以对实时激光点云数据进行处理，获取目标识别结果。

其中，在本公开的实施例中，上述训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，该标注信息包括样本目标的大小和位置，该标注信息是根据点云深度模型输出的预测数据得到的信息，该预测数据包括预测的样本目标的大小和位置。

步骤S203：根据目标识别结果之中目标的实时大小和实时位置，获取交通目标的实时位置信息。

举例而言，根据目标识别结果之中的目标的实时大小和实时位置，判断该目标是否为交通目标。响应于该目标为交通目标，则根据上述实时位置获取交通目标的实时位置信息。

在本公开的一些实施例中，可以将目标的实时大小大于预设阈值的目标确定为交通目标，并将该目标的实时位置确定为该交通目标的位置信息。其中，该预设阈值为预设的用于判断目标是否为交通目标的阈值。

步骤S204：确定实时激光点云数据对应的时间信息，并根据实时位置信息和时间信息，获取交通目标的速度真值曲线。

举例而言，确定实时激光点云数据中目标的实时位置对应的时间信息，根据实时位置信息和时间信息获取交通目标在多个时间点的对应多个速度真值，将多个速度真值按时间顺序连线，获取交通目标的速度真值曲线。

可以理解的是，实时激光点云数据为连续的多帧数据，在本公开的一些实施例中，可以将实时激光点云数据输入到预先训练的模型中，得到每一帧中交通目标的位置信息，从而根据每一帧交通目标的位置信息和每一帧对应的时间信息，获取每一帧交通目标的速度真值，将该实时激光点云数据对应的速度真值进行连线，从而可以得到交通目标的速度真值曲线。

步骤S205：根据实时环境感知数据和自动驾驶软件，获取交通目标的速度检测值曲线。

在本公开的实施例中，步骤S205可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S206：将速度真值曲线和速度检测值曲线进行方向和/或误差的分析处理，获得分析结果。

在本公开的实施例中，步骤S206可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S207：根据分析结果，确定自动驾驶软件是否通过测试。

在本公开的实施例中，步骤S207可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

通过实施本公开实施例，可以基于激光雷达获取的数据，获取交通目标的速度真值曲线，并结合自动驾驶软件获取该交通目标的速度检测值曲线，从而根据对速度真值曲线和速度检测值曲线进行分析获得的分析结果，确定自动驾驶软件是否通过测试。可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

在一种实现方式中，可以将速度真值曲线和速度检测值曲线逐点进行分析，从而根据分析结果确定所述自动驾驶软件是否通过测试。作为一种示例，请参见图3，图3是根据一示例性实施例示出的又一种车辆自动驾驶软件的测试方法的流程图。如图3所示，该方法可以包括但不限于以下步骤。

步骤S301：获取车辆环境感知传感器采集的实时环境感知数据。

在本公开的实施例中，步骤S301可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S302：根据实时环境感知数据，获取交通目标的速度真值曲线。

在本公开的实施例中，步骤S302可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S303：根据实时环境感知数据和自动驾驶软件，获取交通目标的速度检测值曲线。

在本公开的实施例中，步骤S303可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

步骤S304：将速度真值曲线和速度检测值曲线逐点进行方向和/或误差的分析。

作为一种示例，将速度真值曲线和速度检测值曲线逐点进行速度方向的分析。

作为另一种示例，将速度真值曲线和速度检测值曲线逐点进行速度误差的分析。

作为又一种示例，将速度真值曲线和速度检测值曲线逐点进行速度方向和速度误差的分析。

步骤S305：获得速度真值曲线和速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果。

作为一种示例，以将速度真值曲线和速度检测值曲线逐点进行方向的分析为例，则获得速度真值曲线和速度检测值曲线相同点的速度方向分析结果。

作为另一种示例，以将速度真值曲线和速度检测值曲线逐点进行误差的分析为例，则获得速度真值曲线和速度检测值曲线相同点的速度误差分析结果。

作为又一种示例，以将速度真值曲线和速度检测值曲线逐点进行方向和误差的分析为例，则获得速度真值曲线和速度检测值曲线相同点的速度方向分析结果和速度误差分析结果。

步骤S306：根据分析结果，确定自动驾驶软件是否通过测试。

在一种可选地实现方式中，上述根据分析结果，确定自动驾驶软件是否通过测试，可以包括以下步骤：根据速度真值曲线和速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果，获取速度真值曲线和速度检测值曲线之中存在速度反向和/或速度误差满足预设条件的目标点；根据存在速度反向和/或速度误差满足预设条件的目标点，确定自动驾驶软件引起车辆行车问题的总次数；根据引起车辆行车问题的总次数，确定自动驾驶软件是否通过测试。

作为一种示例，以分析结果包括速度方向分析结果为例，根据速度真值曲线和速度检测值曲线相同时间点点的速度方向分析结果，获取速度真值曲线和速度检测值曲线之中同一时刻的速度方向相反的目标点，根据存在速度反向的目标点的个数，确定自动驾驶软件引起车辆行车问题的总次数；响应于总次数大于次数阈值，确定自动驾驶软件未通过测试，或者，响应于总次数小于或等于次数阈值，确定自动驾驶软件通过测试。

作为另一种示例，以分析结果包括速度误差分析结果为例，根据速度真值曲线和速度检测值曲线相同时间点的速度误差分析结果，获取速度真值曲线和速度检测值曲线之中存在速度误差满足预设条件（例如，大于速度阈值）的目标点，根据存在速度误差的目标点的个数确定自动驾驶软件引起车辆行车问题的总次数；响应于总次数大于次数阈值，确定自动驾驶软件未通过测试，或者，响应于总次数小于或等于次数阈值，确定自动驾驶软件通过测试。

作为又一种示例，以分析结果包括速度方向分析结果和速度误差分析结果为例，根据速度真值曲线和速度检测值曲线相同时间点点的速度方向分析结果和速度误差分析结果，获取速度真值曲线和速度检测值曲线之中同一时刻的速度方向相反的目标点，并获取速度真值曲线和速度检测值曲线之中存在速度误差满足预设条件的目标点；根据上述目标点的个数，确定自动驾驶软件引起车辆行车问题的总次数；响应于总次数大于次数阈值，确定自动驾驶软件未通过测试，或者，响应于总次数小于或等于次数阈值，确定自动驾驶软件通过测试。

其中，在本申请的实施例中，上述速度阈值为用于判断速度真值曲线和速度检测值曲线同一时间的速度误差是否过大的速度值。

可选地，上述根据存在速度反向和/或速度误差满足预设条件的目标点，确定自动驾驶软件引起车辆行车问题的总次数，可以包括以下步骤：对速度真值曲线和速度检测值曲线进行滑窗处理，并获得存在速度反向和/或速度误差满足预设条件的目标点的滑窗的个数；将存在速度反向和/或速度误差满足预设条件的目标点的滑窗的个数，确定为自动驾驶软件引起车辆行车问题的总次数。

作为一种示例，对速度真值曲线和速度检测值曲线进行滑窗处理，获得存在速度反向的目标点的滑窗的个数；将存在速度反向的目标点的滑窗的个数，确定为自动驾驶软件引起车辆行车问题的总次数。

作为又一种示例，对速度真值曲线和速度检测值曲线进行滑窗处理，获得速度误差满足预设条件的目标点的滑窗的个数；将速度误差满足预设条件的目标点的滑窗的个数，确定为自动驾驶软件引起车辆行车问题的总次数。

作为又一种示例，对速度真值曲线和速度检测值曲线进行滑窗处理，获得存在速度反向的目标点的滑窗的个数，并获得速度误差满足预设条件的目标点的滑窗的个数；将上述存在速度反向和速度误差满足预设条件的目标点的滑窗的个数，确定为自动驾驶软件引起车辆行车问题的总次数。

通过实施本申请实施例，可以基于车辆环境感知传感器采集的实时环境感知数据获取交通目标的速度真值曲线，并结合自动驾驶软件获取该交通目标的速度检测值曲线，并将速度真值曲线和速度检测值曲线逐点进行分析，从而根据分析结果确定自动驾驶软件是否通过测试。可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

在本公开的一些实施例中，上述车辆自动驾驶软件的测试方法还可以包括：响应于自动驾驶软件未通过测试，根据实时环境感知数据确定对应的场景信息，和/或，根据实时环境感知数据确定交通目标的类别。

作为一种示例，响应于自动驾驶软件未通过测试，根据实时环境感知数据确定前述目标点对应的场景信息。例如，通过实时图像数据获取天气、光照强度和道路状况（例如，十字路口、隧道或者急转弯道路）。

作为另一种示例，响应于自动驾驶软件未通过测试，根据实时环境感知数据确定前述目标点对应的交通目标的类别。例如，当交通目标为机动车时，通过实时环境感知数据获取交通目标的车辆类型（例如，大货车或者小轿车等）；当交通目标包括人物时，获取该人物的具体行动方式（例如，步行或者骑行等）。

作为又一种示例，响应于自动驾驶软件未通过测试，根据实时环境感知数据确定前述目标点对应的场景信息，以及前述目标点对应的交通目标的类别。

通过实施本申请实施例，可以响应于自动驾驶软件未通过测试，根据实时环境感知数据确定对应的场景信息和/或交通目标的类别。以便于分析自动驾驶软件引起车辆行车问题的原因，帮助提升自动驾驶软件的安全性和有效性。

请参见图4，图4是根据一示例性实施例示出一种车辆自动驾驶软件的测试流程图。如图4所示，在该方案中，首先获取车辆传感器采集的原始数据包（pack）；之后根据原始数据片段获取交通目标的测速曲线（即测量得到的速度值曲线），并基于跟踪算法获取同一交通目标的真值曲线（即真实速度值曲线）；将测速曲线和真值曲线进行逐点比较，获取上述曲线中存在反向问题和误差偏大问题的点，并使用滑窗法统计次数，将连续误差偏大的点统计发生一次问题；从而统计数据包通过率，响应于通过率大于通过率阈值，确定车辆自动驾驶软件通过测试，或者，响应于通过率小于或等于通过率阈值，确定车辆自动驾驶软件未通过测试。

请参见图5，图5是根据一示例性实施例示出的一种车辆自动驾驶软件的测试装置框图。如图5所示，该装置500包括：获取模块501，用于获取车辆环境感知传感器采集的实时环境感知数据；第一处理模块502，用于根据实时环境感知数据，获取交通目标的速度真值曲线；第二处理模块503，用于根据实时环境感知数据和自动驾驶软件，获取交通目标的速度检测值曲线；第三处理模块504，用于将速度真值曲线和速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；确定模块505，用于根据分析结果，确定自动驾驶软件是否通过测试。

在一种实现方式中，环境感知传感器至少包括激光雷达，实时环境感知数据至少包括实时激光点云数据；其中，第二处理模块503具体用于：根据实时激光点云数据和训练好的第一点云深度学习模型，获取目标识别结果；目标识别结果包括目标的实时大小和实时位置；其中，训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，标注信息至少包括样本目标的大小和位置；根据目标识别结果之中目标的实时大小和实时位置，获取交通目标的实时位置信息；确定实时激光点云数据对应的时间信息，并根据实时位置信息和时间信息，获取交通目标的速度真值曲线。

在一种实现方式中，环境感知传感器包括以下传感器中的至少一种：激光雷达、摄像头和毫米波雷达；实时环境感知数据包括以下数据中的至少一种：实时激光点云数据、实时图像数据和实时毫米波雷达数据；自动驾驶软件包括以下感知模型中的至少一种：第二点云深度学习模型、图像识别模型和毫米波雷达感知模型。

在一种实现方式中，第三处理模块504具体用于：将速度真值曲线和速度检测值曲线逐点进行方向和/或误差的分析；获得速度真值曲线和速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果。

在一种可选地实现方式中，确定模块505具体用于：根据速度真值曲线和速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果，获取速度真值曲线和速度检测值曲线之中存在速度反向和/或速度误差满足预设条件的目标点；根据存在速度反向和/或速度误差满足预设条件的目标点，确定自动驾驶软件引起车辆行车问题的总次数；根据引起车辆行车问题的总次数，确定自动驾驶软件是否通过测试。

可选地，确定模块505具体用于：对速度真值曲线和速度检测值曲线进行滑窗处理，并获得存在速度反向和/或速度误差满足预设条件的目标点的滑窗的个数；将存在速度反向和/或速度误差满足预设条件的目标点的滑窗的个数，确定为自动驾驶软件引起车辆行车问题的总次数。

通过本公开实施例的装置，可以基于车辆环境感知传感器采集的实时环境感知数据获取交通目标的速度真值曲线，并结合自动驾驶软件获取该交通目标的速度检测值曲线，从而根据对速度真值曲线和速度检测值曲线进行分析获得的分析结果，确定自动驾驶软件是否通过测试。可以基于大规模的实时环境感知数据进行自动化对比，从而实现对自动驾驶软件的感知能力的检测，保障自动驾驶软件的安全性和有效性。

在一种实现方式中，上述装置还包括第四处理模块。作为一种示例，请参见图6，图6是根据一示例性实施例示出的另一种车辆自动驾驶软件的测试装置框图。如图6所示，该装置600还包括第四处理模块606，用于响应于自动驾驶软件未通过测试，根据实时环境感知数据确定对应的场景信息，和/或，根据实时环境感知数据确定交通目标的类别。其中，图6中的模块601~605与图5中的模块501~505具有相同的结构和功能。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

请参见图7，图7是根据一示例性实施例示出的一种电子设备的示意图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理、可穿戴式设备等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出（I/ O）接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器（LCD）和触摸面板（TP）。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风（MIC），当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

输入/输出接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任一实施例所述的方法。

本公开还提供一种可读存储介质，其上存储有指令，该指令被计算机执行时实现上述任一方法实施例的功能。

本公开还提供一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行所述计算机程序时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，高密度数字视频光盘（digital video disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disk，SSD））等。

本领域普通技术人员可以理解：本公开中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围，也表示先后顺序。

本公开中的至少一个还可以描述为一个或多个，多个可以是两个、三个、四个或者更多个，本公开不做限制。在本公开实施例中，对于一种技术特征，通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征，该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。

本公开中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车辆自动驾驶软件的测试方法，其特征在于，包括：

获取车辆环境感知传感器采集的实时环境感知数据；

根据所述实时环境感知数据，获取交通目标的速度真值曲线；

根据所述实时环境感知数据和所述自动驾驶软件，获取所述交通目标的速度检测值曲线；

将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；

根据所述分析结果，确定所述自动驾驶软件是否通过测试。

2.如权利要求1所述的方法，其特征在于，所述环境感知传感器至少包括激光雷达，所述实时环境感知数据至少包括实时激光点云数据；其中，所述根据所述实时环境感知数据，获取交通目标的速度真值曲线，包括：

根据所述实时激光点云数据和训练好的第一点云深度学习模型，获取目标识别结果；所述目标识别结果包括目标的实时大小和实时位置；其中，所述训练好的第一点云深度学习模型是根据样本目标的标注信息得到的模型，所述标注信息至少包括所述样本目标的大小和位置；

根据所述目标识别结果之中所述目标的实时大小和实时位置，获取所述交通目标的实时位置信息；

确定所述实时激光点云数据对应的时间信息，并根据所述实时位置信息和所述时间信息，获取所述交通目标的速度真值曲线。

3.如权利要求1所述的方法，其特征在于，

所述环境感知传感器包括以下传感器中的至少一种：激光雷达、摄像头和毫米波雷达；

所述实时环境感知数据包括以下数据中的至少一种：实时激光点云数据、实时图像数据和实时毫米波雷达数据；

所述自动驾驶软件包括以下感知模型中的至少一种：第二点云深度学习模型、图像识别模型和毫米波雷达感知模型。

4.如权利要求1所述的方法，其特征在于，所述将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果，包括：

将所述速度真值曲线和所述速度检测值曲线逐点进行方向和/或误差的分析；

获得所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果。

5.如权利要求4所述的方法，其特征在于，所述根据所述分析结果，确定所述自动驾驶软件是否通过测试，包括：

根据所述速度真值曲线和所述速度检测值曲线相同点的速度方向分析结果和/或速度误差分析结果，获取所述速度真值曲线和所述速度检测值曲线之中存在速度反向和/或速度误差满足预设条件的目标点；

根据所述存在速度反向和/或速度误差满足预设条件的目标点，确定所述自动驾驶软件引起车辆行车问题的总次数；

根据所述引起车辆行车问题的总次数，确定所述自动驾驶软件是否通过测试。

6.如权利要求5所述的方法，其特征在于，所述根据所述存在速度反向和/或速度误差满足预设条件的目标点，确定所述自动驾驶软件引起车辆行车问题的总次数，包括：

对所述速度真值曲线和所述速度检测值曲线进行滑窗处理，并获得存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数；

将存在所述速度反向和/或速度误差满足预设条件的目标点的滑窗的个数，确定为所述自动驾驶软件引起车辆行车问题的总次数。

7.如权利要求1至6中任一项所述的方法，其特征在于，还包括：

响应于所述自动驾驶软件未通过测试，根据所述实时环境感知数据确定对应的场景信息，和/或，根据所述实时环境感知数据确定所述交通目标的类别。

8.一种车辆自动驾驶软件的测试装置，其特征在于，包括：

获取模块，用于获取车辆环境感知传感器采集的实时环境感知数据；

第一处理模块，用于根据所述实时环境感知数据，获取交通目标的速度真值曲线；

第二处理模块，用于根据所述实时环境感知数据和所述自动驾驶软件，获取所述交通目标的速度检测值曲线；

第三处理模块，用于将所述速度真值曲线和所述速度检测值曲线进行方向和/或误差的分析处理，获得分析结果；

确定模块，用于根据所述分析结果，确定所述自动驾驶软件是否通过测试。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如权利要求1至7中任一项所述的方法被实现。

Images