技术领域 [0001] 本发明涉及一种利用摄像机获得的图像和雷达传感器的感测数据计算球运动的轨迹的方法,该球在高尔夫球手用高尔夫球杆击球时移动。 背景技术 [0002] 在使用球的运动游戏中,特别是高尔夫,准确地感测高尔夫球手击打的球的物理特性,并使用感测值来分析球或将其实现为模拟高尔夫领域中的图像,例如所谓的屏幕高尔夫。一直在尝试应用它。 [0003] 用于检测高尔夫球击中的运动球并计算球的运动特征信息的代表性装置包括基于图像分析的相机传感装置和基于雷达信号的雷达传感装置。 [0004] 图像分析传感装置对摄像机获取的球在击球过程中运动的图像进行分析,计算出球的位置信息,并利用计算出的位置信息生成运动球的轨迹信息。优点是在摄像头的视角范围内能够比较准确地检测到球的位置,有一个问题就是球在距离很远的时候根本检测不到。 [0005] 此外,由于相机感应方法无法感应到击球和移动的球的整个飞行部分,因此无法检测到球在飞行过程中从中间弯曲的音高,例如 Fade 或 Draw,因此它的轨迹无法计算,没有问题。 [0006] 雷达传感装置是向运动中的球体发射雷达信号,接收球体反射的信号,通过对接收到的信号进行分析,计算出与球体运动有关的各种特性信息的装置。该装置较宽,即使装置与球之间的距离为一定距离也可以检测到球,并且可以相当准确地感知通过图像分析难以检测的球旋转等信息。问题在于雷达信号容易受到环境干扰,可能包含噪声,无法准确计算出球的轨迹等信息。 [0007] 特别是在距离击球点预定距离的起始段,由于人和高尔夫球杆的干扰,雷达信号中出现严重的噪声和信号失真,因此计算球的运动轨迹相当困难.有 [0008] 为了计算球员用高尔夫球杆击球时球的运动轨迹,人们正在尝试通过结合使用摄像头传感和雷达传感来弥补彼此的缺点,但在摄像头传感的情况下方法,二维图像 由于获取到的轨迹上的数据也是2D数据,在雷达传感方法的情况下,由于计算了球在空间中的位置信息,因此基本上是3D中的3D数据空间,所以2D数据和3D数据一起使用有一个局限性,而且由于摄像头和雷达是作为一个单独的设备实现还是单独使用,感测位置不同,存在一个问题是很难融合两者的数据处理结果。 [0009] [在先专利文献] [0010] 韩国专利注册号 10-1848864 [0011] 韩国专利公开号 2019-0085152 [0012] 日本专利注册号 4773176 [0013] 韩国注册专利公开号 10-1845503 要解决的挑战 [0014] 在本发明中,在计算玩家击球击出的球的轨迹时,利用设置在一个传感装置中或单独设置的摄像头和雷达传感器,对摄像头获取的图像进行分析,以提供球轨迹计算一种基于图像和雷达的方法,通过将计算出的球轨迹信息与通过分析雷达传感器收集的雷达传感数据计算出的球轨迹信息进行匹配,从而计算出球的整个轨迹。 解决问题的手段 [0015] 根据本发明实施例的一种基于图像和雷达的球轨迹计算方法,包括:通过摄像头获取并分析球运动的图像,计算出图像处理轨迹,该轨迹为球的运动轨迹。球; 雷达传感器发射的雷达信号被运动球反射后接收到的信号,通过采集和分析计算球运动的雷达感应数据,分别生成多个雷达球轨迹候选; 计算图像处理轨迹与多个雷达球候选轨迹中的每一个的匹配率; 根据匹配率中最高的匹配率与图像处理轨迹匹配雷达球轨迹候选,计算球轨迹。 [0016] 还优选地,图像处理轨迹的计算可以包括计算从球的击球位置到能够从获取的图像中检测到与球对应的球对象的轨迹作为图像处理轨迹。其特征在于,这包括。 [0017] 还优选地,在匹配计算球轨迹的步骤中,根据最高匹配率在雷达球轨迹候选上从图像处理轨迹结束的位置提取轨迹,并将其连接到图像处理轨迹,其特征在于它包括。 [0018] 还优选地,图像处理轨迹的计算可以包括基于击球的时间点收集由摄像机获取的图像,并且从球的击球位置显示从获取的图像中的球的图像。 .检测对应的球体,计算连接检测到的球体的直线作为图像处理轨迹,直到图像中检测不到球体为止。 [0019] 还优选地,所述摄像头为单摄像头,获取视角朝向球行进方向的二维图像,计算图像处理轨迹的步骤包括:通过连接所述球的位置计算图像处理轨迹。检测到的球对象,直到可以检测到球对象,并根据相机的视角将它们显示在二维图像上。 [0020] 还优选地,计算多个雷达球轨迹候选中的每一个的步骤包括使用收集的雷达感测数据计算球位置坐标信息,以及使用球位置坐标信息基于雷达计算球位置坐标信息。该方法可以包括计算基本球轨迹为轨迹,并在改变基本球轨迹的视角和尺度的同时分别生成多个雷达球轨迹候选。 [0021] 还优选地,匹配率的计算包括将图像处理轨迹与多个雷达球轨迹候选中的每一个进行比较以量化轨迹的相似度,其中球轨迹的计算包括:确定具有以下特征的雷达球轨迹候选:根据最高匹配率将最高相似度值作为雷达球轨迹候选,并从确定的雷达球轨迹候选中的图像处理轨迹的最后位置对应的位置,通过将轨迹连接到图像计算球轨迹加工轨迹。 [0022]还优选地,计算多个雷达球轨迹候选分别包括基于收集的雷达传感数据计算基本球轨迹,并改变基本球轨迹的视角和尺度。生成多个雷达中的每一个球轨迹候选以2D视图的形式对应于摄像机的2D图像的视角,其中计算匹配率的步骤是将2D图像、图像处理轨迹和多个雷达球中的每一个进行比较球轨迹候选以二维视图的形式量化轨迹的相似度,其中计算球轨迹的步骤包括相似度值最高的雷达球轨迹候选,通过连接二维视图上的轨迹计算球轨迹。图像处理轨迹的维视图。 [0023] 另一方面,在根据本发明另一实施例的基于图像和雷达的球轨迹计算方法中,获取并分析相机运动的球的图像,以计算图像处理轨迹,即运动轨迹球的视角,摄像机根据球的视角生成二维图像; 雷达传感器发射的雷达信号从移动的球上反射出来,收集并分析根据接收到的信号计算出的球运动的雷达传感数据,以确定与球的二维图像视角相对应的基于雷达的球轨迹。 camera 创建二维视图形式; 调整二维视图形式的雷达球轨迹的视角和尺度,使二维视图形式的雷达球轨迹与图像处理轨迹匹配根据相机视角的二维图像; 通过将图像处理轨迹与基于雷达的球轨迹匹配来计算球轨迹。 [0024] 还优选地,根据摄像头的视角计算图像处理轨迹并生成二维图像的步骤包括采集摄像头基于击球时间点获取的图像,以及一个球从 的击球位置从获取的图像中检测到球对应的目标,并在二维图像上绘制连接检测到的球目标的线,直到无法从图像中检测到球目标为止。生成基于雷达的步骤摄像机的2D图像的视角对应的2D视图形式的球轨迹包括利用收集到的雷达传感数据在3D空间中基于雷达生成球轨迹。计算球位置坐标信息,计算雷达基于球在3维空间中的轨迹使用球位置坐标信息,并将基于雷达的球在3维空间中的轨迹转换为相机的2维图像其特征在于包括生成关于的步骤对应视角的二维视图。 发明效果 [0025] 根据本发明的基于图像和雷达的球轨迹计算方法使用设置在一个传感装置中或单独设置的摄像头和雷达传感器来计算玩家击球所击出的球的轨迹,因此,计算出的球轨迹信息通过分析摄像头获取的图像和通过分析雷达传感器采集的雷达传感数据计算出的球轨迹信息进行匹配,从而计算出球运动的整个轨迹。 附图简要说明 [0026] 1是显示一个状态的视图,在该状态下,在球员的后部安装了相机设备和雷达传感器,因为球员在高尔夫球场上射击了球的运动。 图2是表示在图1所示的状态下照相机以规定的拍摄速度拍摄到的图像的例子和使用该图像生成的图像处理轨迹的例子的图。 图3和4是用于解释雷达传感器如何通过分析雷达信号来计算运动球的位置坐标信息的视图。 图5是本发明实施例的基于图像和雷达的球轨迹计算方法的流程图。 图6是用于解释根据图5的流程图生成和匹配图像处理轨迹和多个雷达球轨迹候选的图。 图7是示出通过将图5所示的多个雷达球轨迹候选中具有最高匹配率的雷达球轨迹候选与图像处理轨迹结合而计算出的最终球轨迹的图和图像处理轨迹。 图8为本发明另一实施例的基于影像与雷达的球道计算方法的流程图。 实施发明的具体细节 [0027] 下面将参照附图详细描述根据本发明的基于图像和雷达计算球轨迹的方法的细节。 [0028] 根据本发明实施例的球轨迹计算方法,当玩家在室外,例如高尔夫球场用高尔夫球杆击球时,使用相机感应测量击球移动的整个区段中的球轨迹装置及雷达感测装置,涉及一种利用感测结果进行计算的方法。 [0029] 1是显示一个状态,其中相机设备100和雷达传感器200在播放器的后部安装了200个状态,因为球员10在高尔夫球场上进行了高尔夫球射击。 [0030] 根据本发明实施例的基于图像的球轨迹计算方法和雷达,如图200所示,可以单独安装,也可以将摄像头和雷达传感器一起设置在一个球体中。分别执行图像分析和雷达分析的传感设备外壳。 [0031] 另外,摄像头可以是单摄像头,以其视角获取二维图像,也可以是两个摄像头立体配置的摄像头设备,例如发射监视器。 立体型相机设备可以使用关于由每个相机获取的2D图像的数据来计算球的3D位置坐标。 [0032] 无论是单摄像头方式还是立体式摄像设备,由于当球远离摄像设备时无法从图像中检测到球,因此摄像设备仅从球的初始起始位置移动到距离段从图像中可以检测到球的位置,可以检测到该部分的球运动轨迹。 [0033] 本发明利用摄像头获取的图像分析计算球从球开始起步到摄像头获取的图像中可以检测到球的部分的轨迹,此后的球轨迹为雷达sensing 的基本特征是,通过使用设备感知到的雷达传感数据进行计算,将图像轨迹与雷达轨迹进行匹配,从而计算出整个球轨迹。 [0034] 根据本发明实施例的基于图像和雷达的球轨迹计算方法连接到摄像装置和雷达传感器,以使用摄像装置的图像分析结果和雷达分析结果计算球轨迹。雷达传感器,它可以由客户端设备执行,也可以由一个配备摄像头和雷达的传感设备中计算信息的组件执行。 [0035] 如上所述,执行根据本发明的球轨迹计算方法的主体可以通过单独提供的客户端设备或者通过包括照相机和雷达传感器的一个感测设备中的组件来执行。可以通过硬件配置或者在下文中,执行根据本发明的球轨迹计算方法的对象将被命名和描述为“轨迹计算装置”。 [0036] 在图1中,作为根据本发明实施例的球轨迹计算方法的计算装置,轨迹计算装置300连接到相机装置100和雷达传感器200(通过有线或无线通信连接),显示大约 然而,本发明不限于此,并且如上所述,轨迹计算装置的形状可以以各种方式实现。 [0037]例如,上述轨迹计算装置可以实现为单独的终端(有线/无线连接相机和雷达传感器并使用从相机和雷达传感器接收的数据执行用于轨迹计算的计算的终端),它可以也可以在运行轨迹计算应用程序的智能手机中实现,以便它可以连接到相机和雷达传感器来执行计算。 [0038] 图2示出了在图1所示状态下照相机以预定拍摄速度获取的图像的示例。 [0039] 图2(a)是摄像机在视角下获取的第n帧图像100a,图2(b)是第n+m帧图像200b,存在帧图像。 [0040] 相机装置中提供的图像处理单元或计算球轨迹的轨迹计算装置可以针对每个图像帧检测图像中与球对应的对象,并指定图像中球对象的位置。 [0041] 如图2的(a)所示,摄像装置可以在图像100a中找到并检测到与球对应的对象,即球对象BO,以及检测到的球对象BO的位置。(position on二维图像)可以存储。 [0042] 图2的(a)示出了球对象已经从初始起始位置PO移动了预定距离的状态。虽然在2D图像中未知,但是由于球实际上是向前飞行的,所以检测到实际球随着距离的逐渐增加,摄像头获取图像,图像上待观察物体的大小逐渐减小。 [0043] 如此一来,待观察物体的尺寸逐渐变小,如图(b)所示,变得非常小,最终无法从图像中检测到球物体。 [0044] 轨迹计算装置利用摄像头获取的每幅图像中检测到球体的结果(使用图像中检测到球体的检测结果,直到检测不到球体为止),图2(c),可以计算连接每个球对象的位置(P0,P1,P2...Pf)的轨迹,即图像处理轨迹(TRI)。 [0045] 由于获取图像的相机为单相机,根据相机的视角,相机获取的图像(100a、100b等)均为二维图像,因此图像处理轨迹(TRI)如图3所示。图2(c)可以通过连接2D图像110上的球对象的位置的线来创建。 [0046] 由于上述图像处理轨迹(TRI)是在摄像机获取的图像中检测到球对象之前的轨迹,当实际球远离摄像机并且在摄像机中不再能够检测到球对象时——由于无法推导出球的运动轨迹,因此可以利用雷达传感器采集的雷达传感数据,得到从检测不到球物体开始的区间的球运动轨迹。 [0047] 图3和图4示出了雷达传感器通过分析雷达信号计算出运动球的位置坐标信息。 [0048] 雷达传感器是一种基本上利用雷达的多普勒效应来计算关于例如高尔夫球杆击打的球的运动特性的各种信息的装置,并且是如图210所示的信号发射器,信号接收单元参照图220,可以配置信号分析单元230和信息计算单元240。 [0049] 雷达传感器可以安装在距离用户要击打的球的位置预定距离的地面上或附近,并向要通过击打移动的球的运动方向发射特定频率的雷达信号球在安装位置。它可以被配置为在接收和分析从球反射的反射波的同时跟踪被击打和移动的球。 [0050] 信号发送单元210被配置为在目标方向上发送特定的雷达信号,并且虽然图中未示出,但是可以被配置为包括用于发送雷达信号的发送天线。 [0051] 信号接收单元220用于接收信号发射单元110发射的雷达信号被球体反射后返回的反射波信号。 由于多普勒效应,信号传输单元110传输的反射波信号和球体反射的反射波信号的频率改变信号传输单元210传输的信号的频率,导致多普勒频移。 也就是说,信号接收单元120接收具有多普勒频移的信号。 [0052] 信号接收单元220被配置为包括多个接收天线,用于接收反射波信号,从而利用接收信号的相位差获得运动球的位置、速度、轨迹和方向角等信息从多个接收天线中的每一个,可以计算出 [0053] 图4(a)简要说明了信号接收单元220的配置示例,如图所示,信号接收单元220适当地使用三个或更多个接收天线,包括RA1、RA2和RA3。当布置和设置时,每个接收天线(RA1 、RA2、RA3)可以接收从球(B)接收到的反射波信号,利用各接收天线间信号的相位差,球(B)移动的轨迹(高度角)和方向角可以是分别计算。 [0054] 例如,根据图4(a)所示的信号接收单元220中各接收天线的布置,可以利用RA1和RA2接收到的信号的相位差计算出运动球B的轨迹。利用RA1和RA3分别接收到的信号的相位差,可以计算出运动球B的方向角。 [0055] 另外,由于当信号接收器220接收反射波信号时信号接收器220可以容易地计算球B和信号接收器220之间的距离,所以信号接收器220接收从球B反射的反射波信号。当接收,可以知道到球B的距离,球B的轨迹角度,球B的方向角信息,利用以上信息,可以计算出球B的位置坐标信息。 当计算出球B的位置坐标信息时,也可以使用该信息计算出球的速度。 [0056] 这样,信号分析器230可以在球移动的预定时间间隔通过分析球反射的雷达信号来计算相位信息,并且可以以预定时间间隔计算运动球的位置坐标信息。它可以被配置为屈服 [0057] 也就是说,信号分析单元230可以如上所述分析接收到的雷达的反射波信号,以计算与球的移动相关的雷达感测数据,并且可以以预定的时间间隔计算雷达感测数据。它可以是相位信息或基于相位信息计算的球位置坐标信息。 [0058] 信息计算单元240使用信号分析单元230计算出的球的位置坐标信息来确定球的运动轨迹('基于雷达的球轨迹以区别于通过图像分析计算的图像处理轨迹)')可以计算出来。 [0059] 雷达信号被球体反射后,信号接收单元接收到的信号可能会因用户与球杆之间的干扰以及球体表面的曲率而导致雷达信号失真和相位抖动。可以通过对信号失真或相位抖动的补偿以及雷达传感数据的统计分析来计算球。 [0060] 但是,由于在球开始后预定距离段对应的初始运动段,雷达信号的信号失真和相位抖动严重,因此利用初始运动段的雷达传感数据计算出的球运动轨迹可能是与球的实际运动轨迹不同,图像分析计算出的轨迹在球的初始运动段可能更准确。 [0061] 在本发明中,利用雷达传感数据计算基于雷达的球轨迹的方法可以基于多种方法。 [0062] 例如,可以通过RANSAC算法等统计分析,通过分析各雷达传感数据的可靠性,根据可靠性为各数据分配权重,根据雷达反映权重和球的位置,计算出球轨迹。传感数据基于坐标范围中可靠性高的数据得到部分轨迹,根据该部分轨迹通过物理引擎拟合雷达传感数据,可以计算出基于雷达的球轨迹。 [0063] 在本发明中,具体如何利用雷达传感数据计算雷达球轨迹,对方法本身没有特定要求,任何一种方法都可以将任何一种方法计算出的雷达球轨迹与图像处理轨迹相结合。其特点是计算整个运动轨迹。 [0064] 下面,将描述与根据本发明实施例的基于图像和雷达的球轨迹计算方法相关的具体过程。 [0065] 图5是用于说明根据本发明实施例的基于图像和雷达的球轨迹计算方法的过程的流程图。 [0066] 根据用户的击球位置,将摄像头装置与雷达传感器相距预定距离放置(或在预定距离放置摄像头与雷达传感器合二为一的传感装置),定位待击球,摄像装置检测到球因此,球可以准备好(意味着摄像装置和雷达传感器准备好感测球)(S100)。 [0067] 随着球被击打(S110),摄像头获取图像(S121),雷达传感器的信号分析单元分析信号接收器接收到的信号,以收集球运动的雷达传感数据。 (S131)​​。 [0068] 相机设备检测与每个获取的图像中实际捕获球的部分相对应的对象,即,球对象(S122)。 [0069] 在检测球体时,例如可以预先设定球体的形状、物体的圆度等球体要求,将满足要求的物体检测为球体。可以检测图像,或者检测球对应的模板,可以通过预先存储,将图像中检测到的对象与模板进行比较,判断相似度来检测待查看对象。 [0070] 然而,不可能在球移动的整个部分的所有图像中检测球对象,并且当摄像机和球之间的距离变得大于预定距离时,由于摄像机的位置是固定的,图像中与球对应的部分的尺寸变得太小,无法再检测到球对象。 [0071] 如果从摄像头获取的图像中检测到待观察对象失败(S123),即,当无法再从图像中检测到待观察对象时,摄像装置或轨迹计算装置检测每一帧,直到可以使用从图像中检测到并显示在相机图像上的球对象来计算图像处理轨迹(S124)。 [0072] 例如,如图2(c)所示,图像处理轨迹(TRI)是通过连接从每个摄像头获取的球对象的位置(P0、P1、P2...Pf)来计算的。图像,并且它可以显示在立体图像110上。 [0073] 同时,雷达传感器可以使用收集到的雷达感测数据来计算如图4(b)所示的球位置坐标信息(S132)。 此外,可以使用球位置坐标信息来计算基于雷达的球轨迹(S133)。 这里,将在步骤S133中计算出的基于雷达的球轨迹称为“基本球轨迹”。 [0074] 如上所述,由于使用雷达传感器收集的雷达感测数据计算的球位置坐标是3D坐标信息,所以基本球轨迹可以是使用3D坐标信息计算的3D空间中的轨迹。 [0075] 雷达传感器或轨迹计算装置可以从如上所述的基本球轨迹生成多个雷达球轨迹候选(S134)。 多个雷达球轨迹候选中的每一个可以是同一基本球轨迹的不同视角和/或尺度生成的轨迹。 [0076] 例如,基本球轨迹以对应于摄像机2D图像的视角的2D视图的形式生成,但是在改变视角和/或a的同时改变2D视图的视角和尺度多个具有不同尺度的2D视图形式可以生成雷达球轨迹候选。 [0077] 用于执行根据本发明的方法的轨迹计算装置如上所述计算图像处理轨迹与多个雷达球轨迹候选中的每一个的匹配率(S140),并且具有最高匹配率的图像处理轨迹-雷达球轨迹可以通过选择候选组合(S150)并将图像处理轨迹与具有最高匹配率的雷达球轨迹候选进行匹配(S160)来计算最终球轨迹。 [0078] 将参考图6和图7更详细地描述通过上述步骤S134至S160计算图像处理轨迹和雷达球轨迹候选的匹配率以及通过匹配计算最终球轨迹。 [0079] 图6(a)是根据摄像头的视角在二维图像110上分析摄像头获取的图像计算得到的图像处理轨迹(TRI),图(b)~(f)分别表示a从使用雷达传感数据计算的基本球轨迹生成的雷达球轨迹候选。 [0080] 上述图像处理轨迹(TRI)是2D图像110的信息,所以是2D数据,而利用雷达传感数据计算的基本球轨迹是3D空间的信息,所以是2D数据和3D数据。很难直接结合 3D 数据,希望将基于雷达的基本球轨迹转换为 2D 数据以生成雷达球轨迹候选。最好以 2D 视图的形式生成轨迹候选(251 , 252, 等等),这是与 2D 图像 110 相同的形式。 [0081] 如图6(b)至(f)所示,雷达球轨迹候选以二维视图的形式表示基本球轨迹,每个雷达球轨迹候选(251、252、253、254、 255等)根据不同的视角和/或尺度生成,同时在预设范围内调整视角和尺度,生成的数字的个数也可以是预先设定的。 [0082] 雷达球轨迹候选的数量越多,推导出的球轨迹越准确,但计算与图像处理轨迹的匹配率可能需要更多的时间。可以通过确定合适的数量来生成雷达球轨迹候选. [0083] 以2D视图形式生成的每个雷达球轨迹候选都是从相同的基本球轨迹生成的,但是通过改变2D视图的视角和/或比例生成的,并且每个2D视图内的轨迹是相同的基本ball tr​​ajectory 尽管它是从中创建的,但它可以作为二维视图以不同的形式出现。 [0084] 图6(b)以2D视图251的形式显示第一雷达球轨迹候选TRr1,图6(c)以2D视图252的形式显示第二雷达球轨迹候选TRr2。6(d)显示2D视图253形式的第三雷达球轨迹候选TRr3,并且图6(e)示出了2D视图254形式的第四雷达球轨迹候选TRr4。参考图6的(f)作为二维视图255的形式的第五雷达球轨迹候选(TRr5),可以生成比图(b)到(f)更多的雷达球轨迹候选。 [0085] 在下文中,将描述雷达球轨迹候选是图6的五个(b)至(f)的情况。 [0086] 如上所述,当提供图像处理轨迹(TRI)和多个雷达球轨迹候选(TRr1至TRr5)时,轨迹计算装置确定图像处理轨迹(TRI)和多个雷达球轨迹候选(TRr1 to TRr5),分别计算匹配率,确定匹配率最高的图像处理轨迹-雷达球轨迹候选组合。 [0087] 也就是说,2D图像110和2D视图251至255具有相同的形式并且易于相互比较。~TRr5)可以比较以量化轨迹的相似性,以及图像处理轨迹和的组合可以将轨迹相似度值最高的雷达球轨迹候选确定为匹配率最高的组合。 [0088] 图像处理轨迹与雷达球轨迹候选轨迹的相似度可以通过将它们在轨迹的形态和几何特征上的相似程度数字化来表示。还可以考虑雷达球轨迹候选的轨迹和球质量。 [0089] 在图6所示的例子中,计算图像处理轨迹(TRI)与第一雷达球轨迹候选(TRr1)的匹配率,然后图像处理轨迹(TRI)与第二雷达球轨迹候选( TRr2)计算匹配率,然后计算图像处理轨迹(TRI)和第三雷达球轨迹候选(TRr3)的匹配率,然后图像处理轨迹(TRI)和第四雷达计算球轨迹候选(TRr4)。作为计算匹配率的方法,将每个雷达球轨迹和图像处理轨迹进行一对一比较,并分析轨迹的相似性,以找到匹配率最高的组合,即相似度最高。 [0090] 在图6中,假设图像处理轨迹(TRI)与图7所示的第四雷达球轨迹候选TRr4的匹配率计算得到如图7(c)所示的最终球轨迹fTR通过匹配如图(a)所示的图像处理轨迹(TRI)和如图(b)所示的第四雷达球轨迹候选(TRr4)可以做到。 [0091] 即确定相似度值最高的图像处理轨迹(TRI)和雷达球轨迹候选(TRr4)的组合,将雷达球轨迹候选(TRr4)与图像处理轨迹(TRI)连接得到最后球的轨迹,可以计算出来。 [0092] 将雷达球轨迹候选TRr4连接到图像处理轨迹TRI,将雷达球轨迹候选TRr4中图像处理轨迹TRI最后位置的轨迹部分TRr转换为图像处理轨迹(TRI)。如图7的(c)所示的2D图像330可以通过连接到的最后位置来计算。 [0093] 同时,参考图8所示的流程图,将描述根据本发明另一实施例的基于图像和雷达计算球轨迹的方法。 [0094] 与上述图8所示实施例的球轨迹计算方法相比,图8所示实施例的球轨迹计算方法的共同点在于计算 ,但计算过程有所不同通过将基于雷达的球轨迹与图像处理轨迹相匹配来得到最终的球轨迹。 [0095] 首先,根据用户的击球位置将摄像头装置和雷达传感器放置在预定距离处(或将摄像头和雷达传感器作为一个装置实现的传感装置放置在预定距离处),然后将球放置到被击中。可以被检测到准备好球(意味着相机设备和雷达传感器准备好感测球)(S200)。 [0096] 随着球被击打(S210),摄像头获取图像(S221),雷达传感器的信号分析单元分析信号接收器接收到的信号,以收集球运动的雷达传感数据。 (S231)。 [0097] 摄像头设备在每个获取的图像中检测与实际捕获球的部分对应的对象,即球对象(S222),并且当从摄像头获取的图像中检测到球对象失败时(S223),即从图像中不再可见。当无法检测到物体时,摄像装置或轨迹计算装置使用从每一帧图像中检测到的球体来计算图像处理轨迹,直到无法检测到球体为止,并显示它在相机图像上。它可以(S224)。 [0098] 上述步骤S221至S224的过程与上述图5的步骤S121至S124的过程基本相同,如图2(c)所示,从各相机获取的图像(P0、P1、P2 ... Pf)可以连接以计算图像处理轨迹(TRI)并将其显示在 2D 图像 110 上。 [0099] 同时,雷达传感器可以使用收集到的雷达感测数据来计算3D空间中的球位置坐标信息(S232)。 [0100] 此外,可以使用3D空间中的球位置坐标信息来计算基于雷达的球轨迹(S233)。 [0101] 轨迹计算设备以对应于相机的2D图像的视角的2D视图的形式生成3D空间中的基于雷达的球轨迹(S234)。 例如,可以以图6的(b)~(f)中的任一个的2D图的形式制作。 [0102] 轨迹计算装置设置二维视图形式的基于雷达的球轨迹的视角和/或尺度,使得基于二维视图形式的基于雷达的球的轨迹与根据相机的视角调整二维图像上的图像处理轨迹(S240)。 这样的调整可以不断进行,直到匹配完成。 [0103] 以此方式,当以二维视图的形式调整基于雷达的球轨迹的视角和/或比例尺的同时完成图像处理轨迹和基于雷达的球轨迹的匹配时(S250),轨迹计算装置确定图像处理轨迹和基于雷达的球轨迹,根据匹配计算最终球轨迹(S260)。 [0104] 例如,可以通过提取从图像处理轨迹的最后位置到上述二维视图的基于雷达的球轨迹的一部分轨迹并将其连接到图像的最后位置来计算最终的球轨迹加工轨迹。 [0105] 如上所述,根据本发明的基于图像和雷达的球轨迹计算方法计算玩家击球击中的球的移动轨迹。相机设置在一个传感装置中或彼此分开设置的整个轨迹。球的运动是通过将通过分析摄像机获取的图像计算出的球轨迹信息与通过分析雷达传感器收集的雷达传感数据计算出的球轨迹信息进行匹配的,因为可以计算出,所以有一个特征可以通过使用雷达传感器将通过相机的图像分析生成的部分截面的轨迹扩展到整个截面来生成轨迹。 代码说明 [0106] 100:相机设备,110:二维图像 200:雷达传感器,210:信号传输单元 220:信号接收单元,230:信号分析单元 240:信息计算单元,300:轨迹计算装置