技术领域 [0001] [0001] 本发明涉及一种台球模拟装置及其方法,更具体地说,将通过一个或多个摄像头获得的与用户相关的一个或多个图像信息输入到姿势估计模型,并由姿势估计模型输出,其是用户注视的方向。基于与注视高度、用户姿势、提示变化和提示相关的用户相关图像相关的信息,将与用户相关的化身或与提示相关的用户相关图像应用于屏幕,其中台球桌被显示和显示,并且检测用户的部分移动,根据检测到的用户的移动应用和显示变化量到化身,或者显示与提示相关的用户相关图像,该提示的数量应用根据检测到的用户运动的变化,并显示用户的运动 将与用户瞄准母球相关的图像应用到台球桌并显示,并显示与化身或球杆相关的用户,以便用户可以在模拟器上检查母球和球杆之间的距离、球杆的角度和瞄准母球的点。母球,根据击球动作,根据用户的击球动作,提供台球台上显示的母球和目标球的台球模拟过程和结果。 背景技术 [0002] 台球是一种室内运动,由象牙或塑料制成的红球和白球在铺有天鹅绒的方桌上用球棒的尖端击打来决定胜负。 [0003] 随着IT技术的发展,各种台球游戏程序已被开发并以PC或智能手机应用程序的形式提供,并且还被配置为通过网络在远程位置的虚拟空间中进行游戏。 [0004] 由于这些游戏都配置为通过键盘或鼠标输入水球的击球量,因此作为真实台球游戏的模拟体验存在诸多不足。 现有技术文献 [0005] 韩国注册号 10-1928246 [名称:台球游戏模拟器] 要解决的挑战 [0006] 本发明的一个目的是将通过一个或多个摄像头获得的与用户相关的一个或多个图像信息输入到姿态估计模型中,并输出姿态估计模型输出的值,即图像的方向和高度。用户的视线,用户的姿势,和提示。根据提示变化的相关信息和与提示相关的用户相关视频,与用户相关的头像或与提示相关的用户相关视频是通过将其应用于显示台球桌的屏幕来显示,连续检测用户的部分运动,并且根据检测到的用户运动的变化量应用于化身并显示,或者与用户相关的图像显示应用了根据检测到的用户动作的变化量的球杆,并且与根据用户动作瞄准母球的用户相关。图像被应用到台球桌并显示,并且与用户相关显示与化身或球杆相关的图像,以便用户可以在模拟器上检查母球和球杆之间的距离、球杆的角度以及瞄准母球的点。本发明的一个目的是提供一种台球模拟装置和方法,用于根据用户基于击球的击球动作应用和显示在台球台上显示的母球和jeok球的台球模拟过程和结果。 解决问题的手段 [0007] 在根据本发明实施例的台球模拟方法中,当预设事件发生时,用户身体的运动、每个关节的运动、以及用户持有的与每个摄像头单元所在区域相关的球杆。由一个或多个相机单元定位。获取一个或多个图像信息,包括运动; 控制器基于获取的一个或多个图像信息,获取用户的面部、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的视线距地面的高度、用户的姿势,以及,分析队列的变化信息; 控制器在显示单元上显示显示有台球桌的屏幕。 [0008] 作为与本发明相关的示例,用户的面部、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的眼睛距地面的高度、用户的姿势以及线索变化信息的分析进行人工智能的步骤可以包括:将获取的一个或多个图像信息作为预设的基于人工智能的姿态估计模型的输入值进行人工智能; 并且可以包括用户的面部、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的眼睛距地面的高度、用户的姿势、以及队列的变化信息的检查过程。 [0009] 作为与本发明相关的示例,分析球杆的变化信息的步骤可以包括用户握住球杆的状态、通过附着在球杆上的另一个传感器单元在握住球杆时检测到运动感测的状态。在以下状态中的至少一种状态中,根据包括控制单元的台球模拟装置的运动感测的状态,以及在没有提示的情况下,以及预设触摸感测的状态由于台球模拟装置在没有球杆的情况下被感应,因此可以分析用户的手臂或手部的相位、角度、速度、位移和深度中的至少一项根据运动的变化信息。 [0010] 作为与本发明相关的示例,基于获取的一个或多个图像信息,用户的面部、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的眼睛距地面的高度,用户分析cue的姿势和变化信息的步骤包括用户的脸、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的视线离地高度、用户的姿势、并且可以检查球杆的变化信息。 [0011] 作为与本发明相关的示例,显示台球桌的屏幕可以包括生成与被分析用户的面部、体格和身高相关的头像; 将创建的头像和球杆应用显示到显示台球桌的屏幕上。 [0012] 作为与本发明相关的示例,显示台球桌的屏幕的显示可以包括基于获取的一个或多个图像来提取与持有包括在获取的图像信息中的球杆的用户的姿势相关的图像信息; 将提取的与拿着球杆的用户的姿势相关的图像应用并显示到显示台球桌的屏幕上。 [0013] 作为与本发明相关的示例,显示台球桌的屏幕的步骤包括分析的用户关节的运动信息、用户的方向和注视高度、用户的眼睛距地面的高度,并且考虑到用户的姿势,它可能由用户视角的屏幕组成,或者视角围绕台球桌变化的屏幕,以提供不同方向的视角台球桌。 [0014] 作为与本发明相关的一个例子,控制单元通过一个或多个摄像单元实时检测用户根据时间变化的局部运动,同时在屏幕上连续显示台球桌。 通过控制器将检测到的用户的部分移动应用到与化身相关的图像或用户在屏幕中持有提示的姿势; 由控制器在显示单元内的屏幕上更新和显示应用了用户的部分移动的化身或与用户持有提示的姿势相关的图像。 [0015] 作为与本发明相关的一个例子,控制器通过一个或多个摄像头单元根据时间变化检测用户的局部移动; 当检测到的用户的局部运动对应于瞄准球杆的预设动作时,由控制单元在显示单元内的屏幕上更新和显示与用户瞄准球杆相关的图像。 [0016]作为与本发明相关的示例,从基于图像信息生成的化身或根据从通过一个或多个额外获取的图像信息检测到的用户动作的图像信息获得与瞄准该设备的用户相关的图像相机单元。它是一个在所有方向上移动的图像,以便可以在前一个屏幕中检查台球桌上的所有台球周围的母球,其中应用了持有球杆的用户的提取图像,顺时针或逆时针, 或向上。/ 可能是向下转身看水球的图像。 [0017] 作为与本发明相关的示例,当通过一个或多个摄像头单元实时检测到用户的随时间变化的局部运动对应于用户相对于用户的击球动作时,控制单元执行台球模拟过程根据击球动作在台球台上显示的一个母球和一个或多个目标球; 控制单元根据台球模拟过程的执行在显示单元上显示信息。 [0018] 在根据本发明实施例的台球模拟装置中,当预设事件发生时,用户身体的一个或多个动作、每个关节的动作、以及用户所持球杆的动作,与发生的区域相关。每个摄像单元位于至少一个摄像单元,用于获取图像信息; 并基于获取的一个或多个图像信息,用户的面部、体格、身高、用户关节的运动信息、用户的注视方向和注视高度、用户的视线距地面的高度、用户的姿势、提示等。可以包括控制单元,该控制单元分析变化信息并在显示单元上显示其上显示有台球桌的屏幕。 发明效果 [0019] 在本发明中,将通过一个或多个摄像头获取的与用户相关的一个或多个图像信息输入到姿态估计模型中,姿态估计模型输出的结果值为用户注视的方向和高度,用户的姿势,以及提示的变化。基于与提示相关的信息和与提示相关的用户相关图像,通过应用显示与用户相关的头像或与提示相关的用户相关图像到显示台球桌的屏幕,并连续检测和检测用户的局部运动。根据检测到的用户运动的变化量被应用到化身并显示,或者与用户相关的图像显示应用了根据检测到的用户动作的变化量的球杆,并显示与根据用户动作瞄准母球的用户相关的图像。它被应用到台球桌并被显示,并且在显示台球台和母球的屏幕上显示与头像或球杆相关的用户相关视频,以便用户可以在模拟器上查看母球与球杆之间的距离、球杆的角度以及击球机构或装置,通过为台球台上显示的母球和目标球提供台球模拟过程和结果,根据根据用户的击球动作进行击球动作,没有它,可以方便地玩袖珍台球、艺术台球、卡罗姆台球等各种台球游戏,增加用户的兴趣和满意度。 附图简要说明 [0020] 附图说明图1是表示本发明的一个实施方式的台球模拟装置的结构的框图。 图2是示出根据本发明实施例的台球模拟方法的流程图。 图3~图5是表示本发明的一个实施方式的台球模拟装置的画面例的图。 实施发明的具体细节 [0021] 需要说明的是,本发明所使用的技术术语仅用于描述具体的实施方式,并不用于限制本发明。 此外,本发明中使用的技术术语应按照本发明所属领域的普通技术人员通常理解的术语来解释,除非本发明中另有具体定义,并且具有过度的包容性。在积极的意义上或在过度缩小的意义上进行解释。 此外,当本发明中使用的技术术语是不能准确表达本发明精神的错误技术术语时,应当用本领域技术人员能够正确理解的技术术语来代替。 此外,在本发明中使用的一般术语应被解释为预先定义或根据上下文定义,而不应以过分缩小的意义进行解释。 [0022] 此外,除非上下文另有明确规定,否则本发明中使用的单数表达包括复数表达。 本发明中的“由……组成”、“包含”等用语不应理解为一定包括本发明所描述的所有的各个要素或步骤,也可以不包括其中的部分要素或步骤。应理解为它可能或可能进一步包括额外的组件或步骤。 [0023] 此外,在本发明中使用的包括诸如第一和第二等序数的术语可以用于描述组件,但组件不应受这些术语的限制。 术语仅用于将一个组件与另一个组件区分开来。 例如,第一元素可以被称为第二元素,并且类似地,第二元素可以被称为第一元素,而不脱离本发明的范围。 [0024] 在下文中,将参照附图详细描述根据本发明的优选实施例,但是相同或相似的部件被赋予相同的附图标记而与附图标记无关,并且将省略对其的重复描述。 [0025] 此外,在描述本发明时,如果确定相关公知技术的详细描述可能模糊本发明的主旨,则将省略详细描述。 另外,需要说明的是,附图只是为了便于理解本发明的精神,并不构成对本发明精神的限制。 [0026] 图1是表示本发明的一个实施方式的台球模拟装置100的结构的框图。 [0027] 如图1所示,台球模拟装置100由摄像单元110、通信单元120、存储单元130、显示单元140、音频输出单元150和控制单元160组成。 并非图1所示的台球模拟装置100的所有组件都是必须的组件,台球模拟装置100可以由比图1所示更多的组件来实现,台球模拟装置100也可以由组件来实现。 [0028] 台球模拟装置100包括智能手机、便携终端、移动终端、折叠终端、个人数字助理(PDA)、PMP(便携式多媒体播放器终端、远程信息处理终端、导航终端、个人电脑、笔记本电脑、 slate PC、tablet PC、ultrabook、可穿戴设备(包括可穿戴设备,例如手表式终端(Smartwatch)、眼镜式终端(Smart Glass)、HMD(Head Mounted Display)等)、Wibro终端、IPTV (Internet Protocol Television)终端、智能电视、数字广播终端、AVN(Audio Video Navigation)终端、A/V(Audio/Video)系统、柔性终端、数字标牌设备等各种终端,以及喜欢。 [0029] 相机单元(或拍摄单元)110放置(或配置/形成)在空间周围的侧面(或墙壁)、天花板、地板等的一侧以覆盖用户将要到达的空间(或区域)位于。)做。 [0030]另外,摄像单元110由一个或多个图像传感器(摄像模块或摄像头)组成,用于拍摄位于空间中的用户的正面,包括正面、背面、侧面、底部和顶部。 此时,相机单元110可以配置有能够获取360度所有方向的图像信息的立体相机、深度相机等。 [0031] 另外,当预设事件发生时,控制单元160会在对应的相机单元110所在的区域(或根据对应的相机单元110的方向)控制一个或多个相机单元110。 ), 用户身体和/或每个关节的运动(或用户身体表面根据用户身体和/或每个关节的运动而变化), 用户持有的球杆的运动(或the cue) 获取(或拍摄)一个或多个图像信息,包括 ) 的变化等。 这里,预设事件是用户语音的语音信息包括预设关键字(例如,开始,包括台球游戏等)的情况,当显示在显示单元140上的预设开始菜单被选择时,传感器当[0062] 当通过处于待机状态的相机单元110实时或以预设时间间隔获得的图像信息内检测到对象时,通过单元(未示出)检测到(或测量/检测到)对象的运动,其中通过附加到用户持有的提示等的另一个传感器单元(未示出)来感测预设动作。 此外,根据每个关节的运动,用户身体表面的变化是用户握住球杆(或球杆架)的状态,其他传感器单元连接到球杆(包括 9 轴运动传感器等)拿着球杆(未显示)通过时间检测运动感应的状态),根据用户运动(或运动)的状态没有球杆,根据台球运动感应的状态无球杆模拟装置100,以及用于无球杆台球模拟装置100的预设在设定的感测到触感的状态下,根据运动的相位、角度、速度、位移、深度等包括用户的关节。 另外,使用者所持球杆的移动(或球杆的变化)根据手臂和/或手的运动决定了使用者所持球杆的相位、角度、速度、位移、深度等。拿着球杆的用户的手。包括 在这里,球杆的运动(或球杆的变化)是用户拿着球杆(或球杆架)、拿着球杆和连接到球杆的另一个传感器单元(包括,例如, 9轴运动传感器)(未示出)。通过运动感应检测的状态,根据没有提示的用户运动(或动作)的状态,根据台球模拟设备100的运动感应的状态没有提示台球模拟装置100在没有球杆的情况下,在感应到球杆的状态下,根据用户手臂和/或手臂的运动,球杆的相位、角度、速度、位移、深度等被预设为触碰。包括手。 此外,预设移动是指球杆在预设方向(包括例如左/右方向、上/下方向、对角线方向)摇动(或移动)一定次数(例如,两次)或更多次等), cue 包括在预设的顺时针/逆时针方向旋转(或移动)超过预定次数的情况。 在这种情况下,一个或多个图像信息可以是通过拍摄用户身体的运动和/或关节的运动、用户持有的球杆的运动等获得的图像信息。 [0032] 也就是说,一个或多个相机单元110在视频通话模式、拍摄模式、视频会议模式等下处理由图像传感器(相机模块或相机)获得的诸如静止图像或运动图像的图像帧。 也就是说,图像传感器获得的相应图像数据根据编解码器(CODEC)编码/解码以符合每个标准。 例如,相机单元110捕获对象(或对象)并输出与捕获的图像(对象图像)相对应的视频信号。 [0033] 此外,经相机单元110处理后的影像画面(或影像信息)可储存于数字视频录像机(DVR)、储存于储存单元130、或通过通讯单元120传送至外部服务器。等等。 [0034] 此外,相机单元110获取(或捕获)显示在预览项目(或取景器项目)上的图像(或图像信息)。 [0035] 通信单元120通过有线/无线通信网络与任一内部组件或至少一个外部终端进行通信。 在这种情况下,外部终端可以包括服务器(未示出)、终端(未示出)等。 在这里,无线互联网技术包括无线局域网(WLAN)、DLNA(数字生活网络联盟)、无线宽带(Wibro)、WiMAX(世界微波接入互操作性:Wimax)、HSDPA(高速下行链路分组接入)、High高速上行链路分组接入(HSUPA)、IEEE 802.16、长期演进(LTE)、高级长期演进(LTE-A)、无线移动宽带服务(WMBS)等,通信单元120发送和接收根据范围内的至少一种无线互联网技术的数据,包括上面未列出的互联网技术。 此外,短距离通信技术包括蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、超音速通信(USC)、可见光可以包括光通信(VLC)、Wi-Fi、Wi-Fi Direct等。 此外,有线通信技术可以包括电力线通信(PLC)、USB通信、以太网、串行通信、光/同轴电缆等。 [0036] 此外,通信单元120可以通过通用串行总线(USB)与任意终端相互发送信息。 [0037] 此外,通信单元120符合用于移动通信的技术标准或通信方法(例如,GSM(全球移动通信系统)、CDMA(码分多址)、CDMA2000(码分多址2000)、EV-DO( Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE- A(Long Term Evolution-Advanced)等)在移动通信网络上与基站、服务器、终端进行无线电信号的收发。 [0038] 此外,通信单元120在控制器160的控制下将获得的关于特定用户的视频信息、根据击球动作的台球模拟功能的结果等发送到服务器、终端等。 [0039] 存储单元130存储各种用户界面(UI)、图形用户界面(GUI)等。 [0040] 另外,存储单元130存储台球模拟装置100运行所需的数据和程序。 [0041]也就是说,存储单元130可以存储由台球模拟装置100驱动的多个应用程序(应用程序)、用于台球模拟装置100的操作的数据和命令。 这些应用程序中的至少一些可以通过无线通信从外部服务器下载。 另外,为了台球模拟装置100的基本功能,这些应用程序中的至少一部分可以从出厂时就存在于台球模拟装置100上。 另一方面,应用程序可以存储在存储单元130中,安装在台球模拟装置100中,并由控制单元160驱动以执行台球模拟装置100的操作(或功能)。 [0042] 此外,存储单元130可以是闪存类型、硬盘类型、多媒体卡微型类型或卡类型存储器(例如,SD或XD存储器等)、磁存储器、磁盘、光盘、RAM(随机存取存储器:RAM)、SRAM(静态随机存取存储器)、ROM(只读存储器:ROM)、EEPROM(电可擦除可编程只读存储器),它可能包括至少一种存储介质PROM(可编程只读存储器)。 此外,台球模拟装置100可以在互联网上操作执行存储单元130的存储功能的网络存储器,或者可以与网络存储器相关地操作。 [0043] 此外,存储单元130存储在控制器160的控制下通过相机单元110获得的与特定用户相关的图像(或图像信息),以及根据击球动作的台球模拟功能结果保存等. [0044] 显示单元(或显示单元)140可以在控制单元160的控制下使用存储在存储单元130中的用户界面和/或图形用户界面来显示诸如各种菜单屏幕的各种内容。 这里,显示单元140上显示的内容包括各种文本或图像数据(包括各种信息数据)和包括诸如图标、列表菜单和组合框的数据的菜单屏幕。 此外,显示单元140可以是触摸屏。 [0045] 此外,显示单元140可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT LCD)、有机发光二极管(OLED)和柔性显示器。它可以至少包括柔性显示器、3D 显示器、电子墨水显示器、发光二极管 (LED)、光束投影仪、护目镜式 VR 和全息图之一。 [0046] 此外,显示单元140在控制器160的控制下通过取景器屏幕显示由相机单元110获取的图像信息。 [0047] 此外,显示单元140显示在控制器160的控制下通过相机单元110获得的关于特定用户获得的图像(或图像信息)、根据击球动作的台球模拟功能结果等. 显示 [0048] 音频输出单元150输出包括在经过控制单元160的预定信号处理的信号中的音频信息。 这里,音频输出单元150可以包括接收器、扬声器、蜂鸣器等。 [0049] 此外,语音输出单元150输出由控制单元160生成的引导语音。 [0050] 此外,音频输出单元150可用于在控制单元160的控制下通过相机单元110获得与特定用户相关的图像(或图像信息),根据击球的台球模拟功能的结果动作等,输出相应的音频信息(或音效)。 [0051] 控制器或微控制器单元(MCU) 160执行台球模拟装置100的整体控制功能。 [0052] 此外,控制单元160使用存储在存储单元130中的程序和数据来执行台球模拟装置100的总体控制功能。 控制器160可以包括RAM、ROM、CPU、GPU和总线,并且RAM、ROM、CPU和GPU可以通过总线彼此连接。 CPU可以访问存储单元130并使用存储在存储单元130中的O/S执行引导,并且使用存储在存储单元130中的各种程序、内容、数据等。你可以通过做所以。 [0053] 此外,当预设事件发生时,控制器160通过一个或多个相机单元110关联对应的相机单元110所在的区域(或根据对应的相机单元110的方向的覆盖区域)。因此,用户身体和/或每个关节的运动(或用户身体的表面根据用户身体的运动和/或每个关节的运动而变化),用户持有的球杆的运动(或提示的改变)获取(或拍摄)一个或多个图像信息,包括,等等。 这里,预设事件是用户语音的语音信息包括预设关键字(例如,开始,包括台球游戏等)的情况,当显示在显示单元140上的预设开始菜单被选择时,传感器当[0062] 当通过处于待机状态的相机单元110实时或以预设时间间隔获得的图像信息内检测到对象时,通过单元(未示出)检测到(或测量/检测到)对象的运动,其中通过附加到用户持有的提示等的另一个传感器单元(未示出)来感测预设动作。 此外,根据每个关节的运动,用户身体表面的变化是用户握住球杆(或球杆架)的状态,其他传感器单元连接到球杆(包括 9 轴运动传感器等)拿着球杆(未显示)通过时间检测运动感应的状态),根据用户运动(或运动)的状态没有球杆,根据台球运动感应的状态无球杆模拟装置100,以及为无球杆台球模拟装置100预设的包括在设定状态下根据用户关节运动的相位、角度、速度、位移、深度等。感应到触摸感应。 另外,使用者所持球杆的移动(或球杆的变化)根据手臂和/或手的运动决定了使用者所持球杆的相位、角度、速度、位移、深度等。拿着球杆的用户的手。包括 在这里,球杆的运动(或球杆的变化)是用户拿着球杆(或球杆架)、拿着球杆和连接到球杆的另一个传感器单元(包括,例如, 9轴运动传感器)(未示出)。通过运动感应检测的状态,根据没有提示的用户运动(或动作)的状态,根据台球模拟设备100的运动感应的状态没有提示台球模拟装置100在没有球杆的情况下,在感应到球杆的状态下,根据用户手臂和/或手臂的运动,球杆的相位、角度、速度、位移、深度等被预设为触碰。包括手。 此外,预设移动是指球杆在预设方向(包括例如左/右方向、上/下方向、对角线方向)摇动(或移动)一定次数(例如,两次)或更多次等), cue 包括在预设的顺时针/逆时针方向旋转(或移动)超过预定次数的情况。 在这种情况下,一个或多个图像信息可以是通过拍摄用户身体的运动和/或关节的运动、用户持有的球杆的运动等获得的图像信息。 [0054]此外,当预设事件发生时,除了相机单元110之外,控制器160还可以通过激光雷达、雷达等来测量用户(或玩家)的行为。 [0055] 此外,当预设事件发生时,控制器160可以通过将预设的9轴运动传感器(未示出)安装在相应用户持有的提示上来测量根据用户的移动的信息。 [0056] 此外,控制器160可以基于获取的(或拍摄的)一个或多个图像信息来确定用户的面部、体格、身高、用户关节的运动信息(或身体关节信息)以及用户的目光。它分析(或检查/确定/计算/测量/估计)方向、注视高度、用户的视线距地面的高度、用户的姿势、提示变化信息(或提示运动信息)等。 这里,用户的姿势是腿部位置、膝盖弯曲度数(或膝盖以垂直于地面的方向的弯曲角度/度数)、腰部弯曲度数(或腰部弯曲角度/度数)基于垂直于地面的方向)度),双手(或双臂)的位置(或双手/手臂离地的位置),双手握球杆的位置和方向,桥架姿势握球杆的手的位置(或桥信息/没有球杆时)一只手的桥位置),肩肘之间的位置,肘腕之间的位置和角度,以及手的形状和姿势. 这里,球杆的变化信息(或球杆的运动信息)是用户握住球杆(或球杆架)、握住球杆以及附着在球杆上的其他传感器单元(包括,对于例如,一个 9 轴运动传感器)(未显示)。通过时间检测运动感应的状态),根据用户的运动(或运动)而没有提示的状态,根据运动感应的状态无球杆台球模拟装置100,以及用于无球杆台球模拟装置100的预设,包括球杆随着球杆运动的相位、角度、速度、位移、深度等变化信息。用户的手臂和/或手处于检测到设置触摸感应的状态。 [0057] 即,控制单元160通过将获得的(或拍摄的)一个或多个图像信息作为预设的基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且人工智能 It测量(或确认/估计)用户的面部、体格、身高等,这是表现的结果(或机器学习/深度学习的结果)。 [0058] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿态估计模型的输入值来执行人工智能(或机器学习/深度学习),并执行人工智能运动用户信息(或身体关节信息),包括用户面部、体格、身高、用户关节形状、用户关节运动规律等结果(或机器学习结果/深度学习结果)。 检查这 [0059] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能。结果(或机器学习结果/深度学习结果),用户注视的方向(例如,包括用户注视相对于预设参考点的方向和角度),注视的高度,用户眼睛的高度从地面,检查用户的姿势等。 [0060] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能。检查结果(或机器学习结果/深度学习结果),例如根据用户的动作而变化的变化信息(或提示动作信息)。 [0061] 也就是说,控制单元160通过用户拿着球杆(或球杆架)的状态感测运动,另一传感器单元(包括9轴运动传感器等)(未示出)附接到球杆检测到的状态、根据没有提示的用户的运动(或动作)的状态、根据没有提示的台球模拟装置100的运动感测的状态、针对台球的预设触摸感测的状态台球模拟装置100检测到没有球杆等,球杆的变化信息包括球杆的相位、角度、速度、位移、深度等随着用户手臂和/或运动的运动而发生的变化信息。手进行了分析。 [0062] 这样,控制单元160将获得的一个或多个图像信息输入到基于人工智能的姿态估计模型,并根据姿态估计模型输出的结果值(或执行人工智能的结果),用户的人脸、体格、身高、用户关节运动信息(或身体关节信息)、用户注视方向和高度、用户视线离地高度、用户姿势、提示变化信息(或提示动作信息)等。可以分析(或验证/确定/计算/测量/估计)。 [0063] 在本发明的一个实施例中,用户的面部、体格、身高、关节运动的信息(或身体关节的信息),用户通过人工智能对用户和/或提示,是一种一个或多个图像信息中的物体,虽然主要描述了检查注视方向和注视高度、用户的眼睛距地面的高度、用户的姿势、提示的变化信息等,但不限于此,并且控制单元160通过对用户的图像处理,提供对应的一个或多个图像信息,提示等,其中对象是用户的面部,体格,身高,用户关节的运动信息(或身体关节信息),可以检查用户注视的方向和高度,以及用户的眼睛距地面的高度、用户的姿势、球杆变化信息等。 [0064] 此外,控制器160基于获取的(或捕获的)一个或多个图像信息,提取包括在对应的图像信息中的与拿着球杆的用户的姿势有关的图像。 这里,与用户握住提示的姿势相关的图像(或与用户身体部位相关的图像和/或相应图像信息中包括的提示)可以是2D图像或3D图像,并且握住的提示由用户和相应的图像它包括用户的身体部位(包括,例如,手,手臂等)拿着球杆,并且包括左手或右手被桥接的状态。 [0065] 即,控制单元160通过将获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能作为结果(或机器学习结果/深度学习结果),识别(或提取)与持有提示的用户的姿势相关的图像。 [0066] 虽然本发明实施例主要描述了通过人工智能为用户和/或线索提取(或确认)与用户持有线索的姿势相关的图像,该线索是一个或多个图像信息中的对象,但是,尽管不限于,控制器160可以通过用户和提示的图像处理来识别(或提取)与保持相应用户的提示的姿势相关的图像,它们是相应的一个或多个图像信息中的对象。 [0067] 此外,控制器160创建与分析的(或确认的/确定的/计算的/测量的/估计的)用户的面部、体格、身高等相关的化身。 此时,控制器160使用预设化身,或根据用户从先前存储在存储单元130中的多个化身中选择的化身,或在获取的图像信息中识别的用户。因此,化身(或表情符号) ) 可以使用实时生成的。 [0068]此外,控制器160将创建的化身应用于显示台球桌的屏幕,并将其显示在显示单元140上。 这里,控制器160将对应于分析的(或确认的/确定的/计算的/测量的/估计的)球杆的变化的球杆图像与生成的化身一起发送到显示台球桌的屏幕。它可以应用于并显示在显示单元140上。 此时应用于台球桌上显示的虚拟形象的姿势是分析的用户的关节运动信息(或身体关节信息),用户的注视方向和注视高度,用户的视线距地面的高度,可能是用户的姿势等也被应用的状态(或者台球桌的显示角度被改变为注视方向(或注视角度和方向)并且被应用的状态)。 另外,应用于并显示在台球桌上的虚拟形象可以以第三人称视角观看对应的台球桌,也可以以第一人称视角从虚拟形象的侧面/后方观看台球桌。 特别是,当以第一人称视角从相应化身的侧面/后侧看台球桌时,化身仅显示模糊的轮廓,或者从用户的视线(或手臂和手)可见的身体和身体表面从视线中可见)此外,只有一部分球杆被保持并且向前可见)可以通过与台球桌合并来显示。 此外,显示台球桌的屏幕(或从用户角度来看的屏幕)可以配置为虚拟现实、增强现实、混合现实、虚拟世界等形式,模式类型(例如,单独练习模式、包括练习模式等),可以根据台球游戏的类型显示一个或多个母球、一个或多个敌方球等。 这里,台球游戏类型可以根据用户设置而改变(或修改),包括袖珍台球(例如,八球、九球、十球、斯诺克等)、艺术台球(例如,艺术球、艺术台球)等),包括),台球(包括,例如,三球,四球,六球等),等等。 另外,显示台球桌的屏幕(或用户视角的屏幕)是分析的用户的关节运动信息,用户的注视方向和注视高度,用户的眼睛距地面的高度,以及考虑到用户的姿势,它被配置为从用户的角度来看的屏幕,或者被改变并应用于在台球桌周围改变视角以提供不同方向的视角的屏幕的台球桌。 [0069] 例如,在4球台球游戏的情况下,多个不同颜色的母球(例如包括白色母球和黄色母球)、第一目标球、第二目标球、创建的头像,球杆(或球杆架)等可以应用并显示在台球桌上。 [0070] 作为另一个例子,在三球台球游戏的情况下,多个不同颜色的母球(例如包括白色母球和黄色母球)、第一目标球、创建的化身、球杆等应用到台球桌上。可以显示。 [0071] 此外,控制单元160将所提取的与拿着球杆的用户的姿势相关的图像应用到显示台球桌的屏幕,并将其显示在显示单元140上。 此时,控制器160调整提取的用户拿着球杆的姿势相关图像的尺寸以匹配台球桌的尺寸,然后显示调整后的用户拿着球杆的姿势相关姿势的图像。可以应用于显示台球桌的屏幕并显示在显示单元140上。 [0072] 也就是说,控制器160可以在显示单元140上显示用户的桥接球杆接近模拟器上的母球的混合现实图像。 此时,控制单元160可以使用预设机制(未示出)来假定母球的位置,以便准确地逼真地实现混合现实图像。 [0073] 例如,可以在用户所在的现实世界中配置(或放置)其上绘制台球的板或击球练习器(未示出),并且模拟器上的母球的点可以是指定的。 [0074] 这样,控制器160可以将创建的化身或提取的姿势相关图像(或持有球杆的用户的姿势相关图像)应用并显示到显示台球桌的屏幕。 [0075] 此外,控制单元160通过使用与相应用户相关的母球,考虑到一个或多个母球和包括在台球桌中的一个或多个目标球的移动方向(或移动方向),并且准确地对应对应的目标球。为了击打母球,可以创建根据母球和目标球的位置的引导线,并且创建的引导线可以另外显示在化身所在的屏幕的一侧以虚线或实线的形式应用。 这里,准则(或准则信息)包括目标点的位置、击球强度以及母球和目标球根据击球的移动方向。 [0076] 此外,控制器160将保持提示的化身或用户的姿势相关图像持续应用并显示到屏幕(或用户的视点屏幕)(或显示包括台球桌的屏幕)。在时间上),通过一个或多个相机单元110实时感测用户根据时间变化的局部移动。 [0077] 即,控制器160将与化身相关的图像或用户握住球杆的姿势连续地应用并显示到屏幕(或从用户的角度来看的屏幕)(或显示包括台球桌的屏幕)。人工智能(或机器学习/深度)使用一个或多个相机单元110从较晚的时间点实时额外获得(或拍摄)的一个或多个图像信息作为基于人工智能的姿势估计的输入值model.learning),根据时间变化实时检测(或确认/测量/估计)用户的局部动作,是附加的人工智能性能结果(或机器学习结果/深度学习结果)。 [0078] 此时,控制单元160确定用户的局部运动是否是用于执行立方体桥笔画的适当姿势(或者将用户的局部运动与先前存储在存储单元130中的参考立方体桥姿势图像进行比较)。确定匹配率是否等于或高于预定参考值),并且在观看母球时将要击打的化身(或持有球杆的化身)显示在近距离位置. [0079] 此外,控制器160将感测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)应用到屏幕中的化身或与用户保持提示的姿势相关的图像。然后,在屏幕上显示(或更新和显示)应用了用户的部分运动的化身或者与用户的部分运动保持提示的用户的姿势相关的图像在显示单元140内。 此时,控制器160控制母球与模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面的倾斜角度/三球杆中的球杆)基于球杆内预设参考点的尺寸方向)、倾斜角度),用户实时移动球杆,通过虚拟形象同步显示在模拟器上的屏幕上,从而可以检查母球。 结果,用户可以在确认模拟器上的母球的目标点以及球杆的方向和角度改变的同时进行球杆击球和击球的初步动作。 此外,控制单元160显示一个或多个附加信息(例如,包括母球与相应用户在模拟器上的球杆之间的距离、球杆的角度、母球瞄准的点)等)在显示台球桌的屏幕的一侧。可以显示 此时,控制器160基于提示的变化信息以及根据用户的当前姿势的餐厅的位置将相应提示的变化信息应用(或反映)到显示在屏幕上的母球和提示的状态可以以虚线或点的形式显示在屏幕(或模拟器)上。 [0080]另一方面,控制器160确定用户的部分运动是否是用于执行击球提示桥的适当姿势(或者将用户的部分运动与先前存储在存储单元130中的参考立方体桥姿势图像进行比较)。匹配率是否高于预设参考值),将母球的位置与特定点(例如,放置在实际用户面前的台球)同步,并显示母球桥接的实际图像从用户的视线在模拟器上看到的。它可以在混合现实中叠加显示。 [0081] 此时,控制单元160仅从摄像单元110获取的真实图像中获取用户的身体和体表(例如,手臂和桥接的手)用于检测到的用户的部分运动,并且除了,它在显示单元140中的模拟器屏幕上被混合和显示(或更新和显示)。 这里,控制单元160允许相应的用户确定母球和模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面/球杆的倾斜角度)在基于球杆内预设参考点的三维方向上)。倾斜角度),并另外检测瞄准母球的点。 [0082] 此外,通过一个或多个相机单元110随时间实时检测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)对应于瞄准预设母球的动作在这种情况下,控制单元160在显示单元140上显示与用户瞄准相应母球相关的图像。 这里,根据从设备检测到的用户运动,与瞄准设备的用户有关的图像(或设备瞄准图像)被显示在正在应用化身或姿势相关图像的屏幕(或前一屏幕)上。额外获取一个或多个图像信息,可以在各个方向(例如,包括向上、向下、向左、向右、对角线等) ),或在顺时针或逆时针或向上/向下转动时注视设备的图像(或屏幕/全景屏幕)。 此时,用户动作包括顺时针/逆时针旋转(或转动/移动)手、脚或头、抬起(或移动/摇动)手、脚等。 此外,当母球(或台球桌)旋转360度时,控制器160在显示单元140上显示先前屏幕。 此外,在显示观看母球(或台球台)的图像同时绕母球(或台球台)旋转的状态下,预设的用户动作(例如,摇动手/脚)特定次数或更多次,检测到拳头),控制器160停止(或停止)显示与瞄准母球的用户相关的图像,并在显示单元140上显示先前屏幕。 [0083] 即,检测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)是瞄准母球(例如,黄色台球或白色台球,在这种情况下)的动作3球)与用户有关。在这种情况下,控制单元160使用第一人称视角或第三人称视角,以便用户可以从各种角度检查母球和目标球的位置关于用户瞄准母球的动作,在显示单元140上显示与用户瞄准母球相关的图像(或母球瞄准图像)。 此时,控制器160控制母球与模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面的倾斜角度/三球杆中的球杆)基于球杆内预设参考点的尺寸方向。倾斜角度),用户实时瞄准母球的动作(或用户注视母球的动作),以便用户可以查看球杆点针对母球,虚拟形象或相应用户的持球姿势通过相关图像,与模拟器上的屏幕同步显示。 结果,用户可以在确认模拟器上的母球的目标点以及球杆的方向和角度改变的同时进行球杆击球和击球的初步动作。 [0084] 在台球游戏中,在击球前进行预备动作以在桥接状态(或瞄准状态)中做出准确的击球。 [0085] 构成本发明的增强现实的模拟器的用户的行为被应用为输入值并通过显示单元140和/或音频输出单元150(例如,包括屏幕、声音等)输出。 )被用户识别,并且可以诱导可以适当诱导连续动作(包括例如划动动作等)的状态。 [0086] 此外,当在通过一个或多个相机单元110额外获取的图像信息中发生(或检测/确认)另一预设事件时,控制器160确定用户的注视方向、注视高度和对应于用户的化身,台球桌,而不是应用用户视线水平、用户姿势等的屏幕(或应用用户视线水平、视线等的与台球桌相关的屏幕/以用户为中心的用户/首先-人物视图屏幕)屏幕被切换到包括等的全屏,并且整个屏幕被显示在显示单元140上。 这里,其他事件是当由用户的语音引起的语音信息包括另一预设关键字时显示在显示单元140上的预设全屏菜单(或上一屏幕等)(例如包括全屏、上一屏幕等)。菜单)被选中,如果检测到用户的手臂和/或手指在上/下方向、左/右方向或对角线方向的移动超过一定次数,则用户的手臂和/或手指顺时针/半- clockwise 检测到顺时针方向转了一定圈数以上的情况,等等。 此外,整个屏幕包括相应的头像、与用户拿着球杆的姿势相关的图像、台球桌等,并且基于在从该台球桌观看相应台球桌的状态下的屏幕。天花板和用户的测量高度,对应用户从当前位置看台球的状态对应用户的姿势基于屏幕在站立的用户当前位置看台球的状态直立状态,测量用户的身高,用户的姿势等,包括屏幕 [0087] 此外,控制单元160通过使用与相应用户相关的母球,考虑到一个或多个母球和包括在台球桌中的一个或多个目标球的移动方向(或移动方向),并且准确地对应对应的目标球。为了击打母球,可以根据母球和目标球的位置创建引导线,并且可以将创建的引导线以以下形式附加显示在整个屏幕的一侧虚线或实线。 这里,准则(或准则信息)包括目标点的位置、击球强度以及母球和目标球根据击球的移动方向。 [0088] 此外,当在显示整个屏幕的同时另一个事件另外发生(或检测/确认)时,控制器160用先前的屏幕(或用户注视的方向和高度)替换整个屏幕。与地面的视线高度、用户的姿势等被应用/与用户的视线水平、注视等被应用到的台球桌相关的屏幕/以用户为中心的用户/第一人称视角的屏幕)显示单元140显示 [0089]此外,通过一个或多个相机单元110随时间实时检测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)根据用户的笔划由化身桥接。提示中的提示(或在提示的一端配置的提示的尖端)或实际用户桥接的混合现实图像(或包含与用户握住提示的姿势相关的图像的屏幕)是当接触对应于对母球的击打动作时,控制器160对台球台上显示的母球(或与用户相关的母球)执行台球模拟过程,并且一个或多个目标球根据相应的击球动作。 此时,控制器160可以在根据击球动作用球杆击打母球时通过音频输出单元150输出预设声音信息(例如,母球和母球碰撞的声音)。 这里,控制单元160可以根据用户的击球行为考虑到相应母球的得分,将诸如一般击打、推动、拉动和弹击(或起立)的功能应用到母球。 此时的台球模拟过程是根据击球动作、击球力度、击球方向等,加速规律,根据母球、目标球等的动作/反作用的运动过程, 惯性定律等,如在实际的台球游戏中。包括 [0090] 即,当通过一个或多个相机单元110根据时间变化实时检测到的用户的局部运动(或根据检测到的用户的局部运动的变化量)对应于预设击打动作时,控制单元160控制对应用户的每个关节的动态元素和基于对应用户的每个关节的运动的对应用户的每个关节的动态元素根据时间的变化和提示相对于根据用户的击球行为计算(或测量)等。 这里,用户的每个关节的运动(或者每个节段的每个关节的运动形式/用户体表根据每个关节的运动的变化)是相位、角度、速度、位移、深度等. 每个关节随着时间的推移。包含信息 此外,各关节的力学因素还有动量、冲量、扭矩、转动惯量、向心力、功、功率、动能、势能、角动量、向心加速度等。 此外,球杆(或球杆的运动)的变化包括球杆随时间变化的相位、角度、速度、位移、深度等信息。 此外,球杆的动力要素(或根据球杆的变化而产生的动力因素)包括动量、冲量、力矩、转动惯量、向心力、功、功率、动能、势能、角动量、向心力等。加速度之类的。 [0091] 此外,控制单元160基于计算的(或测量的)相应用户的每个关节的力学因素和球杆的力学因素来确定施加到母球(或主球)的力的强度。 /强度)计算(或计算)。 [0092] 此外,控制单元160根据计算出的施加到母球的力的强度和母球的得分,对一个或多个目标球(或母球瞄准的目标球)执行台球模拟过程。到击球动作。做。 [0093] 此外,控制器160根据台球模拟过程的执行在显示单元140上实时显示信息(或台球模拟过程信息)。 此时,当根据用户的击球行为击打母球时,控制器160显示应用了用户的注视方向和注视高度、用户的视线距地面的高度、用户的姿势等的屏幕(或代替应用用户视线水平和视线的与台球桌相关的屏幕/以用户为中心的用户/第一人称视角的屏幕),它切换到全屏状态从预设格式的天花板看台球桌,击打母球的步骤相应地,相应的母球和一个或多个目标球的移动(或移动)状态可以全屏显示在显示单元140上. [0094] 这样,台球模拟装置100不使用单独的仪器(例如,包括鼠标、键盘、触摸板、操纵杆、台球等),通过人工智能分析图像信息,用户的行为和动作检测运动机(或提示)的状态,并根据用户的行为提供虚拟环境(或模拟器/混合环境),从而提高用户的感知。通过沉浸在虚拟环境中的化身中并实现有形同步,可以将与游戏动作相关的物理输入值配置为提供给模拟器,使其与实际动作相同。 [0095] 在本发明的实施例中,主要描述了由一个人进行的台球游戏,但不限于此,控制器160可以被配置为在多个用户进行台球游戏时获取一个或多个图像信息。在上面,可以对多个用户中的每个用户进行分类(或分类/分类),并且可以对多个划分的用户中的每个用户执行台球模拟过程。 在这种情况下,控制单元160可以基于获得的一个或多个图像信息执行面部识别功能、针对多个用户的颜色分类/分类功能等以区分每个用户。 [0096] 这样,通过一个或多个摄像头获取的与用户相关的一个或多个图像信息被输入到姿态估计模型中,姿态估计模型输出的结果值为用户注视的方向和高度,基于与该提示相关的信息和与该提示相关的用户相关图像,将与该用户相关的头像或与该提示相关的用户相关图像应用到显示显示台球桌的屏幕,并连续检测和检测用户的部分运动。根据检测到的用户运动的变化量被应用到化身并显示,或者与用户相关的图像显示应用了根据检测到的用户动作的变化量的球杆,并显示与用户根据用户动作瞄准母球相关的图像。它被应用到台球桌并显示,并且用户- 在显示台球台和母球的屏幕上显示与头像或球杆相关的视频,以便用户可以在模拟器上查看母球与球杆之间的距离、球杆的角度以及点瞄准母球,应用显示,可以根据用户的击球动作,提供台球台上显示的母球和目标球的台球模拟过程和结果。 [0097] 下面,将参照图1至图5详细描述根据本发明的台球模拟方法。 [0098] 图2是示出根据本发明实施例的台球模拟方法的流程图。 [0099]首先,当预设事件发生时,控制器160通过一个或多个相机单元110关联对应的相机单元110所在的区域(或者根据对应的相机单元110的方向的覆盖区域)。因此,用户身体和/或每个关节的运动(或用户身体表面根据用户身体的运动和/或每个关节的运动而变化),用户持有的球杆的运动(或提示的变化)获取(或拍摄)一个或多个图像信息包括,等等。 这里,预设事件是用户语音的语音信息包括预设关键字(例如,开始,包括台球游戏等)的情况,当显示在显示单元140上的预设开始菜单被选择时,传感器当[0062] 当通过处于待机状态的相机单元110实时或以预设时间间隔获得的图像信息内检测到对象时,通过单元(未示出)检测到(或测量/检测到)对象的运动,其中通过附加到用户持有的提示等的另一个传感器单元(未示出)来感测预设动作。 此外,根据每个关节的运动,用户身体表面的变化是用户握住球杆(或球杆架)的状态,其他传感器单元连接到球杆(包括 9 轴运动传感器等)拿着球杆(未显示)通过时间检测运动感应的状态),根据用户运动(或运动)的状态没有球杆,根据台球运动感应的状态无球杆模拟装置100,以及为无球杆台球模拟装置100预设的包括在设定状态下根据用户关节运动的相位、角度、速度、位移、深度等。感应到触摸感应。 另外,使用者所持球杆的移动(或球杆的变化)根据手臂和/或手的运动决定了使用者所持球杆的相位、角度、速度、位移、深度等。拿着球杆的用户的手。包括 在这里,球杆的运动(或球杆的变化)是用户拿着球杆(或球杆架)、拿着球杆和连接到球杆的另一个传感器单元(包括,例如, 9轴运动传感器)(未示出)。通过运动感应检测的状态,根据没有提示的用户运动(或动作)的状态,根据台球模拟设备100的运动感应的状态没有提示台球模拟装置100在没有球杆的情况下,在感应到球杆的状态下,根据用户手臂和/或手臂的运动,球杆的相位、角度、速度、位移、深度等被预设为触碰。包括手。 此外,预设移动是指球杆在预设方向(包括例如左/右方向、上/下方向、对角线方向)摇动(或移动)一定次数(例如,两次)或更多次等), cue 包括在预设的顺时针/逆时针方向旋转(或移动)超过预定次数的情况。 在这种情况下,一个或多个图像信息可以是通过拍摄用户身体的运动和/或关节的运动、用户持有的球杆的运动等获得的图像信息。 [0100] 例如,第一控制单元160根据第一用户的话语通过麦克风(未示出)接收包括第一关键字(例如,开始)的第一语音信息,并接收关于第一语音信息的信息。通过执行语音识别功能,将第一语音信息中包含的语音转换为文本(或文本脚本),对转换后的文本进行自然语言处理提取第一关键词,提取的第二1关键词对应预设关键词时,改变根据第一用户身体的运动和/或每个关节从第一用户正面的运动,以及第一用户持有的第一信息,获取第一图像信息,包括变化的第一图像信息cue等,根据第一用户的身体和/或左侧各关节的运动,用户的体表发生变化,第一用户持有的第一图像信息包括变化的第二图像信息获取in 1st cue,根据第一用户身体的运动和/或右侧各关节的运动,用户体表的变化,对应的体表变化第一用户获取包括cue 1变化的第三图像信息,根据第一用户身体的运动和/或各关节从后侧的运动和第一图像持有的用户身体表面的变化获取第一用户的第4图像信息,包括cue 1的变化,用户体表随着第一用户身体的运动和/或上表面各关节的运动和第一用户体表变化获取包括1个线索变化的第五图像信息(S210)。 [0101] 此后,控制器160基于获得的(或拍摄的)一个或多个图像信息来控制用户的面部、体格、身高、用户关节的运动信息(或身体关节信息)和用户的视线。它分析(或检查) /determines/calculates/measures/estimates) 方向、注视高度、用户的眼睛距地面的高度、用户的姿势、提示变化信息(或提示运动信息)等。 这里,用户的姿势是腿部位置、膝盖弯曲度数(或膝盖以垂直于地面的方向的弯曲角度/度数)、腰部弯曲度数(或腰部弯曲角度/度数)基于垂直于地面的方向)度),双手(或双臂)的位置(或双手/手臂离地的位置),双手握球杆的位置和方向,桥架姿势握球杆的手的位置(或桥信息/没有球杆时)一只手的桥位置),肩肘之间的位置,肘腕之间的位置和角度,以及手的形状和姿势. [0102] 即,控制单元160通过将获得的(或拍摄的)一个或多个图像信息作为预设的基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且人工智能 It测量(或确认/估计)用户的面部、体格、身高等,这是表现的结果(或机器学习/深度学习的结果)。 [0103] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿态估计模型的输入值来执行人工智能(或机器学习/深度学习),并执行人工智能运动用户信息(或身体关节信息),包括用户面部、体格、身高、用户关节形状、用户关节运动规律等结果(或机器学习结果/深度学习结果)。 检查这 [0104] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能。结果(或机器学习结果/深度学习结果),用户注视的方向(例如,包括用户注视相对于预设参考点的方向和角度),注视的高度,用户眼睛的高度从地面,检查用户的姿势等。 [0105] 此外,控制单元160通过使用获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能。检查结果(或机器学习结果/深度学习结果),例如根据用户的动作而变化的变化信息(或提示动作信息)。 [0106] 例如,第一控制单元基于获取的第一至第五图像信息,采用预设的基于人工智能的姿态估计模型进行人工智能,获取对应的第一至第五图像的第一人脸、第一体格、第一身高、第一用户关节的运动信息、第一用户的视线方向和眼睛高度、第一用户的视线距地面的高度、第一用户的视线高度、用户1的姿势和第一用户持有的第一提示的变化信息是检查(S220)。 [0107] 此外,控制器160基于获取的(或捕获的)一个或多个图像信息,提取包括在对应的图像信息中的与拿着球杆的用户的姿势有关的图像。 这里,与用户握住提示的姿势相关的图像(或与用户身体部位相关的图像和/或相应图像信息中包括的提示)可以是2D图像或3D图像,并且握住的提示由用户和相应的图像它包括用户的身体部位(包括,例如,手,手臂等)拿着球杆,并且包括左手或右手被桥接的状态。 [0108]即,控制单元160通过将获得的(或拍摄的)一个或多个图像信息作为基于人工智能的姿势估计模型的输入值来执行人工智能(或机器学习/深度学习),并且执行人工智能作为结果(或机器学习结果/深度学习结果),识别(或提取)与持有提示的用户的姿势相关的图像。 [0109] 例如,第一控制单元基于获取的第一至第五图像信息,使用基于人工智能的姿态估计模型进行人工智能,确定对应的第一至第五图像信息。图像1-1至1-5处于状态其中包含的第一个用户用他的右手握住第一个球杆并用他的左手桥接分别被提取,并且提取的图像 1-1 到 1 通过合并 -5 图像生成 3D 形式的第一图像( S230). [0110] 此后,控制器160创建与分析的(或确认的/确定的/计算的/测量的/估计的)用户的面部、体格、身高等相关的化身。 此时,控制器160使用预设化身,或者根据用户从先前存储在存储单元130中的多个化身中选择的化身,或者在获取的图像信息中识别的用户。因此,化身(或表情符号)可以使用实时生成的。 [0111] 此外,控制器160将创建的化身应用于显示台球桌的屏幕,并将其显示在显示单元140上。 这里,控制器160将对应于分析的(或确认的/确定的/计算的/测量的/估计的)球杆的变化的球杆图像与生成的化身一起发送到显示台球桌的屏幕。它可以应用于并显示在显示单元140上。 此时应用于台球桌上显示的虚拟形象的姿势是分析的用户的关节运动信息(或身体关节信息),用户的注视方向和注视高度,用户的视线距地面的高度,可能是用户的姿势等也被应用的状态(或者台球桌的显示角度被改变为注视方向(或注视角度和方向)并且被应用的状态)。 另外,应用于并显示在台球桌上的虚拟形象可以以第三人称视角观看对应的台球桌,也可以以第一人称视角从虚拟形象的侧面/后方观看台球桌。 特别是,当以第一人称视角从相应化身的侧面/后侧看台球桌时,化身仅显示模糊的轮廓,或者从用户的视线(或手臂和手)可见的身体和身体表面从视线中可见)此外,只有一部分球杆被保持并且向前可见)可以通过与台球桌合并来显示。 此外,显示台球桌的屏幕(或从用户角度来看的屏幕)可以配置为虚拟现实、增强现实、混合现实、虚拟世界等形式,模式类型(例如,单独练习模式、包括练习模式等),可以根据台球游戏的类型显示一个或多个母球、一个或多个敌方球等。 这里,台球游戏类型可以根据用户设置而改变(或修改),包括袖珍台球(例如,八球、九球、十球、斯诺克等)、艺术台球(例如,艺术球、艺术台球)等),包括),台球(包括,例如,三球,四球,六球等),等等。 另外,显示台球桌的屏幕(或用户视角的屏幕)是分析的用户的关节运动信息,用户的注视方向和注视高度,用户的眼睛距地面的高度,以及考虑到用户的姿势,它被配置为从用户的角度来看的屏幕,或者被改变并应用于在台球桌周围改变视角以提供不同方向的视角的屏幕的台球桌。 [0112] 此外,控制单元160将所提取的与拿着球杆的用户的姿势相关的图像应用到显示台球桌的屏幕,并将其显示在显示单元140上。 此时,控制器160调整提取的用户拿着球杆的姿势相关图像的尺寸以匹配台球桌的尺寸,然后显示调整后的用户拿着球杆的姿势相关姿势的图像。可以应用于显示台球桌的屏幕并显示在显示单元140上。 [0113] 作为示例,如图3所示,第一控制单元根据预设的三球控制分析得到的第一用户关节的运动信息、第一用户注视的方向和高度以及来自地面的信息。台球游戏。通过将第一用户的视线水平、第一用户的姿势等应用到提取的第一图像中,其中第一用户用左手握住第一台球杆并用右手桥接,第一用户的当前显示用户的视点屏幕300包括以第一人称视角应用第一图像的台球桌,根据姿势、注视方向和注视高度看与台球桌中对应的第一用户相关的第一母球 [0114] 作为另一示例,第一控制器基于与所分析的第一用户相关的第一面部、第一体格、第一身高等生成第一化身。 [0115] 另外,第一控制器可以确定分析的第一用户的关节运动信息、第一用户的注视方向和注视高度、第一用户的眼睛距地面的高度以及根据预设的三球台球游戏的第一用户的眼睛高度。将姿势应用于第一头像,根据第一用户的当前姿势、注视方向和注视高度,第一人称视角中的第一设备看台球台中与第一用户关联的第一设备显示从用户的角度来看的屏幕,包括应用了第一提示的化身和台球桌(S240)。 [0116] 此后,控制器160将与化身相关的图像或用户拿着球杆的姿势连续地应用并显示到屏幕(或从用户的角度来看的屏幕)(或显示包括台球桌的屏幕)。稍后的时间点),通过一个或多个相机单元110实时感测用户根据时间变化的局部移动。 [0117] 即,控制器160将与化身相关的图像或用户握住球杆的姿势连续地应用并显示到屏幕(或从用户的角度来看的屏幕)(或显示包括台球桌的屏幕)。人工智能(或机器学习/深度)使用一个或多个相机单元110从较晚的时间点实时额外获得(或拍摄)的一个或多个图像信息作为基于人工智能的姿势估计的输入值model.learning),根据时间变化实时检测(或确认/测量/估计)用户的局部动作,是附加的人工智能性能结果(或机器学习结果/深度学习结果)。 [0118] 此时,控制单元160确定用户的局部运动是否是用于执行立方体桥笔画的适当姿势(或者将用户的局部运动与先前存储在存储单元130中的参考立方体桥姿势图像进行比较)。确定匹配率是否等于或高于预定参考值),并且在观看母球时将要击打的化身(或持有球杆的化身)显示在近距离位置. [0119]此外,控制器160将感测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)应用到屏幕中的化身或与用户保持提示的姿势相关的图像。然后,在屏幕上显示(或更新和显示)应用了用户的部分运动的化身或者与用户的部分运动保持提示的用户的姿势相关的图像在显示单元140内。 此时,控制器160控制母球与模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面的倾斜角度/三球杆中的球杆)基于球杆内预设参考点的尺寸方向)、倾斜角度),用户实时移动球杆,通过虚拟形象同步显示在模拟器上的屏幕上,从而可以检查母球。 结果,用户可以在确认模拟器上的母球的目标点以及球杆的方向和角度改变的同时进行球杆击球和击球的初步动作。 此外,控制器160可以在显示台球桌的屏幕的一侧显示一条或多条附加信息。 此时,控制器160基于提示的变化信息以及根据用户的当前姿势的餐厅的位置将相应提示的变化信息应用(或反映)到显示在屏幕上的母球和提示的状态可以以虚线或点的形式显示在屏幕(或模拟器)上。 [0120] 另一方面,控制器160确定用户的部分运动是否是用于执行击球提示桥的适当姿势(或者将用户的部分运动与先前存储在存储单元130中的参考立方体桥姿势图像进行比较)。匹配率是否高于预设参考值),将母球的位置与特定点(例如,放置在实际用户面前的台球)同步,并显示母球桥接的实际图像从用户的视线在模拟器上看到的。它可以在混合现实中叠加显示。 [0121] 此时,控制单元160仅从摄像单元110获取的真实图像中获取用户的身体和体表(例如,手臂和桥接的手)用于检测到的用户的部分运动,并且除了,它在显示单元140中的模拟器屏幕上被混合和显示(或更新和显示)。 这里,控制单元160允许相应的用户确定母球和模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面/球杆的倾斜角度)在基于球杆内预设参考点的三维方向上)。倾斜角度),并另外检测母球瞄准的点。 [0122] 例如,第一控制单元通过第一至第五摄像单元检测第一用户实时变化的手臂运动。 [0123] 此外,如图4所示,第一控制单元从用户的角度将感测到的第一用户手臂的运动应用于显示在屏幕300上的第一图像,从而提供与第一用户相关的信息。显示从用户的角度来看调整了瞄准第一母球的目标点的400(S250)。 [0124] 此外,通过一个或多个相机单元110随时间实时检测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)对应于瞄准预设母球的动作在这种情况下,控制单元160在显示单元140上显示与用户瞄准相应母球相关的图像。 这里,根据从设备检测到的用户运动,与瞄准设备的用户有关的图像(或设备瞄准图像)被显示在正在应用化身或姿势相关图像的屏幕(或前一屏幕)上。额外获取一个或多个图像信息,可以在各个方向(例如,包括向上、向下、向左、向右、对角线等) ),或在顺时针或逆时针或向上/向下转动时注视设备的图像(或屏幕/全景屏幕)。 此时,用户动作包括顺时针/逆时针旋转(或转动/移动)手、脚或头、抬起(或移动/摇动)手、脚等。 此外,当母球(或台球桌)旋转360度时,控制器160在显示单元140上显示先前屏幕。 此外,在显示观看母球(或台球台)的图像同时绕母球(或台球台)旋转的状态下,预设的用户动作(例如,摇动手/脚)特定次数或更多次,检测到拳头),控制器160停止(或停止)显示与瞄准母球的用户相关的图像,并在显示单元140上显示先前屏幕。 [0125] 即,检测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)是瞄准母球(例如,黄色台球或白色台球,在这种情况下)的动作3球)与用户有关。在这种情况下,控制单元160使用第一人称视角或第三人称视角,以便用户可以从各种角度检查母球和目标球的位置关于用户瞄准母球的动作,在显示单元140上显示与用户瞄准母球相关的图像(或瞄准母球的图像)。 此时,控制器160控制母球与模拟器上的球杆之间的距离、球杆的角度(或球杆相对于地面和水平面的倾斜角度/三球杆中的球杆)基于球杆内预设参考点的尺寸方向。倾斜角度),用户实时瞄准母球的动作(或用户注视母球的动作),以便用户可以查看球杆点针对母球,虚拟形象或相应用户的持球姿势通过相关图像,与模拟器上的屏幕同步显示。 结果,用户可以在确认模拟器上的母球的目标点以及球杆的方向和角度改变的同时进行球杆击球和击球的初步动作。 [0126] 例如,当第一用户的注视方向,即通过第一至第五摄像单元实时变化的第一用户的动作,对应于瞄准第一装置的动作时,第一控制单元根据第一用户左手的动作,从用户的角度在屏幕400上显示与第一用户瞄准第一母球以逆时针方向旋转的预设方向相关的图像(S260)。 [0127] 此后,通过一个或多个摄像头单元110根据时间变化实时感测到的用户的部分运动(或根据检测到的用户的部分运动的变化量)使得化身根据用户的笔划桥接. 提示中的提示(或在提示的一端配置的提示的尖端)或实际用户桥接的混合现实图像(或包含与用户握住提示的姿势相关的图像的屏幕)当接触对应于母球上的击球动作时,控制器160控制显示在台球桌上的母球(或与用户相关的母球)和一个或多个目标球对应的击球动作,进行模拟过程。 此时,控制器160可以在根据击球动作用球杆击打母球时通过音频输出单元150输出预设声音信息(例如,母球和母球碰撞的声音)。 这里,控制单元160可以根据用户的击球行为考虑到相应母球的得分,将诸如一般击打、推动、拉动和弹击(或起立)的功能应用到母球。 此时的台球模拟过程是根据击球动作、击球力度、击球方向等,加速规律,根据母球、目标球等的动作/反作用的运动过程, 惯性定律等,如在实际的台球游戏中。包括 [0128]即,当通过一个或多个相机单元110根据时间变化实时检测到的用户的局部运动(或根据检测到的用户的局部运动的变化量)对应于预设击打动作时,控制单元160控制对应用户的每个关节的动态元素和基于对应用户的每个关节的运动的对应用户的每个关节的动态元素根据时间的变化和提示相对于根据用户的击球行为计算(或测量)等。 这里,用户的每个关节的运动(或者每个节段的每个关节的运动形式/用户体表根据每个关节的运动的变化)是相位、角度、速度、位移、深度等. 每个关节随着时间的推移。包含信息 此外,各关节的力学因素还有动量、冲量、扭矩、转动惯量、向心力、功、功率、动能、势能、角动量、向心加速度等。 此外,球杆(或球杆的运动)的变化包括球杆随时间变化的相位、角度、速度、位移、深度等信息。 此外,球杆的动力要素(或根据球杆的变化而产生的动力因素)包括动量、冲量、力矩、转动惯量、向心力、功、功率、动能、势能、角动量、向心力等。加速度之类的。 [0129] 此外,控制单元160基于计算的(或测量的)相应用户的每个关节的力学因素和球杆的力学因素来确定施加到母球(或主球)的力的强度。 /强度)计算(或计算)。 [0130] 此外,控制单元160根据计算出的施加到母球的力的强度和母球的得分,对一个或多个目标球(或母球瞄准的目标球)执行台球模拟过程。到击球动作。做。 [0131] 此外,控制器160根据台球模拟过程的执行在显示单元140上实时显示信息(或台球模拟过程信息)。 此时,当根据用户的击球行为击打母球时,控制器160显示应用了用户的注视方向和注视高度、用户的视线距地面的高度、用户的姿势等的屏幕(或代替应用用户视线水平和视线的与台球桌相关的屏幕/以用户为中心的用户/第一人称视角的屏幕),它切换到全屏状态从预设格式的天花板看台球桌,击打母球的步骤相应地,相应的母球和一个或多个目标球的移动(或移动)状态可以全屏显示在显示单元140上. [0132] 例如,当通过第一至第五摄像单元实时变化的第一用户的运动对应于根据第一用户的击打对第一装置的击打动作时,第一控制单元计算机械元件根据第一用户的击球,根据第一用户的每个关节的运动计算第一用户的每个关节,并根据第一球杆的运动计算第一球杆的动态元素。计算力学因素。 [0133] 另外,第一控制单元基于计算的第一用户的每个关节的力学因素和计算的第一球杆的力学因素,根据击打第一母球的动作设置第一母球。计算第一个力。 [0134] 此外,第一控制单元根据计算的施加到第一母球的第一力的强度和第一母球的第一得分来控制第一母球、第一目标球和第一母球击球动作,对第二目标球等进行台球模拟过程。 [0135] 此外,如图5所示,当第一用户瞄准第一目标时,第一控制单元从用户的角度在屏幕400上显示第一母球、第一目标球、第二目标球等。台球台的台球模拟过程在从天花板观看相应台球台的状态下切换到全屏500并被显示(S270)。 [0136] 如上所述,本发明实施例将通过一个或多个摄像头获取的与用户相关的一个或多个图像信息输入姿态估计模型,输出姿态估计模型的结果值,即方向和注视基于身高、用户姿势、球杆变化信息、球杆相关用户图像等,将用户相关头像或球杆相关用户图像应用于台球桌所在的屏幕显示和显示,并且用户相关图像被连续显示。检测用户的部分运动,根据检测到的用户的运动将变化量应用于化身并显示,或者显示与提示相关的用户相关图像应用根据检测到的用户运动的变化量,并根据用户的运动显示与用户瞄准母球相关的图像通过将其应用于台球桌来显示,并且用户相关图像与显示头像或球杆,以便用户可以在模拟器上查看母球与球杆之间的距离,球杆的角度以及瞄准母球的点。它被应用并显示在屏幕上显示台球台和母球,根据用户的击球行为,提供台球台和台球台上显示的目标球的台球模拟过程和结果。各种台球游戏,包括袖珍台球,无需击球仪器或检测装置,即可方便地进行艺术台球、卡罗姆台球等运动,提高用户的兴趣和满意度。 [0137] 在不脱离本发明的本质特征的情况下,本领域的技术人员可以对上述内容进行改动和修改。 因此,本发明所公开的实施方式并非用于限制本发明的技术思想,而是用于说明,本发明的技术思想的范围不受这些实施方式的限制。 本发明的保护范围应以所附权利要求书为准,凡在等同范围内的技术思想,均应视为包含在本发明的范围内。 代码说明 [0138] 100:台球模拟装置 110:摄像单元 120:通信单元 130:存储单元 140:显示单元 150:音频输出单元 160:控制单元