[0001] 根据光和音频之间的延迟是否可能超过阈值来确定平滑度 [0002] 发明领域 [0003] 本发明涉及一种系统,用于控制一个或多个光源渲染基于音频内容的特性确定的光效果,同时所述音频内容正在音频渲染设备上渲染。 [0004] 本发明还涉及一种控制一个或多个光源渲染基于音频内容的特性确定的光效果的方法,同时所述音频内容正在音频渲染设备上渲染。 [0005] 本发明还涉及一种使计算机系统能够执行这种方法的计算机程序产品。 [0006] 发明背景 [0007] 动态照明系统可以极大地影响视听材料的体验和印象,例如,当发送到灯光的颜色与屏幕周围组合环境中看到的颜色相匹配时。 然而,动态灯光系统不仅可以用来增强屏幕内容,还可以增强听音乐的体验,例如通过软件算法实时分析音频流,并根据某些音频创建光效 强度和频带等特性。 [0008] 另一种方法是预处理音乐并提取相关的元数据并将其转换为指定灯光效果的灯光脚本。 一些流媒体服务提供此类元数据。 例如,Spotify 有每首歌曲的元数据,其中包括不同的音频属性,可以通过 Spotify API 访问。 使用元数据创建光效的优势在于它不需要访问音频流,并允许分析整首歌曲的数据,而不是依赖于实时数据。 [0009] 当灯光效果用于增强连接灯具上的音频时,灯光效果与音频同步非常重要。 特别是当使用蓝牙扬声器时,可能会引入大于 100 毫秒的延迟。 不幸的是,100 毫秒的差异就足以引起注意,并且可能会对体验产生负面影响。 例如,灯光效果可能旨在与听觉效果同时呈现 一个音频片段,并且取决于音频片段的整体延迟,听觉效果是“属于”第一个还是第二个灯光效果变得不明确。 [0010] WO 2018/066097 Al公开了一种照明控制装置,用于根据音乐播放控制照明设备,具有照明设备信息存储单元,照明设备信息存储单元存储照明设备信息,包括照明设备的发光响应时间,照明设备选择单元选择 控制对象的照明装置,以及发光定时调整部,利用由照明装置选择部选择的照明装置的发光响应时间来调整所选择的照明装置的发光定时。 [0011] 理想情况下,系统会同步灯光和音频以提供最佳的用户体验。 然而,这并不总是可能的。 WO 2019/234028 A1 描述了一种解决方案,以防这是不可能的。 WO 2019/234028 A1 描述了一种在音频段的延迟变化会影响光体验时改善光体验的设备和方法。 该设备和方法通过基于指示或影响延迟变化的信息选择光效果来实现这一点。 这使得跳过对延迟变化敏感的灯光效果成为可能。 然而,跳过灯光效果也可能会稍微降低用户体验。 [0012] 发明内容 [0013] 本发明的第一个目的是提供一种系统,该系统可用于减少光和音频呈现之间的延迟的影响,而没有或最小限度地跳过光效果。 [0014] 本发明的第二个目的是提供一种方法,该方法可以用于减少光和音频呈现之间的延迟的影响,而没有或最小限度地跳过光效果。 [0015]在本发明的第一方面,一种用于控制一个或多个光源渲染基于音频内容的特性确定的光效果的系统,同时所述音频内容正在音频渲染设备上渲染,包括至少一个输入接口,至少一个 输出接口,以及至少一个处理器,被配置为基于经由所述至少一个输入接口接收的输入来确定呈现所述光效果的所述一个或多个光源与呈现所述音频的对应部分的所述音频呈现设备之间是否存在延迟 内容可能会超过阈值,根据所述延迟是否可能超过所述阈值确定平滑度,如果所述延迟可能超过所述平滑度则更高 阈值比如果所述等待时间将可能不超过所述阈值,则基于所述音频内容的所述特征确定所述光效果,同时根据所述确定的平滑程度应用平滑,并且经由所述至少一个输出接口控制所述一个或多个 渲染所述光效果的光源。 [0016] 如果灯光和音频渲染之间的延迟可能(即预期/估计)超过某个阈值,则通过增加平滑度,可以“掩盖”此延迟,即不同步的灯光效果 没有或极少跳过灯光效果。 增加平滑度将导致对光源产生更“模糊”的效果,其中光事件的精确开启和偏移不再清晰可辨。 因此,增加平滑度将有助于“掩盖”延迟的影响。 [0017] 当延迟中存在一定量的不确定性时,可以确定光和音频呈现之间的延迟可能超过特定阈值。 例如,这可能是当延迟量无法自动确定或用户未给出延迟指示时(例如,用户不想摆弄延迟滑块而只是希望系统解决它)。 例如,所述至少一个处理器可以被配置成基于所述音频呈现设备的类型和/或用户指定的延迟和/或音频系统的特性来确定所述延迟是否可能超过所述阈值。 所述音频系统包括所述音频呈现设备。 [0018] 所述至少一个处理器可以被配置为确定所述等待时间的估计。 该估计可以例如基于上述音频呈现设备的类型和/或用户指定的等待时间和/或音频系统的特性来确定。 或者,至少一个处理器可以被配置为确定延迟是否可能超过阈值而不首先确定延迟的估计,例如,直接基于系统特性。 作为前者的示例,通过蓝牙的流式传输可能与估计的 200 毫秒延迟相关联。 作为后者的示例,通过蓝牙的流式传输可能与可能超过阈值的延迟相关联。 [0019] 所述至少一个处理器可以被配置为根据平滑函数来确定所述平滑度,该平滑函数使用所述等待时间的所述估计作为输入。 如果阈值超过较大数量(最好达到最大值),这将允许应用更多平滑。 [0020] 所述至少一个处理器可以被配置为通过确定淡入持续时间和/或 基于所述确定的平滑度的所述光效果的淡出持续时间。 这是实现平滑的有益方式。 [0021]所述至少一个处理器可以被配置成进一步基于所述光效果的颜色和/或强度与前一光效果和/或的颜色和/或强度之间的距离来确定光效果的所述淡入持续时间 基于所述光效果的所述颜色和/或强度与后续光效果的颜色和/或强度之间的距离来确定光效果的所述淡出持续时间。 例如,当灯已经打开(例如,50% 的光强度)并且需要为 100% 光强度的事件渲染光效果时,使用与灯关闭时不同的平滑配置文件将是有益的 并且需要在 100% 光照强度下为事件渲染光效。 在前一种情况下,较少的平滑将是有益的。 在后一种情况下,更多的平滑将是有益的。 [0022] 所述至少一个处理器可以被配置为针对所述音频内容的多个连续周期中的一个周期确定要在所述周期期间呈现的光效果的数量,所述连续周期具有预定义的持续时间,并且确定所述程度 基于所述等待时间是否可能超过所述阈值并进一步基于为所述时间段确定的所述光效果的数量,平滑在所述时间段期间呈现的所述光效果。 当事件数量超过给定阈值时,增加平滑度通常没有意义,因为在这种情况下视听不匹配不会很明显。 这种阈值的示例是每秒 2 或 3 个事件。 [0023] 所述至少一个处理器可以被配置成根据用户选择的动态水平确定要在所述时间段期间呈现的所述光效果。 用户选择的动态级别越高,通常会导致渲染的光效越多。 例如,用户可能能够选择微妙、中等、高或强烈的动态预设。 当动态预设很强烈时,平滑的作用较小。 在这种情况下,事件的数量比较多,超过上述阈值的速度会比较快。 [0024] 所述至少一个处理器可以被配置为基于所述等待时间是否将可能不超过最大值来进一步确定所述平滑度,如果所述等待时间将可能超过所述阈值并且将可能不超过所述最大值则所述平滑度比如果 所述延迟可能会超过所述最大值。 如果延迟太高,则通常无法通过使用额外的平滑来抵消延迟的影响。 例如,最大值可以是 500 毫秒。 所述至少一个处理器可以被配置为针对所述光效果中的至少一种确定所述至少一种光效果是否与所述音频内容中的键事件相关并且增加所述至少一种光效果的强度。 这可确保尽管增加了平滑度,但关键事件仍会相对于其余音频内容“弹出”。 [0025] 所述一个或多个光源可以包括多个光源并且所述至少一个处理器可以被配置为控制所述多个光源以交替地呈现所述光效果使得所述光效果分布在所述多个光源上。 因此,光事件可以分布在光源上并且被平滑。 例如,对于每秒包含四个事件的歌曲的一部分,灯光事件可能会“拆分”并在两个连接的灯之间交替呈现。 这不仅掩盖了潜在的不同步问题,而且还提供了更多的平滑空间。 [0026] 所述至少一个处理器可以被配置为当用户指定等待时间大于另一阈值时确定所述等待时间将可能超过所述阈值。 如果用户指定了超过实际阈值(例如 10 秒)的延迟,则指定的延迟可能被认为是不准确的,但可以进一步认为用户受到延迟的负面影响,因此需要额外的平滑。 [0027]所述至少一个处理器可以被配置成确定用户指定的延迟值是否超过所述阈值并且进一步基于所述用户指定的延迟值是否大于另一阈值来确定所述平滑程度。 例如,当用户指定的等待时间值大于另外的阈值时,可以确定平滑度大于恰好与用户指定的等待时间值成比例。 这背后的基本原理是大延迟难以检测,因此当用户必须手动指示延迟时,用户出错的可能性更大。 [0028] 在本发明的第二方面,一种控制一个或多个光源以渲染基于音频内容的特性确定的光效果的方法,同时所述音频内容正在音频渲染设备上渲染,包括基于接收到的输入确定是否 呈现所述光效果的所述一个或多个光源与呈现所述音频内容的对应部分的所述音频呈现设备之间的延迟将可能超过阈值,基于所述延迟是否将可能超过所述阈值来确定平滑程度,所述程度 如果所述延迟可能超过所述阈值则平滑比如果所述延迟可能不超过所述阈值更高,基于所述音频内容的所述特性确定所述光效果 同时根据所述确定的平滑度进行平滑处理,并控制所述一个或多个光源渲染所述光效。 所述方法可以通过在可编程设备上运行的软件来执行。 该软件可以作为计算机程序产品提供。 [0029] 此外,提供了一种用于执行本文描述的方法的计算机程序,以及存储该计算机程序的非暂时性计算机可读存储介质。 例如,计算机程序可以通过现有设备下载或上传到现有设备,或者在制造这些系统时存储。 [0030] 一种非暂时性计算机可读存储介质存储至少一个软件代码部分,该软件代码部分在被计算机执行或处理时,被配置为执行用于控制一个或多个光源渲染基于以下确定的光效果的可执行操作 在音频呈现设备上呈现所述音频内容时音频内容的特性。 [0031] 可执行操作包括基于接收到的输入确定呈现所述光效果的所述一个或多个光源与呈现所述音频内容的对应部分的所述音频呈现设备之间的等待时间是否可能超过阈值,确定基于平滑的程度 关于所述延迟是否可能超过所述阈值,如果所述延迟可能超过所述阈值则所述平滑度比如果所述延迟可能不超过所述阈值更高,在应用平滑时基于所述音频内容的所述特性确定所述光效果 根据所述确定的平滑程度,控制所述一个或多个光源渲染所述光效。 [0032] 如本领域技术人员将理解的,本发明的方面可以体现为设备、方法或计算机程序产品。 因此,本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,这些实施例在本文中一般都可以称为 “电路”、“模块”或“系统”。 本公开中描述的功能可以实现为由计算机的处理器/微处理器执行的算法。 此外,本发明的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,该介质具有在其上体现(例如存储)的计算机可读程序代码。 [0033] 可以利用一种或多种计算机可读介质的任何组合。 计算机可读介质可以是计算机可读信号介质或 计算机可读存储介质。 计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或设备,或前述的任何合适的组合。 计算机可读存储介质的更具体示例可以包括但不限于以下:具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、可读存储器 只读存储器 (ROM)、可擦除可编程只读存储器(EPROM 或闪存)、光纤、便携式光盘只读存储器 (CD-ROM)、光存储设备、磁存储设备或任何 上述的适当组合。 在本发明的上下文中,计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。 [0034] 计算机可读信号介质可以包括传播的数据信号,其中包含计算机可读程序代码,例如,在基带中或作为载波的一部分。 这种传播的信号可以采用多种形式中的任何一种,包括但不限于电磁、光或其任何合适的组合。 计算机可读信号介质可以是计算机可读存储介质之外的任何计算机可读介质,并且可以通信、传播或传输程序以供指令执行系统、装置或设备使用或与其结合使用。 [0035] 包含在计算机可读介质上的程序代码可以使用任何合适的介质传输,包括但不限于无线、有线、光纤、电缆、RF等,或前述的任何合适的组合。 可以用一种或多种编程语言的任意组合来编写用于执行本发明各方面的操作的计算机程序代码,包括面向对象的编程语言,例如Java TM 、Smalltalk、C++等和传统的过程编程语言 ,例如“C”编程语言或类似的编程语言。 程序代码可以完全在用户的计算机上执行,部分在用户的计算机上作为独立的软件包执行,部分在用户的计算机上部分在远程计算机上执行,或者完全在远程计算机或服务器上执行。 在后一种情况下,远程计算机可以通过任何类型的网络连接到用户的计算机,包括局域网 (LAN) 或广域网 (WAN),或者可以连接到外部计算机(例如 例如,使用 Internet 服务提供商通过 Internet)。 下面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的方面。 应当理解,流程图和/或框图的每个块,以及流程图和/或框图中的块的组合,可以由计算机程序指令来实现。 这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器,特别是微处理器或中央处理单元(CPU)以产生机器,使得指令, 通过计算机的处理器、其他可编程数据处理设备或其他设备执行的程序创建用于实现流程图和/或方框图块中指定的功能/动作的方法。 [0036] 这些计算机程序指令也可以存储在计算机可读介质中,该介质可以指示计算机、其他可编程数据处理装置或其他设备以特定方式运行,使得存储在计算机可读介质中的指令产生制造品 包括实现流程图和/或框图块中指定的功能/动作的指令。 [0037]计算机程序指令也可以加载到计算机、其他可编程数据处理设备或其他设备上,以导致在计算机、其他可编程设备或其他设备上执行一系列操作步骤,以产生计算机实现的过程,使得 在计算机或其他可编程设备上执行的指令提供用于实现流程图和/或方框图块中指定的功能/动作的过程。 [0038] 图中的流程图和框图说明了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实现的架构、功能和操作。 就这一点而言,流程图或框图中的每个块可以表示模块、段或代码的一部分,其包括用于实现指定逻辑功能的一个或多个可执行指令。 还应注意,在一些替代实施方式中,方框内标注的功能可能以图中标注的次序出现。 例如,连续显示的两个块实际上可以基本上同时执行,或者这些块有时可以以相反的顺序执行,这取决于所涉及的功能。 还将注意,框图和/或流程图图示的每个块,以及框图和/或流程图图示中的块的组合, 可以通过执行指定功能或行为的基于专用硬件的系统,或专用硬件和计算机指令的组合来实现。 [0039] 附图的简要说明 [0040] 本发明的这些和其他方面通过示例并参考附图是显而易见的,并且将进一步阐明,其中: [0041] 图1是该系统的第一实施例的框图; [0042] 图2是系统的第二实施例的框图; [0043] 图3是该方法的第一实施例的流程图; [0044] 图4是该方法的第二实施例的流程图; [0045] 图5是该方法的第三实施例的流程图; [0046] 图6是该方法的第四实施例的流程图; [0047] 图 7 显示了不同平滑度的示例; [0048] 图8是该方法的第五实施例的流程图; [0049] 图9是该方法的第六实施例的流程图; 和 [0050] 图10是用于执行本发明的方法的示例性数据处理系统的框图。 [0051] 附图中的对应元件由相同的附图标记表示。 [0052] 具体实施方式 [0053] 图1示出了用于在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的系统的第一实施例。 在该第一实施例中,该系统是移动设备1。移动设备1能够通过无线LAN接入点17和网桥16控制照明设备31-33,并且可选地通过例如制造商的因特网服务器13 照明设备 31-33。 照明设备31-33例如可以是Philips Hue灯。 例如,照明设备31-33可以各自包括一个或多个LED元件。 照明设备31-33例如使用Zigbee技术与桥16通信。 例如,桥16可以是Philips Hue桥。 网桥 16 连接到无线 LAN 接入点 17,例如,通过 Wi-Fi 或以太网。 [0054] 移动设备1能够通过因特网服务器14控制音频内容(例如歌曲)的回放,例如音乐流媒体服务,例如Spotify。 移动设备 1 是 能够开始和停止播放音乐流媒体服务的音乐库中可用的音频内容。 在图1的示例中,音乐被流式传输到音频呈现设备19,例如智能和/或Wi-Fi扬声器系统或A/V接收器。 音频呈现设备19连接到无线LAN接入点17并且可以通过Wi-Fi直接从因特网服务器14流式传输音乐。 或者,音乐可以通过蓝牙从移动设备1上运行的音乐应用程序流式传输到音频呈现设备19。 无线LAN接入点17连接到因特网11。因特网服务器13和14也连接到因特网11。可以使用因特网服务器集群来代替单个因特网服务器。 这些集群可能是一个或多个云的一部分。 [0055] 移动设备1包括收发器3、发射器4、处理器5、存储器7和触摸屏显示器9。处理器5被配置为基于例如经由接收器3或触摸屏显示器9接收的输入来确定, 渲染光效果的照明设备31-33和渲染音频内容的相应部分的音频渲染设备19之间的等待时间是否可能超过阈值。 例如,可以基于系统特性(连接的扬声器的类型等)或用户输入(例如,使用指示近似等待时间的滑块)来做出该确定。 [0056] 在图 1 的示例中,如果通过蓝牙传输音乐,则很难确定延迟量并补偿延迟。 在这种情况下,延迟可以被认为很可能超过阈值。 如果音乐是通过 Wi-Fi 直接从因特网服务器 14 流式传输的,对于大多数用户来说,延迟通常低于 100 毫秒,并且可以认为很可能不会超过阈值。 [0057] 处理器5还被配置为基于延迟是否可能超过阈值来确定平滑程度。 如果等待时间可能超过阈值,则平滑度比等待时间可能不超过阈值的情况更高。 处理器5还用于根据音频内容的特性确定光效,同时根据确定的平滑度进行平滑处理,并通过发射器4控制照明装置31-33呈现光效。 [0058] 在图1所示的移动设备1的实施例中,移动设备1包括一个处理器5。在可选实施例中,移动设备1包括多个处理器。 移动设备1的处理器5可以是通用处理器,例*自ARM或Qualcomm的处理器或专用处理器。 移动设备1的处理器5可以运行例如Android或iOS操作系统。 显示器9可以包括例如LCD或OLED显示面板。 处理器5可以 例如,使用触摸屏显示器9来提供用户界面。 存储器7可以包括一个或多个存储单元。 例如,存储器7可以包括固态存储器。 [0059] 例如,接收器3和发射器4可以使用一种或多种无线通信技术,例如Wi-Fi(IEEE 802.11)来与无线LAN接入点17进行通信。 在替代实施例中,使用多个接收器和/或多个发射器来代替单个接收器和单个发射器。 在图1所示的实施例中,使用了单独的接收器和单独的发射器。 在替代实施例中,接收器3和发射器4组合成收发器。 移动设备1可以包括对于移动设备典型的其他组件,例如电池和电源连接器。 本发明可以使用在一个或多个处理器上运行的计算机程序来实现。 [0060] 在图1的实施例中,照明设备31-33由移动设备1经由桥接器16控制。在替代实施例中,一个或多个照明设备31-33由移动设备1控制而无需 桥梁,例如 直接通过蓝牙或通过无线 LAN 接入点 17。可选地,照明设备 31-33 通过云控制,例如通过因特网服务器 13。照明设备 31-33 能够接收和传输 Wi-Fi 信号 , 例如。 [0061]图2示出了用于控制一个或多个光源渲染基于音频内容的特性确定的光效果的系统的第二实施例,同时音频内容正在音频渲染设备上渲染。 在该第二实施例中,系统是计算机21。计算机21连接到因特网11并充当服务器。 计算机21例如可以由照明公司操作。 在图2的实施例中,计算机21能够通过无线LAN接入点17和网桥16控制照明设备31-33,并且能够与音乐流服务的互联网服务器14通信。 [0062] 计算机21包括接收器23、发射器24、处理器25和存储装置27。处理器25被配置为基于经由接收器23接收的输入来确定照明设备31-33之间的延迟是否呈现 光效果和音频渲染设备19渲染音频内容的对应部分将可能超过阈值。 例如,可以基于系统特性(连接的扬声器的类型等)或用户输入(例如,使用指示近似等待时间的滑块)来做出该确定。 处理器25还被配置为基于延迟是否可能超过阈值来确定平滑程度。 如果等待时间可能超过阈值,则平滑度比等待时间可能不超过阈值的情况更高。 处理器25还用于根据音频内容的特性确定光效,同时根据确定的平滑度进行平滑处理,并通过发射器24控制照明装置31-33呈现光效。 [0063] 在图2所示的计算机21的实施例中,计算机21包括一个处理器25。在可选实施例中,计算机21包括多个处理器。 计算机21的处理器25可以是通用处理器,例*自Intel或AMD的,或者是专用处理器。 计算机21的处理器25例如可以运行基于Windows或Unix的操作系统。 存储装置27可以包括一个或多个存储单元。 存储装置27可以包括例如一个或多个硬盘和/或固态存储器。 存储装置27可以用于存储例如操作系统、应用程序和应用程序数据。 [0064] 例如,接收器23和发射器24可以使用诸如以太网和/或Wi-Fi(IEEE 802.11)的一种或多种有线和/或无线通信技术来与无线LAN接入点17通信。 在替代实施例中,使用多个接收器和/或多个发射器来代替单个接收器和单个发射器。 在图2所示的实施例中,使用了单独的接收器和单独的发射器。 在替代实施例中,接收器23和发射器24组合成收发器。 计算机21可以包括对于计算机来说典型的其他组件,例如电源连接器。 本发明可以使用在一个或多个处理器上运行的计算机程序来实现。 [0065] 在图2的实施例中,计算机21通过桥16从照明设备31-33接收数据并向其传输数据。在替代实施例中,计算机21从一个或多个照明设备接收数据并向其传输数据。 设备 31-33 没有桥接。 [0066] 在图的实施例中。 参照图1和图2,本发明的系统包括移动设备或计算机(例如,云计算机)。 在替代实施例中,本发明的系统是不同的设备,例如桥。 在图的实施例中。 参照图1和2,本发明的系统包括单个设备。 在替代实施例中,本发明的系统包括多个设备。 图3示出了在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的方法的第一实施例。该方法可以由 例如,图1的移动设备1或图2的计算机21。 [0067]步骤101包括基于接收到的输入确定渲染光效果的一个或多个光源与渲染音频内容的相应部分的音频渲染设备之间的等待时间是否可能超过阈值。 例如,可以基于系统特性(连接的扬声器的类型等)或用户输入(例如,使用指示近似等待时间的滑块)来做出该确定。 可以估计等待时间,但是备选地,在没有首先估计等待时间的情况下做出该确定,例如,直接基于系统特性。 [0068] 步骤103包括基于等待时间是否可能超过阈值来确定平滑程度。 如果等待时间可能超过阈值,则平滑度比等待时间可能不超过阈值的情况更高。 步骤105包括在根据所确定的平滑程度应用平滑的同时基于音频内容的特性来确定光效。 应用(额外的)平滑来抵消延迟的影响。 例如,可以为音频内容中的每个事件确定光效。 例如,事件可以是具有高于阈值的音频强度的数据点。 这些数据点可能包含在音乐流媒体服务(例如 Spotify)提供的元数据中。 步骤107包括控制一个或多个光源以渲染光效果。 [0069] 在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效果的方法的第二实施例如图4所示。图4的第二实施例 是图3的第一实施例的扩展。在图4的实施例中,图3的步骤101由步骤121和123实现,图3的步骤103由步骤125实现。 [0070] 步骤121包括确定延迟的估计。 步骤123包括确定在步骤121中确定的延迟估计是否超过阈值。 如果是,则认为实际延迟很可能超过阈值。 步骤125包括基于等待时间是否可能超过阈值来确定平滑程度。 如果估计的等待时间超过阈值,则根据使用在步骤121中确定的等待时间的估计作为输入的平滑函数来确定平滑程度。 在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的方法的第三实施例如图5所示。图5的第三实施例 是图3的第一实施例的扩展。在图5的实施例中,图3的步骤105由步骤141、143、145、147和149实现。光效的不同参数在步骤141、145、145、 和 147。 [0071] 步骤141包括基于音频内容的一个或多个特征来确定多个光效果的颜色和强度。 步骤143包括基于步骤141的结果为每个光效果确定该光效果的颜色和/或强度与前一光效果的颜色和/或强度之间的距离。步骤145包括确定淡化 -基于如在步骤103中确定的确定的平滑程度并且基于在步骤143中确定的距离的光效果的持续时间。 [0072] 步骤147包括基于步骤141的结果为每个光效果确定光效果的颜色和/或强度与后续光效果的颜色和/或强度之间的距离。步骤149包括确定淡化 -基于如在步骤103中确定的确定的平滑度,并且基于在步骤147中确定的距离,光效果的输出持续时间。 [0073]例如,当灯已经打开(例如,50% 的光强度)并且需要为 100% 光强度的事件渲染光效果时,使用与灯关闭时不同的平滑配置文件将是有益的 并且需要在 100% 光照强度下为事件渲染灯光效果。 在前一种情况下,较少的平滑将是有益的。 在后一种情况下,更多的平滑将是有益的。 在替代实施例中,省略了步骤143和147,并且在步骤145和149中不基于这些距离来确定渐强和渐弱持续时间。 [0074] 平滑的程度优选地被确定为使得对于更高的延迟,平滑足够渐进以使得光效果的光强度峰值不突出,以便掩盖延迟。 可以定义最大淡入持续时间,例如 5 秒,和/或最大淡出持续时间,例如 5 秒。 [0075] 图6示出了在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的方法的第四实施例。该方法可以由 例如,图1的移动设备1或图2的计算机21。 步骤101包括基于接收到的输入确定渲染光效果的一个或多个光源与渲染音频内容的相应部分的音频渲染设备之间的等待时间是否可能超过阈值。 在图6的实施例中,音频内容被分成具有预定义持续时间的连续周期。 例如,音频内容可以分成5秒或10秒的块。 在步骤161的第一次迭代中,选择音频内容的第一段。 [0076] 步骤163包括确定在步骤161中选择的时间段期间要呈现的光效果的数量。步骤165包括基于等待时间是否将在步骤161中选择的时间段期间确定要呈现的光效果的平滑程度。 可能超过阈值并且进一步基于在步骤163中确定的该时间段的光效果的数量。 [0077] 优选地,步骤165包括检查是否超过事件数量的特定阈值并且仅当事件的数量小于给定的阈值时才应用额外的平滑。 当事件数量超过给定阈值时,增加平滑度通常没有意义,因为在这种情况下视听不匹配不会很明显。 这种阈值的示例是每秒 2 或 3 个事件。 [0078] 步骤167包括在根据在步骤165中确定的平滑度应用平滑的同时基于音频内容的特性确定光效。在图6的实施例中,光效在步骤165中根据 用户选择的动态级别。 例如,用户可能能够选择微妙、中等、高或强烈的动态预设。 在图6的实施例中,为其呈现光效的事件的数量取决于音频内容的特性(例如,如元数据中指定的)和用户选择的动态级别。 用户选择的动态级别越高,渲染的灯光效果就越多。 当动态预设很强烈时,平滑的作用较小。 在这种情况下,事件的数量比较多,超过上述阈值的速度会比较快。 在替代实施例中,不依赖于用户选择的动态水平来确定光效果。 [0079] 步骤169包括确定在音频内容中是否存在与在步骤161中最后选择的周期连续的周期。如果是,则在步骤161的下一次迭代中选择该周期,之后该方法如图所示继续进行 6.如果没有,那么 接下来执行步骤107。 步骤107包括控制一个或多个光源渲染在步骤167的多次迭代中确定的光效果。 [0080]图 7 显示了不同平滑度的示例。 图表 51 和 71 表示随时间变化的光强度。 图表51和71中所示的光效果61-67是基于相同的音频特性并且针对相同的事件来确定的。 在图7的示例中,光从未完全关闭,但备选地,光可以在光效果之间的某些时刻完全关闭。 [0081] 图 51 表示当估计等待时间为 50 毫秒时的情况,如指示符 58 所示,并且平滑程度(在这种情况下为衰落)被确定为正常,如指示符 59 所示。图 71 表示当估计的等待时间为 50 毫秒时的情况 等待时间为 200 毫秒,如指示符 78 所示,并且衰落被确定为默认衰落的两倍长,如指示符 79 所示。淡入持续时间和淡出持续时间可以 例如,用图5的方法确定。 [0082] 图7显示,当淡入持续时间和淡出持续时间增加时,光效61-67过渡! on/bl 结束更平滑,峰值更少。 这样做是为了掩盖延迟。 使用更高的估计延迟,效果可能更明显,尽管好处可能只存在到某个最大延迟。 [0083] 在图7中,区分了三个时期53-55。 例如,周期可以具有5秒或10秒的长度。 淡入持续时间和淡出持续时间可以取决于每个周期的事件数量,如关于图6的方法所描述的。 [0084] 在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的方法的第五实施例如图8所示。图8的第五实施例 是图3的第一实施例的扩展。在图8的实施例中,图3的步骤101之前是步骤181并由步骤183实现,图3的步骤103由步骤185实现 、187 和 189。 [0085] 步骤181包括确定在其上呈现音频内容的音频呈现设备的类型和/或用户指定的等待时间和/或包括音频呈现设备的音频系统的特性。 步骤183包括基于音频呈现设备的类型和/或用户指定的等待时间和/或音频系统的特性来确定等待时间是否可能超过阈值,如在步骤181中确定的那样。 步骤185包括确定用户指定的等待时间值是否超过阈值,例如100毫秒。 如果是,执行步骤187。 如果不是,执行189。 如果用户指定了超过实际阈值(例如 10 秒)的延迟,则指定的延迟可能被认为是不准确的,但可以进一步认为用户受到延迟的负面影响,因此需要额外的平滑。 [0086] 步骤187和189包括基于延迟是否可能超过阈值来确定平滑度,如在步骤183中所确定的。步骤187包括进一步基于用户指定的延迟值是否大于进一步确定平滑度 阈值(例如 250 毫秒)。 在步骤187中,如果用户指定了大于另一阈值的(实际)等待时间,则确定应该使用增加的平滑。 这背后的基本原理是大延迟难以检测,因此当用户必须手动指示延迟时,用户出错的可能性更大。 [0087] 在步骤187和189中,如果延迟可能超过阈值则平滑程度高于延迟可能不超过阈值的平滑程度。 此外,在图8的实施例中,在步骤187和189中,基于等待时间是否可能不超过最大值,例如500毫秒,进一步确定平滑程度。 如果延迟可能超过阈值并且可能不超过最大值,则平滑程度比延迟可能超过最大值的情况更高。 如果延迟太高,则通常无法通过使用额外的平滑来抵消延迟的影响。 [0088] 在音频渲染设备上渲染音频内容时控制一个或多个光源渲染基于音频内容的特性确定的光效的方法的第六实施例如图9所示。图9的第六实施例 是图3的第一实施例的扩展。在图9的实施例中,一个或多个光源包括多个光源。 进一步地,图3的步骤105由步骤201、203、205、207实现,图3的步骤107由步骤209实现。 [0089] 在步骤201的第一次迭代中,步骤201包括基于音频内容的一个或多个特性来确定第一光效果,同时根据确定的平滑程度应用平滑,如在步骤103中确定的。步骤103包括确定颜色和 灯光效果的强度和可选的淡入持续时间和/或淡出持续时间。 步骤203包括判断步骤201中确定的光效是否与按键事件相关。 关键事件对应于不同步最明显的时刻。 如果步骤201确定的灯光效果涉及按键事件,则执行步骤205。 如果不是,则跳过步骤205,执行步骤207。 步骤 205 包括增加在步骤 201 中确定的光效的强度。这确保尽管增加了平滑度,但关键事件相对于音频内容的其余部分仍将“弹出”。 步骤207在步骤205之后执行。 [0090] 步骤207包括确定是否已经确定了所有光效,例如,是否存在尚未确定光效的事件。 如果是,则在步骤201的下一次迭代中确定下一个光效,并且该方法如图9所示进行。如果不是,则接下来执行步骤209。 [0091] 步骤209包括控制多个光源交替渲染光效,使得光效分布在多个光源上。 因此,光事件可以分布在灯上并且被平滑。 例如,对于每秒包含四个事件的歌曲的一部分,灯光事件可能会“拆分”并在两个连接的灯之间交替呈现。 这不仅掩盖了潜在的不同步问题,而且还提供了更多的平滑空间。 [0092] 图的实施例。 3至6和8至9在多个方面彼此不同,即增加或替换了多个步骤。 在这些实施例的变型中,仅添加或替换了这些步骤的子集和/或省略了一个或多个步骤。 作为第一示例,可以从图4的实施例中省略步骤125。作为第二示例。 可以将图4的步骤121和123添加到图1和2的实施例中。 参见图3、5、6、8和9。作为第三个例子,步骤209可以从图9中省略和/或添加到图1和图2的一个或多个实施例中。 3至6和8。图3至6和8的一个或多个实施例。 可以组合3至6和8至9。 [0093] 图10描述了一个示例数据处理系统的方框图,该系统可以执行参考图1和图2所描述的方法。 3 到 6 和 8 到 9。 [0094] 如图10所示,数据处理系统300可包括至少一个处理器302,其通过系统总线306耦合到存储器元件304。因此,数据处理系统可将程序代码存储在存储器元件304内。此外,处理器 数据处理系统302可以执行经由系统总线306从存储器元件304访问的程序代码。在一方面,数据处理系统可以被实现为适合于存储和/或执行程序代码的计算机。 然而,应当理解,数据处理系统300可以以任何系统的形式实现 包括能够执行本规范中描述的功能的处理器和存储器。 例如,数据处理系统可以是因特网/云服务器。 [0095]存储器元件304可以包括一个或多个物理存储器设备,例如本地存储器308和一个或多个大容量存储设备310。本地存储器通常可以指代随机存取存储器或其他非持久性存储器设备 在程序代码的实际执行期间使用。 大容量存储设备可以实现为硬盘驱动器或其他持久数据存储设备。 处理系统300还可以包括一个或多个缓存存储器(未示出),其提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储设备310检索程序代码的次数。 处理系统300也可能能够使用另一处理系统的存储器元件,例如, 如果处理系统300是云计算平台的一部分。 [0096] 被描述为输入设备312和输出设备314的输入/输出(I/O)设备可选地可以耦合到数据处理系统。 输入设备的示例可以包括但不限于键盘、诸如鼠标的定点设备、麦克风(例如,用于语音和/或语音识别)等。 输出设备的示例可以包括但不限于监视器或显示器、扬声器等。 输入和/或输出设备可以直接或通过中间的 I/O 控制器耦合到数据处理系统。 [0097] 在一个实施例中,输入和输出设备可以被实现为组合的输入/输出设备(在图10中用围绕输入设备312和输出设备314的虚线示出)。 这种组合设备的示例是触敏显示器,有时也称为“触摸屏显示器”或简称为“触摸屏”。 在这样的实施例中,可以通过在触摸屏显示器上或触摸屏显示器附近移动物理对象来提供对设备的输入,例如用户的手写笔或手指。 [0098] 网络适​​配器316也可以耦合到数据处理系统,以使其能够通过中间的私有或公共网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。 网络适​​配器可以包括用于接收由所述系统、设备和/或网络传输到数据处理系统300的数据的数据接收器,以及用于将数据从数据处理系统300传输到所述系统、设备和/或网络的数据传输器 或网络。 调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型网络适配器的示例。 如图 10 所示,存储器元件 304 可以存储应用程序 318。在各种实施例中,应用程序 318 可以存储在本地存储器 308、一个或多个大容量存储设备 310 中,或者与本地存储器和 大容量存储设备。 应当理解,数据处理系统300可以进一步执行可以促进应用程序318的执行的操作系统(图10中未示出)。以可执行程序代码的形式实现的应用程序318可以被执行 由数据处理系统300,例如,由处理器302执行。响应于执行应用程序,数据处理系统300可以被配置为执行这里描述的一个或多个操作或方法步骤。 [0099]本发明的各种实施例可以实现为与计算机系统一起使用的程序产品,其中程序产品的程序定义实施例的功能(包括本文描述的方法)。 在一个实施例中,程序可以包含在多种非暂时性计算机可读存储介质上,其中,如本文所用,表述“非暂时性计算机可读存储介质”包括所有计算机可读介质,具有 唯一的例外是短暂的传播信号。 在另一个实施例中,程序可以包含在各种临时计算机可读存储介质上。 示例性计算机可读存储介质包括但不限于:(i) 不可写存储介质(例如,计算机内的只读存储设备,例如可由 CD-ROM 驱动器读取的 CD-ROM 磁盘、ROM 芯片或 永久存储信息的任何类型的固态非易失性半导体存储器); (ii) 可写存储介质(例如,闪存、软盘驱动器或硬盘驱动器中的软盘或任何类型的固态随机存取半导体存储器),其上存储了可更改的信息。 计算机程序可以在本文描述的处理器302上运行。 [0100] 此处使用的术语仅用于描述特定实施例的目的,并不旨在限制本发明。 如本文所用,单数形式“a”、“an”和“the”旨在也包括复数形式,除非上下文清楚地另有说明。 还应理解,术语“包含”和/或“包含”在本说明书中使用时,指定了所陈述的特征、整数、步骤、操作、元素和/或组件的存在,但不排除存在 或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组。 [0101] 所附权利要求中的所有手段或步骤加功能元素的相应结构、材料、行为和等同物旨在包括任何结构, 材料,或用于与其他明确要求保护的元件组合来执行该功能。 本发明的实施例的描述是为了说明的目的而给出的,但并不旨在穷举或限制以所公开的形式的实施方式。 在不脱离本发明的范围的情况下,许多修改和变化对于本领域的普通技术人员将是显而易见的。 选择和描述实施例是为了最好地解释本发明的原理和一些实际应用,并使本领域的其他普通技术人员能够理解本发明的各种实施例以及适合于特定用途的各种修改 考虑过。