图像传感器的降噪电路 技术领域 [0001] 本公开一般涉及图像传感器。 更具体地,但不以限制的方式,本公开涉及用于诸如数字像素传感器的图像传感器的降噪电路。 背景 [0002] 图像传感器可以包括像素单元阵列。 每个像素单元可以包括光电二极管以通过将光子转换成电荷(例如,电子或空穴)来感测光。 光电二极管阵列产生的电荷然后可以通过模数转换器 (ADC) 量化为数字值以生成数字图像。 数字图像可以从图像传感器传输到另一个系统以供另一个系统使用。 [0003] 在某些类型的图像传感器中,每个像素都可能有自己的 ADC,用于将像素的电荷量化为数字值。 在某些情况下,ADC 可以在与像素阵列相同的芯片上制造。 因此,许多 ADC 可以压缩在图像传感器的小尺寸内。 为了适应图像传感器的小尺寸,这些 ADC 的尺寸必须非常小。 此类 ADC 体积小,难以以一致、高质量的方式制造。 由于这些制造上的不一致,单个图像传感器可能由行为彼此不同的 ADC 构成,有时差异很大,这会在生成的数字图像中产生噪声。 [0004] 上述噪声可以包括多个噪声分量。 这种噪声分量的两个示例可以包括固定模式噪声和时间噪声。 固定模式噪声可能是由于像素属性的微小差异而在均匀照明下发生的像素输出值的空间变化。 固定模式噪声是“固定的”,因为它在时间上是恒定的,并且会导致在相同照明条件下拍摄的图像中出现相同的像素亮度变化模式。 相比之下,时间噪声可以是随图像独立变化并随时间变化的随机噪声。 在数字图像中观察到的整体噪声可能是由固定模式噪声和时间噪声的组合产生的。 从数字图像中去除固定模式噪声和时间噪声可能具有挑战性。 现有降噪 技术可能会去除一种类型的噪声或另一种类型的噪声,但不能同时去除两种类型的噪声,从而导致数字图像仍然具有残留噪声。 [0005] 可能希望例如通过提供一种能够降低由图像传感器捕获的图像帧中的固定模式噪声和时间噪声的降噪电路来克服一个或多个上述问题。 概括 [0006] 根据本公开的第一方面,提供了一种降噪电路。 降噪电路包括参考帧生成器,该参考帧生成器被配置为基于在校准阶段期间从图像传感器接收的多个图像帧来生成参考帧。 降噪电路还包括耦合到参考帧生成器的存储器,该存储器被配置为从参考帧生成器接收参考帧并存储参考帧以供随后在校准之后的降噪阶段期间使用 阶段。 降噪电路还包括耦合到存储器的处理器,处理器被配置为从存储器检索参考帧并且使用参考帧来降低在降噪阶段期间从图像传感器接收的图像帧中的噪声。 [0007] 在一个实施例中,降噪电路与图像传感器分离。 [0008] 在一个实施例中,降噪电路与图像传感器分离。 [0009] 在一个实施例中,参考帧生成器被配置为通过将多个图像帧一起平均来生成参考帧。 [0010] 在一个实施例中,多个图像帧包括多于五个图像帧。 [0011]在一个实施例中,处理器被配置为通过从图像帧减去参考帧以生成校正的图像帧来使用参考帧来减少图像帧中的噪声。 [0012] 在一个实施例中,噪声包括由图像传感器的一个或多个模数转换器生成的时间噪声。 [0013] 在一个实施例中,图像传感器是具有像素阵列的数字像素传感器,像素阵列被配置为耦合到降噪电路。 [0014] 在一个实施例中,参考帧生成器还被配置为在降噪阶段之后执行重新校准阶段,重新校准阶段包括:从图像传感器接收新的图像帧; 从存储器接收参考帧; 将新的图像帧与参考帧结合生成新的参考帧; 并将新的参考帧存储在内存中。 [0015] 在一个实施例中,处理器被配置为在重新校准阶段之后的另一个降噪阶段期间使用新参考帧来降低从图像传感器接收的图像帧中的噪声。 [0016] 在一个实施例中,参考帧生成器被配置为通过对参考帧和新图像帧应用加权平均方案来生成新参考帧,新图像帧在加权平均方案中具有比参考帧低的权重。 [0017] 根据本公开的第二方面,提供了一种方法,包括:在校准阶段期间由降噪电路从图像传感器接收多个图像帧; 降噪电路基于多个图像帧产生参考帧; 降噪电路在校准阶段之后的降噪阶段从图像传感器接收图像帧; 降噪电路利用参考帧来降低图像帧中的噪声。 [0018] 在一个实施例中,降噪电路是图像传感器的一部分。 [0019] 在一个实施例中,降噪电路与图像传感器分离并耦合到图像传感器。 [0020] 在一个实施例中,生成参考帧包括将多个图像帧一起平均。 [0021] 在一个实施例中,利用参考帧降低图像帧中的噪声包括:从图像帧中减去参考帧以生成校正后的图像帧。 [0022] 在一个实施例中,噪声包括由图像传感器的一个或多个模数转换器产生的固定模式噪声和时间噪声。 [0023] 在一个实施例中,降噪阶段是第一降噪阶段,并且还包括:在第一降噪阶段之后执行重新校准阶段,重新校准阶段包括:从图像传感器接收新的图像帧:以及 将新的图像帧与参考帧结合生成新的参考帧; 在重新校准阶段之后执行第二降噪阶段,第二降噪阶段包括:从图像传感器接收一个或多个图像帧; 并使用新的参考帧来降低一个或多个图像帧中的噪声。 [0024] 在一个实施例中,生成新的参考帧包括:对参考帧和新的图像帧应用加权平均方案。 [0025]根据本公开的第三方面,提供了一种人工现实系统。 人工现实系统包括图像传感器和耦合到图像传感器的降噪电路。 降噪电路被配置为: 在校准阶段从图像传感器接收多个图像帧; 基于多个图像帧生成参考帧; 在校准阶段之后的降噪阶段从图像传感器接收图像帧; 并利用参考帧产生修正后的图像帧,以减少图像帧中的噪声。 人工现实系统还包括耦合到降噪电路和显示设备的计算机系统,计算机系统被配置为基于由降噪电路生成的校正图像帧生成人工现实环境以在显示设备上显示 电路。 [0026] 本公开的一些示例可以通过提供一种降噪电路来克服上述一个或多个问题,该降噪电路能够降低由图像传感器捕获的图像帧中的固定模式噪声和时间噪声。 例如,降噪电路可以实施校准阶段,涉及从图像传感器捕获N个图像帧,其中N大于一。 N 的一个示例可能是 10 个图像帧,尽管 其他数量的图像帧也是可能的。 降噪电路然后可以基于N个图像帧生成参考帧,例如通过将N个图像帧平均在一起。 使用多个图像帧生成参考帧可以帮助解释时间噪声,而仅使用单个图像帧可能不足以解释时间噪声。 在生成参考帧之后,降噪电路可以将参考帧存储在存储器中(例如,SRAM帧缓冲器)。 这可以完成校准阶段。 [0027] 接下来,降噪电路可以启动降噪阶段。 在降噪阶段,降噪电路可以接收来自图像传感器的附加图像帧,并使用存储的参考帧来降低附加图像帧中的噪声。 例如,降噪电路可以从每个附加图像帧中减去存储的参考帧以生成对应的校正图像帧。 与噪声校正(例如,噪声消除)之前存在的相比,校正后的图像帧可以具有更少的固定模式噪声和/或时间噪声。 [0028] 在生成校正后的图像帧之后,降噪电路可以将校正后的图像帧传输到计算系统以供后续使用。 例如,计算系统可以将校正后的图像帧用于各种目的,例如对象识别和跟踪、位置跟踪、增强现实 (AR) 和虚拟现实 (VR)。 通过使用经噪声校正的数字图像,计算系统可能能够以改进的方式执行其预期的功能。 [0029] 以上介绍仅作为示例提供,并不限制或定义本主题的范围。 本文描述了各种其他示例,并且本领域技术人员将理解这些示例的变体。 可以通过检查本说明书和/或通过实施要求保护的主题的一个或多个示例来进一步理解各种示例提供的优点。 [0030] 提及这些说明性示例不是为了限制或定义本公开的范围,而是提供示例以帮助对其的理解。 说明性示例在详细说明中讨论,其中 提供了进一步的描述。 通过检查本说明书可以进一步理解各种示例提供的优点。 附图的简要说明 [0031] 参考以下附图描述说明性实施例。 [0032] 图1A、1B、1C和1D是近眼显示器的图。 [0033] 图2是近眼显示器的截面侧视图。 [0034] 图3图示了具有单源组件的波导显示器的等距视图。 [0035]图4图示了波导显示器的横截面。 [0036] 图5是包括近眼显示器的系统的框图。 [0037] 图6图示了图像传感器及其操作的示例。 [0038] 图7A、7B和7C图示了图像处理系统及其操作的示例。 [0039] 图8A、8B和8C图示了图7A-7C的图像处理系统的示例组件。 [0040] 图9示出了根据本公开的一些方面的包括具有降噪电路的图像传感器的系统的示例。 [0041] 图10示出了根据本公开的一些方面的其中图像传感器与降噪电路分离的系统的示例。 [0042] 图11示出了根据本公开的一些方面的降噪电路的示例。 [0043] 图12示出根据本公开的一些方面的与图像传感器和降噪电路相关联的操作阶段的示例。 [0044] 图13示出了根据本公开的一些方面的参考帧生成器的示例。 [0045] 图14示出了根据本公开的一些方面的用于在噪声校正电路的操作模式之间切换的过程的示例。 [0046] 出于目的,附图描绘了本公开的一些示例 仅供参考。 本领域技术人员将从以下描述中容易地认识到,在不背离本公开的原则或所宣扬的益处的情况下,可以采用所说明的结构和方法的替代示例。 [0047] 在附图中,相似的组件和/或特征可以具有相同的参考标记。 此外,相同类型的各种组件可以通过在参考标签后面加上区分相似组件的小写字母来区分。 如果在说明书中仅使用参考标号,则该描述适用于具有相同参考标号的任何一个类似部件,而不管相应的小写字母如何。 详细说明 [0048] 在下面的描述中,出于解释的目的,阐述了具体细节以便提供对某些发明实施例的透彻理解。 然而,很明显,可以在没有这些具体细节的情况下实践各种实施例。 附图和描述并非旨在限制性的。 [0049] 图1A和1B是近眼显示器100的实施例的图。近眼显示器100向用户呈现媒体。 近眼显示器100呈现的媒体的示例包括一个或多个图像、视频和/或音频。 在一些实施例中,音频经由从近眼显示器100、控制台或两者接收音频信息并基于音频信息呈现音频数据的外部设备(例如,扬声器和/或耳机)呈现。 近眼显示器 100 通常配置为用作虚拟现实 (VR) 显示器。 在一些实施例中,近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器进行操作。 [0050] 近眼显示器100包括框架105和显示器110。框架105耦合到一个或多个光学元件。 显示器110被配置为用户观看由近眼显示器100呈现的内容。在一些实施例中,显示器110包括用于将来自一个或多个图像的光引导到用户的眼睛的波导显示组件。 [0051] 近眼显示器100还包括图像传感器120a、120b、120c和120d。 每个图像传感器 120a、120b、120c 和 120d 可以包括像素 阵列被配置为生成表示沿不同方向的不同视野的图像数据。 例如,传感器120a和120b可以被配置为提供表示沿Z轴朝向A方向的两个视野的图像数据,而传感器120c可以被配置为提供表示沿X轴朝向B方向的视野的图像数据 轴,并且传感器120d可以被配置为提供表示沿着X轴朝向方向C的视野的图像数据。 [0052] 在一些实施例中,传感器120a-120d可以被配置为输入设备以控制或影响近眼显示器100的显示内容,以向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。 例如,传感器120a-120d可以生成用户所在物理环境的物理图像数据。 可以将物理图像数据提供给位置跟踪系统以跟踪用户在物理环境中的位置和/或移动路径。 然后系统可以基于例如用户的位置和方向更新提供给显示器110的图像数据,以提供交互式体验。 在一些实施例中,当用户在物理环境中移动时,位置跟踪系统可以运行同时定位和映射(SLAM)算法来跟踪物理环境中和用户视野内的一组对象。 位置跟踪系统可以基于对象集构建和更新物理环境的地图,并在地图内跟踪用户的位置。 通过提供对应于多个视野的图像数据,传感器120a-120d可以为位置跟踪系统提供更全面的物理环境视图,这可以导致更多对象被包括在地图的构建和更新中。 通过这样的安排,可以提高在物理环境中跟踪用户位置的准确性和鲁棒性。 [0053] 在一些实施例中,近眼显示器100还可以包括一个或多个有源照明器140以将光投射到物理环境中。 投射的光可以与不同的频谱(例如,可见光、红外光、紫外光)相关联,并且可以用于各种目的。 例如,照明器140可以在黑暗环境中(或在 低强度红外光、紫外光等环境)以辅助传感器120a-120d捕捉黑暗环境中不同物体的图像,例如实现用户的位置跟踪。 照明器140可以将某些标记投射到环境内的对象上,以帮助位置跟踪系统识别对象以进行地图构建/更新。 [0054] 在一些实施例中,照明器140还可以实现立体成像。 例如,一个或多个传感器120a或120b可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。 第一像素阵列可以用滤色器(例如,拜耳滤光器)覆盖,第一像素阵列的每个像素被配置为测量与特定颜色(例如,红色、绿色或蓝色中的一种)相关联的光的强度 ). 第二像素阵列(用于红外光感测)也可以用仅允许红外光通过的过滤器覆盖,第二像素阵列的每个像素被配置为测量红外光的强度。 像素阵列可以生成物体的 RGB 图像和 IR 图像,其中 IR 图像的每个像素被映射到 RGB 图像的每个像素。 照明器140可以在物体上投射一组IR标记,其图像可以由IR像素阵列捕获。 基于图像中显示的对象的IR标记的分布,系统可以估计对象的不同部分与IR像素阵列的距离并且基于该距离生成对象的立体图像。 基于对象的立体图像,系统可以确定例如对象相对于用户的相对位置并且可以基于相对位置信息更新提供给显示器110的图像数据以提供交互式体验。 [0055]如上所述,近眼显示器100可以在与非常宽范围的光强度相关联的环境中操作。 例如,近眼显示器100可以在室内环境或室外环境和/或一天中的不同时间运行。 近眼显示器100也可以在有源照明器140打开或不打开的情况下操作。 因此,图像传感器 120a-120d 可能需要具有较宽的动态范围,以便能够在与不同的相关联的非常宽的光强度范围内正常运行(例如,生成与入射光强度相关的输出) 近眼显示器的操作环境 100. [0056] 图1C和1D是近眼显示器100的另一实施例的图。图1C和1D图示了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图所示 在图1C和1D中,近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。 照明器140a、140b和140c可以向方向D(与图1A和1B的方向A相反)发射特定频率范围(例如,近红外(NIR))的光。 发出的光可以与特定图案相关联并且可以被用户的左眼球反射。 传感器150a可以包括像素阵列以接收反射光并生成反射图案的图像。 类似地,照明器140d、140e和140f可以发射带有图案的NIR光。 NIR 光可以被用户的右眼球反射并且可以被传感器150b接收。 传感器150b还可以包括像素阵列以生成反射图案的图像。 基于来自传感器150a和150b的反射图案的图像,系统可以确定用户的注视点并基于所确定的注视点更新提供给显示器100的图像数据以向用户提供交互式体验。 [0057] 如上所述,为了避免伤害用户的眼球,照明器140a、140b、140c、140d、140e和140f通常被配置为输出非常低强度的光。 在图像传感器 150a 和 150b 包括与图 1A 和 1B 的图像传感器 120a-120d 相同的传感器设备的情况下,图像传感器 120a-120d 可能需要能够生成与入射光强度相关的输出,当 入射光的强度很低,这可能会进一步增加图像传感器的动态范围要求。 [0058] 此外,图像传感器120a-120d可能需要能够产生高速输出以跟踪眼球的移动。 例如,用户的眼球可以执行非常快速的运动(例如扫视运动),其中可以从一个眼球位置快速跳到另一个位置。 为了跟踪用户眼球的快速移动,图像传感器 120a-120d 需要生成 眼球的高速图像。 例如,图像传感器生成图像帧的速率(帧速率)需要至少匹配眼球的移动速度。 高帧率要求生成图像帧所涉及的所有像素单元的总曝光时间短,以及将传感器输出转换为数字值以生成图像的速度高。 此外,如上所述,图像传感器还需要能够在低光强度的环境中工作。 [0059] 图2是图1A-1D所示的近眼显示器100的横截面200的实施例。 显示器110包括至少一个波导显示器组件210。出瞳230是当用户佩戴近眼显示器100时用户的单个眼球220位于眼框区域中的位置。为了说明的目的,图 图2示出了与眼球220和单个波导显示器组件210相关联的截面200,但是第二波导显示器用于用户的第二只眼睛。 [0060]波导显示组件210被配置成将图像光引导至位于出射瞳孔230处的眼盒和眼球220。波导显示组件210可由具有一种或多种折射率的一种或多种材料(例如,塑料或玻璃)构成。 在一些实施例中,近眼显示器100包括波导显示组件210和眼球220之间的一个或多个光学元件。 [0061] 在一些实施例中,波导显示器组件210包括一个或多个波导显示器的堆叠,包括但不限于堆叠波导显示器、变焦波导显示器等。堆叠波导显示器是多色显示器(例如,红光显示器)。 绿-蓝 (RGB) 显示器)通过堆叠波导显示器创建,其各自的单色源具有不同的颜色。 堆叠式波导显示器也是一种可以投影到多个平面上的多色显示器(例如,多平面彩色显示器)。 在一些配置中,堆叠波导显示器是可以投影到多个平面上的单色显示器(例如,多平面单色显示器)。 变焦波导显示器是一种可以调节从波导显示器发射的图像光的焦点位置的显示器。 在备选实施例中,波导显示组件210可以包括堆叠的 波导显示器和变焦波导显示器。 [0062] 图3图示了波导显示器300的实施例的等距视图。在一些实施例中,波导显示器300是近眼显示器100的组件(例如,波导显示器组件210)。在一些实施例中,波导显示器300是近眼显示器100的一部分 将图像光引导到特定位置的其他一些近眼显示器或其他系统。 [0063] 波导显示器 300 包括源组件 310、输出波导 320 和控制器 330。为了说明的目的,图 3 显示了与单个眼球 220 相关联的波导显示器 300,但在一些实施例中,另一个波导显示器是分开的, 或部分分离,从波导显示器300向用户的另一只眼睛提供图像光。 [0064] 源组件 310 生成图像光 355。源组件 310 生成图像光 355 并将其输出到位于输出波导 320 的第一侧 370-1 上的耦合元件 350。输出波导 320 是将扩展的图像光 340 输出到 用户的眼球220。 输出波导 320 在位于第一侧 370-1 上的一个或多个耦合元件 350 处接收图像光 355,并将接收到的输入图像光 355 引导至导向元件 360。在一些实施例中,耦合元件 350 耦合来自源组件的图像光 355 310进入输出波导320。耦合元件350例如可以是衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件和/或全息反射器阵列。 [0065] 引导元件360将接收到的输入图像光355重定向到去耦元件365,使得接收到的输入图像光355经由去耦元件365从输出波导320去耦。引导元件360是第一侧370-1的一部分,或固定到第一侧370-1 输出波导320的去耦元件365是输出波导320的第二侧370-2的一部分或固定到输出波导320的第二侧370-2,使得引导元件360与去耦元件365相对。引导元件360和/或去耦元件365可以是 例如,衍射光栅、全息光栅、一个或多个级联反射器、一个或多个棱镜表面元件和/或全息反射器阵列。 [0066] 第二侧 370-2 表示沿 x 维和 y-维的平面 方面。 输出波导320可由促进图像光355的全内反射的一种或多种材料组成。输出波导320可由例如硅、塑料、玻璃和/或聚合物组成。 输出波导320具有相对小的形状因数。 例如,输出波导320可以沿着x维度大约50mm宽,沿着y维度大约30mm长并且沿着z维度大约0.5-1mm厚。 [0067]控制器330控制源组件310的扫描操作。控制器330确定用于源组件310的扫描指令。在一些实施例中,输出波导320将扩展图像光340输出到具有大视场(FOV)的用户眼球220。 例如,扩展的图像光340以60度和/或更大和/或150度和/或更小的对角线FOV(在x和y中)提供给用户的眼球220。 输出波导320被配置为提供长度为20mm或更大和/或等于或小于50mm的眼盒; 和/或 10 毫米或更大和/或等于或小于 50 毫米的宽度。 [0068] 此外,控制器330还基于图像传感器370提供的图像数据控制由源组件310产生的图像光355。图像传感器370可以位于第一侧370-1并且可以包括例如图1和图2的图像传感器120a-120d 图 1A 和 1B 生成用户面前物理环境的图像数据(例如,用于位置确定)。 图像传感器150a和150b也可以位于第二侧370-2并且可以包括图1C和1D的图像传感器150a和150b以生成用户的眼球220的图像数据(例如,用于凝视点确定)。 图像传感器370可以与不位于波导显示器300内的远程控制台连接。图像传感器370可以向远程控制台提供图像数据,该远程控制台可以确定例如用户的位置或用户的注视点并且 确定要向用户显示的图像的内容。 远程控制台可以将与确定的内容相关的指令传输到控制器330。 基于指令,控制器330可以控制源组件310产生和输出图像光355。 [0069] 图4图示了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导 320和图像传感器370。在图4的示例中,图像传感器370可以包括位于第一侧370-1上的一组像素单元402以生成用户前面的物理环境的图像。 在一些实施例中,可存在插入像素单元组402与物理环境之间以控制像素单元组402的曝光的机械快门404。在一些实施例中,机械快门404可由电子快门代替 开关,将在下面讨论。 每个像素单元402可以对应于图像的一个像素。 虽然未在图4中展示,但应了解,每一像素单元402也可覆盖有滤波器以控制将由像素单元感测的光的频率范围。 [0070] 在接收到来自远程控制台的指令之后,机械快门404可以在曝光周期中打开并曝光像素单元组402。 在曝光期间,图像传感器 370 可以获得入射在像素单元组 402 上的光样本,并基于由像素单元组 402 检测到的入射光样本的强度分布生成图像数据。图像传感器 370 然后可以提供 图像数据到远程控制台,远程控制台确定显示内容,并将显示内容信息提供给控制器330。控制器330然后可以基于显示内容信息确定图像光355。 [0071] 源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。 源410可以是例如激光二极管、垂直腔表面发射激光器和/或发光二极管。 [0072] 光学系统 415 包括一个或多个光学组件,用于调节来自光源 410 的光。调节来自光源 410 的光可以包括例如根据来自控制器 330 的指令扩展、准直和/或调整方向。一个或多个光学组件 组件可以包括一个或多个透镜、液体透镜、反射镜、光圈和/或光栅。 在一些实施例中,光学系统415包括具有多个电极的液体透镜,其允许以扫描角度的阈值扫描光束以将光束移动到光学系统之外的区域。 液态镜头。 从光学系统415(以及源组件310)发射的光被称为图像光355。 [0073] 输出波导 320 接收图像光 355。耦合元件 350 将来自源组件 310 的图像光 355 耦合到输出波导 320 中。在耦合元件 350 是衍射光栅的实施例中,选择衍射光栅的间距使得全内反射发生在 输出波导320和图像光355在输出波导320中向去耦元件365内部传播(例如,通过全内反射)。 [0074] 引导元件360将图像光355重定向到去耦元件365以从输出波导320去耦。在引导元件360是衍射光栅的实施例中,选择衍射光栅的间距以引起入射图像光355以一定角度离开输出波导320 (s) 相对于去耦元件 365 表面的倾斜度。 [0075] 在一些实施例中,引导元件360和/或去耦元件365在结构上相似。 离开输出波导320的扩展图像光340沿一个或多个维度扩展(例如,可以沿x维度被拉长)。 在一些实施例中,波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如,红色、绿色、 或蓝色)。 每个输出波导320可以以一定的间隔堆叠在一起以输出多色的扩展图像光340。 [0076] 图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像装置535、输入/输出接口540、以及图像传感器120a-120d和 150a-150b中的每一个耦合到控制电路510。系统500可以被配置为头戴式设备、可穿戴设备等。 [0077] 近眼显示器100是向用户呈现媒体的显示器。 近眼显示器100呈现的媒体的示例包括一个或多个图像、视频和/或音频。 在一些实施例中,音频经由从近眼显示器100和/或控制电路510接收音频信息并呈现音频数据的外部设备(例如,扬声器和/或耳机)呈现 基于给用户的音频信息。 在一些实施例中,近眼显示器100也可以充当AR眼镜。 在一些实施例中,近眼显示器 100 使用计算机生成的元素(例如,图像、视频、声音)来增强物理、真实世界环境的视图。 [0078] 近眼显示器100包括波导显示组件210、一个或多个位置传感器525和/或惯性测量单元(IMU) 530。波导显示组件210包括源组件310、输出波导320和控制器330。 [0079] IMU 530是一种电子设备,其基于从一个或多个位置传感器525接收的测量信号生成指示近眼显示器100相对于近眼显示器100的初始位置的估计位置的快速校准数据。 [0080] 成像设备535可以为各种应用生成图像数据。 例如,成像设备535可以生成图像数据以根据从控制电路510接收的校准参数提供慢校准数据。成像设备535可以包括例如图1A和1B的图像传感器120a-120d,用于生成以下图像数据: 用户所在的物理环境,用于对用户进行位置跟踪。 成像设备535还可以包括例如图10的图像传感器150a-150b和用于生成用于确定用户的注视点的图像数据的ID,以识别用户感兴趣的对象。 [0081] 输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。 例如,动作请求可能启动或结束应用程序或在应用程序内执行特定动作。 [0082]控制电路510向近眼显示器100提供媒体以根据从以下一项或多项接收的信息呈现给用户:成像设备535、近眼显示器100和输入/输出接口540。在一些示例中,控制电路 510可以容纳在配置为头戴式设备的系统500内。 在一些示例中,控制电路510可以是与系统500的其他组件通信耦合的独立控制台设备。在图5所示的示例中,控制电路510包括 应用程序商店 545、跟踪模块 550 和引擎 555。 [0083] 应用程序存储区545存储一个或多个应用程序以供控制电路510执行。应用程序是一组指令,当由处理器执行时,其生成内容以呈现给用户。 应用程序的示例包括游戏应用程序、会议应用程序、视频回放应用程序或其他合适的应用程序。 [0084] 跟踪模块550使用一个或多个校准参数来校准系统500并且可以调整一个或多个校准参数以减少近眼显示器100的位置确定中的误差。 [0085] 跟踪模块550使用来自成像设备535的慢校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。 [0086] 引擎555执行系统500内的应用程序并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中,引擎555接收的信息可用于产生 向波导显示组件 210 发送信号(例如,显示指令),确定呈现给用户的内容类型。 例如,为了提供交互式体验,引擎555可以基于用户的位置(例如,由跟踪模块550提供)或用户的注视点(例如,基于 成像设备 535 提供的图像数据)、对象和用户之间的距离(例如,基于成像设备 535 提供的图像数据)。 [0087] 图6图示了图像传感器600及其操作的示例。 如图6所示,图像传感器600可以包括像素单元阵列,包括像素单元601,并且可以生成对应于图像像素的数字强度数据。 像素单元601可以是图4的像素单元402的一部分。如图6所示,像素单元601可以包括一个或多个光电二极管602、电子快门开关603、传输开关604、复位开关605、电荷存储 设备606和量化器607。量化器607可以是仅可由像素单元601访问的像素级ADC。光电二极管602可以包括例如P-N二极管、P-I-N 二极管,或pinned二极管,而电荷存储器件606可以是转移开关604的浮动扩散节点。光电二极管602可以在曝光周期内接收光时产生并积累电荷,并且在曝光周期内产生的电荷量可以是 与光强成正比。 [0088]图7A、7B和7C图示了图像处理系统700及其操作的示例。 图像处理系统700包括主机设备702和图像传感器704。主机设备702可以包括运行应用程序708的主机处理器706,应用程序708可以执行包括例如二维(2D)和三维的融合的操作 图像传感器704生成的图像710上的(3D)感测、对象识别和跟踪或位置跟踪。在一些示例中,图像处理系统700可以在可穿戴设备中。 在一些示例中,处理系统700可以被分成多个单独的设备。 例如,主机设备702可以是个人计算机(PC)、智能手机、相机基站或者诸如中央处理器(CPU)、现场可编程开关阵列(FPGA)或 微控制器单元 (MCU)。 主机设备702和图像传感器704可以经由互连(图7A中未示出)电连接,例如与移动行业处理器接口(MIPI)标准兼容的互连。 [0089] 参考图7A,图像传感器704包括像素单元阵列控制电路716和像素单元阵列718。像素单元阵列718的每个像素单元可包括与图6的像素单元601类似的组件,例如光电二极管602、电子快门 开关603、转换开关604进行测光动作,生成像素数据。 在一些示例中,像素单元阵列718和像素单元阵列控制电路716可以形成堆叠结构以最大化图像传感器704的光接收表面,这允许像素单元阵列718包括更多像素单元以提高分辨率。 [0090] 像素单元阵列718中的每个像素单元可包括配置存储器,其可以是像素单元的一部分或在像素单元外部,以存储用于在每个像素单元或像素单元块处配置/编程光测量操作的编程数据。 每个像素单元的配置内存可以单独寻址,这允许在每个像素单元的光测量操作 像素单元或像素单元块,将由像素单元阵列控制电路716基于像素阵列编程映射720单独编程。在一些示例中,像素阵列编程映射720可由主处理器706生成作为以下结果: 图像710上的对象跟踪操作。在一些示例中,像素单元阵列控制电路716还可以包括编程图生成器721以基于图像710生成像素阵列编程图720。像素单元阵列控制电路716可以从中提取编程数据 像素阵列编程图720并将控制信号722和724形式的编程数据传输到像素单元阵列718。可以从配置存储器读出编程数据以配置光测量操作。 [0091] 如以下更详细地描述的,像素单元处的光测量操作的配置可以包括例如设置由像素单元访问/关联的不同电路组件的功率状态,例如量化电路620。 配置还可以包括光测量操作的其他方面,例如设置光测量操作的曝光周期或设置量化分辨率/位深度。 [0092]像素阵列编程图720可以包括以像素单元阵列的每个像素单元为目标的编程数据。 图7B图示了像素阵列编程图720的示例。如图7B所示,像素阵列编程图720可以包括编程数据的二维阵列,其中二维阵列的编程数据的每个条目以像素单元为目标 像素单元阵列718的。例如,在像素单元阵列718具有M个像素的宽度(例如,M列像素)和N个像素的高度(例如,N行像素)的情况下,像素阵列编程映射 720还具有M个条目的宽度(例如,M列条目)和N个条目的高度(例如,N行条目)。 像素阵列编程映射 720 的条目 (0, 0) 处的编程数据 AQO 以像素单元阵列 718 的像素位置 (0, 0) 处的像素单元 Poo 为目标,而像素单元阵列 720 的条目 (0, 1) 处的编程数据 Aoi 像素阵列编程映射 720 以像素单元阵列 718 的像素位置 (0, 1) 处的像素单元 Poi 为目标。在一些示例中,像素阵列编程映射 720 的每个条目的编程数据可以按照预定的顺序传输 扫描模式,例如从左到右遍历一行(例如,AQO、AOI、... Aoi),然后是 从左到右的下一行(例如,Aio、AH、... Au),以形成串行数据流。 基于扫描模式和接收条目的顺序,可以从串行数据流中提取和识别每个条目的编程数据。 在一些示例中,仅当某些编程数据需要在帧之间更新时才可以发送像素阵列编程图720,并且只有需要更新的编程数据被包括在像素阵列编程图720中。在一些示例中,每个条目 像素阵列编程映射720还可以以像素单元块(例如,2x2像素单元阵列、4x4像素单元阵列)为目标。 [0093] 取决于配置操作,像素阵列编程映射720的每个条目可以包括二进制编程数据或非二进制编程数据。 图7C说明像素阵列编程映射720a和720b的实例。 如图 7C 所示,像素阵列编程图 720a 包括二进制编程数据 0 和 1。在一些示例中,像素阵列编程图 720a 的每个条目处的二进制编程数据可以启用(例如,编程数据设置为 1)或禁用 (例如,将编程数据设置为 0)在对应于条目的像素单元处生成像素数据。 二进制编程数据还可以设置像素单元使用的量化电路620的功率状态。 例如,如果编程数据指示像素单元不生成像素数据,则包括在由像素单元使用的量化电路中的处理电路和存储器可以断电。 [0094] 此外,像素阵列编程图720b可包括非二进制编程数据,例如-1、0、1或其他值。 如图7C所示,像素阵列编程图720b的非二进制编程数据可用于例如设置曝光周期或设置量化分辨率。 例如,-1 的编程值可以指示像素单元和量化电路在帧周期期间被禁用,0 的编程值可以指示像素单元和量化电路在低分辨率模式下操作,而编程 值1可以指示像素单元和量化电路在全分辨率模式下操作。 然后像素单元可以相应地设置处理电路的电源状态和量化电路的存储器。 [0095] 图8A、8B和8C说明像素单元阵列的实例组件 控制电路716和图像传感器704的像素单元阵列718。如图8A所示,像素单元阵列控制电路716可以包括编程图解析器802、列控制电路804、行控制电路806和像素数据输出 电路807。编程图解析器802可以解析可以在串行数据流中的像素阵列编程图720,以识别每个像素单元(或像素单元块)的编程数据。 编程数据的识别可以基于例如将二维像素阵列编程图转换成串行格式的预定扫描模式,以及编程数据被接收的顺序。 来自串行数据流的编程图解析器802。 编程映射解析器802可以基于以像素单元为目标的编程数据在像素单元的行地址、像素单元的列地址和一个或多个配置信号之间创建映射。 基于映射,编程映射解析器802可以将包括列地址和配置信号的控制信号808传输到列控制电路804,以及将包括映射到列地址的行地址和配置信号的控制信号810传输到行控制 电路806。在一些示例中,配置信号也可以在控制信号808和控制信号810之间分开或者作为控制信号810的一部分发送到行控制电路806。 [0096] 列控制电路804和行控制电路806被配置为将从编程映射解析器802接收的配置信号转发到像素单元阵列718的每个像素单元的配置存储器。在图8A中,标记为Pij(例如,Poo、Poi 、Pio、Pn)可以表示像素单元或像素单元块(例如,2x2像素单元阵列、4x4像素单元阵列)并且可以包括量化电路或可以与量化电路相关联。 如图8A所示,列控制电路804驱动多组列总线CO、C1、...Ci。 每组列总线包括一个或多个总线并且可用于将图7A的控制信号722传输到​​一列像素单元,其可包括列选择信号和/或其他配置信号。 例如,列总线CO可以传输列选择信号808a以选择一列像素单元(或一列像素单元块)poo、poi、...Poj,列总线Cl可以传输 列选择信号 808b,用于选择一列像素单元(或像素块 细胞) pio, pn, ... pij, 等 [0097] 此外,行控制电路806驱动多组标记为RO、R1、...Rj的行总线。 每组行总线还包括一个或多个总线并且可以用于将图7A的控制信号724传输到一行像素单元或一行像素单元,该控制信号724可以包括行选择信号和/或其他配置信号。 像素单元块。 例如,行总线RO可以传输行选择信号810a以选择一行像素单元(或像素单元块)poo、pio、...Pio,行总线Rl可以传输行选择 信号810b选择一行像素单元(或像素单元块)poi、pn、...pii等。像素单元阵列718内的任何像素单元(或像素单元块)可基于以下的组合来选择 行选择信号和列信号接收配置信号。 行选择信号、列选择信号和配置信号(如果有的话)基于来自编程映射解析器802的控制信号808和810被同步,如上所述。 每列像素单元可以共享一组输出总线以将像素数据传输到像素数据输出模块807。例如,像素单元列(或像素单元块)poo、poi、...poj可以共享输出总线Do , 像素单元列(或像素单元块)pio, pn, ... pij 可以共享输出总线 Di 等。 [0098]像素数据输出模块807可以从总线接收像素数据,将像素数据转换成一个或多个串行数据流(例如,使用移位寄存器),并在预定协议(例如MIPI)下将数据流传输至主机设备702 . 数据流可以来自与作为稀疏图像帧的一部分的每个像素单元(或像素单元块)相关联的量化电路。 此外,像素数据输出模块807还可以接收来自编程图解析器802的控制信号808和810来确定例如哪个像素单元不输出像素数据或者每个像素单元输出的像素数据的位宽,然后 相应地调整串行数据流的生成。 例如,像素数据输出模块807可以控制移位寄存器在生成串行数据流时跳过一些位,以解决例如像素单元之间输出像素数据的可变位宽或像素数据输出的禁用 在某些像素单元。 [0099] 此外,像素单元阵列控制电路716还包括全局 功率状态控制电路820、列功率状态控制电路822、行功率状态控制电路824和局部功率状态控制电路826在每个像素单元或每个像素单元块(图8A中未示出)处形成分级功率 状态控制电路。 全局功率状态控制电路820可以是层级中的最高级别,随后是行/列功率状态控制电路822/824,局部功率状态控制电路826处于层级中的最低级别。 [0100] 分级功率状态控制电路可以提供控制图像传感器704的功率状态的不同粒度。例如,全局功率状态控制电路820可以控制图像传感器704的所有电路的全局功率状态,包括所有的处理电路和存储器 行电源状态控制电路822可以分别控制每行像素单元(或像素单元块)的处理电路和存储器的电源状态,而列电源状态控制电路824可以控制 每列像素单元(或像素单元块)的处理电路和存储器的电源状态分开。 一些示例可以包括行功率状态控制电路822但不包括列功率状态控制电路824,反之亦然。 此外,本地电源状态控制电路826可以是像素单元或像素单元块的一部分,并且可以控制像素单元或像素单元块的处理电路和存储器的电源状态。 [0101] 图8B说明分级电源状态控制电路的内部组件及其操作的实例。 具体地,全局功率状态控制电路820可以输出全局功率状态信号832,其可以是偏置电压、偏置电流、电源电压或编程数据的形式,其设置图像传感器704的全局功率状态 此外,列功率状态控制电路822(或行功率状态控制电路824)可以输出列/行功率状态信号834,其设置图像的列/行像素单元(或像素单元块)的功率状态 传感器704。列/行功率状态信号834可以作为行信号810和列信号808传输到像素单元。 此外,局部功率状态控制电路826可以输出局部功率状态信号836,其设置像素单元(或像素单元块)的功率状态,包括相关联的处理电路和存储器。 本地电源状态信号 836 可以是 输出到像素单元的处理电路和存储器以控制它们的电源状态。 [0102] 在分层功率状态控制电路838中,上层功率状态信号可以为下层功率状态信号设置上限。 例如,全局功率状态信号832可以是列/行功率状态信号834的上层功率状态信号并且设置列/行功率状态信号834的上限。此外,列/行功率状态信号834可以是 局部功率状态信号 836 的上层功率状态信号,并为局部功率状态信号 836 设置上界。例如,如果全局功率状态信号 832 指示低功率状态,则列/行功率状态信号 834 和局部功率 状态信号836也可以指示低功率状态。 [0103] 全局电源状态控制电路820、列/行电源状态控制电路822/824和局部电源状态控制电路826中的每一个都可以包括电源状态信号发生器,而列/行电源状态控制电路822/824和局部电源 状态控制电路826可以包括门控逻辑以实施由上层功率状态信号强加的上限。 具体地,全局功率状态控制电路820可以包括全局功率状态信号生成器821以生成全局功率状态信号832。全局功率状态信号生成器821可以基于例如外部配置信号840( 例如,来自主机设备702)或全局功率状态的预定时间序列。 [0104] 此外,列/行功率状态控制电路822/824可以包括列/行功率状态信号生成器823和门控逻辑825。列/行功率状态信号生成器823可以生成中间列/行功率状态信号833 基于例如外部配置信号842(例如,来自主机设备702)或行/列功率状态的预定时间序列。 选通逻辑825可选择全局功率状态信号832或表示较低功率状态的中间列/行功率状态信号833之一作为列/行功率状态信号834。 [0105] 此外,局部功率状态控制电路826可以包括局部功率状态信号发生器827和门控逻辑829。低功率状态信号发生器827基于例如中间局部功率状态信号835, 外部配置信号844,其可以来自像素阵列编程映射、行/列功率状态的预定时间序列等。门控逻辑829可以选择中间局部功率状态信号835或列/行功率状态之一 表示较低功率状态的信号834作为本地功率状态信号836。 [0106] 图8C示出了像素单元阵列718的附加细节,包括局部功率状态控制电路826(例如,826a、826b、826c和826d,在图8C中标记为“PWR”)和配置存储器850(例如,850a、850b、 每个像素单元(或每个像素单元块)的 850c 和 850d,在图 8C 中标记为“配置”。 配置存储器850可存储第一编程数据以控制像素单元(或像素单元块)的光测量操作(例如,曝光周期持续时间或量化分辨率)。 此外,配置存储器850还可以存储第二编程数据,本地功率状态控制电路826可以使用这些数据来设置处理电路和存储器的功率状态。 配置存储器850可以实现为静态随机存取存储器(SRAM)。 虽然图 8C 显示本地电源状态控制电路 826 和配置存储器 850 在每个像素单元的内部,但是应该理解,配置存储器 850 也可以在每个像素单元的外部,例如当本地电源状态控制电路 826 和配置存储器 850用于像素单元块。 [0107] 如图8C所示,每个像素单元的配置存储器850通过诸如Soo、Sio、Sio、Sn等晶体管S与列总线C和行总线R耦合。在一些示例中,每组列总线( 例如,CO 和 Cl)和行总线(例如,RO 和 Rl)可以包括多个位。 例如,在图8C中,每组列总线和行总线可以承载N+1位。 应当理解,在一些示例中,每组列总线和行总线也可以承载单个数据位。 每个像素单元还与晶体管T电连接,例如Too、Tio、Tio或Tn,以控制配置信号到像素单元(或像素单元块)的传输。 每个像素单元的晶体管S可以由行和列选择信号驱动以启用(或禁用)相应的晶体管T以将配置信号传输到像素单元。 在一些示例中,列控制电路804和行控制电路806可以通过单次写入来编程 指令(例如,来自主机设备702)同时写入多个像素单元的配置存储器850。 然后列控制电路804和行控制电路806可以控制行总线和列总线写入像素单元的配置存储器。 [0108]在一些示例中,局部功率状态控制电路826还可以直接从晶体管T接收配置信号而不将配置信号存储在配置存储器850中。例如,如上所述,局部功率状态控制电路826可以接收行/列功率状态信号 834可以是模拟信号,例如电压偏置信号或电源电压,以控制像素单元和像素单元使用的处理电路和/或存储器的功率状态。 [0109] 此外,每个像素单元还包括晶体管O,例如Ooo、Oio、Oio或On,以控制输出总线D在一列像素单元之间的共享。 每一行的晶体管0可由读取信号(例如,read_R0、read_Rl)控制以实现逐行读取像素数据,使得一行像素单元通过输出总线DO输出像素数据, DI, ... Di, 随后是下一行像素单元。 [0110] 在一些示例中,像素单元阵列718的电路组件,包括处理电路和存储器、计数器、DAC、包括缓冲器的缓冲网络等,可以组织成由分层电源状态控制电路838管理的分层电源域。分层 电源域可以包括多个电源域和电源子域的层次结构。 分层电源状态控制电路可以单独设置每个电源域以及每个电源域下的每个电源子域的电源状态。 这样的安排允许图像传感器704对功耗进行细粒度控制并且支持各种空间和时间功率状态控制操作以进一步提高图像传感器704的功率效率。 10111] 虽然一些像素级或块级 ADC 被禁用,但高速控制信号(例如时钟、模拟斜坡信号或数字斜坡信号)仍可通过以下方式传输到每个像素级或块级 ADC 缓冲网络,它会消耗大量功率并增加每个像素生成的平均功耗。 效率低下可以进一步 当图像帧的稀疏性增加(例如,包含更少的像素)时加剧,但高速控制信号仍然传输到每个像素单元,使得传输高速控制信号的功耗保持不变并且 由于生成的像素较少,因此生成每个像素的平均功耗增加。 [0112] 图9示出了根据本公开的一些方面的包括具有降噪电路904的图像传感器902的系统900的示例。 在一些示例中,图像传感器902可以对应于上面关于图1-8描述的任何图像传感器,诸如图像传感器120a-d、150a-b、600和704。 [0113] 图像传感器902可以包括像素单元918的阵列,例如像素单元901,用于生成对应于图像的数字像素的数字强度数据。 像素单元901可以包括一个或多个光电二极管(PD)、当FD保持用于ADC转换的信号时可以防止来自光电二极管的电荷溢出到节点FD的防晕栅极(anti-blooming gate)、传输栅极(Transfer gate)(TG) 用于将电荷从 PD 转移到 FD 的复位门 (RST) 将 FD 处的电压复位到更高电平,源极跟随器 (SF) 可以充当单位增益缓冲器,和/或偏置晶体管 (VBN) 可以为SF提供偏置电流。 光电二极管可以包括例如 P-N 二极管、P-I-N 二极管或钉扎二极管。 光电二极管在曝光周期内接收到光后可以产生并积累电荷,并且在曝光周期内产生的电荷量可以与光的强度成正比。 在一些示例中,可以基于AB信号的定时来定义曝光期。 [0114]像素阵列918可以耦合到一个或多个量化器920,其包括模数转换器(ADC)922。每个量化器可以包括耦合到模数转换器的电容器。 在一些示例中,每个像素单元可以耦合到它自己的量化器。 例如,每个量化器可以是仅可由单独的像素单元访问的像素级量化器。 在其他示例中,单个量化器可由多个像素单元访问。 量化器920可以将来自像素单元的电荷转换成表示原始图像帧914的数字值。原始图像帧914可以包括噪声,例如固定模式噪声和时间噪声。 噪音可能导致 由于 ADC 922 中的制造不一致或可能由于其他原因而出现。 本公开的一些示例可以包括降噪电路904以帮助降低(例如,去除)该噪声。 [0115] 降噪电路 904 可以耦合到量化器 920。降噪电路 904 可以接收原始图像帧 914 并将参考帧应用于原始图像帧 914 以生成校正图像帧 916。例如, 降噪电路904可以从原始图像帧914中减去参考帧以生成校正后的图像帧916。由于该噪声校正过程,校正后的图像帧916可能比原始图像帧914具有更少的噪声。 降噪电路904然后可以将校正后的图像帧916传输到图像处理器906。 [0116] 图像处理器 906 可以耦合到降噪电路 904。图像处理器 906 可以接收校正图像帧 916 并对校正图像帧 916 执行一个或多个图像处理操作以生成输出数字图像 910。 图像处理操作可以包括过滤、特征提取和裁剪。 图像处理器 906 然后可以将数字图像 910 传输到计算系统 912,计算系统 912 可以包括图像传感器 902 或者可能与图像传感器 902 分开。图像处理器 906 可以将校正后的图像帧 916 传输到计算系统 912 任何合适的方式,例如通过无线或有线连接。 [0117] 计算系统912可以包括被配置为使用数字图像910执行操作的一个计算设备或多个计算设备。这样的计算设备的示例可以包括膝上型计算机、台式计算机、服务器、移动电话、平板电脑、电子阅读器和可穿戴设备 例如智能手表或耳机。 计算系统912例如可以是用于查看数字图像910的查看系统、用于解释数字图像910的处理系统或用于编译一组数字图像的编译系统。 在一些示例中,计算系统912可以是人工现实系统。 人工现实系统可以被配置为使用数字图像910来生成人工现实环境908。人工现实环境908可以在诸如液晶的显示设备932上输出 显示器 (LCD)、发光二极管 (LED) 显示器和/或头戴式显示器。 [0118]人工现实是一种在呈现给用户之前以某种方式调整过的现实形式,它可能包括例如虚拟现实 (VR)、增强现实 (AR)、混合现实 (MR)、混合现实 ,或其某些组合和/或衍生物。 人工现实内容可以包括完全生成的内容或生成的内容与捕获的(例如,真实世界的)内容相结合。 人工现实内容可包括视频、音频、触觉反馈或它们的一些组合,并且其中的任何内容可在单个通道或多个通道中呈现(例如为观看者产生三维效果的立体视频)。 此外,人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式用于(例如,执行活动)的应用程序、产品、附件、服务或其某种组合相关联 人工现实。 提供人工现实内容的人工现实系统可以在各种平台上实现,包括连接到主机系统的头戴式显示器(HMD)、独立的 HMD、移动设备或计算系统,或任何其他能够支持的硬件平台 向一个或多个观众提供人工现实内容。 [0119] 虽然图9示出了图像传感器902和降噪电路904的一种特定布置,但是其他布置也是可能的并且在本文中被考虑。 例如,图 10 显示了一个系统 1000,其中图像传感器 902 与降噪电路 904 是分开的。在这个例子中,图像传感器 902 包括像素阵列 918、量化器 920 和图像处理器 906,但是 图像传感器902不包括降噪电路904。 [0120] 如图 10 所示,量化器 920 可以生成原始图像帧 914 并将原始图像帧 914 传输到图像处理器 906。图像处理器 906 可以对原始图像帧 914 执行一个或多个图像处理操作以生成原始图像帧 914。 预处理图像帧1002。图像传感器902然后可以将预处理图像帧1002传输到降噪电路904,降噪电路904可以经由无线或有线连接耦合到图像传感器902。 降噪电路 904 可以通过将参考帧应用于预处理图像帧 1002 来生成校正图像帧 916。之后 生成校正图像帧916。降噪电路904可以将校正图像帧916传输到计算系统912以供后续使用。 降噪电路904可以以任何合适的方式将校正后的图像帧916传输到计算系统912,例如经由有线或无线连接。 [0121] 降噪电路904的一个示例在图11中示出。降噪电路904能够以三种模式操作——校准模式、降噪模式和再校准模式。 这些模式中的每一个都在下面描述。 [0122]在校准模式下,降噪电路904可以执行校准阶段。 在校准阶段,降噪电路904可以从图像传感器902获取校准图像帧1110a-n。当产生校准图像帧110a-n时,图像传感器902可以配置像素不捕获任何光信号 (例如,通过使用零曝光时间)而量化器正常运行。 因此,每个校准图像帧 110a-n 可能仅包含“暗”帧顶部的噪声分量。 降噪电路904可以获得大于一的任意数量的校准图像帧1110a-n。 降噪电路904然后可以操作参考帧生成器1102以基于校准图像帧1110a-n生成参考帧1106。 参考帧生成器1102可以使用任何数量和技术的组合从校准图像帧1110a-n导出参考帧1106。 例如,参考帧生成器1102可以对校准图像帧1110a-n进行平均以生成参考帧1106。该平均过程可以是加权的或未加权的。 这种平均方法可以产生其中时间噪声被降低的参考帧1106,使得参考帧1106主要代表固定模式噪声。 在生成参考帧1106之后,参考帧生成器1102可以将参考帧1106存储在存储器1104中。 [0123] 存储器1104可以包括一个存储器或多个存储器。 存储器1104可以是易失性存储器或非易失性存储器。 存储器1104的示例包括诸如静态随机存取的随机存取存储器(RAM) 内存(静态随机存取存储器); 只读存储器(ROM),例如电可擦除可编程只读存储器(EEPROM); 和闪存。 在一些示例中,存储器1104可以对应于上面关于图1-8描述的任何存储器,诸如配置存储器。 参考帧生成器1102可以将参考帧1106存储在存储器1104中。将参考帧1106存储在存储器1104中可以结束校准阶段。 [0124] 在完成校准阶段后,降噪电路904可以切换到降噪模式以执行降噪阶段。 降噪阶段可以被认为是正常操作阶段,其中降噪电路904实现其降低从图像传感器902接收的图像帧1112a-n中的噪声的正常功能。在降噪阶段期间,降噪电路 904可以从图像传感器902接收图像帧1112a-n(例如,原始图像帧914或预处理图像帧1002)。降噪电路904可以在处理器1108处接收图像帧1112a-n。处理器1108可以 包括一个处理器或多个处理器。 处理器1108的示例包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)或微处理器。 在一些示例中,处理器1108可以对应于上文关于图1-8描述的任何处理器。 处理器1108还可以从存储器1104接收参考帧1106。处理器1108然后可以将参考帧1106应用于图像帧1112a-n以减少它们中的噪声,从而生成校正图像帧916a-n。 例如,处理器1108可以通过从图像帧1112a中减去参考帧1106来减少图像帧1112a中的噪声,从而生成校正后的图像帧916a。 降噪电路904可以在其大部分操作中保持降噪模式。 [0125] 在某个时间点,可能需要重新校准降噪电路 904。例如,图像传感器 902 中的像素阵列可能容易受到退化、环境力(例如,温度变化或物理影响)和其他因素的影响 可能会影响图像传感器 902 生成的数字图像的质量。如果参考帧 1106 是在影响图像传感器 902 的那些因素之前生成的,则噪声 - 降低电路904充分降低图像帧1112a-n中噪声的能力可能随时间降低。 为了解决这些变化,在一些示例中,降噪电路904可以响应于触发事件而进入重新校准模式。 [0126] 在重新校准模式中,降噪电路904可以实现重新校准阶段。 在重新校准阶段,降噪电路 904 可以根据从图像传感器 902 接收到的一个或多个附加校准图像帧 1114a-n 更新参考帧 1106。例如,参考帧生成器 1102 可以接收附加校准图像 来自图像传感器902的帧1114a-n。参考帧生成器1102还可以从存储器1104接收现有参考帧1106。参考帧生成器1102然后可以基于附加校准图像帧1114a-n更新现有参考帧1106 名词 参考帧生成器1102可以将更新的参考帧1116存储在存储器1104中,例如通过用更新的参考帧1116覆盖现有的参考帧1106。一旦重新校准阶段完成,降噪电路904可以重新进入降噪模式 继续其正常运作。 [0127] 上述操作模式/阶段的示例在图12中示出。一起参考图11-12,降噪电路904可以在校准模式中开始。 降噪电路904可以在启动时(例如,在打开时)自动进入校准模式。 校准模式被配置为实施校准阶段1202。 [0128] 在校准阶段1202期间,降噪电路904可以从图像传感器902接收预定义数量的校准图像帧1110a-n。在图12中,预定义数量的校准图像帧1110a-n是16。这个数量的 校准图像帧 1110a-n 可能是有利的,因为当参考帧 1106 需要由处理器 1108 消耗以进行噪声校正时,仅需要一些最高有效位(例如,在捕获时可以忽略四个最低有效位 16 个参考帧)。 这种方法可以允许帧平均,而不必以复杂的除法电路为代价执行除法操作。 但在其他 例如,可以使用更多或更少的校准图像帧1110a-n。 预定义数量可以是存储在降噪电路904(例如存储器1104)中的可配置设置。 [0129] 降噪电路904(例如,参考帧生成器1102)可以组合预定数量的校准图像帧1110a-n以产生参考帧1106。例如,降噪电路904可以累积校准图像帧1110a -n以产生参考帧1106。该过程的示例在图12的右侧列1210中示出。如图所示,参考帧1106最初是空的。 当接收到每个校准图像帧时,降噪电路 904 将其添加到参考帧 1106。在接收并累积预定义数量的校准图像帧 1110a-n 之后,结果可以是参考帧,该参考帧是组合 那些校准图像帧 lll0a-n 的(例如,总和)。 降噪电路904可以将参考帧1106存储在存储器1104中。然后,降噪电路904可以转换到降噪模式。 [0130] 在降噪模式中,降噪电路904可以实施降噪阶段1204。在降噪阶段1304中,降噪电路904(例如,处理器1108)可以接收参考帧1106。对于 例如,处理器 1108 可以从存储器 1104 中检索参考帧 1106。降噪电路 904 还可以从图像传感器 902 接收任意数量的图像帧 1112a-n。图像帧 1112a-n 之前可能没有经过任何 噪声校正。 降噪电路 904 可以将参考帧 1106 应用于图像帧 1112a-n 以降低其中的噪声,从而生成校正后的图像帧 916。应当理解,在降噪阶段 1204 期间,参考帧 1106 保持固定 - 即,它不会改变。 图 12 的右侧列 1210 中显示了此示例,其中参考帧 1106 仍然是在校准阶段 11002 期间接收的 16 个校准图像帧 1110a-n 的累积。 [0131]在一些示例中,可以发生触发重新校准模式的事件。 该事件可由降噪电路 904 检测。该事件的示例可包括对图像传感器 902 的物理影响、环境 图像传感器 902 附近的温度超过预定义阈值,图像传感器 902 的硬件组件的温度超过预定义阈值,预定义时间段过去,对图像传感器 902 的软件(例如,固件)的更新 ,或这些的任意组合。 响应于检测到这样的事件,降噪电路904可以自动进入重新校准模式。 [0132] 为了协助事件检测,在一些示例中,图像传感器 902 可以包括一个或多个传感器,这些传感器被配置为生成传感器信号并将它们传输到降噪电路 904。传感器的示例可以包括温度传感器、加速度计、陀螺仪、电压表、 电流表、测斜仪或这些的任意组合。 传感器信号可以包括传感器进行的测量。 降噪电路904(例如,处理器1108)可以接收传感器信号并分析它们以检测预定事件。 例如,降噪电路904可包括可用于基于传感器信号的一个或多个特性来检测预定义事件的算法或查找表。 这种特性的示例可以包括与一个或多个传感器信号相关联的振幅、波形、数字值和/或频率。 响应于检测到预定事件,降噪电路904可以自动进入重新校准模式。 [0133] 在重新校准模式中,降噪电路904可以实施重新校准阶段1206。在重新校准阶段1206中,降噪电路904(例如参考帧生成器1102)可以接收一个或多个额外的校准图像帧,例如 作为校准图像帧 1114a。 降噪电路 904 可以使用一个或多个附加校准图像帧来更新现有参考帧 1106,从而生成更新后的参考帧 1116。其示例在图 12 的右侧列 1210 中示出,其中 参考帧 1106 基于 17 更新 ^th 校准图像帧 1114a 在重新校准阶段 1206 期间接收。更新参考帧 1106 可能涉及将一个或多个附加校准图像帧 1114a-n 合并到现有参考帧 1106 中。例如,降噪电路 904 可以生成更新的 通过对校准图像帧 1114a 和 现有参考系 1106。 [0134] 在一些示例中,降噪电路 904 可以在重新校准阶段 1206 期间执行加权平均过程以生成更新的参考帧 1116。例如,降噪电路 904 可以通过执行 加权滚动更新按照以下等式进行: URF = (现有参考帧)* Wo + (新校准图像) * F* (1 - Wo) 其中 (现有参考帧) 表示现有参考帧 1106, (新校准图像) 表示附加校准图像帧 1114a 在重新校准阶段 1206 捕获的图像帧,Wo 是加权因子,F 是在校准阶段 1202 期间获取的校准图像帧的总数。可以选择加权因子 (Wo) 以向附加校准图像帧 1114a 分配足够的权重 . 加权因子可以根据环境因素(例如温度)变化的剧烈程度或其他因素进行调整。 如果检测到的事件(例如,温度变化)幅度较小并且图像传感器902已经运行了很长时间,则可以选择更大的权重(例如,7/8或15/16)。 相反,如果检测到的事件幅度很大,则可以选择较小的权重(例如 1/2 或 1/4)。 这可以为附加校准图像帧1114a提供更多表示。 在一些示例中,加权可以基于降噪电路904的操作长度和/或检测到的事件(例如,温度变化)的幅度在降噪电路904的操作过程中动态地调整。 [0135]在图12所示的例子中,选择了16帧图像作为F,所以上式可以写成: URF = (#1 - #16) * (0.75) + (#17) * (16) * (1 - (0.75)) 其中 (#1 - #16) 表示现有参考帧 1106,它是 在校准阶段11002捕获的原始16个校准图像帧1110a-n; (#17)表示在重新校准阶段1206期间捕获的附加校准图像帧1114a; 权重因子(Wo)为 0.75。 这意味着原始参考系 1106 贡献了更新参考系 1116 的 75%,而附加的 校准图像帧 1114a 贡献了更新参考帧 1116 的 25%。 [0136] 在完成重新校准阶段之后,降噪电路904可以重新进入降噪模式以开始第二降噪阶段1208。第二降噪阶段1208可以类似于第一降噪阶段11004,只是具有更新的 参考帧1116而不是原始参考帧1106被用于减少随后捕获的图​​像帧中的噪声。 [0137] 上述过程的各个方面可以根据需要重复。 例如,降噪电路904在其工作过程中可以反复自动地在重新校准模式和降噪模式之间切换。 例如,在启动第二降噪阶段1208之后,降噪电路904可以检测事件。 响应于检测到该事件,降噪电路904可以自动重新进入重新校准模式并启动第二重新校准阶段。 在完成第二重新校准阶段后,降噪电路904然后可以自动重新进入降噪模式并启动第三降噪阶段。 等等。 [0138] 如上所述,参考帧生成器1102可以被配置为在校准阶段生成参考帧1106并且在重新校准阶段生成更新的参考帧1116。 可以使用软件和/或硬件的任何组合来实现参考帧生成器 1102。参考帧生成器 1102 的一个示例实现如图 13 所示。在该示例中,参考帧生成器 1102 包括硬件组件(例如,集成 电路、逻辑门、处理器、晶体管、电容器、电阻器和电感器)配置为执行基本算术运算。 具体地,参考帧生成器1102包括加法器1302、乘法器1306a-b和除法器1304a-b,它们中的每一个都可以是被配置为执行相应算术运算的硬件组件。 乘数 1306a-b可以耦合到除法器1304a-b,除法器1304a-b又可以耦合到加法器1302。加法器1302可以耦合到存储器1104和图像传感器902(例如,量化器920的输出)。 加法器 1302 可用于 在校准阶段执行校准图像帧1110a-n的添加/累积。 乘法器 1306a-b 和除法器 1304a-b 可用于在重新校准阶段期间实施加权滚动更新。 当然,在其他示例中,参考帧生成器 1102 可以包括比图 13 中所示更多的组件、更少的组件、不同的组件或不同的组件组合。例如,在另一个示例中,参考帧生成器可以包括被编程的处理器 执行部分或全部上述算术运算。 [0139] 图14示出了根据本公开的一些方面的用于在降噪电路904的操作模式之间切换的过程的示例。 其他示例可以包括与图14中所示的相比更多的步骤、更少的步骤、不同的步骤或不同的步骤顺序。下面参考上面图11的组件描述图14的步骤。 [0140]在块1400中,降噪电路904确定是否启动校准模式。 例如,处理器1108或参考帧生成器1102可以确定是否启动校准模式。 降噪电路904可以响应于检测到一个或多个事件而自动启动校准模式。 这种事件的示例可以包括启动事件(例如,降噪电路 904 被打开)、数字图像中的噪声水平超过预定阈值、从用户接收到特定输入、从硬件接收到特定输入 耦合到降噪电路904的组件(例如,外部处理器),或这些的任何组合。 [0141] 在块1402中,降噪电路904从图像传感器902接收校准图像帧1110a-n。例如,参考帧生成器1102可以从图像传感器902接收校准图像帧1110a-n。降噪 电路904可以接收任意数量的校准图像帧1110a-n。 该数量可由降噪电路904的用户或制造商选择。在一些示例中,该数量可基于一个或多个因素定制或动态调整,例如与图像传感器902相关联的环境条件。 [0142] 在块1404中,降噪电路904基于校准图像帧1110a-n生成参考帧1106。 例如, 参考帧生成器1102可以基于校准图像帧1110a-n生成参考帧1106。可以通过将一些或所有校准图像帧1110a-n组合在一起来生成参考帧1106。 在一些此类示例中,降噪电路904可以通过执行校准图像帧1110a-n的逐像素平均将校准图像帧1110a-n组合在一起, [0143] 在块1406中,降噪电路904将参考帧1106存储在存储器1104中。例如,参考帧生成器1102可以将参考帧1106存储在存储器1104中。在一些示例中,存储器1104可以是易失性存储器 哪些存储的数据在断电时被删除。 例如,存储器1104可以包括在断电时可以不保留任何数据的SRAM缓冲器。 [0144] 在块1408中,降噪电路904确定是否启动降噪模式。 例如,处理器1108可以确定是否启动降噪模式。 降噪电路904可以响应于完成校准阶段(例如,响应于将参考帧1106存储在存储器1104中)而启动降噪模式。 如果降噪电路904确定要启动降噪模式,则该过程可以进行到块1408。否则,该过程可以进行到块1416。 [0145] 在块1410中,降噪电路904从图像传感器902接收图像帧1112a。在一些示例中,图像帧1112a可以是先前未经历任何噪声校正或其他预处理的原始图像帧。 在其他示例中,图像帧1112a在被降噪电路904接收之前可能已经经历了一些有限的预处理。 [0146] 在块1412中,降噪电路904从存储器1104接收参考帧1106。例如,处理器1108可以从存储器1104检索参考帧1106。 [0147] 在块1414中,降噪电路904使用参考帧1106来降低图像帧1112a中的噪声。 例如,处理器1108可以使用参考帧1106来减少图像帧1112a中的噪声。 这 可能涉及从图像帧1112a中减去参考帧1106以生成校正图像帧916a。 从图像帧1112a中减去参考帧1106可以是一种噪声消除。 [0148]在块1416中,降噪电路904确定是否启动重新校准模式。 例如,处理器1108可以确定是否启动重新校准模式。 降噪电路904可以响应于检测到事件,例如响应于检测到大于或等于阈值量的温度变化而启动重新校准模式。 如果降噪电路904确定要启动重新校准模式,则该过程可以进行到块1418。否则,该过程可以返回到块1408。 [0149] 在块1418中,降噪电路904从图像传感器902接收一个或多个新图像帧(例如,附加校准图像帧1114a-n)。例如,参考帧生成器1102可以接收一个或多个新图像 来自图像传感器902的帧。 [0150] 在块1420中,降噪电路904基于现有参考帧1106和一个或多个新图像帧生成新参考帧(例如,更新参考帧1116)。 例如,参考帧生成器1102可以通过组合现有参考帧1106和一个或多个新图像帧来生成新参考帧。 这可以通过将加权方案应用于现有参考帧1106和一个或多个新图像帧来执行。 [0151] 在框1422中,降噪电路904将新参考帧存储在存储器1104中。例如,参考帧生成器1102可以将新参考帧存储在存储器1104中以供后续使用。 根据存储器 1104 的大小,降噪电路 904 可以将原始参考帧 1106 和新参考帧之一或两者存储在存储器 1104 中。例如,如果存储器 1104 很小,则降噪电路 904可以用存储器1104中的新参考帧覆盖原始参考帧1106。如果存储器1104很大,则降噪电路904可以在存储器1104中保持原始参考帧1106和新参考帧的副本。之后 新参考系存储在存储器1104中, 该过程然后可以返回到框1408,其中降噪电路904可以再次启动降噪模式。 [0152] 部分或全部上述过程可以重复任意次数。 例如,步骤1408-1416可以在降噪电路904的操作过程中重复多次。 [0153] 在一些示例中,过程可以返回到框1400并且从头重新开始校准过程。 例如,降噪电路904可以检测事件。 响应于检测到该事件,降噪电路904可以通过从存储器1104中删除一些或所有存储的参考帧并重新进入校准模式来重新开始校准过程(在框1400)。 然后降噪电路904可以再次执行初始校准阶段。 如果例如事件对应于图像传感器902的配置的显着变化,这可能会发生,这可能保证校准过程的完全重启。 [0154] 本描述的一些部分根据对信息的操作的算法和符号表示来描述本公开的实施例。 这些算法描述和表示通常被数据处理领域的技术人员用来将他们工作的实质有效地传达给本领域的其他技术人员。 这些操作虽然在功能上、计算上或逻辑上进行了描述,但应理解为由计算机程序或等效电路、微代码等来实现。 此外,在不失一般性的情况下,有时也证明将这些操作安排称为模块很方便。 所描述的操作及其关联模块可以体现在软件、固件和/或硬件中。 [0155]所描述的步骤、操作或过程可以用一个或多个硬件或软件模块单独或与其他设备组合来执行或实现。 在一些实施例中,软件模块是用计算机程序产品实现的,该计算机程序产品包括含有计算机程序代码的计算机可读介质,该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。 [0156] 本公开的实施例还可以涉及用于 执行描述的操作。 该装置可以为所需目的而专门构造,和/或它可以包括通用计算设备,该设备由存储在计算机中的计算机程序选择性地激活或重新配置。 这样的计算机程序可以存储在非暂时性的、有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质中,其可以耦合到计算机系统总线。 此外,说明书中提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以增加计算能力的架构。 [0157] 本公开的实施例还可以涉及由本文描述的计算过程产生的产品。 这样的产品可以包括由计算过程产生的信息,其中该信息存储在非暂时性、有形计算机可读存储介质上并且可以包括计算机程序产品的任何实施例或本文描述的其他数据组合。 [0158] 说明书中使用的语言主要是为了可读性和指导目的而选择的,可能不是为了描述或限制发明主题而选择的。 因此,本公开的范围旨在不受该详细描述限制,而是由基于本文的申请发布的任何权利要求限制。 因此,实施例的公开旨在说明而不是限制在所附权利要求中阐述的本公开的范围。