快速的片上摄像头将图像捕获和处理结合在一起

比超速子弹还快，能够用单个计算机芯片跨越摄影障碍。这是一个照相机，这是一个芯片，这是一个芯片上的相机。

多亏了电气工程教授 Abbas El Gamal、心理学和电气工程教授 Brian Wandell 和他们的学生的努力，拍坏照片变得越来越难。传统的数码相机使用传感器捕获图像，并使用多个芯片来处理、压缩和存储图像。但斯坦福大学的研究人员已经开发出一种创新的相机，它使用单芯片和像素级处理来完成这些壮举。他们的实验性片上相机可能会催生出具有超能力的商用静态和摄像机，包括每个像素的完美照明、运动物体的无模糊成像。【摄像头芯片】

“我们的愿景是最终将传感、读出、数字化、存储和处理全部结合在同一个芯片上，”El Gamal 说。“突然之间，你就拥有了一个单芯片数码相机，你可以把它粘在按钮、手表、手机、个人数字助理等等中。”

今天的大多数数码相机使用电荷耦合器件 (CCD) 传感器，而不是大多数计算技术中使用的便宜得多的互补金属氧化物半导体 (CMOS) 芯片。到达 CCD 传感器的光被转换成像素电荷阵列。电荷阵列被串行移出传感器，并使用模数转换器转换为数字图像。对数字数据进行处理和压缩以供存储和随后显示。

从 CCD 读取数据具有破坏性。“那时像素内的电荷消失了，”Wandell 说。“它已用于转换过程，无法继续在该像素处进行测量。如果您在错误的时刻读取电荷，无论是过早还是过晚，图片都会曝光不足或曝光过度。”

El Gamal 说，CCD 传感器的另一个限制是设计人员无法将传感器与同一芯片上的其他设备集成。制造具有特殊电路的 CMOS 芯片可以解决这两个问题。

1993 年，El Gamal 开始研究图像传感器，从而建立了斯坦福的可编程数码相机项目，以开发能够在一个 CMOS 芯片上捕获和处理图像的架构和算法。1998 年，他、Wandell 和 James Gibbons，Reid Weaver Dennis 电气工程教授，召集了一个公司财团来资助他们的研究工作。安捷伦、佳能、惠普和伊士曼柯达目前为该项目提供资金。创始赞助商包括 Interval Research 和英特尔。

美国宇航局喷气推进实验室的火星极地着陆器的设计者是第一个将传感器和电路结合在同一芯片上的人。他们使用了 CMOS 芯片，它比 CCD 更能承受空间辐射，第一代片上相机诞生了。它被称为有源像素传感器或 APS，其输入和输出都是模拟的。

斯坦福项目产生了第二代片上相机，它在每个像素中都放置了一个模数转换器，紧挨着光电探测器，以实现强大的信号转换。称为数字像素传感器或 DPS，它一次一位地串行处理像素输入。

1999 年，El Gamal 的一位前研究生 Dave Yang 从斯坦福大学技术许可办公室获得了 DPS 技术的许可，并创立了 Pixim，这是一家数字成像公司，旨在将 DPS 芯片嵌入数码相机和摄像机、玩具、游戏机、手机等等。【摄像头芯片】

对速度的需求

第二代片上相机以每秒 60 帧的速度相对强劲。但第三代将其抛在了后面，以每秒 10,000 帧的速度捕获图像并每秒处理 10 亿像素。斯坦福芯片打破了日常视频的速度限制（约每秒 30 帧），并创造了连续成像的世界速度记录。

是什么让它这么快？它并行处理数据，或同时处理数据，这就是格言“多手做轻工作”的芯片体现。

“当您处理第一张图像时，您正在捕捉第二张图像，”El Gamal 解释道。“这是流水线。”

除了速度快之外，它的处理器也很小。在 2 月 5 日于旧金山举行的国际固态电路会议上，El Gamal 和研究生 Stuart Kleinfelder、Suk Hwan Lim 和 Xinqiao Liu 展示了他们采用尺寸仅为 0.18 微米的微型晶体管的 DPS 设计。APS 芯片上的晶体管大两倍。

“这是世界上第一个 0.18 微米 CMOS 图像传感器，”El Gamal 说。使用更小的晶体管，芯片架构师可以在芯片上集成更多电路，从而增加内存和复杂性。这种前所未有的小晶体管尺寸使研究人员能够将数字存储器集成到每个像素中。

“你正在将读取速度非常慢的模拟存储器转换为读取速度极快的数字存储器，”El Gamal 说。“这意味着数字像素传感器可以非常快速地捕捉图像。”

DPS 可以捕获以每分钟 2,200 转的速度运动的螺旋桨的无模糊图像。高速输入与正常速度输出相结合，使芯片有时间测量、重新测量、分析和处理信息。增强的图像分析为新的或改进的研究应用打开了大门，包括运动跟踪、模式识别、化学反应研究、照明变化解释、信号平均和三维结构估计。

摄影并不是研究的新工具。1872 年，Leland Stanford 聘请 Eadweard Muybridge 进行摄影实验，测试他的想法，即在步态的某一时刻，一匹马的四英尺都离地。这项研究导致了电影的发展。

但大多数人不使用相机来推进科学或工业的前沿。他们只是想拍一张像样的照片，而高速捕捉解决了一个大问题：在整个图像中获得适当的曝光，在照片的最暗和最亮部分之间具有大范围的阴影。

“在一张图像中将图像的低光部分与图像的高光部分结合起来非常困难，”El Gamal 说。“这是摄影中最大的挑战之一。胶片在这方面做得非常好。数码相机和摄像机做得不好。”

在明亮环境中拍摄的图像需要较短的胶片或像素曝光时间，而在昏暗环境中拍摄的图像则需要较长的曝光时间。只需单击一下，片上相机就可以高速重复捕获和测量像素中的电荷。它的算法会等到合适的时刻，让每个单独的像素组合成一张在整个图像中具有完美曝光的最终图片。

“我认为这种 [DPS] 芯片的真正突破是它可以在不破坏传感器数据的情况下进行许多非常快速的读取，”Wandell 说。

Wandell 是人类视觉和颜色感知方面的专家，他说使用相机让他对大脑如何处理图像的假设有了想法。他和包括电气工程专业的 Jeffrey DiCarlo 和 Peter Catrysse 以及心理学专业的 Feng Xiao 在内的学生利用人类视觉的想法创建了图像处理算法，以优化打印或在计算机显示器上显示的图像质量。

Wandell 说，虽然目前的相机可以聚焦物体并判断照明水平，但从历史上看，它们并未用于图像分析。他说，他们擅长的图像捕捉是一项“完全不同的工作”。然而，人脑的强项是图像分析，Wandell 表示未来的相机设计可能会借鉴生物学，为相机构建更多智能。

华星视讯，iCatch芯片核心战略合作伙伴，是一家摄像头方案定制开发服务商，专注于摄像头方案的定制开发生产，应用于航拍摄像头模块、运动相机、防抖云台相机、USB摄像头、工业摄像机等视频摄像产品。

作为全球著名的芯片开发商台湾芯鼎科技iCatch的战略合作伙伴，华星视讯的开发团队积累了多年使用iCatch芯片为客户研发各种视频摄像产品的开发经验，可以快速为客户研发产品，节省客户的宝贵时间和金钱，使用iCatch的DSP IC芯片开发过100多个成功的产品，众多产品都在批量生产中。

如您需定制摄像头方案、运动相机方案，告诉我们您的需求，点击“方案定制”，获取定制方案。