从帧到脉冲，
机器如何重新“看见”世界？
每一帧画面之外，还有多少未被记录的瞬间？ 我们习惯用照片定格瞬间、用视频记录运动，而连续流动的现实，远比一帧帧画面更加丰富。
在“计算万千世界”中，脉冲相机（Spike Camera）尝试以另一种方式记录世界：通过脉冲信号记录光随时间发生的变化，为捕捉高速运动中的细节提供新的可能。
这一探索源于北京大学黄铁军教授提出的脉冲连续摄影原理，由北京大学相关科研团队与脉冲视觉（北京）科技有限公司进一步开展芯片及系统研发。本次展项在北京智源人工智能研究院的支持下呈现。
从实验室走进美术馆，这台相机不仅展示了摄影技术的另一种可能，也邀请我们重新思考观看、影像与现实之间的关系。
01 影像如何记录世界？
1839年，达盖尔照相术正式公布，人类开始通过光线记录现实；1895年，卢米埃兄弟以连续的静止图像呈现运动，开启了电影发展的重要篇章。此后，成像技术从化学感光发展到数字处理，但基本原理长期延续：通过曝光收集光线，将一定时间内的光信号累积为图像，再以连续画面呈现运动。
这种方式存在天然局限。照片无法完整保留曝光期间光线的变化，视频两帧之间的时间信息也可能被遗漏。高速摄影虽然能够缩短拍摄间隔，却同时面临曝光时间、成像速度与图像质量之间的平衡。
当物体运动得越来越快，能否跳出以静止图像为基础的记录方式，直接捕捉光随时间发生的变化？这一问题，为摄影技术打开了新的探索方向。
02 黄铁军教授：从摄影原理开始创新
现实世界中的光线与运动是连续变化的，而传统相机以一帧帧图像记录运动，两次拍摄之间的信息可能因此被遗漏。如何突破这一局限，成为摄影技术创新的重要方向。
2015年底至2016年初，黄铁军教授提出脉冲连续摄影新原理，从光信号的采集机制出发，探索不同于传统图像序列的记录方式。他长期从事视觉信息处理与神经形态计算研究，这一探索也受到生物视觉信息编码机制的启发。
基于这一思路，他提出让每个像素独立记录接收到的光信号，再通过计算重建图像，将视觉信息的记录方式从传统图像序列转向脉冲流，为高速视觉与智能感知开辟新的技术路径。
围绕这一原理，北京大学相关科研团队与脉冲视觉（北京）科技有限公司持续开展研发，研制出系列脉冲摄影芯片与视觉系统。相关系统的等效时间采样频率达到40,000 Hz，使高速运动中的细节能够被更及时地捕捉。2024年，脉冲连续摄影发明获得日内瓦国际发明展评审团嘉许金奖。
03 从“帧”到“脉冲”：相机如何工作？
传统摄影的核心是“曝光”。相机在一段时间内收集光线，将光信号累积形成完整画面，再通过连续的画面记录运动。脉冲连续摄影则采用不同的记录方式：每个像素独立接收光信号，当像素累积的光电信号达到设定阈值时，便产生一次脉冲，随后继续累积，形成连续的脉冲序列。
光线越强，达到阈值所需的时间通常越短，脉冲也就越密集；光线较弱时，脉冲间隔则相对较长。通过分析这些脉冲的时间关系，系统便能够获取光强信息，再利用算法重建所需时刻的图像。
可以将其理解为：传统相机先记录一张张画面，脉冲相机则先记录光信号随时间变化的信息，再通过计算生成图像。这种方式不再局限于固定帧率的图像采集，而是利用更细密的时间信息，为高速运动场景中的视觉感知提供新的可能。这便是“离散脉冲表达连续视觉”的基本思路。
Event Camera与Spike Camera原理对比
在“计算万千世界”的展项中，高速旋转的风扇将这一原理转化为直观的现场演示。根据展项资料，在叶片线速度达到每秒30米的实验条件下，脉冲视觉系统仍能实时检测、追踪和识别运动物体上的细节。它所展示的突破，不仅是拍摄速度的提升，更在于视觉信息记录逻辑的改变。
当高速运动遇上脉冲视觉，机器究竟能捕捉到怎样的画面？通过下面的视频，一起看看脉冲相机如何记录那些稍纵即逝的瞬间。
04 从生物视觉到机器感知
脉冲连续摄影的研究思路与生物视觉有着密切联系。人眼接收外界光线后，视网膜中的感光细胞将光刺激转化为神经信号，最终由视网膜神经节细胞通过电脉冲向大脑传递信息。
这些信号本身是离散的，但大脑能够整合不同时间与空间的神经活动，让我们感知连续变化的光影、轮廓与运动。
这一机制为机器视觉提供了重要启发：视觉信息的传递可以是离散的，而对连续世界的感知能够通过信号整合实现。 黄铁军教授团队借鉴生物视觉的信息编码机制，探索将光信号转化为脉冲流，并通过算法重建动态场景。这并不意味着脉冲相机复制了人眼的全部视觉机制，而是从生物视觉中获得了一种新的信息处理方式。
05 当机器视觉走进美术馆
从摄影术到电影，从数字影像到人工智能，技术不断拓展艺术创作与视觉表达的边界，也持续改变着人类认识世界的方式。
在“计算万千世界”中，脉冲相机并非传统意义上的艺术作品，却回应了展览关注的核心议题：当计算技术改变图像的生成与记录方式，我们观看世界的方式是否也在发生变化？
传统摄影与脉冲连续摄影呈现了两种不同的视觉信息记录方式，也让我们看到，技术的创新不仅关乎成像速度与精度，更可能为理解时间、运动与感知提供新的视角。
对于艺术而言，新的视觉技术拓展了影像创作与表达的可能；对于科学而言，它为机器获取和处理视觉信息开辟了新的路径。艺术与科学在此相遇，共同探索观看与感知的更多可能。
将脉冲相机带入美术馆，是希望让前沿科研成果进入公众视野，在艺术与科学之间开启对话。从原创原理的提出，到芯片与视觉系统的持续研发，这项探索让我们看到：
计算不仅改变图像的生成与传播，也在不断拓展我们认识现实的可能。
特别感谢
北京智源人工智能研究院
北京大学黄铁军教授及相关科研团队
脉冲视觉（北京）科技有限公司
