LED脉冲光源分时复用的光场相机成像技术研究

严赛美a,刘 吉a,b,武锦辉b,苏凝钢a,司 宇a,牛雅昕a

(中北大学 a.信息与通信工程学院;b.电子测试技术重点实验室,太原 030051)

摘要:针对静爆场景深空间较大,破片速度快、尺寸小、分布范围大,传统成像法景深范围小,光场相机成像幅率低的问题,提出了一种在光场相机的单次曝光时间内,利用三基色高功率窄脉冲LED光源分时复用主动照明方法。后期通过MATLAB对所得图像进行处理,根据通道分量将图像解析为3幅不同时刻单色图像。搭建了测试平台,对运动的目标物进行了拍摄并处理,结果表明:光场成像幅率提高了3倍,解决了现有的设备成像幅率较低的技术问题。

关键词:爆炸场;光场相机;成像幅率;LED脉冲光源;分时复用照明

1 引言

爆炸场景深空间较大,如果沿用传统单成像系统的方式,由于其拍摄空间信息有限,势必导致多个破片信息丢失。若采用多相机阵列[1-3]的方式,不同相机分别负责拍摄不同的层次空间,但是,多相机系统将造成系统成本和实验成本大幅度的提高,相机之间的协同控制、在爆炸场中多相机的布置和防护等也带来诸多技术难题。所以,对于高速运动、多主体且距离较大的目标对象,光场相机[4-6]成像技术的优点更为明确,其内部特有的微透镜阵列(MLA),可以利用相机的单次曝光来对全场的光场信息进行记录,能够解决单相机成像信息有限及多相机系统复杂、操作困难等一系列问题,可将该技术引入到爆炸场中多破片速度、形状及空间分布等参数的测试中。

但是,针对战斗部爆炸场恶劣的测试环境,破片本身具有速度快、尺寸小、分布范围大等难点[7-8],对光场相机的成像幅率将提出更高的要求,而且目前光场相机由于数据量很大,既要保存光线的位置信息,又要保存角度信息,导致光场相机的幅率不如传统相机的高,且光学传感器在光场相机低曝光时间内成像时灵敏度不够,无法获得清晰的图像等限制,针对此问题,采用光场相机配合添加外部多种单色窄脉冲主动光源分时照射被测物体[9-11],提高待测物体的光照度,有效提高相机的成像幅率,且选用的高功率窄脉冲LED光源为红绿蓝3种单色光源。将采集到的图像根据通道分量解析为3幅不同时间单色光源照射后的通道图像,使得图像获取效率提高了3倍,以此来提高光场相机用于战斗部爆炸场的成像幅率。

2 光场相机成像原理

所有进入相机的光场中的光线的波长、强度与方向等信息都能被光场相机所采集到,得到的本质上即空间中所有的光辐射函数的总体。由Levoy提出的光场渲染理论[12-13]可知,光线是同时带有二维的位置坐标信息(uv)与二维的方向信息(θφ)的,在光场中传播时,都是可以对其用如图1中的u-vx-y两个平面参数化来表征的[14],主透镜和传感器平面与光线一起相交于点 (u,v)与(x,y),形成的四维的光场函数为LF (x,y,u,v)[15-17],其中平面u-v表示相机镜头光瞳面,平面x-y表示成像传感器面,且 F为相机主镜头与图像传感器之间的距离。通过将光场参数化来表示,在 (x,y)像面的某一点,总辐射能量为

图1 光场四维参数化表示图
Fig.1 Four-dimensional parametric representation of light field

(1)

式中:A(u,v)为透镜的光瞳函数,LF(x,y,u,v)代表一条穿过光场的光线,θ为光线与光瞳平面法线的夹角,该公式将光场相机的成像过程进行公式化,假设θ角很小,而且主透镜的光瞳面和成像传感器平面无穷大,旁轴近似情况下,可以把式(1)简写为

(2)

基于MLA的光场相机,其成像原理:目标物上的某个点通过主透镜的折射,聚焦在微透镜阵列处,再由一个子微透镜散射到图像传感器上,得到就是此点处的光场信息,光场相机成像模型如图2所示。包含了M×M个子微透镜的微透镜阵列位于主透镜的后焦平面上,其中一个子微透镜对应着N×N个成像探测器像元;微透镜在成像过程过充当两个重要的角色,第一是散焦的元件,将通过主透镜折射得到的聚焦像点,散射到许多的成像传感器单元上得到一个模糊的图像;第二是把主透镜的光瞳成像在图像传感器上,并被若干个传感器单元所覆盖,也就是说成像传感器单元被切分成许多的子孔径单元。这样成像传感器单元所得到的信号对应着目标物的某点经过光瞳的某一个子孔径的能量变换,对应着的是方向信息,由此一来,探测器上就能得到拥有更多的信息的图像[18-20]。这种可同时保存光场位置、角度等信息的独特优势,为大景深空间中破片的空间分布和速度等参数的测试带来了新的研究思路(图2)。

图2 光场相机成像模型示意图
Fig.2 Light field camera imaging model

在光场相机成像系统工作时,破片群进入相机视场范围的时间不确定,而且破片速度高,光场相机幅率、记录时间有限,不能人工按动相机快门键进行拍摄,另外战斗部静爆时现场比较危险,因此需要相机能够自动触发。而在战斗部静爆过程,会产生高温、高压、强火光等影响,特别在战斗部炸心附近区域,光比较强烈[21],因此可设计专用的光触发装置与光场成像装置、主动光源照明系统相结合,实现相机自动触发,而且实现相机与光源触发同步,不但提高了光场相机的图像捕获率,而且降低了在试验过程中的危险性。

3 脉冲光源分时复用主动照明

当R、G、B三种单色的脉冲光源在相机的一次曝光时间内,分别在T1T2T3三个时刻主动对光场相机的视场范围内的待测物体进行照射,时序图如图3。光场相机和脉冲光源在同一时刻获得爆炸火光信号处理完生成的TTL触发信号后,相机启动拍摄,三色单脉冲光源开始分时照明,假如相机电子触发装置接收触发信号延迟一段时间启动拍照,脉冲光源R比相机的触发时刻再延迟5 μs开始照明,经过一定的时间间隔后脉冲光源G启动照明,再经过一定时间间隔脉冲光源B启动照明,若相机的曝光时间在10 ms内,则三单色光源脉宽均在10 μs以内,设置单色光源脉冲的闪光时间均分布于相机曝光周期之内。

图3 系统工作的时序图
Fig.3 The timing of how the system works

然后拜耳阵列和光学传感器对物体反射的光进行电荷积累成像,这样相机可获得一幅有效的光场图像,依据拜耳彩色滤波器编码方式,对所得图像实施反马赛克处理后,可获得RGB色的光场图像,然后经过分解可得到R、G、B单通道解析图像,如图4所示。

图4 单色光分时复用解析出三幅单色图
Fig.4 Monochromatic optical time-sharing multiplexing resolves three monochromatic diagrams

为了后期能够对光场图片进行RGB解析,我们将采用红绿蓝三种单色光源为脉冲光源,根据拜耳阵列RGB光谱响应曲线,如图5,以某单色光照明时其他光源响应率应远低于照明光源响应率为参考标准,选用的3种单色脉冲光源的中心波长依次为:红光为620 nm,绿光为535 nm,蓝光为450 nm,这3个光源的中心波长基本与光场成像系统中的拜耳三基色滤波器中心一致,如此可在最大程度上使光源的利用率得到提升和在后期图像处理中更好地进行彩色图像解析,达到提高光场相机幅率的目的。另外为了使单色光源在窄脉冲时间内被相机有效捕捉到,单色光源应拥有极高的光能量输出。LED光源响应速度快且可通过控制本身的驱动电流的输出来调节LED亮度,可满足大功率光源的需求。

图5 拜耳阵列的RGB光谱特性响应曲线
Fig.5 RGB spectral characteristic response curve of Bayer array

4 实验验证与分析

在研究室的条件下进行了验证,测试搭建图如图6。在黑色背景板布置3个目标物,然后固定在一个运动的轨道上,且该黑色背景板平面与相机镜头垂直。相机选用Lytro Illum光场相机,将快门改造成TTL信号触发。光源选择CBT-120系列LED光源,如图7所示分别为R、G、B三个光源,光源时分复用控制采用FPGA芯片实现一个多路脉宽可调,间隔可调的单脉冲发生器,通过USB to UART的方式在电脑端控制每路控制通道脉宽和相邻两路信号之间的间距,实现对相机与三色光源主动照明的时序控制。实验用打火机产生的火光来当光触发源,当R、G、B单色脉冲光源分别在T1T2T3三个时刻主动照射到光场相机视场空间并拍摄获得一幅有效的光场图像。

图6 实验测试搭建图
Fig.6 Experimental test build diagram

图7 CBT-120系列LED光源示意图
Fig.7 CBT-120 series LED light source

如图8所示,得到有效的光场图像图8(a)后,通过MATLAB程序解码解析得到红光、绿光、蓝光分时照明时段内的3幅单色光场图像图8(b)、图8(c)、图8(d)。该有效的光场图像图8(a)能同时体现出3个单色脉冲光源分时照明时运动的物体的在T1T2T3时3个空间分布状态,3张单色图像分别代表运动物体在T1T2T3的空间分布状态。因此,在光场相机的单次曝光时间内,可以得到一个物体在3个不同时刻的3个空间分布状态,因此光场相机成像幅率提高了3倍。

图8 有效的光场图像及其单色解析图
Fig.8 A valid light field image and its monochromatic resolution map

5 结论

提出了一种基于LED脉冲光源分时复用的光场相机成像幅率研究的方法,搭建了测试平台,在光场相机的单次曝光周期内,利用不同高功率窄脉冲LED光源(R、G、B三种光源)对待测的运动目标物进行分时复用主动照明得到单张彩色图像,将图像根据通道分量解析为3幅不同时刻单色图像,从而光场相机的成像幅率提高了3倍,为利用光场相机测试爆炸场大景深空间多破片高速运动空间分布、速度等多参数同步测试提高了成像幅率。

参考文献:

[1] 杨彪,李迎春,张廷华.相机阵列在空间目标初轨确定中的应用[J].光学学报,2019,39(02):23-30.

Yang B,Li Y C,Zhang T H.The application of camera array in the determination of the initial orbit of space target[J].Acta Optica Sinica,2019,39(02):23-30.

[2] GENSER N,SEILER J,KAUP A.Camera Array for Multi-Spectral Imaging[J].IEEE Transactions on Image Processing,2020,29(12):9234-9249.

[3] CHAN S C,NG K T,GAN Z F,et al.The plenoptic video[J].IEEE Transactions on Circuits and Systems for Video Technology,2005,15(12):1650-1659.

[4] NG R,LEVOY M,BREDIF M,et a1.Light field photography with a hand-held plenoptic camera[J].Computer Science Technical Report,2005,2(11):1-11.

[5] 刘欣城.基于光场测量的成像技术研究[D].北京:中国科学院大学(中国科学院光电技术研究所),2019.

Liu X C.Research on imaging technology based on light field measurement[D].Beijing:University of Chinese Academy of Sciences (Institute of Optoelectronic Technology,Chinese Academy of Sciences),2019.

[6] 许春涛.基于微透镜阵列的光场成像技术研究[D].成都:电子科技大学,2019.

Xu C T.Research on light field imaging technology based on microlens array[D].Chengdu:University of Electronic Science and Technology of China,2019.

[7] 武锦辉,刘吉.战斗部静爆场破片参数测试技术发展现状[J].兵器装备工程学报,2019,40(10):104-110.

Wu J H,Liu J.Development status of fragmentation parameter test technology in warhead static blast field[J].Chinese Journal of Weapons and Equipment Engineering,2019,40(10):104-110.

[8] 李丽萍,孔德仁,易春林,等.战斗部破片速度测量方法综述[J].测控技术,2014,33(11):5-7.

Li L P,Kong D R,Yi C L,et al.A Review of warhead fragmentation velocity measurement methods[J].Measurement and Control Technology,2014,33(11):5-7.

[9] 李运.基于二色散射模型的激光高速相机成像去烟雾[J].电子技术与软件工程,2019(14):56-61.

Li Yun.Laser high-speed camera imaging defusing based on dichroic scattering model[J].Electronics Technology and Software Engineering,2019(14)56-61.

[10] 乌李瑛,瞿敏妮,付学成,等.微透镜阵列的制作及其在光场成像中应用的研究进展[J].半导体光电,2020,41(05):611-617,631.

WU LY,QU MN,FU XC,,et al.Fabrication of microlens array and Its application progresses in light field imaging[J].Semiconductor Optoelectronics,2020,41(05):611-617,631.

[11] 刘韬,胡玥,董健,等.激光主动照明光学系统设计[J].中国光学,2016,9(03):342-348.

[12] LEVOY M,HANRAHAN P.Light field rendering[C]//Proc SIGGRAPH.New York:ACM Press,1996:31-42.

[13] 方璐,戴琼海.计算光场成像[J].光学学报,2020,40(01):9-30.

Fang L,Dai Q H.Computational Light Field Imaging[J].Acta Optica Sinica,2020,40(01):9-30.

[14] BOK Y,JEON H,KWEON I S.Geometric Calibration of Micro-Lens-Based Light Field Cameras Using Line Features.[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(02):287-300.

[15] ADELSON E H,BERGEN J R.The plenoptic function and the elements of early vision[J].Computational Models of Visual Processing,1991(02):51-56.

[16] LAM E Y.Computational photography with plenoptic camera and light field capture:tutorial[J].Journal of the Optical Society of America A,2015,32(11):2021-2032.

[17] 张韶辉,胡摇,曹睿,等.光场成像原理及应用技术[J].兵器装备工程学报,2020,41(02):178-186.

Zhang S H,Hu S,Cao R,et al.Principle and application technology of light field imaging[J].Chinese Journal of Ordnance Equipment Engineering,2020,41(02):178-186.

[18] 冯曼,胡国星.光场成像原理及其历史进程[J].中国科技信息,2017(23):47-48.

Feng M,Hu G X.Principle of light field imaging and its historical process[J].China Science and Technology Information,2017(23):47-48.

[19] 刘慧芳,周骛,蔡小舒,等.基于光场成像的三维粒子追踪测速技术[J].光学学报,2020,40(01):219-229.

Liu H F,Zhou Y,Cai X S,et al.Three-dimensional particle tracking velocimetry based on light field imaging[J].Acta Optica Sinica,2020,40(01):219-229.

[20] 牛娜娜,韩燮.基于分割的立体匹配法提取光场视差图[J].科学技术与工程,2017,17(01):250-254.

Niu N N,Han X.Isolation of optical field parallax map by segmentation-based stereo matching method[J].Science Technology and Engineering,2017,17(01):250-254.

[21] 刘吉,于丽霞,张斌,等.基于爆炸火光光谱分析的大当量爆炸场破片速度测试方法研究[J].光谱学与光谱分析,2016,36(03):631-634.

Liu J,Yu L X,Zhang B,et al.Research on chip breaking velocity test method of large equivalent explosion field based on explosion fire spectroscopy analysis[J].Spectroscopy and Spectral Analysis,2016,36(03):631-634.

Study on imaging technology of light field camera based on time division multiplexing of pulsed light source

YAN Saimeia,LIU Jia,b,WU Jinhuib,SU Ningganga,SI Yua,NIU Yaxina

(a.School of Information and Communications Engineering;b.Science and Technology on Electronic Test and Measurement Laboratory;North University of China,Taiyuan 030051,China)

Abstract:For static explosion scenes,the deep space is large,the fragmentation speed is fast,the size is small,and the distribution range is large,while the traditional imaging method has a small depth of field,and light field camera has low imaging rate.This paper proposed a time-division multiplexing active lighting method,during a single exposure time of light field camera,three-primary-color high-power narrow-pulse LED was used for time-sharing illumination.In the later stage,the obtained image was processed by MATLAB,and according to the channel component,the image was parsed into 3 monochrome images at different moments.A test platform was built,and the moving target was photographed and processed.The result shows that the light field imaging rate was increased by 3 times,and it solves the technical problem of the low rate of existing equipment.

Key words:explosion field;light field camera;imaging rate;LED pulse light source;time-division multiplexing lighting

本文引用格式:严赛美,刘吉,武锦辉,等.LED脉冲光源分时复用的光场相机成像技术研究[J].兵器装备工程学报,2022,43(03):300-304.

Citation format:YAN Saimei,LIU Ji,WU Jinhui,et al.Study on imaging technology of light field camera based on time division multiplexing of pulsed light source[J].Journal of Ordnance Equipment Engineering,2022,43(03):300-304.

中图分类号:TJ410.6

文献标识码:A

文章编号:2096-2304(2022)03-0300-05

收稿日期:2021-04-19;

修回日期:2021-05-07

基金项目:山西回国留学人员科研资助项目(HGKY2019068);山西省自然科学基金(面上项目)(201901D111159)

作者简介:严赛美(1995—),女,硕士研究生,E-mail:819297023@qq.com。

通信作者:刘吉(1980—),男,教授,E-mail:liuji@nuc.edu.cn。

doi:10.11809/bqzbgcxb2022.03.048

科学编辑 马宗峰 博士(中国航天科技集团公司中国空间技术研究院513所研究员)

责任编辑 唐定国