简介:IMX678 CMOS图像传感器的datasheet文档,面向从事摄像头模组选型、驱动开发与图像质量调试的硬件工程师及嵌入式开发者,可用于查证器件规格、评估方案落地可行性。包内仅有1个PDF文件,约592KB,为IMX678-AAQR1完整规格书,篇幅不大但信息密度高。器件结构部分给出8.86mm(Type 1/1.8)光学尺寸、3.0μm方形像素、约840万有效像素及模拟3.3V、数字1.1V、接口1.8V三路供电;功能部分覆盖13.5~74.25MHz多档输入频率、全像素扫描与2/2线合并、Window裁剪、正常/倒置读出等模式,全像素下12bit与10bit均可达60fps;接口部分说明CSI-2的2/4/8Lane及4Lane×2ch配置和RAW10/RAW12输出,并列出数字重叠HDR、Clear HDR、Sensor同步、1H单位可变快门与CDS/PGA增益等参数。已有2771人学习下载,适合安全摄像头、机器视觉项目的选型对照与寄存器配置参考。
1. IMX678 datasheet 是什么:一张“芯片身份证”能告诉你什么
IMX678 datasheet 是一份给工程师看的器件规格书,不是教你怎么接线的教程。它像一颗图像传感器的身份证加体检报告:多大靶面、多少像素、几路供电、能跑多快、暗光下表现如何,都写在里面。普通人听到“数据手册”容易发怵,其实你只要抓住三条线——它是什么器件、为什么这样设计、和相近型号差在哪,就能判断一颗摄像头(camera)芯片值不值得选。IMX678 常被用在安防摄像头、计算机视觉和机器人视觉里,搞懂这份资料,你看别的传感器规格书也不会一头雾水。
2. 从 8.86 mm 到 132 针:数据手册里的硬件底座
先看第一页的 Product Information。IMX678-AAQR1 的定位写得很直白:对角线 8.86 mm、Type 1/1.8、CMOS 有源像素、方形像素阵列、840 万有效像素、三路供电、电子快门可调积分时间,应用指向安防摄像头。这一段信息量很大,但真正影响选型的是“光学格式”四个字。传感器不是一块随便大小的感光板,它要和镜头成像圈匹配,要和 PCB 封装匹配,还要和主控的时钟、电源、接口对上。数据手册前半本做的就是把这三件事说清楚。
2.1 8.86 mm 对角线与 Type 1/1.8 的“历史尺码”
Type 1/1.8 很容易被误解成“1/1.8 英寸的感光面”,其实它不是严格按英寸算的。早年摄像管用外径给规格编号,后来 CMOS 传感器沿用了这套叫法,所以 1/1.8 更像鞋码,不是脚长。真正能拿去选镜头的是对角线 8.86 mm 这个数。镜头的像场至少要覆盖 8.86 mm,否则画面四角会暗,甚至出现黑边。很多人选型时只看“多少万像素”,忽略了镜头像场,装上去才发现边缘糊,这种翻车在模组厂并不少见。
像素阵列也值得看一眼。总像素是 3856(H)×2200(V),约 8.48M;有效像素是 3856×2180,约 8.40M;推荐记录像素是 3840×2160,约 8.29M。三个数不一样,不是手册写错了,而是边缘像素、光学黑区和标准输出尺寸各有用处。推荐记录 3840×2160 就是常说的 4K UHD,比例 16:9,后端 ISP、编码器、显示链路都按这个尺寸对齐最省事。把 3856×2 μm 和 2180×2 μm 乘开,阵列大约 7.712 mm×4.36 mm,对角线正好落在 8.86 mm 附近,数字之间能对上。
2.2 840 万有效像素与 2.0 μm 像元:为什么推荐记录是 3840×2160
像元尺寸是这份手册里最容易被二手资料写错的一项。Device Structure 写得很清楚:Unit cell size 是 2.0 μm(H)×2.0 μm(V)。有些摘要把这里写成 3.0 μm,和正文对不上。2.0 μm 像元的面积是 4 μm²,3.0 μm 则是 9 μm²,差了两倍多,直接影响到灵敏度和镜头解像力的判断。像元越大,单个像素能接的光越多,但同样靶面下像素数会减少;像元越小,分辨率容易做高,但弱光下更依赖背照式、降噪和增益。IMX678 走的是 2.0 μm 加 840 万像素的组合,目标是 4K 分辨率下仍然有可用的低照度表现。
总像素、有效像素、active 像素、推荐记录像素这四个词也容易混。总像素包含边缘和无效行;有效像素是能参与成像的最大阵列;active 像素再去掉少量边界;推荐记录像素则是手册建议你实际输出的尺寸。手册里还写了光学黑区:垂直方向前 20 像素。光学黑不是用来拍照的,它给黑电平校正提供参考,相当于给后续电路一个“完全没光时应该是什么值”的基准。Dummy 像素前后都是 0,说明这颗芯片在阵列边缘没有额外塞无效列。
| 项目 | 手册数值 | 对选型的意义 |
|---|---|---|
| 光学格式 | 对角线 8.86 mm(Type 1/1.8) | 镜头像场至少覆盖 8.86 mm |
| 总像素 | 3856×2200,约 8.48M | 含边缘和黑参考,不等于最终输出 |
| 有效像素 | 3856×2180,约 8.40M | 可参与成像的最大阵列 |
| 推荐记录 | 3840×2160,约 8.29M | 标准 4K UHD 输出,后端好对齐 |
| 像元 | 2.0 μm×2.0 μm | 决定灵敏度与镜头解像力 |
| 封装 | 132 pin LGA | 需要 PCB 焊盘设计与光学中心对准 |
2.3 三路供电与 132 针 LGA:芯片级设计的边界
IMX678 用三路电源:模拟 3.3 V、数字 1.1 V、接口 1.8 V。模拟电给像素和模拟前端,数字电给内部逻辑,接口电给 I/O。三路分开不是为了好看,而是为了让噪声大的数字开关电源不污染模拟像素。布板时要把这三路分区、去耦、按手册给的上电顺序处理,否则画面里可能出现条纹、黑屏或者偶发出图。手册里说低功耗,但没有在这段正文里给出具体毫瓦数,选型时不能自己编一个功耗值,得去查完整电气特性表。
封装是 132 pin LGA,焊盘在芯片底部。它不像插座那样插上去就行,需要 PCB 焊盘、回流焊、光学中心对准,还要考虑散热。芯片内置了时序调整电路、H/V 驱动器和串行通信电路,意思是行场时序主要由传感器内部生成,主控不用逐行喂时序,只要给时钟、电源,再走串行通信配置寄存器。这个设计降低了主控负担,但也意味着寄存器配置不能乱写,时钟档位和输出模式要对得上。
2.4 输入频率不是随便填:13.5 MHz 到 74.25 MHz 的时钟选项
手册列了一串输入频率:13.5 MHz、18 MHz、24 MHz、27 MHz、36 MHz、37.125 MHz、72 MHz、74.25 MHz。这些是主时钟档位,不是帧率,也不是像素时钟。37.125 MHz 和 74.25 MHz 属于视频系统里常见的时钟族,前者是后者的一半。硬件设计时要按其中一档给晶振或时钟源,选错了内部时序和 CSI-2 参考就可能对不上,表现是不出图、帧率不对或者图像撕裂。手册给的是可选项,不是让你随便填一个 25 MHz 也能跑。
串行通信电路负责配置寄存器。数据手册会给出寄存器地址、默认值、读写时序,但这段正文没有展开。实际调试时,先确认时钟、电源、复位,再确认串行通信能不能读到芯片 ID,最后才动读出模式和增益。很多“传感器坏了”的现场问题,最后查出来是时钟没起振或者电源顺序不对。这类排查顺序不是玄学,是按器件边界一步步缩小范围。
3. 暗光为什么能打:灵敏度、暗电流与近红外成像
安防摄像头最怕的不是白天,而是晚上。白天大家都能拍清楚,到了 0.2 lux 这种照度,拼的就是传感器能接多少光、噪声压得多低、近红外补光有没有响应。IMX678 的数据手册在特性页放了灵敏度、饱和信号、暗电流、无污迹,还放了和 IMX334 的 0.2 lux 与 850 nm 近红外对比图。这些参数不是给市场部看的,是给选型工程师判断“这颗芯片在暗光下到底能省多少补光、少加多少增益”用的。
3.1 灵敏度 15886 Digit/lx/s:不是 ISO,是“弱光下攒数字的速度”
手册给的灵敏度典型值是 15886 Digit/lx/s,条件 F5.6,12 bit 转换值。单位拆开看,Digit 是数字码值,lx 是照度,s 是时间。它描述的是转换斜率:光量每增加 1 lx·s,12 bit 输出大约增加 15886 个码值。实际输出不会无限涨,饱和信号最小值是 3895 Digit,到了这个码值附近就接近满了。换句话说,这颗芯片在弱光下“攒数字”的速度很快,后端不用把增益拉得太高就能拿到可用亮度。
灵敏度不是 ISO。ISO 是相机系统里的曝光标准,和镜头光圈、快门、后端处理都有关;传感器灵敏度是器件级参数,只在给定光圈、给定转换位深下比较才有意义。拿 15886 这个数去和手机相机的 ISO 比,属于把两个体系混在一起。选型时更该看的是:同样照度、同样曝光时间,哪颗芯片需要的增益更低。增益越低,噪声被放大的程度越小,画面越干净。
3.2 暗电流、无污迹与电子快门:黑帧里的“底噪”
暗电流是完全没有光时,像素里也会产生的电子。它随温度升高和曝光时间变长而增加,表现成长曝光下的热噪点、黑帧不均匀。手册把暗电流列为低,测试条件是 Tj=60°C。注意 Tj 是结温,不是室温,实际模组里芯片温度受 PCB 散热、外壳结构、连续工作时间影响。夏天户外安防摄像头连续跑 4K60,结温上去以后暗电流会比实验室明显,散热设计不能省。
无污迹(no smear)是另一个安防场景很在意的点。强光直射画面时,CCD 容易出现垂直亮条,CMOS 用电子快门和像素结构把这个问题压下去。IMX678 的电子快门支持可变电荷积分时间,分辨率 1H 单位。1H 是一行读出时间,不是 1 小时,这个缩写很容易看错。曝光时间以行时间为步进,意味着你可以做很短的高速快门,也可以做较长曝光,但长曝光会受帧周期限制,后面讲帧率时还会碰到这个边界。
3.3 0.2 lux 与 850 nm 对比:低照度和近红外到底看什么
手册给了一组 0.2 lux 对比:条件都是 F1.6、曝光时间 33.3 ms。IMX334 用 60 dB 增益,IMX678 用 48 dB 增益,两者输出亮度相同。12 dB 的增益差大约是 4 倍,意思是 IMX678 在同样极暗环境里少加约 4 倍增益就能达到同样亮度。增益少加,噪声放大得少,画面细节和色彩更容易保住。这个对比不是让你拿 48 dB 去套所有场景,而是说明同样 4K 分辨率下,它的弱光底子更好。
850 nm 近红外对比用的是 F1.6、33.3 ms、0 dB 增益。硅材料对 850 nm 仍有响应,但吸收深度比可见光深,光要穿得更深才能转成电子。背照式结构把感光层放在电路层上面,光线不用穿过金属布线,近红外响应和可见光灵敏度都能受益。手册说这项背照式像素技术在可见光和近红外区域都能得到高画质,还提到比同像素尺寸的上一代技术在单次曝光下动态范围更宽。具体量子效率手册没在这段给,选型时不要自己编百分比。
3.4 背照式像素与 HDR:把光路和动态范围拆开看
背照式可以打个比方:原来窗户前面堆了一排货架,光要绕过货架才能进屋;背照式把货架挪到窗户后面,光直接照进来。像素电路还在,只是不再挡在感光面正前方。这样同样光照下能接更多光,尤其对近红外这种穿透深的波段更明显。IMX678 把这套结构用在安防摄像头场景,目标是晚上少补光、近红外补光下还能看清人脸和车牌轮廓。
HDR 部分手册列了 Digital overlap HDR 和 Clear HDR。数字重叠 HDR 是把不同曝光的画面在数字域合成,灵活,但运动物体可能有伪影;Clear HDR 走片上合成路线,延迟和伪影控制取向不同。手册没有在这段给具体动态范围 dB 数,也没有给合成帧数,选型时要拿完整寄存器手册和应用笔记去确认。同步传感器功能则是给多目摄像头用的,两颗或多颗传感器可以同步曝光,做双目测距、多视角拼接时不会因为曝光节拍错开而产生画面不同步。
4. 4K60 帧是怎么读出来的:读出模式、CSI-2 与增益链路
一颗传感器能拍 4K 不稀奇,难的是 4K 下还能跑 60 帧,并且输出接口、增益链路、曝光控制都跟得上。IMX678 的 Basic Drive Mode 表里,全像素 3840×2160 最大 60 frame/s,输出接口 CSI-2,ADC 10 bit;特性页又写了 12 bit 60 frame/s、10 bit 60 frame/s。帧率不是单独一个数字,它和读出模式、位深、接口 lane 数、曝光时间绑在一起。看懂这一章,你就能判断一个 4K60 方案是“真能跑”还是“只在特定模式下能跑”。
4.1 全像素扫描:3840×2160@60fps 的底气
All-pixel scan mode 就是全像素逐行读出,不合并、不裁剪,3840×2160 全部读出来。60 fps 意味着帧周期约 16.67 ms,每行读出时间只有几微秒。这个模式下曝光时间不能无限长,通常不能超过帧周期,否则帧率会掉或者曝光被截断。白天光线足,快门可以很短;晚上要长曝光,就得降帧率或者加补光。0.2 lux 对比里用的 33.3 ms 曝光,对应大约 30 fps 的节奏,不能直接套到 4K60 上。
全像素模式的优点是细节完整,适合车牌识别、人脸抓拍、视频取证。缺点是带宽和功耗都高,后端 ISP 要处理 830 万像素、每秒 60 帧的数据。如果主控算力不够,传感器能出 4K60,后端也未必接得住。选型时要把传感器、CSI-2 lane、ISP 吞吐、编码能力一起算,不能只看传感器手册的第一行。
4.2 2/2-line binning:把四个像素并成一个“大桶”
Horizontal/Vertical 2/2-line binning 是把水平相邻两列、垂直相邻两行合并,输出 1920×1080,约 2.07M 像素,帧率同样能到 60 fps。打个比方,原来四个小桶各自接雨,现在把四个小桶倒进一个大桶,同样光照下信号更强,读出像素数却少了四分之三。好处是低照度下信噪比更好、带宽更低、后端压力小;代价是分辨率降到 1080p,细节不如全像素。
Binning 不是数码变焦,也不是简单把 4K 画面缩小。它是在读出阶段就把电荷或数字信号合并,像素之间的空间关系变了。彩色滤光阵列的排列还在,合并后后端仍然要按原始马赛克数据去处理,不能直接当 RGB 用。安防摄像头常把 binning 模式用于低照度预览、夜间视频,等触发事件再切全像素抓拍。这种双模式设计能兼顾实时性和取证细节。
4.3 窗口裁剪与倒置读出:少读一点,快一点
Window cropping mode 是只读感兴趣区域。比如你只关心画面中间 1920×1080 的一块,传感器就只读这块,帧率可以往上走,视场会变小。它适合目标跟踪、电子云台、交通卡口这种“只盯一条车道”的场景。裁剪的坐标要按手册对齐,别把光学黑区或者边缘无效行读进来,否则画面会偏或者出现黑边。
Normal/Inverted readout mode 支持水平、垂直方向正常或倒置读出。这个功能是给倒装结构用的:摄像头模组把传感器倒着贴,读出方向翻一下,后端就不用再做一次图像旋转。它不是图像处理里的镜像特效,而是在读出阶段改扫描方向。做结构设计时如果镜头和 PCB 方向冲突,这个功能能省一层软件处理,也能避免旋转带来的额外延迟。
4.4 CSI-2 与 RAW10/RAW12:带宽账要算清
IMX678 支持 CSI-2 串行数据输出,lane 配置有 2 Lane、4 Lane、8 Lane、4 Lane×2ch,输出 RAW10 或 RAW12。RAW 是原始马赛克数据,每个像素只有亮度信息,颜色要靠后端 ISP 按滤光阵列去猜。RAW10 每像素 10 bit,RAW12 每像素 12 bit,位深越高,暗部层次和动态范围余地越大,带宽也越高。
# 估算全像素 4K60 的原始数据带宽 width = 3840 height = 2160 fps = 60 raw10_bps = width * height * fps * 10 # RAW10 每像素 10 bit raw12_bps = width * height * fps * 12 # RAW12 每像素 12 bit print(raw10_bps / 1e9, "Gbps") # 约 4.98 Gbps print(raw12_bps / 1e9, "Gbps") # 约 5.97 Gbps # 1080p binning 模式 bin_w, bin_h = 1920, 1080 bin_bps = bin_w * bin_h * fps * 10 print(bin_bps / 1e9, "Gbps") # 约 1.24 Gbps上面的数是有效像素数据率,不含行场消隐、协议开销和空白包。4 Lane 跑 RAW10 4K60,平均每 lane 要扛 1.25 Gbps 左右,实际设计要留裕量;RAW12 每 lane 约 1.5 Gbps,布线、时钟、均衡器都要按更高标准来。8 Lane 能把每 lane 压力降下来,但 PCB 走线更复杂。4 Lane×2ch 给双通道或多传感器留了路子,具体怎么分配要看完整手册。
| 输出模式 | 位深 | 有效数据率(约) | 接口提示 |
|---|---|---|---|
| 3840×2160@60 | RAW10 | 4.98 Gbps | 4 Lane 每 lane 约 1.25 Gbps,留裕量 |
| 3840×2160@60 | RAW12 | 5.97 Gbps | 4 Lane 每 lane 约 1.5 Gbps,布线更严 |
| 1920×1080@60 binning | RAW10 | 1.24 Gbps | 带宽低,适合低照度视频 |
4.5 增益链路:模拟增益与数字增益别混着加
手册里的 CDS/PGA 功能分成两段:0 dB 到 30 dB 是模拟增益,步进 0.3 dB;30.3 dB 到 72 dB 是模拟增益 30 dB 加数字增益 0.3 dB 到 42 dB,步进 0.3 dB。CDS 是相关双采样,用来压复位噪声;PGA 是可编程增益放大器,把像素信号在模数转换前放大。模拟增益在 ADC 前面,数字增益在 ADC 后面。前者放大的是模拟信号,后者放大的是已经量化的数字码值。
优先用模拟增益,不够再补数字增益,这是模组调试的血泪经验。数字增益拉高,暗部噪声和量化误差一起被放大,画面容易发灰、发脏。0.2 lux 对比里,IMX678 用 48 dB 就能达到 IMX334 60 dB 的亮度,说明它靠前级灵敏度和模拟链路就拿到了足够信号,不用把数字增益推到很高。同步传感器功能则让多颗芯片按同一节拍曝光,做双目或环视时,左右画面不会一个亮一个暗。
5. 容易踩坑的五个区别:IMX678 不是模组,2.0 μm 不是 3.0 μm
数据手册读错,通常不是卡在复杂公式,而是卡在几个看起来很像的词。IMX678 这个名字在电商页面、方案公司报价单、二手摘要里到处出现,有的把像素尺寸写错,有的把传感器和模组混着卖,有的把 HDR 说成手机拍照那个 HDR。下面五条是初学者最容易踩的坑,每条都按“易混点、为什么混、怎么区分”拆开说。
5.1 易混点一:2.0 μm 像元不是 3.0 μm
易混点:有些二手资料把 IMX678 的 Unit cell size 写成 3.0 μm×3.0 μm,看起来只是一个小数点,实际差了两倍多面积。为什么混:同一个系列里不同型号的像元尺寸不同,摘抄的人可能把别的型号参数粘过来了;也有方案商为了强调“大像素”,顺手写了一个更漂亮的数。怎么区分:翻到 Device Structure,认准 Unit cell size 2.0 μm(H)×2.0 μm(V)。再用阵列数反算:3856×2 μm 约 7.712 mm,2180×2 μm 约 4.36 mm,对角线约 8.86 mm,和光学格式对得上。如果按 3.0 μm 算,阵列会变成 11.568 mm×6.54 mm,对角线超过 13 mm,和 8.86 mm 对不上。数字自洽是判断二手资料靠不靠谱的最快办法。
5.2 易混点二:IMX678 是传感器,不是摄像头模组
易混点:电商页面写“IMX678 摄像头”,卖的其实是一整块模组;有人以为买到手就能输出 USB 视频。为什么混:模组厂把传感器、镜头、红外截止滤光片、ISP、电源、FPC 做在一起,外面贴的型号还是传感器型号,用户很容易把两者当成一个东西。怎么区分:看数据手册的封装。132 pin LGA 是芯片级封装,焊在 PCB 上,没有镜头、没有 USB 接口、没有外壳。它输出的是 RAW10/RAW12 原始数据,必须接 ISP 或主控才能变成可看的图像。选型时把“传感器规格”和“模组规格”分开看:传感器决定上限,镜头、ISP、结构决定实际效果。
5.3 易混点三:传感器 HDR 不是手机里的 HDR 开关
易混点:手机拍照里的 HDR 是按一下快门,后端算法把亮部压暗、暗部提亮;IMX678 的 HDR 是传感器层面的多曝光合成,分 Digital overlap HDR 和 Clear HDR。为什么混:两个都叫 HDR,用户以为都是“让画面不过曝”。怎么区分:看合成发生在哪里。数字重叠 HDR 在数字域把不同曝光合在一起,灵活,但运动物体可能有重影;Clear HDR 走片上合成,延迟和伪影控制取向不同。传感器 HDR 扩展的是原始动态范围,后端还要做色调映射。手册没有在这段给具体 dB 数,选型时要拿完整应用笔记确认帧率和伪影表现,不能只看“支持 HDR”四个字。
5.4 易混点四:增益不是越高越好
易混点:夜视产品喜欢标“超高增益”“72 dB”,好像数字越大夜视越强。为什么混:增益确实能把暗画面提亮,但模拟增益和数字增益的位置不同,效果也不同。模拟增益在 ADC 前,提信号的同时也提噪声;数字增益在 ADC 后,把已经量化的噪声一起放大。怎么区分:看同样亮度下谁用的增益低。0.2 lux 对比里,IMX678 用 48 dB 达到 IMX334 60 dB 的亮度,12 dB 差约 4 倍,说明前者少放大了约 4 倍。选型时别只问“最大增益多少”,要问“在目标照度下,信噪比和曝光时间是多少”。增益是补救手段,不是越多越好。
5.5 易混点五:1H 不是 1 小时,12 bit 不是色彩位数
易混点:可变快门写“resolution 1H units”,有人以为 1H 是 1 小时;RAW12 写 12 bit,有人以为每个颜色通道 12 bit。为什么混:H 在别处常表示小时,bit 在显示参数里常表示色深。怎么区分:1H 是一行读出时间,曝光寄存器按行数写,不是按小时写。RAW12 是每个像素 12 bit 的原始马赛克数据,经过 ISP 去马赛克后才变成 RGB,每个颜色通道的位深由后端处理决定。把 RAW12 当成“RGB 每通道 12 bit”会高估色彩精度,也会低估后端 ISP 的工作量。
6. 什么时候该
本文还有配套的精品资源,点击获取