11月20日，“精于芯，赋能＋”2020思特威合作伙伴大会（即SPM2020）在上海盛大举行。本次SPM2020邀请了众...更多《思特威好不好》这个百科知识，我们小编以拓展阅读方式解读并与大家分享，欢迎关注我们的网站。

思特威好不好

11月20日，“精于芯，赋能＋”2020思特威合作伙伴大会（即SPM2020）在上海盛大举行。本次SPM2020邀请了众多渠道合作伙伴代表、行业客户及知名媒体朋友齐聚一堂，为现场观众精心打造了一场智能成像视觉的技术盛宴。

思特威创始人兼董事长兼CEO徐辰博士为本次SPM2020大会带来精彩的开场演讲，对思特威近年来取得的成绩、最新的CIS技术创新以及面向未来智视时代的战略发展规划都做了详细的介绍，同时借大会之机向产业链上下游的合作伙伴、客户、投资人致以真挚的感谢。

今年2．2亿，明年目标再翻番！

2020年是不同寻常的一年，但就在复杂的国际形势及全球化疫情的影响下，CIS整体产业仍然保持了20％的增长速度（数据来源于：Yole）。徐辰博士指出，虽然明年的预测增幅有所放缓，但思特威的整体销售情况仍然保持着高速度的增长，并在今年实现了翻番的销售业绩，出货量将达到2．2亿颗，预计会超额完成年初制定的目标，而明年思特威的销售目标将再次翻番！

面对当下较为紧张的国际形势对全球半导体发展走向的影响，徐辰博士表示：

“思特威始终赞成并支持经济全球化，因为半导体行业的产业链非常长，包括材料、设备、设计、封测、终端等各个环节，其中一个环节受到影响的话，整个产业链条都会受到影响，我们应该尊重市场全球化发展的大趋势，各方携手合作，方能共赴智视产业未来。”

▼

除了销售成绩的一再攀升，思特威的产品线及应用领域也在迅速拓展，Tapeout的产品数量从2019年的13颗翻倍至2020年的26颗，力求以卓越的CIS成像技术赋能更多应用领域的客户需求。除了在安防应用领域继续保持领先的市场份额外，思特威早在2017年就布局的消费级GlobalShutter图像传感器市场今年亦收获佳绩，在消费级机器视觉领域出货量跃居全球首位。而今年对Allchip（深圳安芯微）的收购也使思特威得以迅速进驻到车载电子应用领域中。此外，就在SPM2020大会召开前，思特威发布了全系列2MP－13MP的CellphoneSensor（CS）系列手机应用产品，正式进入手机市场。徐辰博士指出，丰富的产品线及高科技、优品质、重需求、好服务的经营及研发理念，势必会让思特威未来的发展之路更加深远和宽广！

一路同行，思特威感恩有你

在分享与总结思特威今年取得优异成绩的同时，徐辰博士多次感谢产业链上下游合作伙伴及客户对思特威的认可与信赖。思特威产品的设计理念始终是从客户对产品性能及功能的需求出发，坚持以用户为核心并不断与客户日益提升和差异化的需求保持同步，甚至超前。徐辰博士表示这样高效的生产效率不是仅仅依靠思特威就能做到的，是在产业链与上下游的共同努力下做到的！＜br＞目前，思特威在总出货量不断增加的同时也为产品能够及时供货做了充足的准备。徐辰博士指出，在国内和国外都有我们的多家Fab合作伙伴，这些全球知名的大厂都对思特威表达了全力支持的态度，以保障思特威无论在安防产品还是未来手机产品的供货稳定性，真正做到让客户放心。因此，思特威能取得今天的成绩，离不开各位合作伙伴的协作和支持，亦离不开客户对我们的认可与信任。感恩有你，未来同行！

而未来，思特威亦将持续在技术共享、市场推广、产业创新、生态协同等多维度与合作伙伴展开深度合作，进一步扩大与合作伙伴在智能图像传感器生态打造、芯片软硬件、图像处理、解决方案能力开发等重点领域的影响力，合力构建图像传感器泛终端产业生态！

硬核黑科技，展现芯实力

思特威一直力求以尖端成像技术为客户提供创新性、差异化的智能影像解决方案，而思特威的产品得以被客户所认可并取得出色的销售业绩正是因为这一发展理念在赋能客户应用终端更多附加值的同时也为思特威带来了更强的竞争力。徐辰博士表示，为不断满足甚至超前于各领域客户的不同需求，思特威多年来始终专注于尖端成像技术的创新与研发，凭借性能优势在同质化竞争中脱颖而出，得到了更多客户的认可和青睐。而在此次SPM2020大会上，徐辰博士就为大家介绍了思特威最新的8项芯片级黑科技。

AdvancedRGBW＆amp；RGBIRTechnology

通过采用之前仅在高端手机sensor里才会运用的FBDTI和LNG新技术并结合思特威的诸多新工艺加持，有效减少Whitepixel或IRpixel对RGBpixel的串扰问题，使RGBW＆amp；RGBIRTechnology首次在安防应用领域得以实现，大幅提升安防摄像头在暗光下的成像效果及对卓越夜视全彩性能的迫切需求。

2ndGenSmartGS®Technology

随着智慧城市的进一步建设，越来越多的智能机器视觉应用迅速渗透到包括智能交通系统（ITS）等诸多智慧转型产业的应用中。而面向这一趋势，思特威在发布了全球首个基于BSI的全局快门技术的基础上再度率先着手研发了其2ndGenSmartGS®Technology，通过提升pixelsize来增加感度和暗光效果，提升率可达30％，另一方面采用并行电压域读取，大大提升了最大快门速度，完善对高速运动物体的清晰抓拍。基于全新的电容工艺，2ndGenSmartGS®Technolog的读取噪声可降低一倍以上，同时兼具区域HDR技术，可大大提升特定位置的动态范围，解决了夜间拍摄信号灯成像过曝等问题。

此外，徐辰博士还向大家展示了再下一代，即3rdGenSmartGS®Technology的蓝图，从性能上比2ndGen又有更大的进步，此项技术预计将于明年面世。

SFCPixel™Technology＆amp；PixGain™Technology

高感度和夜视效果是思特威产品一贯的技术特点，此次大会徐辰博士对这项技术进行了揭秘，详细介绍了思特威的专利技术SFCPixel™技术，使产品可实现更高的灵敏度以达到更好的夜视成像效果，同时通过搭配PixGain™技术可实现兼顾夜晚弱光环境以及白日强光环境的高品质成像，令影像日夜都高清。而现在这两项技术除应用于思特威安防系列产品外也已同样被应用于思特威全新手机系列产品，取得了出色的低噪成像效果。

＜br＞AISensorPlatform

随着人工智能的不断发展，在各种智能视觉应用的辅助下，人们的生活变得愈加便捷和高效。会上，徐辰博士描述了思特威AISensorPlatform最新的工艺以及AI算法内核的项目合作和进展情况，进行了工艺及算法两方面的可行性分析并展望了未来AISensor产品的系统架构和功能扩展等。

徐辰博士指出，思特威秉持着“帮助人们更好地看到和认识这个世界”的愿景，始终着力于开发更加智能化、适用性更广的AI智能芯片平台。通过将算法前置到芯片级来解决人工智能运算中的传输和实时性的瓶颈问题，能为未来AI领域的发展提供强有力的助力。

关于所有思特威黑科技更详细的解密，可以关注思特威之后发布的SPM2020大会视频。

合作伙伴强力助阵，共筑芯梦同赴未来

作为思特威重要的产业合作伙伴，SPM2020荣幸邀请到TSMC副总监陈旭先生、三星半导体常务（副总裁）朱明晖先生以及合肥晶合业务资深处长黄晋德先生出席大会并作了精彩的嘉宾讲演。

TSMC副总监陈旭先生发表演讲，介绍了台积电目前最新的工艺研发和产能规划，并表示台积电将不遗余力地配合思特威成长发展，同时大力支持思特威产能制造。未来台积电也将与思特威一起携手，助力中国半导体产业链达到全球尖端品质并保持可持续发展的状态。

三星半导体常务（副总裁）朱明晖先生在发表致辞中表示，三星与思特威的合作非常融洽愉快，并用三个特点高度概括并赞赏了近几年思特威的发展，第一是“速度”，对思特威的高效印象深刻；第二是“高大上”，对其技术创新能力大加赞赏，第三是“战略眼光”。未来三星将持续发力支持思特威的战略发展，并期待着更多与思特威合力发展的未来成果。

合肥晶合业务资深处长黄晋德先生在演讲中说道，目前合肥晶合和思特威在双方的工艺发展规划上有很多共识，并且合作进展顺利，配合的非常愉快，同时合肥晶合目前已在对产能进行全新的规划，会逐年增加投产以求快速提升产能。希望以全新迅猛的“产芯”速度支持思特威的中国芯生态发展。

徐辰博士表示，未来思特威亦将持续在技术共享、市场推广、产业创新、生态协同等多维度与合作伙伴展开深度合作，进一步扩大与合作伙伴在智能图像传感器生态打造、芯片软硬件、图像处理、解决方案能力开发等重点领域的影响力，合力构建图像传感器泛终端产业生态！

思特威10周年，未来更加可期

明年，思特威将迎来独具意义的10岁生日。值此大会，徐辰博士向现场来宾宣布了思特威10周年的3大事件。其中包括正在设计装修方案，明年4月即可入驻的宽敞明亮的全新思特威办公大楼；以及明年即将竣工的，产能规划100kk／月，占地面积20亩的全新昆山测试中心；而最重要的是，在今年完成了15亿元pre－ipo轮融资后，思特威下一步将启动上市计划！

▼

徐辰博士指出，以“精于芯·赋能＋”作为SPM2020大会的主题，意在表达未来思特威将继续以匠芯精神专注于CMOS图像传感器尖端技术及产品的创新与研发，并通过自身的不断努力赋能更多不同类型的产业所需，提升客户应用终端差异化与智能化附加值，不负客户的认可与信任，亦不负合作伙伴们的支持与期许！＜br＞

SPM2020大会已顺利落幕，除徐辰博士及各位合作伙伴的精彩演讲外，大会下午的议程中，还由思特威首席运营官马伟剑先生就思特威全产品线的新产品进行了发布，而思特威多位技术副总裁亦现场开讲，揭秘思特威诸多CIS尖端技术，这些精彩内容我们将会在下篇中为大家进一步介绍，敬请期待。

拓展阅读

安创芯视野丨实力解析Arm智能摄像头解决方案

第十一期回顾

随着消费市场需求的崛起，智能摄像头的应用范围越来越广，终端产品越来越丰富，自然对芯片及其解决方案的要求也越来越高。本期《安创“芯”视野》邀请了Arm中国视觉方向市场经理李黎明，他将为我们介绍Arm针对智能摄像头芯片的解决方案，结合案例为我们讲解如何提供一流的成像质量和完整的解决方案。

（以下是分享内容整理）

大家好，我是李黎明，目前在Arm中国负责成像视觉和机器学习市场，包括传统安防、消费类摄像头，门禁、闸机、楼宇对讲、无人机，机器人、车载摄像头系列。感谢大家抽出时间来参加我的分享，希望能给大家带来一些智能摄像头领域的收获。

针对不同的市场领域，包括无人机、智能摄像头、智能音箱、机器人和车载等，Arm推出了一个完整的解决方案。这个方案中有一系列的IP，包括ISP、CPU、Video、GPU、Display、Machine Learning Processor等。

这个方案的目标市场有三个。第一个是消费类市场，比如：用于拍照的无人机、消费类的运动相机、数码相机、安防摄像头、一些用于视频会议的摄像系统等；第二个是汽车领域，包括后视摄像头、全景360摄像头、行车记录仪、一些用于ADAS视觉处理、监控驾驶员状态的摄像头；第三个是安防监控市场，包括专业网络摄像机、消费类网络摄像机。这些市场领域需要完整的图像处理和调试技术，以及现在开始流行的智能安防摄像机也需要很强的计算机视觉处理能力）。

ISP模块

ISP是“Image signal processor”的简称。从PPT上的图像处理流水线来看，光线先穿过镜头然后通过CMOS sensor成像生成原始数据，数据经过ISP处理后会得到YUV或者RGB格式的数据，然后传送给后端的不同应用，比如编码器或显示设备或后端的计算机视觉算法。

每一个领域对ISP的成像效果要求不太一样。比如，对于显示领域，效果是给人类观看的，就要符合人类的审美要求；对于计算机视觉算法，他们的要求是看得懂，即要满足视觉算法对这个图像效果的要求，例如目标检测、目标追踪、人脸识别等等。

除了硬件外，ISP模块还包括软件和调试工具。硬件主要强调视频的处理能力。对于用于拍照的相机，ISP的硬件能力强调分辨率和处理的帧率。Arm的ISP硬件处理能力在基于16纳米的工艺条件下可以达到4K@60帧。对应的，软件也有完整的服务包，包括图像传感器的驱动和控制ISP的Firmware，以及3A的库（3A包括自动对焦、自动白平衡和自动曝光）。

在应对不同的传感器、不同的镜头、不同的滤光片和不同应用场景要求时，Arm提供全套的tuning工具，包括 PC上使用的一些控制ISP寄存器 和Firmware API的在线调试工具。另外，针对客观指标的标定工作也会提供calibration tools。

这是一个简单的ISP框架图，列出了关键算法。从左到右依次是RAW域的处理和RAW域的降噪；Demosaic是把RAW域转到RGB域；HDR的处理（Tone Mapping）和精度的管理 ；最后是色彩管理，包括白平衡，色彩校正，色噪去除和3D颜色增强等。

刚才说的是一般的ISP。汽车领域对ISP有什么特别的要求呢？这里列举了一些应用，比如行人侦测系统、驾驶员疲劳检测系统、夜视系统。针对ADAS应用，主机厂要求的是可靠性和低延时；而针对随机错误和系统缺陷要有一些特殊的设计。一般直接输出到计算机视觉算法来做检测分析，并基于这些检测分析结果做进一步的决策和执行。

在汽车领域也有一些给人看的应用，比如倒车后视摄像头、全景摄像头、行车记录仪等等。这些应用强调动态范围的管理，以及在低噪环境下如何更好地还原汽车周围的环境。这种呈现效果是更偏向于符合甚至超过人眼的视觉要求。

那么在汽车领域怎么实现功能安全？针对两种不同类型的缺陷或者故障，我们如何应对？

这里列举了两大类。一类是针对系统故障，主要从规范可靠的流程管理方面应对。基于安全手册和设计失效模式以及效应分析；也会针对一些规范提供认证，使得客户的产品在设计出来之后符合汽车安全的规范。另一类是随机故障，可能是由于生产制造过程中的一些缺陷，造成一些不可控的错误。针对这些故障，我们在设计产品的时候就要加入诊断性电路。

举个例子，在Arm车规级图像处理器中，有380多个专用的故障检测电路和内置的在线自检电路，同时也集成了故障中断控制器；另外，针对后端的计算机视觉算法，提供像素级别的可信度的信息来帮助后端算法了解输出的图像的可信度；而且，针对sensor输出的画面静止或者硬件错误，也有一些检测电路；与此同时，针对这个数据的所有传输路径包括存储和配置数据的路径，都加了CRC的检测电路，从而保证有足够的错误检测覆盖率来满足车规等级的要求。

刚才列的是一般的图像处理器架构，而这里针对汽车市场的要求，又列了一个框架图。标星号部分是针对汽车市场来设计的，比如说最左边的星号是针对汽车市场宽动态的要求和多路摄像头的要求来设计的，可以支持多达16个摄像头的接入和最多4次的曝光合成。

在汽车应用领域，由于环境变化特别大，比如进出隧道的时候或者天气多云的时候，动态范围常常剧烈变化，所以对宽动态能力的要求非常高。因此，针对这种要求，我们要相应地调整流水线的位宽；同时为了适配后端的显示设备或者后端的计算机处理算法的位宽的要求，需要做动态范围的映射，从而保证原始的信息完整地传输到后端的计算模块中去。另外，在输出模块，针对计算机视觉算法对分辨率和数据格式的特别要求，输出模块也做了相应的适配。另外一个也是车规ISP特有的要求——错误检测和报告电路，有了这个之后，ISP才能满足一定的故障覆盖率要求。

图像质量

在图像质量方面，哪些指标比较重要？

首先是HDR。现在大家来看一个比较有挑战性的场景，如果使用普通的数码相机来拍摄一幅这种大动态范围的画面时会出现各种问题：从这个柱状图的显示来看，它有很大面积的暗部区域，也有局部的高亮区域。受限于动态范围的能力，消费者看到的画面其实是暗区偏暗、亮区过曝、中间亮区细节不足的画面。

怎么解决这个问题呢？一般来说，业界使用的是一种比较通用且简单的办法：用一个全局的Tone Mapping的算法来把暗区拉亮。这个办法可以解决部分问题，但是也有一些不足：暗区的细节并没有足够亮，阴影部分的细节也有部分丢失，同时高亮区一些细节因为过度拉伸出现了饱和问题。

针对这种场景，Arm ISP做了一些优化工作。这幅画面呈现的就是针对这种大动态范围的场景调试后的效果。我们可以看到，低亮区的亮度得到了显著提升，同时高亮区的细节和对比度得到了保留和增强，甚至中亮区的细节也得到了保留。从这个柱状图来看，分布变得非常均衡了。

我们再来看这个参考对比图。在两种不同的技术对比下，右图的效果比左图的效果好很多。这种效果有什么用呢？答案是通过HDR管理得到的一些效果可以方便使用者以后更好地解读场景的内容，其中包括了计算机视觉的应用。

这里举个例子，左图显得过于黑暗，但是经过合适的处理之后，我们能清楚地看到右图右下角边缘的那个人以及远处汽车的车牌的细节信息。

再来看另外一个例子。如果处理得好，我们可以看到车牌上面的字母和数字，从而方便后端的识别算法更好地来检测车牌。

这背后的原理是什么呢？怎么样把原始的高动态范围的数据变成无论是显示设备还是计算机视觉算法等的后端所需要的动态范围呢？

举个例子，左边的示意图是我们人眼能看到的一些细节，因为我们人眼适应宽动态范围的能力比较强，所以我们人眼能同时看到暗处的细节和高亮区的细节。宽动态场景的捕捉转换成很宽的数据位宽，这里是24位，但是后端的显示设备大部分都是8位的，怎么样才能把24位数的原始数据映射到低位数的显示设备？这里需要一个叫做Tone Mapping的技术。

Arm的Tone Mapping技术叫做Iridix，它是一种像素级别的动态范围的管理算法，它针对局部的像素值和它周围的邻域的像素值动态的自适应地生成一个增益，从而保证暗区得到提伸、高亮区得到保护、中间亮区的对比度得到增强。它是针对每一个pixel生成的独特的增益曲线。

这个视频显示了Local Tone Mapping算法的强度逐渐增强的过程。在保证高亮区不受影响的前提下，它可以让一个画面的暗区细节得到逐步提升。我们可以看到，画面里有个外国人正在说话，刚开始我们都看不见他，但当增强Local Tone Mapping算法强度的时候，他的脸就逐渐清晰起来了。

再来看第二个的视频，它显示的是一个关到开的变化。刚开始，这个算法是关掉的；当打开这个算法后，右半部画面的暗区突然就呈现出来了。这就是Local Tone Mapping算法应用到视频宽态中的一些案例。

另一个比较关键的图像质量指标是什么呢？我们叫它Resolution，也就是解析度。解析度意味着能不能看清楚，它跟分辨率息息相关。比如，以前的传感器只能输出640×480 VGA格式的分辨率，而现在比较主流的有200万（1080P）像素分辨率，甚至4M，5M，或者4k，8k都有。在传感器输出的分辨率恒定的条件下，另外一个影响因素是ISP里的“去马赛克算法”。“去马赛克算法”试图最大限度地还原传感器和镜头的解析力，通过合适的插值来推断和还原场景的真实细节。

另外，针对一些红外增强的应用，特别是可能需要同时用到彩色/红外的场景，比如监控驾驶员或者希望使用可靠性高且有成本要求的低端安防相机的应用场景，就会需要用到一种叫RGBIr的传感器。这种传感器里有彩色的RGB的滤光片，也有独立的感红外像素，这里就需要图像处理器做相应的适配。

这里举了一个例子。左图是一个单纯的IR图像，它是传感器上红外像素感光之后输出的一个黑白的图像；右图是RGB像素输出的图像，因为受到红外干扰的影响，画面会偏红。如果ISP在这个基础上进行处理，就可以解决这种画面泛红的问题。

当增加红外通道的矫正之后，我们可以看到左图的画面基本上变成了接近于正常的彩色画面；但是还是有一些缺陷，我们可以看到，树梢的位置区域有点偏粉，这是因为红外像素跟RGB像素的饱和值有些不匹配。ISP如果增加一个对应算法，就可以把这部分补救回来，也就成了我们现在看到的右图的画面。

另外一个算法是色噪去除。在一些细微的场景里，特别是传感器的像素比较小、信噪比不高的时候，“色噪去除算法”可以显著地改善局部的色块、色斑或者大面积的色噪。

左边圈出的区域是有色噪的画面，右边是经过 Chromatic Noise Reduction算法处理之后的树干局部画面。我们可以看到，这些色块都被去除了。

这是另外一个色噪去除的例子。娃娃的额头上有些色噪，经过算法处理之后，额头的色块都被去除了。另外，镜头本身也会有一些色差，这些色差在输出的照片中呈现的效果是物体的边缘处会出现一些红色或蓝色或紫色的伪影。如果在ISP中增加Chromatic Aberrations Correction算法，就可以对特定的镜头滤光片进行标定，从而把产品中的那些蓝边和紫边剔除掉。

左边是原始的图像，右边是经过Chromatic Aberrations Correction算法去掉这些蓝边和紫边之后的效果。

再来看另外一个例子。我们可以看到这些电线杆的边缘有一些蓝边，经过算法处理后，这些蓝边都被去掉了。刚刚说的紫边和蓝边是由于镜头的横向色差的影响造成的，而纵向色差它也会造成另外一种紫边和蓝边。针对这种紫边，如果在其中加入特定的算法，会显著地减轻这种蓝边的效果。

这是另外一个例子。当用摄像机对着天空拍摄树梢的时候，如果镜头不太完美，且图像处理器中没有对应的矫正模块，很多人就会看到这种泛蓝的树叶，如左图所示。如果有对应的算法，那很大程度上就可以消除这种紫边的影响，达到右图呈现的效果。

此外，在图像处理领域，还有一个非常重要的算法：噪声去除算法。在低照度环境以及一些不完美的光照条件下，由于镜头的通光量和传感器感光度的限制，加上各种噪声的干扰，就会造成画面出现很多噪声。但是，如果我们在图像处理器方面加上不同的去噪模块就可以做到去噪，包括2D去噪、3D去噪——2D去噪是在单帧画面中把邻域像素的值进行平均计算来进行噪声过滤的一种算法，3D降噪是在连续几帧画面中进行帧间平均计算的一种降噪算法。

另外，由于精度的限制，无论是传感器或者ISP整个流水线中某些模块精度能力的限制，在输出端出现了一些不连续的现象，比如等高线问题、很明显的一圈圈的过渡问题。因此，在设计整个成像系统的时候，我们就需要考虑到这些问题，使得整个流水线的精度是匹配的，相对于显示设备来说精度是足够的。处理得当的话，一些等高线或者非连续的问题就消失了。

在摄像领域，如果搭配鱼眼镜头或者广角镜头，但又不加任何的矫正设置，就会出现“有趣”的画面，一般会出现“桶形失真”的效果。如果你拍一个人脸，就会看到鼻子超级大但四周比较小。但是，后端的使用者包括人和一些机器希望看到的是笔直的物体，而不是“有趣”的画面，这时候就需要一个叫“Geometric Distortion Correction”的算法模块，翻译过来叫“几何畸变矫正”。

Arm的这个“几何畸变矫正算法”是一个像素级别的映射引擎，它可以同时进行4个几何畸变矫正，然后显示到独立的子窗口里，可以达到4k/30帧。它可以应用到汽车应用领域包括电子后视镜和全景、一些安防的鱼眼镜头应用领域和无人机领域（有时候无人机需要用到一些广角的镜头）。另外，针对这种Electronic Rolling Shutter卷帘快门的果冻效应，这种引擎也能做出一些适当的标定和矫正。

软件和调试工具

ISP的驱动是什么？就是如何点亮系统，让传感器进入正确的时序，并按照正确的时序输出特定的分辨率@帧率，以及如何适配不同的光照条件和色温条件。这就需要ISP硬件引擎实时地去收集传感器输出的统计数据，包括曝光的统计数据、白平衡的统计数据、以及对比度的统计数据；然后，基于这些统计数据，后边的算法即所谓的3A算法来进行分析，比对目标值，再给传感器的控制寄存器写入对应的控制值，从而让摄像头可以适应不同的环境。

此外，针对自动曝光方面，一般系统的要求是快和准，且又要尽可能地保护高亮区和阴影区，同时希望可以支持不同的宽动态模式和低照度模式；针对工频干扰（中国交流电电压频率为50Hz，国外部分地区是60Hz），也要进行适当的曝光时间调整；对于自动白平衡方面，也需要尽可能地快和稳，才能保证ISP输出的颜色尽可能地接近真实场景。

再来看软件工具方面。当一个项目进入后期阶段的时候，我们必须要根据市场的要求或者客户的特定要求去进行客观和主观的标定和调试。对于一些客观的调试，一般在确定镜头、滤光片、传感器之后，我们需要了解传感器的黑电平、噪声模型和镜头阴影模型。

Arm的ISP 校准工具可以在一些标准图片的输入下生成用来做客观指标调试的参数，从而保证了这个出发点在主观调试开始前是正确的。而主观调试是一种现场调试，一般都是发生在实际的应用场景中。这个场景有可能有很多种情况，这就有可能需要在不同的场景中进行多次的调试迭代。所以，怎么去控制 ISP的软件、firmware API、 ISP的硬件，怎么实时地去调试效果和现场做确认，这个工具就能方便用户在现场进行在线图像效果的调优。

那Arm的图像处理器支持什么类型的传感器呢？要支持业界主流的传感器，就要求Arm与现今市面领先的图像处理器供应商如索尼、安森美、思特威等公司做产品和技术路标的对齐，也要尽可能早地拿到新一代传感器的样品以及基于这些样品传感器开发演示系统，同时在客户的目标系统中提供相应的支持。

在技术对接方面，如果传感器公司推出新的技术，Arm后端ISP方面就需要进行相应对接。目前Arm的ISP能够对接的传感器技术包括卷帘曝光和全局曝光。DOL、Staggered HDR和Dual Pixel是实现HDR功能的几个方式。关于LED Flicker Mitigation，LED本身有屏闪频率，一般是90Hz，主要的抑制能力在传感器上，ISP需要做相应的配合。另外，在传感器端，如果传感器端已经做了内置的多次曝光合成或者进行了压缩，后端ISP就需要进行相应的展开再运行Tone Mappping算法。

基于智能摄像头市场的成像领域，Arm提供了哪些产品？

这里列出了3个：Mali-C71是针对车载市场，Mali-C52和Mali-C32是针对非汽车市场。产品的跨度覆盖了低端到高端市场。Mali-C32是一个中低端的ISP，覆盖的领域有：非车规的行车记录仪、主流的出入口控制的安防摄像机等等。

在中高端领域，可以用Mali-C52来覆盖。在中间领域，消费类的玩具无人机、智能家庭助理，运动相机、无人机，也都可以通过Mali-C52和Mali-C32来覆盖。在汽车领域，分别有供人看和供机器看的应用。供人看的应用包括后视，全景、电子后视镜；供机器看的应用包括驾驶员状态监控、高级驾驶辅助系统和自动驾驶的领域。

不同领域有不同的要求。在最左边这一栏中，它的主要要求在于宽动态、低照度性能和计算机视觉；在中间这一栏的应用中，它对图像质量和计算机视觉算法会有一些特别要求；但在汽车这一栏，特别是前装领域，它对功能安全、宽态的要求就比较多，而且针对目前一些细分的应用，可能需要一些特定的图像处理器模块去适配后端的特殊算法，比如ISP4CV。

在智能摄像头市场，除了成像领域外，还有显示领域。

有些应用是带屏幕的，比如运动相机、楼宇对讲机、门禁闸机、涉及到人脸识别的考勤机；此外，在汽车领域，一些车内的中控娱乐系统或者后座的娱乐系统都是带屏幕的。如果这个屏幕是移动的，那么，在不受控的环境中观看屏幕就极有可能受到环境光的影响。

相信大家对以下场景都深有体会：如果你在一个阳光明媚的晴天在室外看手机，有时会因为反光的问题看不清显示的内容。有什么办法可以改善这种体验呢？Arm的显示技术可以改善这种可视性。

这是在一个小黑屋拍的图片，左右两张图片是一样的。左边的画面加了一个显示增强的处理之后，我们可以清晰地看到汽车里面的这对夫妇。在太阳底下，如果不加任何处理，我们看到的就是右边这幅画面。而如果打开显示增强的处理，我们就能清楚地看到这个画面原本想表达的内容了。

那显示增强技术在哪些市场有用呢？比如控制中心。它有一个供很多人观看的大屏幕，无论是观看火箭发射的屏幕还是公安局里交通管理系统屏幕，都可以通过显示增强技术来改善它的显示设备的现场场景的还原能力。另外，在楼宇对讲机方面，特别是在处于开放环境时，室外机可能会受到各种反光的影响的，如果使用显示增强技术可以改善用户的体验。再比如，有人在楼下按门铃，因为阳光反射，可能看不清屏幕上的内容。这时候，如果在室外机里加入显示增强技术，就可以提高画面内容的亮度，从而看的更清楚。

在无人机市场也有应用，无人机有遥控器，有一些是带屏幕的遥控器，而且无人机的操作者大部分是在室外进行操控，这个时候就很容易受到阳光的影响。如果加入显示增强技术，就能极大地改善操控者的体验。此外，在汽车领域的电子后视镜、中后视镜、侧后视镜、倒车后视全景方面，使用显示增强技术也可以显著地改善驾驶员的检测识别能力，从而看清暗处的危险。

智能摄像头领域

IPC监控摄像机有一些安全性的concern。我们知道，黑客很喜欢去攻击有价值的目标，而监控摄像机是一个很容易受到攻击的目标。

我们来看整个视频流。原始视频从图像传感器传输过来，经过ISP处理和编码，最后存储到本地或者传到云端。那么，在整个数据流动的过程中有哪些危险呢？一种危险是与云端交互过程存在的危险，叫做communication attack，即通信攻击。它包括了中间人攻击和伪装攻击。

在软件工具方面，由于这种智能监控摄像机是从本地启动的，所以，如果黑客篡改了它的启动程序并植入他自己的一些破坏性程序，就会造成整个摄像机坏掉甚至被他劫持。刚刚说的是远程攻击，还有一种攻击是物理攻击。物理攻击就意味着这个黑客已经有能力接近智能摄像机硬件本身了。他可以通过I/O口，用一些专业设备经行侧信道攻击，从而可能测出一些密钥等私有信息，对他们有价值的信息。

针对这些攻击，Arm有什么解决方案呢？平台安全架构（PSA）, PSA针对每种产品类型都做了威胁模型分析，然后针对这些分析结果设计出合适的硬件软件规范，最后开发合适的软件源代码实现安全架构。

针对物理攻击，Arm有一些相对应的处理器，包括Arm SecurCore、Arm Cortex M35P这种高安全等级的微控制器；针对加解密安全岛，Arm也有如CryptoCell和CryptoIsland的解决方案；针对软件的风险降低的需求，Arm有TrustZone和各种微控制器开发环境（避免中间人攻击也是通过一些加解密技术来保证传输的信息不被黑客窃取）；针对生命周期管理，Arm有 Pelion物联网管理平台和一些加解密的IP。

要做一个智能摄像头需要什么IP呢？除了安全之外，在整个系统里还需要 CPU、ISP、NPU、安全IP、存储器和外设；而对于对功耗比较敏感的市场，有可能还需要大小核处理器形成异构计算平台。

Arm有一个Corstone-700的安全参考设计，这个设计是为了帮助初创公司节省开发时间，也可以帮助成熟公司在进入新领域的时候加速开发推出新产品。这个参考设计是Arm针对这个目标市场并结合Arm的自有IP包括CPU、NPU、ISP 、NPU 、Video、Display等等开发设计的，并进行了充分的验证和集成。

这个例子里包括了Cortex-A和Cortex-M系统，尤其适用于电池类供电、消费类摄像机领域。同时，如果直接使用针对Arm PSA规范而进行的设计或者参考它的子系统来设计智能摄像头芯片，结果是符合PSA规范的。此外，在开源软件和一些评估系统上，Arm也都会提供相应的支持。

ISP+Video+NPU

如果ISP、Video和NPU互相配合，我们能做得更好。

举个例子，如果没有NPU，自动曝光算法就会遗漏一些重要区域，对一些如背光小脸的场景就处理得不太好。如果有一个NPU计算机视觉引擎帮助自动曝光算法找到人脸所在的区域，那么我们可以针对这个区域做一个权重的增加操作，从而保证这个感兴趣的区域比如人脸有足够的曝光。这是所谓的基于感兴趣区域的自动曝光，当然也可以扩展到白平衡和一些局部的噪声去除。

编码方面也是一样。如果后端的智能算法找到感兴趣区域，针对这个区域进行高质量编码，针对不重要的背景区域进行低质量编码，综合来看，相对于不做任何处理的码率来看，整个视频流的码率可以得到大幅的提升。

这里有个例子，最右图没有做任何处理，它的码率高达6.6Mbit/s。中间的图片是基于人的这个感兴趣区域做了一个ROI based的编码，所以它的码率只有0.83Mbit/s，但是它既保证了感兴趣区域的画质也降低了带宽。

下面这个例子讲了ISP怎么跟编码器合作。因为ISP一般是在编码器的前面，它可以更早地获得一些统计数据。如果ISP针对这些统计数据做预处理，同时尽可能早地让Video知道这些信息，就可以帮助编码器更好地预测即将到来的内容的类型，从而帮助编码器更好地编码。这是ISP和Video的配合。

那ISP跟computer vision怎么配合呢？一些computer的算法对画质有特别要求，比如亮度、颜色、对比度、动态范围、感兴趣区域，这种情况下，如果ISP针对性地设计的话，就能极大地改善计算机视觉算法的准确率和稳定性。

总而言之，Arm针对智能摄像头市场包括汽车、安防、消费类、无人机、机器人等市场提供了一个完整的参考方案。这个参考方案在成像领域是以ISP为主，涵盖了基本的IP包括 CPU、GPU、Video、Display、机器学习的处理器，为初创公司以及想进入这个市场的公司提供了很好的参考；同时，也帮助客户尽快地推出成熟的产品，从而满足市场的需求。这就是Arm针对智能摄像头市场的一个完整的参考方案。

安创加速器（Arm Accelerator）是AIoT硬科技创新创业服务平台。作为Arm全球唯一加速器，安创依托于Arm全球庞大的生态系统资源及行业领先的技术，通过创业加速和创新赋能为技术驱动型创业者以及致力于科技创新的生态伙伴提供深度产业链接及一站式服务。

以上就是关于思特威好不好(安创芯视野丨实力解析Arm智能摄像头解决方案)的所有内容，希望对你有所帮助。