索尼首款AI图像传感器将使相机更智能

人工智能 2020-09-15 12:20:34

索尼宣布了全球首款集成了AI智能的图像传感器。新型IMX500传感器兼具处理能力和内存功能,无需额外的硬件即可执行机器学习驱动的计算机视觉任务。索尼表示,结果将是更快,更便宜,更安全的AI相机。

在过去的几年中,从智能手机到监控摄像头的各种设备都受益于AI的集成。机器学习不仅可以用于改善我们拍摄的照片的质量,而且可以像人类一样理解视频;在框架中识别人和物体。这项技术的应用非常广泛(有时令人担忧),从无人驾驶汽车到自动监控,应有尽有。

但是许多应用程序依靠将图像和视频发送到云进行分析。这可能是一个缓慢而又不安全的旅程,使数据暴露给黑客。在其他情况下,制造商必须在设备上安装专门的处理内核,才能满足额外的计算需求,例如苹果,谷歌和华为的新型高端手机。

但索尼表示,与这两种方法相比,其新型图像传感器提供了更为简化的解决方案。

“有一些其他的方式来实现这些解决方案,”商业和创新马克·汉森的索尼副总裁告诉边缘,参考边缘计算,它使用专用的没有直接连接到图像传感器芯片AI。“但是我不认为它们会比我们运送数十亿个图像传感器具有更高的成本效益。”

索尼在图像处理市场的巨大份额肯定会将该技术大规模推向客户。汉森指出,该公司拥有超过60%的市场份额,去年出货了约16亿个传感器。索尼的客户包括苹果,该公司在其iPhone系列产品中使用了该公司的传感器。

但是,这种第一代AI图像传感器不太可能最终出现在智能手机和平板电脑等消费类设备中。相反,索尼将瞄准零售商和工业客户,他们开始更广泛地使用计算机视觉技术。

汉森(Hanson)以亚马逊的无现金Go商店为例。在亚马逊的Go商店中,零售商使用数十个具有AI功能的摄像头来跟踪购物者,并对他们从货架上抓取的物品收取费用。汉森说:“他们每天放置数百个摄像头,并且正在运行PB级的数据,而其便利性得分却很小。”“但是,如果我们可以最小化该功能并将其放在芯片的背面,我们可以做各种有趣的事情。”

报告表明,由此产生的硬件成本减慢了亚马逊商店的推出速度,尽管索尼的IMX500传感器尚无法处理此类功能所需的大数据量。相反,他们可以执行更简单的任务,例如映射任何给定商店周围的客户流。

除了节省成本外,还有隐私保护。如果AI芯片直接粘贴在图像传感器的背面,则可以在设备上完成对象检测。图像传感器本身不会执行需要进行的任何AI分析,而只是发送元数据,而不是将要分析的数据发送到云或附近的处理器。

因此,如果您想创建一个智能相机来检测有人是否戴着口罩(目前是一个非常现实的问题),则可以为IMX500图像传感器加载相关算法,该算法可使相机快速发出“是”信息。 ”或“不” ping。

汉森说:“现在,我们已经消除了通常是每秒60帧的4K视频流,只是'嘿,我认出了这个对象'。”“这可以减少数据流量,并且还可以帮助保护隐私。”

另一个大应用是工业自动化,其中需要图像传感器来帮助所谓的协同机器人(旨在与人类紧密合作的机器人)免于殴打他们血肉充沛的同事的麻烦。集成AI图像传感器的主要优点是速度。如果协作机器人检测到不应有的人并且需要快速停车,那么尽快处理该信息至关重要。

索尼表示,IMX500在执行此类任务时比许多其他AI相机快得多,并且能够在3.1毫秒内将标准图像识别算法(MobileNet V1)应用于单个视频帧。汉森说,相比之下,竞争对手的芯片,例如由英特尔拥有的Movidius制造的芯片(用于Google的Clips相机和DJI的Phantom 4无人机),可能需要数百毫秒(甚至几秒钟)的处理时间。

但是,最大的瓶颈是IMX500处理更复杂的分析任务的能力。汉森说,目前,图像传感器只能使用漂亮的“基本”算法。这意味着在可预见的未来,诸如驾驶自动驾驶汽车之类的更复杂,更多样化的任务肯定需要专用的AI硬件。而是将IMX500视为简单的单应用程序设备。

但这只是第一代,未来技术无疑会得到改进。目前,相机更智能,因为它们会将数据发送到计算机。将来,相机本身将成为计算机,并为其提供更智能的解决方案。

IMX500的测试样品已经开始向早期客户发货,价格从10,000日元(93美元)起。索尼预计首批使用图像传感器的产品将于2021年第一季度上市。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢