4K30 AI 摄像机芯片
处理器内核• 双核 ARM Cortex A55@1000MHz
• 32KB I-Cache,32KB D-Cache,256KB L3 cache • 支持 NEON 加速,集成 FPU 处理单元 • 支持 TrustZone |
系统级加速模块• 集成硬化的标准 CRC32/CRC16/CRC8 多项式运算单元
• 集成硬化的高速直接数据搬移模块(DMA) |
智能视频分析• 神经网络
支持完整的API和工具链,易于客户开发 • 升级 IVE 算子,支持特征点检测、周界、光流及多种计算机形态学算子 • 升级 DPU 算法实现双目深度图加速单元,最大分辨率 2048 x 2048,最大视差 224,处理性能 720p@30fps |
视频编解码• 支持 H.264 BP/MP/HP Level 5.1
• 支持 H.265 Main Profile Level 5.1 • H.264/H.265 编解码最大分辨率为 6144x 6144 • 支持 I/P 帧 • H.264/H.265 多码流编解码典型性能如下: −3840 x 2160@30fps(编码)+1920 x 1080@30fps(编码)+720 x 480@30fps(编码) −3840 x 2160@30fps(编码)+720 x 480@30fps(编码)+1920 x 1080@30fps(解码) −3840 x 2160@30fps(解码) • 支持 8 个区域的编码前 OSD 叠加 • 支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式 • 输出码率最大值 80Mbps • 支持 8 个感兴趣区域(ROI)编码 • 支持视频前端叠加 mosaic 编码 • 支持数字水印 • 支持 PVC 感知编码降低码流 • 支持 JPEG Baseline 编解码 • JPEG 编解码最大分辨率 16384 x 16384 • JPEG 最大性能 −编码:3840 x 2160@60fps(YUV420) −解码:3840 x 2160@30fps(YUV420) |
ISP• 支持多路 sensor 同时处理
• 支持 3A(AE/AWB/AF)功能,3A 参数用户可调节 • 支持去固定模式噪声(FPN) • 支持坏点校正和镜头阴影校正 • 支持两帧 WDR 及 Advanced Local Tone Mapping,支持强光抑制和背光补偿 • 支持多级 3D 去噪 • 支持图像边缘增强 • 支持去雾 • 支持动态对比度增强 • 支持 3D-LUT 色彩调节 • 支持新一代镜头畸变校正 • 支持鱼眼等任意形状几何矫正 • 支持 6-DoF 数字防抖 • 支持陀螺仪防抖和 Rolling-Shutter 校正 • 支持图像 Mirror、Flip、90 度/270 度旋转 • 支持使用神经网络对图像进行实时 DRC、BNR、3DNR 或 DM 处理 • 支持黑白与彩色两路图像双光融合 • 提供 PC 端 ISP 调节工具 |
视频与图形处理• 支持图形和图像 1/15.5~16x 缩放功能
• 支持水平方向全景拼接 −输入2路2560×1440@30fps,最大输出5120x1440@30fps或2560x2880@30fps −输入4路1920x1080@30fps,最大输出6144x1080@30fps或1920x4320@30fps • 支持视频层、图形层叠加 • 支持色彩空间转换 |
视频输入接口• 支持 8-Lane image sensor 串行输入,支持MIPI/LVDS/Sub-LVDS/HiSPi 多种接口
• 支持 2x4-Lane 或 4x2-Lane 等多种组合,最高支持 4 路 sensor 输入 • 支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入,时钟频率最高 148.5MHz • 支持 BT.601、BT.656、BT.1120 视频输入接口 • 支持通过 MIPI 虚拟通道输入 1~4 路 YUV • 支持主流 CMOS 电平热成像传感器接入 • 支持结构光图像模组 • 支持 cw ToF 图像传感器 |
视频输出接口• 支持一路 BT.1120 或 BT.656 接口输出,其中BT.1120 最高性能 1920x1080@60fps
• 支持 6/8bit 串行或 16/18/24bit RGB 并行输出,最高频率 74.25MHz • 支持 4-Lane Mipi DSI/CSI 接口输出,最高1.8Gbps/lane,性能 3840 x 2160@30fps • 支持 Gamma 校正和水平方向 sharpen |
音频接口与处理• 内置 Audio codec,支持 16bit 双路差分语音输入和双路单端语音输出
• 支持 1 路 I2S 接口,兼容多声道时分复用传输模式(TDM) • 支持 8 路数字 MIC 阵列输入 • 支持多协议语音编解码 • 支持音频 3A(AEC/ANR/ALC)处理 |
安全隔离与引擎• 支持安全启动
• 支持基于 TrustZone 的 REE/TEE 硬件隔离方案 • 支持神经网络模型与数据保护 • 硬件实现 AES128/256 对称加密算法 • 硬件实现 RSA3072/4096 签名校验算法 • 硬件实现 ECC256/384/512 椭圆曲线算法 • 硬件实现 SHA256/384/512、HMAC_SHA256/384/512 算法 • 硬件实现 SM2/3/4 国密算法 • 硬件实现真随机数发生器 • 提供 28Kbit OTP 存储空间供客户使用 |
网络接口• 1 个千兆以太网接口
−支持RGMII、RMII两种接口模式 −支持TSO、UFO、COE等加速单元 |
外围接口• 2 个 SDIO3.0 接口
−SDIO0支持SDXC卡,最大容量2TB −SDIO1支持对接wifi模组 • 1 个 USB3.0/USB2.0 接口 −USB Host/Device可切换 • 支持上电复位(POR)和外部输入复位 • 集成独立供电 RTC • 集成精简上下电控制逻辑,实现芯片待机唤醒 • 集成 4 通道 LSADC • 集成 RGB 小屏专用三线控制接口 • 多个 UART、I²C、SPI、PWM、GPIO 接口 |
外部存储器接口• DDR4/LPDDR4/LPDDR4x 接口
−支持2 x 16bit DDR4 −支持1 x 32bit LPDDR4/LPDDR4x −DDR4最高速率2666Mbps −LPDDR4/LPDDR4x最高速率2666Mbps −最大容量4GB • SPI Nor/SPI Nand Flash 接口 −支持1、2、4线模式 −SPI Nor Flash支持3Byte、4Byte 地址模式 • eMMC5.1 接口,最大容量 2TB • 可选择从 eMMC、SPI Nor/SPI Nand Flash 启动 |
SDK支持 Linux5.10 SDK 包
|
芯片物理规格• 功耗
−2.5W典型功耗(编码4K30 + 2TOPS) • 工作电压 −内核电压为0.9V −IO电压为1.8/3.3V −DDR4/LPDDR4/LPDDR4x接口电压分别为1.2/1.1/0.6V • 封装形式 −RoHS,FCCSP 15mm x 15mm封装 −管脚间距:0.65mm |