21AP10超高清智能网络录像机SoC

总体介绍

• 21AP10是面向市场推出的专业超高清智能网络录像机SoC. 该芯片支持多达四个传感器输入, 4K60 ISP图像处理能力, 3宽动态, 多级降噪, 六轴防抖, 硬件拼接, 以及其他图像增强和处理算法, 为用户提供优秀的图像. 处理能力.
• 21AP10内置四核A55, 提供高效的, 富有的, 灵活的CPU资源，满足客户计算和控制需求——集成单核MCU，满足某些高低延迟要求的场景.
• 21AP10集成了高效的图像分析工具推理单元, 高达 10.4Tops INT8, 并支持业界主流图像分析工具框架. 还内置双核Vision DSP，满足部分客户差异化的CV计算需求.
• 21AP10采用先进的12nm低功耗工艺和0.65pitch封装, 并支持LPDDR4/LPDDR4x/DDR4颗粒，满足客户应用的产品小型化设计和快速量产.
• 21AP10提供的稳定易用的SDK设计可以支持客户’ 快速产品量产.

主要特点

• 智能加速:
  • 10.4顶级INT8双NN加速引擎
  • 双核Vision Q6的DSP处理
• 4K60编解码器:
  • 支持4K60 H.265/H.264编码
  • – 支持 10 1080p30 H.265/H.264 解码通道.
• 支持4路4M实时拼接: 支持4路4Mp30机内实时硬化拼接.
• 高速接口: 支持USB3.0和PCIe2.0高速接口.
• 小包装: 采用23mm x 23mm FC-BGA封装.

主要特点

处理器核心

• 四核 ARM Cortex A55@1.4GHz
  • − 32KB I 高速缓存，32KB D 缓存/512KB L3 缓存
  • − 支持Neon加速，集成FPU处理单元● 内置32位MCU@500MHz
  • − 32KB I 高速缓存，32KB D 高速缓存/64KB TCM
  • 支持信任区

智能视频分析

• 图像分析加速引擎, 高达10.4Tops@INT8算力
  • 双核异构引擎
  • 发动机 1: 支持4.8Tops算力, 支持INT4/INT8/FP16
  • 发动机 2: 支持5.6Tops算力和INT8/INT16−
  • 支持完整的API和工具链, 方便客户开发
• 双核Vision Q6 DSP
  • 32K I 高速缓存 /32K D 高速缓存 /32K
  • IRAM/320K DRAM
• 内置智能计算加速引擎
• 内置双目深度加速单元
• 内置矩阵计算加速单元

视频编解码器

• H.264 BP/MP/HP
• H.265 主要简介
• H.264/H.265 编解码器最大分辨率为 8192 X 8192
• H.264/H.265编码支持I/P帧
• H.264/H.265多码流编码能力:
  • 3840 x 2160@60fps + 1280×720@30fps
  • 7680 x 4320@15fps
• H.264/H.265/MPEG-4多码流解码能力:
  • 3840 x 2160@60fps + 1920×1080@60fps
• 支持预编码 OSD 覆盖最多 8 地区
• 支持CBR/VBR/AVBR/FIXQP/QPMAP等多种码率控制模式
• 最大输出码率160Mbps
• 支持 8 感兴趣的区域 (投资回报率) 编码
• 支持 JPEG 基线编解码器
• JPEG编解码器最大分辨率16384×16384
• JPEG 最大性能
  • 编码: 3840 x 2160@60fps (YUV420)
  • 解码: 3840 x 2160@75fps (YUV420)

视频输入接口

• 支持8-Lane图像传感器串行输入, 支持MIPI/LVDS/Sub-LVDS/HiSPi多种接口
• 支持2种等多种组合×4-车道或4×2-车道, 并支持高达 4 传感器串行输入
• 最大分辨率 8192 X 8192
• 支持 8/10/12/14 位RGB拜耳DC定时视频输入, 时钟频率高达 150MHz
• 支持BT.601, BT.656, BT.1120视频输入接口
• 支持主流CMOS级热像传感器

数字图像处理 (互联网服务供应商)

• ISP支持时分复用处理多个传感器输入视频
• 支持3A (自动曝光/自动白平衡/自动对焦) 功能, 3用户可调节控件
• 支持固定模式噪声 (FPN) 移动
• 支持坏点校正和镜头阴影校正;
• 支持最多三帧 WDR 和高级本地色调映射
• 支持多级3D去噪, 图像边缘增强, 除雾, 动态对比度增强等处理功能
• 支持3D-LUT色彩调整
• 支持镜头畸变校正和鱼眼校正
• 支持 6-DoF 数字图像稳定和滚动快门校正
• 支持镜像, 翻动, 90 度/270度旋转
• 提供PC端ISP调整工具
• 支持超灵敏降噪 (汉诺威)

视频和图形处理

• 支持图形图像1/15.5~16倍缩放功能
• 最大支持4路视频全景拼接
  • 输入 2 频道 3840×2160, 输出4320×3840
  • 输入 4 频道 2688×1520, 输出6080×2688
• 支持视频层和图形层叠加
• 支持色彩空间转换

视频输出

• 支持HDMI2.0接口输出
• 支持4-Lane Mipi DSI/CSI接口输出, 高达 2.5Gbps/通道
• 内置模拟SD CVBS输出
• 支持 8/16/24 位RGB, BT.656, BT.1120和其他数字接口
• 支持 2 独立高清视频同时输出
  • − 支持任意两个接口无源输出
  • − 其中一个通道可以支持PIP (画中画)
• 最大输出容量4096×2160@60fps + 1920×1080@60fps

音频接口和处理

• 内置音频编解码器, 支持16bit语音输入输出
• 支持I2S接口
• 支持多路时分复用传输模式 (时分复用)
• 支持HDMI音频输出
• 通过软件实现多协议语音编解码
• 支持音频3A (AEC/ANR/ALC) 处理
• 支持G.711/G.726/AAC等. 音频编码格式

安全隔离和发动机

• 支持安全启动
• 支持基于Trust Zone的REE/TEE硬件隔离解决方案
• AES对称加密算法的硬件实现
• RSA2048/3072/4096签名验证算法的硬件实现
• 硬件实现基于HASH的SHA/256/384/512和HMAC_SHA256/384/512算法
• 随机数发生器的硬件实现
• 集成30Kbit OTP存储空间供客户使用

网络接口

• 2 千兆位以太网接口
  • 支持RGMII和RMII接口模式
  • 支持TSO, 飞碟, 卓越中心, 和其他加速单位
  • 支持巨型帧

外围接口

• 支持上电复位 (经过) 和外部输入复位
• 集成 4 通道 LSADC
• 多串口, 一世²C, SPI, GPIO接口
• 2 SDIO3.0接口
  • SDIO0支持SDXC卡, 最大容量2TB
  • SDIO1支持对接wifi模块
• 2 USB3.0/USB2.0接口
  • 仅 USB0 主机接口
  • USB1 主机/设备可切换
• 2-Lane PCIe2.0高速接口
  • 支持RC/EP模式
  • 可配置为 2 通道 PCIe2.0
  • 可配置为 1 通道 PCIe2.0 + USB3.0

外部存储器接口

• ● DDR4/LPDDR4/LPDDR4x 接口
  • 支持 4 x 16位DDR4
  • 支持 2 x 32 位 LPDDR4/LPDDR4x
  • DDR4最高速度3200Mbps
  • LPDDR4/LPDDR4x最大速率3733Mbps
  • 最大容量8GB
• SPI Nor/SPI Nand Flash 接口
  • 支持 1, 2, 4-有线模式
  • SPI Nor Flash 支持 3Byte 和 4Byte 地址模式
• NAND闪存接口
  • 支持SLC, MLC异步接口设备
  • 支持2/4/8/16KB页面大小
  • 支持8/16/24/28/40/64位ECC (以 1KB 为单位)
• eMMC5.1接口, 最大容量2TB
• 从 eMMC 中选择, SPI Nor/SPI Nand 闪存,
• NAND 闪存或 PCIe 从芯片启动

SDK

• Arm CPU支持Linux SMP
• DSP/MCU支持LiteOS

芯片物理规格

• 能量消耗
  • 5.2W 典型功耗 (4K30 + 4最高额)
• 工作电压
  • 核心电压0.8V
  • IO电压为1.8/3.3V
  • DDR4/LPDDR4/LPDDR4x接口电压分别为1.2/1.1/0.6V
• 封装形式
  • RoHS指令, FC-BGA 23mm x 23mm 封装
  • 引脚间距: 0.65毫米

功能框图

首字母缩写词和缩写词

3DNR三维降噪
AAC高级音频编码
AE自动曝光
AEC 声学回声控制
AES高级加密标准
AF自动对焦
ALC自动电平控制
ANR自适应降噪
API应用编程接口
AVBR自适应可变比特率
AVS任意视图拼接
AWB自动白平衡
CAC色差校正
CBR 恒定比特率
CMOS 互补金属氧化物半导体
计算机视觉简历
编解码器 编码器/解码器
CSI相机串行接口
直流数码相机
DCI动态对比度改善
DDR双倍数据速率
DDRC 双数据速率控制器
DIS数字图像稳定
DPU深度处理单元
DSI 显示串行接口
DSP数字信号处理器
ECC纠错码
eMMC嵌入式多媒体卡
EP端点
FCCSP 倒装芯片尺寸封装
FPN 固定模式噪声
FPU浮点单元
GE千兆以太网
GMAC 千兆位以太网媒体访问控制器
GPIO通用输入/输出
GUI图形用户界面
HD高清
HiSPI 高速串行像素接口
一世 2 C内部集成电路
一世 2 S IC间声音
ISP图像信号处理器
IVE智能视频引擎
LCD液晶显示屏
LGDC镜头几何畸变校正
LPDDR 低功耗双倍数据速率
LSADC 低速模数转换器
LUT查找表
LVDS 低压差分信号
MAU矩阵运算单元
MCU微控制器单元
麦克风麦克风
MIPI移动工业处理器接口
NR降噪
OSD屏幕显示
OTP一次性编程
PCIe 外围组件互连 Express
PIP 画中画
POR 上电复位
PWM脉宽调制
RAM 随机存取存储器
RC根复合体
RGB红绿蓝
RGMII 简化的千兆位媒体独立接口
RMII 简化的媒体无关接口
RoHS有害物质限制
ROI 感兴趣区域
RSA Rivest-Shamir-Adleman
RNG 随机数生成器
SD 安全数字
SDIO 安全数字输入/输出
SDK软件开发包
SDRAM同步动态随机存取存储器
SDXC 安全数字扩展容量
SMP 对称多处理
SoC片上系统
SPI串行外设接口
TDM时分复用
每秒万亿次操作数
TSO TCP 分段卸载
TX 发送
UART通用异步接收发送器
USB 通用串行总线
VBR可变比特率
VI视频输入
VO视频输出
VQE语音质量增强
WDR 宽动态范围