第 1 阶段也可以称为传感器融合的前端。根据传感器和感兴趣的信息，应用不同的数字信号处理算法。对于语音，这可能是计算梅尔频率倒谱系数 (MFCC)，其应用傅里叶变换和其它各种 DSP 操作从语音信号提取频谱特征。数据将以整数格式，很可能以 16 位表示。

对于摄像头，它是具有图像缩放、色彩空间转换、过滤或特征检测等功能的图像信号处理。此处数据表示为像素，数据格式为 8 比特，最多 16 比特。

最后，对于雷达，此类前端处理包括范围和速度 FFT 以及用于阈值的恒定虚警率 (CFAR)。由于动态范围和精度要求，数据类型为半精度或全精度浮点。

第二阶段是信息结合（后端处理）。要使用的算法与应用息息相关。任务可以包括对象检测、识别、跟踪以及预测，例如，使用诸如卡尔曼滤波的递归估计器。可以应用基于 AI 的机器学习算法以及线性代数操作。当然，数据类型将非常依赖于算法。

由于这些特定但不同的要求，传感器融合需要一款满足下列关键要求的数字信号处理器 (DSP)。

算法和数据类型在很大程度上取决于应用。因此，DSP 架构必须支持丰富的指令集，以便高效实现不同的算法，并特别关注 FFT 或线性代数等性能关键型操作。DSP 必须支持不同精度的整数和浮点数据类型。

这种 DSP 需要成为合格的灵活计算资源，这意味着它需要能够执行通常与 DSP 相关联的“经典”过滤操作，以及机器学习和计算机视觉算法。

为了避免一次性投资，可扩展性是关键。虽然对不同传感器的要求不同，但对于不同设计的所有信号处理要求，非常希望使用相同的基准架构，以限制系统集成工作，并最大限度地提高整体软件开发效率。可扩展性让设计师能够选择配置，从而为目标应用提供最佳 PPA。

可扩展性不仅仅关乎硬件。针对特定架构进行内核优化，是软件方面的一项重大投入。重要的是，此类软件可以在这些 SoC 上重复使用，从而能够重复使用不同版本的 SoC（例如低端/中端/高端版本）。

就性能/功耗/面积而言，有诸多方面可进行优化。从性能开始，它关乎核心本身的循环效率（即执行特定功能所需的循环次数），以及可用的处理引擎和能够利用这些引擎的 ISA。这直接关系到对数据移动的有效支持，与数据处理并行，然后连接到一组丰富（最好是可配置的）接口，例如，将加速器和外围设备直接连接到核心，而不通过系统存储器。

DSP 的最大时钟频率体现出另一方面的性能。它决定 DSP 可以提供多少马力（以每秒周期为单位），但也影响物理 SoC 设计中时序收敛所需的工作量。

低功耗与性能效率以及仅在需要时唤醒某些内核的选项直接相关（如智能家居应用中所述：等待唤醒信息）。

最后，小面积对成本以及漏电有直接影响。

软件开发必须高效，因为对于几乎所有项目来说，大笔的投资（以及相关人员）都耗费在了软件开发和测试上。这需要一个具有优化编译器的高级编程模型，以及一组丰富的库，其中包含用于滤波、转换（例如 FFT）、矢量数学、线性代数和机器学习的现成优化内核。当然，还需要驱动程序、DMA 处理程序、中断处理程序等低级模块。随着对软件的大量投资，务必要让此类软件可移植到广泛的体系架构选项中，例如，支持不同的向量长度，无需重新编码。