从零到一，自研引擎NAWA Engine：Soul如何打造Z世代的「社交元宇宙」？

最近常听到一句话：「比起社交，这届年轻人更喜欢独处。」

对比以前，现在越来越多的年轻人称自己是「社恐」，但这种症状或许仅出现在熟人社交环境中。与此同时，以「兴趣」为切入点的社交玩法越来越受到欢迎，这也造就了一批代表性的兴趣社交产品，「Soul」就是其中之一。

这款上线至今约六年的社交App，已经成为Z世代群体中的热门应用。为了帮助用户打造沉浸式的社交体验，Soul上线了超萌的捏脸功能，用户可根据自身喜好与创意DIY头像。之后，Soul也没有局限于平面的头像展示，继而上线了基于3D Avatar的3D捏脸，功能更加沉浸、丰富、有趣。

令人好奇的是，这些趣味3D「捏脸」功能的幕后，是怎样的技术解决方案在支撑？

最近，Soul 正式对外发布了自研引擎NAWA Engine(以下简称NAWA)，同时介绍了3D捏脸系列功能幕后的技术自研路径。

NAWA的名称来自于「女娲」的谐音，取之「造人」的典故与Soul捏脸功能有异曲同工之妙。该引擎源于Soul自研图像和图形渲染技术能力和美术设计能力，是一个集AI、渲染与图像处理于一体的集成化SDK，输出包含Avatar表情驱动、美妆美颜、卡通化等十余种图像处理与2D/3D渲染能力，同时开发了匹配的编辑器，进行个性化生产。

在上线的最初几年，Soul App的一些功能，比如捏脸场景、视频场景等，都是由第三方供应商提供技术服务。对于Soul来说，又为什么会选择自研这款NAWA引擎？

事实上，随着用户规模的不断增长，Soul的场景化、个性化表达效果越来越难以被满足。当时，Soul技术团队面临两条路线：第一，与第三方服务商一起实现我们的需求；第二，自己投入资源启动研发，从零开始构建手机端引擎。

最终，团队选择了第二条路线。「当时，我们非常清楚，如果选择自研这条路，可能在很长一段时间内也无法替换掉第三方。这意味着既要采购服务，也要有自研投入，总体投入是double的，但最终我们还是选择了自研。」Soul CTO、NAWA项目负责人陶明表示，「NAWA是一个技术项目，大家在对技术项目进行评估的时候，往往会高估技术项目或者技术服务在短期的价值体现，也会低估技术服务在中长期的价值贡献。基于两个出发点，一是给用户带来更智能的端上体验，二是在Soul上提供更多、更个性化的虚拟人设供用户选择，哪怕需要double的投入，我们还是希望自研NAWA引擎。」

对于当时处于NAWA项目初期的Soul来说，不管是在图像、渲染、交互还是美术材质上，自身技术储备都是空白的。其中最难的还是运行在端上的算法搭建，而一些业内的通用解决方案难以适用于Soul的业务场景需求。以人脸识别为例，相比于一般的短视频内容生成，Soul App的使用场景对人脸识别和人脸追踪的连续性要求更高。在研发过程中，Soul在这方面投入了大量的人力，特别是针对端上的人脸识别能力做了很多优化工作。

另外，从设计上，NAWA进行了几点创新：首先，NAWA对虚拟原型进行了重构，包括结构、布线、UV等，让虚拟形象具备多维度捏脸系数与生动的表情成为可能。其次，NAWA支持嘴形、舌头、眼睛的多点位识别，增加到了56个BS点位识别；同时将捏脸系数增加到了74个维度，让用户可以自由创造出风格迥异的专属形象，在虚拟世界里「打造」另一个自己。

而在美术风格方面，3D捏脸延用了产品中「超萌捏脸」的2D头像原型进行3D化设计，将亚洲人的容貌特征与可爱的特性相结合。

据NAWA引擎技术负责人甘启介绍，目前，NAWA引擎已经涵盖了一系列底层的CV能力和渲染CG能力，以及依托这些能力构建了交互场景，同时包装成整体的SDK解决方案。

首先是2D部分，NAWA引擎的技术能力包括触发、风格化滤镜、调色滤镜、全景模糊、人像美化、贴纸、镜头等特效，此外还具有一些底层的图像处理AI能力，比如基础的人脸分点框架、人脸关键点的检测等。

独具特色的是，考虑到站内用户中相当一部分人是「铲屎官」，技术团队还研发了专属的「猫脸检测」功能，主要针对猫的脸部轮廓和五官点（包含两个瞳孔点）。

猫脸检测特效示例

目前，NAWA已经实现在图像风格化的过程中可以用少量数据，以较快的速度构建食物、风景、不同风格人像以及统一风格下不同偏向性人像的基础功能，这些能力未来也将体现在App的功能上。

在2D技术的基础上，技术团队又开发了CG渲染、动画、场景调节、材质与灯光渲染等相关的3D能力，让3D形象的生成更加生动、可爱、有趣。

相比之下，3D Avatar整体能力更为关键。团队从稳定性、效果、效率这三个方面入手，评估3D Avatar的实现水平：

「在交互的过程当中，用户会戴着头套说话，一旦掉帧就是体验的灾难。所以，我们非常关注稳定性，不管是在研发还是测试的阶段，我们都把它当做非常重要的指标。」

其次是效果，在实际交互过程中，Soul希望通过虚拟头套或者贴纸等功能，将用户线下细微的表情、情感原原本本地传输到线上，这对效果实现提出了很高的要求。基于Avatar场景，NAWA引擎引入了核心的表情计算能力，维度越多，能捕获的表情就更加精细，用户的交互也就更加有趣生动，即使是微表情也能被get到。同时，受限于网络输送和手机端本身处理的能力，掉帧问题很难彻底规避，NAWA引入了表情预测能力，让呈现效果更加平滑。

最后是效率问题，Soul App的UGC比重较高，但在品牌引导层面仍会有少量PGC，不管是用户创作的效率还是平台创作的效率，都是3D Avatar要兼顾到的。「目前，在很多平台上需要花费一整天的PGC内容，在Soul App上可能几十分钟就能做出来。」

最关键的是，这些算法都要运行在手机端上。在初期借鉴了业内开源解决方案的基础上，考虑到不同品牌、型号的手机在算力上存在较大差异，团队选择了轻量级的模型结构，同时在此基础上进行了大量的加速工作，并通过变形计算和优化方式提升渲染效果，从而保证在绝大部分的手机上都有比较流畅的使用体验。

后续，团队也会针对不同的手机端做相关的分级，让旗舰机或者更好的手机实现更好的呈现效果，同时在中低端手机上也能保证使用流畅度和基础效果。

在Soul技术团队的定位中，现在或者未来很长时间内的NAWA，可能都不是一个通用型的解决方案。未来，NAWA还将基于Soul业务本身的发展，不断完善和优化技术细节，在实时交互方面输出解决方案，或者输出特定产品的技术处理细节。

走上从零到一的技术自研之路，Soul还有更长远的目标。

2021年3月，Soul率先在行业内宣布构建以Soul为连接的「社交元宇宙」，其自身也曾被定义为「最接近元宇宙的社交平台」。

在Soul App中，用户可以打造属于自己的虚拟形象，构建自己的人设，获得流量分发和经济收益，通过自我的打造去连接兴趣相投的Souler、产生互动表达，获得多元真实的反馈。从这个角度看，Soul从一开始就在持续构建一个「平面的、逻辑的元宇宙」。

接下来面临的命题是，如何在现有的手机终端上连接虚拟和现实，将这一初具轮廓的「元宇宙」勾勒得更生动、更具沉浸感？

显然，NAWA就是最关键的答案，但它可能还需要一个进化的过程。。

从早期单纯的业务交付支撑到现在的业务驱动，这六年内，团队增加了很多技术领域的布局与提升。在整体规划上，Soul技术团队每年都在加大中长期技术建设，比如研发体系建设、基础设施与工程建设和持续的算法投入等等，特别是在元宇宙相关技术层面。

「从最开始的脸部解决方案到头部解决方案，再从头部到半身、全身的解决方案，我们会不断扩展图像渲染能力和端上AI场景的感知能力。」陶明表示，NAWA将会作为Soul整体元宇宙技术的底座，在未来，技术团队还将围绕NAWA引擎构建基于人、场景交互的一体化解决方案，融入到元宇宙业务构想之中。