什么是轻量级神经网络？

首先，什么是轻量级神经网络？

在我的另一篇博客中有详细的学习记录（在CSDN上写的，暂时还没有迁移到zhihu上来）：

简单来说，轻量级神经网络就是一个较轻的模型，其拥有不差于较重模型的性能，从而实现硬件友好型（hardware-friendly）的神经网络。这里的轻重通常指模型的规模/参数量。常用的轻量化神经网络的技术有：蒸馏、剪枝、量化、权重共享、低秩分解、注意力模块轻量化、动态网络架构/训练方式、更轻的网络架构设计、NAS（神经架构搜索）、硬件支持等等。每一种技术都是一片广阔天地，在近年来，有非常多精致的设计去实现神经网络轻量化。

下面是我对知识蒸馏的详细学习笔记（同样还没从CSDN迁移到zhihu上）：