网站介绍：知识蒸馏的核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。本文作者介绍了知识蒸馏的全过程，以及引用Hinton等人的实验结果解释说明，并提出了知识蒸馏的一些延伸工作方向。 0. 写在前面 有人说过：“神经网络用剩的logits不要扔，沾上鸡蛋液，裹上面包糠...” 这两天对知识蒸馏(Knowledge Distillation)萌生了一点兴趣，正好写一篇文章分享一下。这篇文章姑且算是一篇小科普。 1. 从模型压缩开始 各种模型算法，最终目的
- 链接地址：https://www.elecfans.com/d/1453715.html
- 链接标题：深度学习：知识蒸馏的全过程-电子发烧友网
- 所属网站：www.elecfans.com
- 被收藏次数：2436
- 网站标签：模型 神经网络 深度学习
