前言 在掌握了基础的 HuggingFace API 和模型调用后，真正动手训练大模型时，你最先撞上的往往不是算法复杂度的墙，而是物理硬件的墙。下面我将为你详细拆解大模型训练的难点、计算与显存效率的底层逻辑，以及如何通过低精度技术和 HuggingFace 的下载加载机制来跨越这些障碍。 大模型训练的难点是什么？计算效率与显存效率 显存效率 (Me…

前言 基于第一章：计入入门篇的学习，相信大家已经对HuggingFace训练模型基本流程已经了解了，下面我们基于几个场景来实战演练下~ 基于Transformers的NLP解决方案 在 Hugging Face 生态中，构建一个工业级的 NLP 解决方案绝非仅仅是“加载模型然后预测”这么简单。它是一套极其严密的工程流水线。下面详细列出标准的落地步骤…

前言 在自学了《动手学深度学习》之后想要找一个成熟的框架来进行模型训练实操，利用Pytorch手动引用训练经典模型那样太慢，我们还是要学会站在巨人的肩膀上，最终找到了HuggingFace，但是网上的教程都很零散，没有成体系的教程，自己在学习过程中遇到了很多坑，慢慢的爬到山顶，自己清晰了整个脉络，于是把走过的路总结下，也算给后人留一个地图吧。 本教…

前言 在第二章：实战演练篇，我们已经接触了各种各样的实战例子，在训练过程中或许大家因为设备性能、使用GPU卡的问题从而想要得到结果变得非常漫长，本篇就来给大家介绍下如何使用参数高效微调加快模型训练速度。 参数高效微调简介 什么是参数高效微调 在传统的深度学习中，针对下游任务进行微调通常采用全量微调 (Full Fine-Tuning)，即更新模型网…