Merge pull request #30 from zhxnlp/patch-2

Update 4.0 基于Hugging Face -Transformers的预训练模型微调.md
2021-09-15 21:27:04 +08:00 · 2021-09-15 21:27:04 +08:00 · a961ed78d5
parent 89cbe65097 760b3fbc27
commit a961ed78d5
1 changed files with 3 additions and 1 deletions
--- a/docs/篇章4-使用Transformers解决NLP任务/4.0
+++ b/docs/篇章4-使用Transformers解决NLP任务/4.0
@ -426,7 +426,9 @@ DatasetDict({
 ###  使用 Trainer API 在 PyTorch 中进行微调
 由于 PyTorch 不提供封装好的训练循环，🤗 Transformers 库写了了一个transformers.Trainer API，它是一个简单但功能完整的 PyTorch 训练和评估循环，针对 🤗 Transformers 进行了优化，有很多的训练选项和内置功能，同时也支持多GPU/TPU分布式训练和混合精度。即Trainer API是一个封装好的训练器（Transformers库内置的小框架，如果是Tensorflow，则是TFTrainer）。

-数据预处理完成后，只需要几个简单的步骤来定义Trainer的参数，就可以使用 Trainer 进行模型的基本训练循环了（否则的话，要自己从头加载和预处理数据，设置各种参数，一步步编写训练循环。自定义训练循环的内容在本节最后）。 
+但是Trainer一开始是不存在的（早期版本并没有），而由于启动训练需要特别多的参数，各个nlp任务又有很多通用的参数，这些就被抽象出来了Trainer。更具体的理解，可以看看多多写的最原始版本的[Trainer代码](https://github.com/huggingface/transformers/blob/master/examples/pytorch/multiple-choice/run_swag.py) 。Trainer就是把训练开始之前需要的参数合并了起来。
+
+数据预处理完成后，只需要几个简单的步骤来定义Trainer的参数，就可以进行模型的基本训练循环了（否则的话，要自己从头加载和预处理数据，设置各种参数，一步步编写训练循环。自定义训练循环的内容在本节最后）。 

 Trainer最困难的部分可能是准备运行 Trainer.train 的环境，因为它在 CPU 上运行速度非常慢。（ 如果您没有设置 GPU，则可以在 Google Colab 上访问免费的 GPU 或 TPU）