new_org
/
learn-nlp-with-transformers
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Update 4.0 基于Hugging Face -Transformers的预训练模型微调.md

This commit is contained in:
老张 2021-09-12 21:42:23 +08:00 committed by GitHub
parent 480b0c80d1
commit 5a81fb57f9
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
docs/篇章4-使用Transformers解决NLP任务/4.0 基于Hugging Face -Transformers的预训练模型微调.md
View File

@ -654,7 +654,7 @@ TrainingArguments参数有几十个，后面章节用到的主要有：
- “step”：每个 eval_steps 完成（并记录）评估 - “step”：每个 eval_steps 完成（并记录）评估
- “epoch”：在每个 epoch 结束时进行评估。 - “epoch”：在每个 epoch 结束时进行评估。
- learning_rate (float, 可选) – AdamW 优化器学习率，defaults to 5e-5 - learning_rate (float, 可选) – AdamW 优化器学习率，defaults to 5e-5
- weight_decay (float, 可选，默认 0) ：如果不是0，就是应用于所有层的权重衰减，除了 AdamW 优化器中的所有偏差和 LayerNorm 权重。关于weight decay可参考[知乎文章](https://zhuanlan.zhihu.com/p/63982470)。 - weight_decay (float, 可选，默认 0) ：如果不是0，就是应用于所有层的权重衰减，除了 AdamW 优化器中的所有偏差和 LayerNorm 权重。关于weight decay可参考知乎文章[都9102年了，别再用Adam + L2 regularization了](https://zhuanlan.zhihu.com/p/63982470)。
- save_strategy (str 或 IntervalStrategy, 可选, 默认为 "steps") ：在训练期间采用的检查点保存策略。可能的值为： - save_strategy (str 或 IntervalStrategy, 可选, 默认为 "steps") ：在训练期间采用的检查点保存策略。可能的值为：
- “no”：训练期间不保存 - “no”：训练期间不保存
- “epoch”：在每个epoch结束时进行保存 - “epoch”：在每个epoch结束时进行保存