一、前言

大模型训练的时候想看一些训练指标,比如loss率,epoch等,想看在训练时,是否有产生什么突变之类的。于是找到了swanlab这款强大的MLOps工具。

二、使用方法

不同于教程的使用方法,因为我是transformers框架,所以在transformers框架下是可以使用下面的步骤:导入swanlabcallback库→定义swanlabcallback→在Trainer中写入swanlabcallback
1.在文件开头导入swanlabcallback
2.导入之后另起一行写入
在这个里面可以定义的参数有:project、experiment_name、description等
3.在Trainer写入
 
deepspeed转huggingface格式Python练习-count、remove、append、extend
Loading...