type
status
date
slug
summary
tags
icon
password
一、前言
一般的托管平台我知道的有三个：GitHub、modelscope（魔塔社区）、huggingface。
我有一个训练好的模型，大概有4个大的.safetensor文件每个基本5G左右，总共20G，还有些其它零零碎碎小的文件。
今天想把训练好的模型上传到哪里去托管一下，于是就尝试了上述的三个平台。没想到尝试的就是一把辛酸泪啊（TAT）
二、上传过程
1、github平台（上传小文件成功，上传大文件失败）
①上传小文件
一开始我以为GitHub可以将模型上传上去，可是上传了好几次都说文件内容太大了，不能上传。查询了之后说是要使用lfs（这个很重要，到后面会经常使用）
所以先上传小文件。但是如何避免上传大文件呢？这里就需要在项目的目录下建立一个.gitignore文件。在.gitignore文件里面写入忽略文件的相对路径（我尝试了一下绝对路径，但是不知道为什么不成功。我改成相对路径之后才上传成功的。姑且认为是绝对路径不可，但是还是很建议大家尝试一下绝对路径）
.gitignore例如:
debug/tflearn.data-00000-of-00001.safetensor
debug/Trained_Model/zeromq_python.exe
这样就忽略了两个文件
然后使用git add .
git commit -m “XXX”
git push
在必要的时候还可以使用git remote add origin XXX.git 来连接远程仓库
②上传大文件
将.gitignore删除掉或者将里面忽略的文件注释掉
上传大文件首先要安装lfs：
git install lfs
出现“Git LFS initialized”则代表安装成功
然后利用lfs进行大文件的追踪：
git lfs track “大文件相对路径”
例如：
git lfs track “debug/tflearn.data-00000-of-00001.safetensor“
git lfs track “debug/Trained_Model/zeromq_python.exe”
查看添加的大文件（这一步我用命令没有查看到）：
git lfs ls-files
但是我是直接在.gitattributes里面找到的
然后就是正常的git add .
git commit -m “XXX”
git push
但是最后因为我的模型文件实在是太大了，所以到最后我也没有上传成功
参考资料：
2、modelscope（完全失败）
我是真菜啊，按道理说这个是最好使用的，我下载模型啥的都是从这里下的，他甚至还给了两种方法让我上传，我都上传不上去啊
① 使用Python SDK上传（我未成功！！！）
参考资料：
③ 使用git方法
这个方法首先在modelscope里面创建一个新模型（不详说创建过程了，网上都有）
然后使用git clone到自己的本地上，得到的文件夹我们称之为AB；再将模型文件全部放到AB里面；在AB里面git lfs install；git add .；git commit -m “XX”；git push
这种不能说是失败了，上传的网速是真的慢200k/s，20G的文件……
参考资料：
3、huggingface（完全成功）
其实步骤和modelscope使用git方法一致，但是网速非常好。上传的速度很快。但是还是有几个点需要注意一下。
- 在huggingface申请token
这里需要注意，要将可写的权限圈上，不然上传不了！
2.登入huggingface：
huggingface-cli login
在提示下输入token
3.新建一个模型文件EF，克隆仓库到本地
git lfs install
git clone https://hf-mirror.com/username/EF
在本地会生成一个EF的文件夹
4.将模型文件放到EF文件夹中
cp 是复制（copy）命令。
-r 选项意味着递归复制，用于复制目录及目录内的所有内容。
/path/to/source/folder/* 指定源目录下的所有文件和子目录。星号（*）是通配符，代表匹配该路径下的所有文件和子目录。
/path/to/destination/folder/ 是目标目录，所有源目录中的文件和文件夹将被复制到这个位置。
5.使用git lfs track “”来追踪大文件
6.提交推送更改
最后就是推送成功啦！！！！
参考资料：
- 作者:JucanaYu
- 链接:https://jucanayu.top/article/1677ab71-7095-8013-af22-f53ad081877a
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
