个人博客:Sekyoro的博客小屋
个人网站:Proanimer的个人网站
跑深度学习的时候,一些数据集比较大,比如60多个G,而且只是训练集.
然后这些数据是由某些实验室组采集的,并不像一些大公司搞的,一般都直接方法一些网盘中.
如果是谷歌网盘,本身通过代理也不麻烦,但是发现即使通过代理,下载的速度也非常慢,如果频繁下载还会被限制.
这里给一个方法,通过租赁廉价服务器下载谷歌云盘的数据集,然后自己再通过公网下载.速度要快一些.
我通过IDM下载谷歌云盘上的大型数据集时速度低的时候可能才五六百KB,
使用这种方法20多G的数据40s左右下载到服务器上
然后搭个nginx,再下回国内.速度6M左右.不会像谷歌云盘那样限速
基本方法
下载到服务器
方法基本想法就是海外服务器下载谷歌云盘上的数据更快(哪怕你用了代理),利用vu