背景
最近学习一下deeplearning发现了一门纽约大学lecun教授的网上课程DEEP LEARNING ,资料比较详实,还有github上的“学习笔记仓库”pytorch-Deep-Learning 。教学用的是pytorch,按照“学习笔记仓库”的指导第一步我们需要安装使用anaconda,这里它推荐使用miniconda3。
按照“学习笔记仓库”的REAME指引,到anaconda官网下载安装miniconda3,然后创建一个虚拟环境(pDL),我们在里面学习用。问题是创建这个环境要下载好多的库,而且有几个库的体积都比较大,由于没有科学上网的原因,这下载速度太捉急了,每次下了一点就退出。咋办???百度一搜,用国内的清华的源或者中科大的源。又有人说清华的源蹦了,不晓得呦,那就用中科大的源吧。附中科大源使用指导Anaconda 源使用帮助。奈何有几个大的库下载速度还是好慢。
咋办啊,突然想起来自己还有vultr的账号,创建一台“服务器”,根据“学习笔记仓库”的README步骤三下五除二,10分钟之内就搞定了,哎不得不说一句,这真是让人愤慨啊。。。
既然在“服务器”上我们已经安装配置好环境了,虚拟环境pDL依赖的库也都现在安装好了。那么我们把这些库拷回来用吧。呵呵,用scp嘛,慢的很,平均200kBps。那咋办,曲线救国。
如何从“服务器”快速下载文件
- 开通一个google drive云盘
- 在“服务器”上部署rclone,用rclone将他们传到google drive云盘上(虽然看不到上传速度,但我约莫着起码有几MBps吧,速度还是很快的)
- 然后申请一个cloudflare workers账号,在上面部署GDindex,如何做,往下看
- 参考GDindex 的说明“简单,自动的方法”,会生成GDindex的一份代码,把它拷贝下来
- 再cloudflare workers上创建一个worker,把代码粘贴进去,运行一下,弹出一个界面,我们这一通过这个界面来上传或者下载文件到google drive云盘
通过cloudflare workers上部署的GDindex来下载google drive的文件,一版能达到1.5MBps左右(这里我是通过迅雷来下载的)。能达到这种速度的原因是,cloudflare workers在国内有服务器,goole drive国内就没有了。
给anaconda添加本地channel
conda默认使用的channel是"default"也就是Anaconda官方的源,为了加速下载我们也使用了中科大的源。现在我们想要使用本地的源(channel)。该怎么把刚才我们费了半天劲从“服务器”上爬下来的库做成本地源呢。很简单,按照Anaconda的官方说明,几步就可以搞定。附参考链接Creating custom channels
这里要注意一点,你需要把下载下来的pkgs(.tar.bz2和.conda结尾的文件)添加到你的本地channel路径下,譬如:
/home/yourname/conda_local_channels/linux-64
名字随便起,但是注意这个"linux-64"(或者你的是其他平台),这个一定要加,我刚开始都放在conda_local_channels下面就不行。
按照说明一步一步来,检查一下本地源都创建好了。接下来把本地源添加到配置中去,这样就可以解决下载包慢的问题了(官方源和国内镜像源,国内镜像源由于同步不及时,有些库下载不到)。如果需要其他新的库,先下载到“服务器”上,再通过前面说的爬到本地,conda index重新刷新下本地源就行了。
我现在的.condarc配置
channels:
- file:///home/steve_liu/myutils/miniconda_local_channels/
- https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
- https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
- https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
- https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
- https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
接下来就可以用jupyter看笔记了。