deeplearning学习笔记之-----anaconda的安装使用

本文介绍了一种利用海外服务器和云存储技术,如GoogleDrive和CloudflareWorkers,加速下载和安装DeepLearning相关库的方法,特别适用于网络受限的环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

最近学习一下deeplearning发现了一门纽约大学lecun教授的网上课程DEEP LEARNING ,资料比较详实,还有github上的“学习笔记仓库”pytorch-Deep-Learning 。教学用的是pytorch,按照“学习笔记仓库”的指导第一步我们需要安装使用anaconda,这里它推荐使用miniconda3。

按照“学习笔记仓库”的REAME指引,到anaconda官网下载安装miniconda3,然后创建一个虚拟环境(pDL),我们在里面学习用。问题是创建这个环境要下载好多的库,而且有几个库的体积都比较大,由于没有科学上网的原因,这下载速度太捉急了,每次下了一点就退出。咋办???百度一搜,用国内的清华的源或者中科大的源。又有人说清华的源蹦了,不晓得呦,那就用中科大的源吧。附中科大源使用指导Anaconda 源使用帮助。奈何有几个大的库下载速度还是好慢。

咋办啊,突然想起来自己还有vultr的账号,创建一台“服务器”,根据“学习笔记仓库”的README步骤三下五除二,10分钟之内就搞定了,哎不得不说一句,这真是让人愤慨啊。。。

既然在“服务器”上我们已经安装配置好环境了,虚拟环境pDL依赖的库也都现在安装好了。那么我们把这些库拷回来用吧。呵呵,用scp嘛,慢的很,平均200kBps。那咋办,曲线救国。

如何从“服务器”快速下载文件

  • 开通一个google drive云盘
  • 在“服务器”上部署rclone,用rclone将他们传到google drive云盘上(虽然看不到上传速度,但我约莫着起码有几MBps吧,速度还是很快的)
  • 然后申请一个cloudflare workers账号,在上面部署GDindex,如何做,往下看
  • 参考GDindex 的说明“简单,自动的方法”,会生成GDindex的一份代码,把它拷贝下来
  • 再cloudflare workers上创建一个worker,把代码粘贴进去,运行一下,弹出一个界面,我们这一通过这个界面来上传或者下载文件到google drive云盘

通过cloudflare workers上部署的GDindex来下载google drive的文件,一版能达到1.5MBps左右(这里我是通过迅雷来下载的)。能达到这种速度的原因是,cloudflare workers在国内有服务器,goole drive国内就没有了。

给anaconda添加本地channel

conda默认使用的channel是"default"也就是Anaconda官方的源,为了加速下载我们也使用了中科大的源。现在我们想要使用本地的源(channel)。该怎么把刚才我们费了半天劲从“服务器”上爬下来的库做成本地源呢。很简单,按照Anaconda的官方说明,几步就可以搞定。附参考链接Creating custom channels

这里要注意一点,你需要把下载下来的pkgs(.tar.bz2和.conda结尾的文件)添加到你的本地channel路径下,譬如:

/home/yourname/conda_local_channels/linux-64

名字随便起,但是注意这个"linux-64"(或者你的是其他平台),这个一定要加,我刚开始都放在conda_local_channels下面就不行。

按照说明一步一步来,检查一下本地源都创建好了。接下来把本地源添加到配置中去,这样就可以解决下载包慢的问题了(官方源和国内镜像源,国内镜像源由于同步不及时,有些库下载不到)。如果需要其他新的库,先下载到“服务器”上,再通过前面说的爬到本地,conda index重新刷新下本地源就行了。

我现在的.condarc配置

channels:
  - file:///home/steve_liu/myutils/miniconda_local_channels/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
  - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true

接下来就可以用jupyter看笔记了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值