随着大数据和人工智能的持续火热,python已连续多年问鼎编程语言流行指数(PYPL)榜单,学校高性能计算中心上的python用户和相关任务也越来越多。今天就来简单介绍下如何快速使用学校高性能计算中心上的python。
高性能计算中心所采用的Centos7操作系统自带了python2.7,但要利用python做数据分析和科学计算往往需要更高版本以及⼀些库如numpy、PyTorch等,相关版本管理以及库/包的安装配置依赖等比较复杂。为了方便大家使用,平台已部署好了Anaconda3这一集成python环境。
1、加载 anaconda
2、配置 anaconda 源
由于学校高性能计算中心没有外网访问权限,因此需要修改anaconda 的默认源为工大的镜像站。linux 系统系用户可以直接修改家目录下的.condarc文件,如果文件不存在,可以通过touch ~/.condarc命令创建,然后将配置文件替换成以下内容:
运行conda clean -i 清除索引缓存,保证用的是镜像站提供的索引。
3、虚拟环境管理
conda的核心功能是包管理和环境管理。包管理与pip的使用方法类似,环境管理则是允许用户方便地安装不同版本的python环境并在不同环境之间快速地切换。
创建好虚拟环境后,可以通过以下命令进入新的虚拟环境。
查看此时的python解释器信息:
一些常用的环境管理命令如下:
4、包管理
conda的另⼀个强大之处在于其包管理功能,通过conda可以非常方便地安装、卸载第三方库,在安装过程中,conda会自动解决相应的依赖关系。
注意:如果这⼀步出现类似下面的错误:
这是由于普通用户没有该目录的写入权限,可以通过新建一个虚拟环境解决。在新建的虚拟环境中,第三方库的安装目录位于用户的家目录之下。
如果出现类似下面的错误:
这说明该第三方库没有收录在默认的channel里,可以到anaconda 的官方网站查找三方库所在的channel,在安装的过程中通过 -c 指定 channel。
5、提交作业
高性能计算中⼼python作业示例脚本 (可保存为submit.sh)
通过以下命令提交、查看、取消任务: