Bohrium 镜像中心
本文介绍 Bohrium 镜像的使用及官方镜像所包含的软件内容。
什么是镜像
镜像是一种文件储存形式,其内包含应用程序运行所需的基础环境等信息。Bohrium 根据用户需求制作了适用于不同开发场景、计算任务的镜像,以满足用户在数据准备、编译调试、任务计算等场景下的即开即用。
如何使用镜像
我想提交计算任务
您可在使用 Bohrium CLI 提交任务时,在配置文件 job.json
的 image_address
字段处填入所需软件所对应的容器镜像地址(下图红框所示)来进行相应的任务计算,镜像地址可在镜像中心内查看。
若我们提供的软件无法满足您的需求,您可参考如何制作自定义镜像,进行自定义软件的安装或者联系 bohrium@dp.tech 获取帮助。
注意:自 2023 年 1 月 1 日起,Bohrium 不再支持使用虚拟机镜像提交虚拟机任务,为保证您的任务可成功提交,请您在提交任务时填写容器镜像并在 job.json
内配置 job_type
字段为 "container" 。
我想进行软件开发/调试
Bohrium 支持开启容器节点,相比于传统的虚拟化技术,容器省去了操作系统的虚拟化,直接在宿主机(Host)的操作系统上封装了应用或服务所需要的环境和依赖,只需数秒即可启动一个新的容器实例,而传统的虚拟化技术需要数分钟。
因此我们推荐您开启容器节点来进行软件的开发、调试、debug 等,您可在开启容器管理节点时,选择对应的容器镜像,如下图所示。您可在镜像中心内查看官方提供的容器镜像和虚拟机镜像。
- 如您想要一个预置了基础环境的空白机,推荐您根据需要的资源类型、是否运行 mpi 等需求,使用以下容器镜像:
资源类型 | 容器镜像地址 |
---|---|
CPU | registry.dp.tech/dptech/ubuntu:20.04-py3.10 registry.dp.tech/dptech/ubuntu:20.04-py3.10-intel2022 |
GPU | registry.dp.tech/dptech/ubuntu:20.04-py3.10-cuda11.6 registry.dp.tech/dptech/ubuntu:20.04-py3.10-intel2022-cuda11.6 |
如您想要对 Bohrium 已有科学计算软件进行自定义或运行 DPGEN 任务,则可根据镜像名称,使用对应的容器镜像开启管理节点。
由于容器节点本身已经是 docker 环境,暂时不支持在其上再创建 docker 环境。如果您有进行 docker 开发的需求,例如需要自己构建 docker 镜像,或者需要拉取 docker hub 上别人的镜像,请您使用虚拟机镜像
LBG_Common_v2
开启虚拟机管理节点进行开发。
Bohrium 提供的镜像
用于提交计算任务
下方列出了 Bohrium 已预置的科学计算软件中的一部分,更多软件请至镜像中心内查看:
- DeePMD-kit
- DPGEN
- VASP:需获得VASP授权,请邮件发送您的VASP授权凭证到 bohrium@dp.tech 邮箱
- LAMMPS
- GROMACS
- Quantum-Espresso
- ...
用于进行软件开发
在 Bohrium上 进行软件开发、编译、调试等对灵活度有更高要求的工作,可在启动管理节点时,使用基础公共容器镜像,其中已打包了开发常用软件:
任务类型 | 容器镜像地址 |
---|---|
CPU | registry.dp.tech/dptech/ubuntu:20.04-py3.10 registry.dp.tech/dptech/ubuntu:20.04-py3.10-intel2022 |
GPU | registry.dp.tech/dptech/ubuntu:20.04-py3.10-cuda11.6 registry.dp.tech/dptech/ubuntu:20.04-py3.10-intel2022-cuda11.6 |
Bohrium 官方提供的全部镜像内均已预置以下软件:
软件分类 | 预置软件 |
---|---|
Python 相关 | python3.10 pip Anaconda Jupyter Lab:强大的 Notebook 工具 |
文件管理 | wget,curl:文件下载工具 unzip:文件解压工具 emacs,vim:文件编辑工具 rsync:文件同步工具 tree:查看目录结构工具 git:版本管理工具 |
编译工具 | cmake build-essential:gnu编译工具 |
系统监控 | htop:监控工具 ncdu:用于查看目录大小 net-tools:网络工具 |
DP系列 | Lebesgue Utility:Bohrium 开发的用于资源管理、任务管理、项目监控等功能的命令行交互工具 Dp-Dispatcher:声明高性能计算作业、计算环境和计算资源,自动完成作业生成、提交、轮询和回收的全流程 Dpdata:科学计算格式转换工具 |
部分镜像内单独预置了某些软件,如 Intel-oneapi、Pytorch、TensorFlow等,会体现在镜像地址内,您可根据实际需求进行选择。例如:registry.dp.tech/dptech/ubuntu:20.04-py3.10-intel2022
内即预置了 Intel-oneapi。
如何制作自定义镜像
若我们当前提供的公共容器镜像无法满足您的需求,您可进行自定义容器镜像的制作,或联系 bohrium@dp.tech
获取帮助。
如何将镜像拉取到本地docker
目前支持通过 docker cli 拉取 Bohrium 的公共镜像和本人的自定义镜像(别人分享的不支持)
访问地址
registry.bohrium.dp.tech (Bohrium 镜像菜单处直接复制的registry.dp.tech域名是不支持的,请手动替换!)
使用方式
- Docker login:使用 bohrium 的登录账号和密码 登录
docker login registry.bohrium.dp.tech
Username: xxx@dp.tech
Password:
Login Succeeded
- Docker pull: 拉取bohrium 公共镜像
docker pull registry.bohrium.dp.tech/dptech/ubuntu:22.04-py3.10-intel2022
- 暂不支持 push 操作