Clussoft高性能软件使用手册.docx
- 文档编号:18181567
- 上传时间:2023-04-24
- 格式:DOCX
- 页数:14
- 大小:329.67KB
Clussoft高性能软件使用手册.docx
《Clussoft高性能软件使用手册.docx》由会员分享,可在线阅读,更多相关《Clussoft高性能软件使用手册.docx(14页珍藏版)》请在冰豆网上搜索。
Clussoft高性能软件使用手册
Clussoft高性能软件使用手册
目录
1Clussoft简介-3-
1.1打印帮助说明-3-
1.2查看所有可用软件包-3-
1.3查看软件组-4-
2软件安装-6-
2.1基本配置-6-
2.1.1设置安装根目录-6-
2.1.2初始化集群环境-6-
2.2根目录结构说明-6-
2.3编译器安装说明-7-
2.4MPI安装说明-7-
2.5数学库安装说明-7-
2.6测试工具安装说明-8-
2.7应用软件安装说明-8-
2.8安装软件组-9-
2.9查看可用软件-10-
3软件使用说明-12-
3.1设置软件环境变量-12-
3.1.1手动加载-12-
3.1.2Moudle管理-12-
3.2clusbench使用说明-12-
3.2.1查看帮助-12-
3.2.2单机Linpack测试-13-
3.2.3整机Linpack测试-14-
3.2.4内存测试-14-
3.3appbench使用说明-15-
3.3.1查看帮助-15-
3.3.2运行lammps测试-15-
4Clussoft开发说明-18-
4.1架构说明-18-
4.2开发说明-18-
1Clussoft简介
Clussoft可以很方便的部署HPC比较流行的软件,目前该功能已集成在Gridview-3.2.*上,为了与Gridview中的统一,我们重新编写了Clussoft,使用方式上与yum比较类似,相比于上一版扩展性更强。
目前,Clussoft提供的自动化软件安装主要分为编译器、数学库、MPI、测试工具和应用软件等五大分类,为了简化安装又从上述几大类软件选取了部分软件分成Applications,base和benchmark三类软件组。
下面就最新版clussoft的使用作详细说明。
打印帮助说明
./clussoft--help#查看基本帮助信息
查看所有可用软件包
./clussoft-a
结果如下图所示:
第一列为软件名称和版本,第二列为软件分组,第三列为安装类型(share为共享安装,安装在共享目录下,如/public;distributed为分布式安装,每个节点安装一份,放在本地磁盘)。
查看软件组
Clussoft提供类似yum组安装方式,可一键完成某个组中所有软件的安装,例如,
./clussoft-L
目前,clussoft分为Applications、base和benchmark三个分组,Applications包含常用应用软件,例如分子动力学、量子化学、开发工具和气象海洋等软件;base包含常用编译器、MPI和数学库等,benchmark包含集群性能测试工具包,如Linpack测试和应用测试。
2软件安装
基本配置
设置安装根目录
软件默认安装目录为/public/software,安装过程若要指定安装目录,可通过-d参数指定软件安装根目录路径,例如,
./clussoft-dpath-to-install/
注意:
要保留指定目录下最上级目录下的.gridview目录,切勿删除,该目录有安装软件的记录文件。
初始化集群环境
本节将要安装集群批量管理工具pssh和module,在此之前,准备待部署的集群节点列表nodelist,执行命令,
./clussoft-pnodelist
执行成功后,将会在nodelist中所含节点上部署module管理工具,方面应用程序环境变量管理。
根目录结构说明
Clussoft根据软件分类会在根目录生成相对应的次级目录,例如,根目录为/public/software,则其根目录包含以下次级文件夹,
appsbenchmarkcompilermathlibmodulesmpiprofile.d
其中,apps对应着应用软件的存储目录,benchmark对应着测试工具的存储目录,compiler为编译器安装目录,mathlib是各种数学库的安装目录,modules存储已安装应用软件的module配置文件,mpi是各种MPI实现的安装目录,profile.d包含所有已安装软件的环境变量配置文件。
编译器安装说明
Clussoft集成对Intel编译器和GNU编译器的自动化部署。
以安装Intel编译器为例,
./clussoft-iintel-2015.2.164
执行成功后,Intel编译器会安装在{根目录}/compiler/intel/composer_xe_2015.2.164/目录下,相应环境变量文件写入{根目录}/profile.d/compiler_intel-composer_xe_2015.2.164.sh。
MPI安装说明
Clussoft集成对IntelMPI,MPICH,MVAPICH,OPENMPI的自动化部署。
以安装Intel编译器编译安装OpenMPI-2.0.0为例,可执行,
./clussoft-iopenmpi-intel-2.0.0##安装Intel编译器编译的OpenMPI
安装成功后,OpenMPI会安装在{根目录}/mpi/openmpi/2.0.0/intel目录下,相应环境变量文件写入{根目录}/profile.d/mpi_openmpi-2.0.0-intel.sh。
数学库安装说明
Clussoft集成对FFTW2/3,GSL,HDF5,HDF,LAPACK,NETCDF等的自动化部署。
以安装双精度FFTW3为例,可执行,
安装成功后,FFTW3会安装在{根目录}/mathlib/fftw/3.3.4/double目录下,相应环境变量文件写入profile.d/mathlib_fftw-3.3.4-double.sh。
测试工具安装说明
Clussoft集成HPL,IMB,i7z,IOZONE,LMBENCH,MPIGRAPH,STREAM等常用测试软件的自动化部署,并集成自动化测试工具appbench和clusbench。
为方便集群性能测试和后期维护,可一键安装所有测试软件,执行
./clussoft-Ibenchmark
执行成功后,所有测试软件会安装在{根目录}/benchmark/目录下。
应用软件安装说明
Clussoft集成分子动力学、量子化学、生命科学、气象环保等开源软件,以及R,Perl和Python开发包的自动化部署,安装前需要下载指定版本的源码包,并上传到Clussoft对应软件的src目录下。
例如,预安装开源量子化学软件OpenMX,
首先,进入OpenMX官方网站http:
//www.openmx-square.org,下载openmx-3.8源码包openmx3.8.tar.gz;
其次,将源码包openmx3.8.tar.gz上传至apps/OpenMX/src/目录下;
最后,执行:
./clussoft-iOpenMX
安装成功后,软件会安装在{根目录}/apps/openmx/3.8/目录下,同时生成一个job.pbs作业提交的脚本文件。
Clussoft所支持的软件包下载地址和指定版本,可查看下表:
软件名称
下载地址
软件版本
Abinit
http:
//www.abinit.org/
abinit-7.10.4.tar.gz
CP2K
https:
//www.cp2k.org/
cp2k-2.6.1.tar.bz2
Gromacs
http:
//www.gromacs.org/
gromacs-5.1.3.tar.gz
Lammps
http:
//lammps.sandia.gov/
lammps-stable.tar.gz(lammps-14May16)
NAMD
请联系曙光工程师
NAMD_2.10_Source.tar.gz
Nwchem
请联系曙光工程师
Nwchem-6.5.tar.gz
Octopus
请联系曙光工程师
octopus-5.0.1.tar.gz
OpenMX
http:
//www.openmx-square.org
openmx3.8.tar.gz
QE(QuantumEspresso)
请联系曙光工程师
espresso-5.4.0.tar.gz
VASP
http:
//www.vasp.at/
vasp.5.4.1.tar.gz
WRF
http:
//www.wrf-model.org/index.php
wrf.3.6.1.tar.gz
ADCIRC
请联系曙光工程师
adc50_99_12.tar.gz
ARPS
http:
//www.caps.ou.edu/ARPS/
arps5.3.4.tar.gz
CMAQ
https:
//www.cmascenter.org/cmaq/
cmaq4.7.1.tar.gz
FVCOM
请联系曙光工程师
Fvcom2.7.1.tar.gz
安装软件组
Clussoft支持Applications,base和benchmark三种软件组的一键部署,以安装base为例,
./clussoft-Ibase##安装base组所有软件
执行成功后,base所包含的软件列表会根据软件分类安装在不同目录下,相应的环境变量文件安装在{根目录}/profile.d目录下。
查看可用软件
支持两种方式,查看本集群已安装的软件列表,
方法一,使用Clussoft命令,执行
./clussoft-l##查看所有已安装的软件包信息
软件包安装信息包含软件名称、分组、安装类型、安装目录、软件环境变量文件和安装用户,普通用户可查看root和本用户安装的所有软件。
方法二,使用module管理命令,执行
moduleavail
3软件使用说明
设置软件环境变量
手动加载
对于root超级用户可设置开机自动加载,即,选择{根目录}/profile.d目录下环境变量文件,将其拷到/etc/profile.d目录下;
对于普通用户,使用某个软件,临时加载环境变量,可以执行,
source{根目录}/profile.d/*.sh
也可以将上述命令,写入~/.bashrc文件内,设置为该用户默认环境变量;
Moudle管理
本节可参考module机制基本命令,即执行,manmodule查看帮助。
clusbench使用说明
clusbench是一个简单易用的集群测试工具包,集成了一些常见的高性能测试项目,比如单机Linpack、整机Linpack、Stream测试等。
clusbench会根据集群节点信息自动生成参数,通过简单几条命令就会测试出不错的Linpack结果。
最新版本为:
clusbench-1.3。
查看帮助
./clusbench-h
单机Linpack测试
1)编辑nodelist添加需要测试的节点主机名
要保证nodelist中节点所有的CPU型号、内存大小、操作系统版本一致,这样我们才能根据CPU峰值和内存来计算Linpack参数。
2)执行单机Linpack命令
./clusbench-s
在这个过程中需要你确认Linpack参数,如果默认的参数不合适,请输入相关参数。
如果直接使用我们给出的默认参数,而不想再次确认,直接执行
./clusbench-s-q
3)查看Linpack结果
在log目录下有各节点Linpack测试输出文件,tail查看即可,例如,
HPL_node1_20160719-1013.log
整机Linpack测试
1)编辑nodelist添加需要整机测试的节点名
2)执行clusbench整机测试Linpack
./clusbench-t-q#使用默认参数测试整机Linpack
3)查看最终结果
在log目录下有整机Linpack测试输出文件,tail查看即可,例如,
tHPL_20160719-1006.log
内存测试
clusbench使用Stream测试内存带宽
1)编辑nodelist文件
2)执行clusbench-m命令来自动测试内存带宽
测试首先会检查内存信息,测试结束会给出每个节点的性能信息,比如下图输出信息可得出admin1带宽为80GB/s
appbench使用说明
开发appbench测试工具目的在于,使用标准算例测试集群运行业务程序的性能,目前支持分子动力学程序lammps和量子化学软件包vasp的自动化测试。
使用appbench前需要确保安装module功能[参考2.1.2],用于加载应用程序环境变量。
最新版本为:
appbench-1.0。
查看帮助
./appbench-h
输出参数和说明内容如下,
-help,-hprintthishelp#打印帮助
--run-vasp,-rVrunningvaspdemo#测试vasp算例
--run-lammps,-rLrunninglammpsdemo#测试lammps算例
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Clussoft 性能 软件 使用手册
![提示](https://static.bdocx.com/images/bang_tan.gif)