架构高性价比的分布式计算机集群.docx
- 文档编号:4114280
- 上传时间:2022-11-28
- 格式:DOCX
- 页数:26
- 大小:550.06KB
架构高性价比的分布式计算机集群.docx
《架构高性价比的分布式计算机集群.docx》由会员分享,可在线阅读,更多相关《架构高性价比的分布式计算机集群.docx(26页珍藏版)》请在冰豆网上搜索。
架构高性价比的分布式计算机集群
架构高性价比的分布式计算机集群
正如你所看到的一样,你的机器在绝大多数时间是空闲的,如果你在Windows下用任务管理器或其他的Linux平台的工具(例如top,xload)观察CPU,你会看到CPU的使用率常见在1~2%。
事实上,如果你有更多的计算机,这种浪费会加剧,在一个有300台计算机的部门里,CPU的空闲率是惊人的。
然而这些部门还是需要强大的服务器用来编译或模拟计算,这样的情况还会加剧,不止需要一台,因为随着用户的增加,即使是8个CPU的服务器,满负荷时也不能把任务交给另外的空闲服务器,因为用户很少会改变习惯去登陆另外一台服务器。
如果能利用现有的计算资源,把空闲的CPU利用起来,或者能让服务器智能的迁移负荷,就是你看下去的理由。
集群的基本单位是单独的计算机,称为节点(node)。
其可增长的特性,称为延展性(Scale),也就是向集群中加入计算机。
集群没有严格的定义,可以说就是许多利用高速联接的,具有高速运算能力的,具有单一用户界面的计算机组合。
这并不是集群的定义,而是表面现象的描述。
集群中的节点需要硬件尽可能的一致,不一致的硬件集群称为异构集群,虽然这并不能改变集群的特性,但是异构导致集群会花费额外的时间来处理由于异构带来的延迟,另一方面这也是集群的优势,任何其他的多CPU系统都是严格要求CPU是一致的,集群就有足够的自由度增减节点,不受类型的限制。
本文选择MOSIX作为集群的方案,并使用无盘节点。
架构集群并没有想象中那样复杂,参考下面的步骤可以一步步的架构集群,整个的方案并不是很昂贵,而且便于扩展。
使用RedHat是因为在中国这是最有权威的版本,不论是初学者还是专业工作者,都可以在RedHatLinux中定制自己的版本。
使用终端服务器LTSP是因为结构简单,便于快速扩展。
使用的硬件是可以改进的,比如使用双CPU的主板和至强处理器,这样单一机柜中处理器就密集到48块CPU,本例中可以使用24块CPU。
除了CPU以外,还可以使用千兆网卡或光纤网卡,交换机可以使用光纤交换机,内存总数可以达到48GB。
但是随着硬件的升级,整体价格就会过高,而性能的提升并不是按比例的,因此本例的配置是性价比较好的组合。
MOSIX是利用给内核源代码加补丁的办法,增加内核的功能来达到内核级的集群支持,通过编译后的内核启动的系统间类似SMP多处理器的系统,从外面的角度看只有一台有很多处理器的庞大机器,但是内部是用很多机器架构成的。
而MOSIX集群的特点是对用户透明,原有的应用程序不需要修改代码即可以在集群中分布计算。
有几种情况是不需要使用集群系统的,使用类似网格计算的脚本就可以完成计算,比如三维动画的渲染,这类计算可以使用不同的节点,不需要对称的硬件,不需要一致的操作系统(需要应用具有支持不同操作系统的版本),只需要按照处理器来分割渲染的任务段,在每个节点上运行相应的任务段,然后合成所有节点的计算结果。
因为计算数据是离散的(结果的连续是视觉的连续),因此用类似网格计算的脚本也可以完成。
这类计算不需要使用集群也可以完成。
下面本文将告诉你如何准备硬件和软机环境。
首先是规划你的计算环境。
硬件环境:
49U标准机柜,安装1U的交换机,24台2U机架式机箱。
1U的24口100MB交换机(不是集线器)
IntelP42GHzCPU,1GBDDR,Intel845D主板,软驱,NVIDIA显卡(能启动XWindows就可以),2U机架式机箱,3C905B10/100MB自适应网卡,网关需要配置光驱,80GB硬盘和双网卡。
5类线,按照693A压3米网线24根。
显示器,键盘,鼠标仅在安装时使用。
软件环境和必要的安装包(除特殊说明外,高版本不一定适用):
Redhat7.2CD1和CD2安装光盘
dhcp-3.0.1rc9-1.i386.rpm是支持启动内核调用的DHCP版本
dhcpcd-1.3.22pl1-7.i386.rpm是DHCPD守护进程
mknbi-1.2-6.noarch.rpm是制作客户端启动内核的必要软件包
MOSIX-1.6.0.tar.gz是原始的MOSIX文件,最新的版本是1.7.0
MOSKRN-1.6.0.tar.gz是原始MOSIX内核文件,最新的版本是1.7.0
openmosix-kernel-2.4.18-openmosix2.i386.rpm是MOSIX分支版本的通用内核,最新的版本是2.4.19www.openmosix.org
openmosix-kernel-2.4.18-openmosix2.i686.rpm是MOSIX分支版本的新处理器内核,最新的版本是2.4.19www.openmosix.org
openmosix-kernel-smp-2.4.18-openmosix2.i686.rpm是MOSIX分支版本的多处理器内核,最新的版本是2.4.19www.openmosix.org
openmosix-kernel-2.4.18-openmosix2.src.rpm是MOSIX分支版本的源代码www.openmosix.org
openmosix-tools-0.2.2-1.i386.rpm是MOSIX分支版本的客户端工具www.openmosix.org
ltsp_core-3.0-11.i386.rpm是LTSP的核心文件www.ltsp.org
ltsp_kernel-3.0-3.i386.rpm是LTSP的内核www.ltsp.org
ltsp_floppyd-3.0.0-2.i386.rpm是LTSP的软盘工具www.ltsp.org
ltsp_initrd_kit-3.0.1-i386.tgz是LTSP的启动制作工具www.ltsp.org
linux_kernel-2.4.18.tar.gz是需要编译的内核源码www.kernel.org
网络配置环境:
网关对外网卡配置10.193.15.169,子网掩码255.255.255.0给内部网使用,用于登录和提交进程。
网关对内网卡配置192.168.0.254,子网掩码255.255.255.0,网关为10.193.15.169给集群用于DHCP服务器,NFS服务器,LTSP服务器。
网关对内网卡配置DHCP,分配地址从192.168.0.100到192.168.0.253,子网掩码255.255.255.0,都是C类。
当以上条件都具备时,可以开始架构MOSIX集群。
1.安装所有硬件,并能确保可以从光盘启动网关服务器系统,节点可以使用软盘启动,检查BIOS的启动设置,并确认可以正确启动。
将所有节点和交换机安装到机柜上,用网线连接交换机和各节点,网关需要额外的网线连接到局域网,因为可以称集群计算环境为计算场(ComputingFarm),因此对应局域网称集群系统的网络为计算网络。
连接好电源后,使用两套显示器和键盘鼠标,分别连接一台节点机和网关服务器。
2.安装RedHat7.2版本在具有两块网卡的网关服务器上,分区使用自动分区(比较简单,本文不讨论Linux其他问题),选择定制安装,但不要安装所有的软件包,除缺省的选择外,需要额外选择软件开发和内核开发两组软件包,安装时没有选择的软件包,可以在系统正常启动后参考“如何编译内核”中的软件包来安装。
安装到网络配置时,按照网络环境配置IP地址,需要配置DNS的需要修改对外网卡的设置,使用小写mosix为主机名。
安装完后需要验证网关服务器可以正常启动,按照个人喜好来设定系统,推荐使用文本模式,图形模式资源消耗较大。
另外需要连接到RedHat网站升级有缺陷的软件包,减少系统漏洞,注意别把内核也升级了,并不是因为本文的操作,而是内核升级后,系统很可能启动失败,本文将自己编译内核。
升级完成后重启,再次确认系统没有任何错误。
3.安装MOSIX包(openmosix的安装是另外的分支)需要很多步骤,注意操作步骤的准确性:
A,将所有下载的软件包上载到服务器的/usr/src/tmp目录下,确认下载的软件包是完整的,确认md5的校验结果一致:
su-
cd/usr/src/
makdirtmp
md5package_file_name
B,将RedHat7.2CD2放入到光驱。
参考以下操作确认编译内核需要的软件包已经存在:
mount/dev/cdrom/mnt/cdrom
cd/mnt/redhat/RPM
rpm-Uvhkernel-headers*
rpm-Uvhkernel-source*
rpm-Uvhkernel-doc*
rpm-Uvhdev86*
rpm-Uvhmake-*
rpm-Uvhglibc-devel*
rpm-Uvhcpp*
rpm-Uvhncurses-devel*
rpm-Uvhbinutils*
rpm-Uvhgcc-2*
rpm-Uvhtftp*
cd/usr/src
umount/mnt/cdrom
C,安装需要的软件包,展开所有的tar.gz软件包:
tarxvfzMOSIX-1.6.0.tar.gz
tarxvfzMOSKRN-1.6.0.tar.gz
tarxvfzlinux-2.4.18.tar.gz
D,如果展开文件没有错误,将各个软件展开目录移到正确的位置:
mvMOSIX-1.6.0/usr/src/
mvMOSKRN-1.6.0/usr/src/
mvlinux/usr/src/linux-2.4.18
E,为了避免以往MOSIX脚本的错误,需要确认以下步骤:
chmodgoa+x/usr/src/MOSIX-1.6.0/inst/add_kernel_to_grub
mkdir/usr/local/man
F,下面才是真正有趣和让人着迷的步骤,首先要创建编译内核配置文件的目录,这是个好习惯,因为每次的编译配置不一定相同,后面排错也会提到相关的问题:
cd/usr/src
mkdirconfig.backup
cd/usr/src/linux-2.4.7-10/configs
cpkernel-2.4.7-i686.config/usr/src/config.backup/kernel-2.4.8.config
G,将配置文件复制到待编译内核的目录:
cd/usr/src/
cpconfig.backup/kernel-2.4.18.configlinux-2.4.18/.config
H,根据你的情况修改Makefiles的EXTRAVERSION部分,原值为18,可改为mosix来标明编译后的内核版本,并可以区分模块的版本。
cd/usr/src/linux-2.4.18
viMakefile
EXTRAVERSION=18
I,开始安装MOSIX1.6.0
cd/usr/src/MOSIX-1.6.0
./mosix.install
J,安装开始后会有一些问题,除新内核加入LILO或GRUB一问回答为G以外的问题都用回车使用缺省选择(大写的字母为缺省值)。
问题依次为内核源代码的路径,新内核的启动选项添加在那个启动程序中,内核所包含的库文件连接,MOSIX服务的启动级别,创建MFS装载目录,启动那种内核编译配置菜单,是否显示内核编译详细过程,是否显示用户级编译详细过程。
随后系统开始给内核源代码加补丁,启动内核编译配置菜单。
图1
K,在内核编译配置菜单中,你可以看到新增加的MOSIX选项
图2
L,选择进入MOSIX选项并添加直接文件系统访问(DirectFile-SystemAccess)和MOSIX文件系统(MOSIXFile-System)。
用ESC键推出当前选单。
图3
M,添加块设备(Blockdevices)的内存虚拟盘的支持(RAMdisksupport)和使用初始化进程初始化内存虚拟盘(InitialRAMdisk(initrd)support)两项。
图4
N,在网络选项(Networkingoptions)中增加对IP内核级自动配置(IP:
kernellevelautoconfiguration),IP动态地址支持(IP:
DHCPsupport),IP启动地址绑定支持(IP:
BOOTPsupport)。
图5
O,建议除去SCSI的支持,本例中没采用SCSI设备,并且可以避免内核编译失败。
建议除去声卡支持。
..
图6
图7
P,在网络文件系统(NetworkFileSystem)中增加NFS支持根文件系统(RootfilesystemonNFS)。
图8
Q,最后多按一次ESC键,提示保存配置文件,选择Yes。
系统将开始编译内核,编译模块,安装内核,安装模块。
该过程可能会产生一些警告,只要编译没退出,并正常完成回到提示符状态就完成了编译。
图9
图10
R,先不要忙于重启,需要修改/boot/grub/grub.conf文件中MOSIX的内核路径一行,原路径为/boot/vmlinuz-2.4.18-mosix,修改为/vmlinuz-2.4.18-mosix。
修改完后键入reboot可以重新启动。
图11
S,这时的启动菜单中出现Mosix1.6.0(2.4.18),选择该项启动MOSIX系统
图12
T,系统启动中会出现若干错误,图中第一个是由于没有创建/mfs引起的,第二个是由于MOSIX更改了sshd服务的权限,而没启动另外的MOSIX的sshd引起的。
第一次启动MOSIX系统,会要求配置mosix.map文件,回车选择缺省的编辑器进入编辑。
图13
U,配置文件修改完成后,系统会提示节点的IP地址有变化时需要修改mosix.map文件中的节点号。
因为网关服务器是192.168.0.254因此定义为节点1,其他的节点从192.168.0.1开始共有253个节点,节点号从2开始。
图14
V,进入系统后,启动MOSIX,显示初始化MOSIX,MOSIX配置完成
4.因为MOSIX有另外的分支openmosix,因为版权问题不同(后面将会介绍),openmosix更开放一些,而且openmosix的安装相对简单,推荐没有经验的初学者使用,下面是openmosix的安装和基于openmosix的客户端配置。
注意:
MOSIX和openmosix虽然都是MOSIX原理下的软件,但是互相是不能通讯的,因此一个集群系统里要统一使用一种平台。
openmosix是使用rpm为安装包的,事实上只是把编译好的内核直接挂接到系统里,并没有经过你自己的编译,对于初学者而言要方便许多。
以下操作是在刚安装完RedHatLinux7.2的系统上完成的,除openmosix的软件包外,不需要其他任何的软件包,缺省目录在/usr/src/下。
可根据情况安装SMP版本,openmosix-kernel-2.4.18-openmosix2.i386.rpm版本适合于所有X86体系的处理器,openmosix-kernel-2.4.18-openmosix2.i686.rpm版本适合本例,openmosix-kernel-2.4.18-openmosix2.src.rpm是包含kernel-2.4.18和openmosix内核补丁的源代码。
当安装完成后启动时就可以看到openmosix的启动项。
cd/usr/src/
rpm-Uvhopenmosix-kernel-2.4.18-openmosix2.i686.rpm
rpm-Uvhopenmosix-kernel-2.4.18-openmosix2.src.rpm
rpm-Uvhopenmosix-tools-0.2.2-1.i386.rpm
5.下面是利LTSP配置客户端系统,首先需要安装必要的软件包。
并将文件安装放到到适当的路径下。
rpm-Uvhdhcp-3.0.1rc9-1.i386.rpm
rpm-Uvhdhcpcd-1.3.22pl1-7.i386.rpm
rpm-Uvhmknbi-1.2-6.noarch.rpm
rpm-Uvhltsp_core-3.0-11.i386.rpm
rpm-Uvhltsp_kernel-3.0-3.i386.rpm
rpm-Uvhltsp_floppyd-3.0.0-2.i386.rpm
rpm-Uvhltsp_initrd_kit-3.0.1-i386.tgz
mvltsp_initrd_kit/usr/src/
6.因为使用的是openmosix,你需要单独展开的linux-2.4.18.tar.gz文件和openmosix的补丁文件,需要将openmosix的补丁加入,你在安装openmosix-kernel-2.4.18-openmosix2.src.rpm时,源文件会存在于/usr/src/redhat/SOURCES/目录下,同时还有内核补丁文件。
cd/usr/src/redhat/SOURCES/
tarxvfzlinux-2.4.18.tar.gz
mv/usr/src/redhat/SOURCES/linux/usr/src/linux-2.4.18-om2
7.将内核补丁文件展开并加入内核源文件,并作编译前准备,将旧的内核编译中间结果清理干净:
cp/usr/src/redhat/SOURCE/openMosix-2.4.18-2.gz/usr/src/linux-2.4.18-om2/
gunzip/usr/src/linux-2.4.18-om2/openMosix-2.4.18-2.gz
cd/usr/src/linux-2.4.18-om2
patch-Np1 makemrproper 8.修改Makefile文件的EXTRAVERSION部分,加入-om2标记: viMakefile EXTRAVERSION=-om2 9.将LTSP的内核编译配置文件备份并放到内核编译目录下: cp/opt/ltsp/kernel-configs/config.2.4.9-ltsp-5 /usr/src/config.backup/ cp/opt/ltsp/kernel-configs/config.2.4.9-ltsp-5 /usr/src/linux-2.4.18-om2/.config 10.启动内核编译配置菜单,注意选择openmosix选项中的进程迁移(processmigrationsupport),直接文件系统访问(DirectFile-SystemAccess),openmosix文件系统(OpenMosixFile-System),注意不要选择内核调试(KernelDebugger)。 其他的配置根据具体需要,没有SCSI硬盘可以去掉SCSI选项,不需要声卡,也可以去掉。 makemenuconfig 11.编译内核一般分为编译库(makedep),编译启动映象(makebzImage),编译模块(makemodules)和安装模块(makemodules_install)。 系统可以连续完成几步操作: makedep&&makebzImage&&makemodules&&makemodules_install 12.如果系统没有提示错误并中止,将会显示新的内核映象的大小,模块编译完成并安装等信息。 编译完成的内核将作为客户端的内核系统,因此需要将模块复制到LTSP的目录下: cp-R/lib/modules/2.4.18-om2/opt/ltsp/i386/lib/modules/ 13.完成后将创建符合无盘启动的系统,使用LTSP的初始化工具就可以完成,进入/usr/src/ltsp_initrd_kit目录,修改buildk文件的最后部分,用#注释掉原有prepare_kernel部分,并添加适合本例的命令。 cd/usr/src/ltsp_initrd_kit/ vibuildk #prepare_kernel/usr/src/linux-2.4.9-ltsp2.4.9-ltsp-5 #prepare_kernel/usr/src/linux-2.4.9-ltsp-lpp2.4.9-ltsp-lpp-5lpp prepare_kernel/usr/src/linux-2.4.18-om22.4.18-om2 14.修改完后运行buildk将会在/tftpboot/lts/下创建新的内核启动文件。 ./build 15.建议创建内核启动文件连接,这样不必频繁修改配置文件的内容,下次只要改变文件名就可以更换内核了。 cd/tftpboot/ltsp/ ln-svmlinuz-2.4.18-om2vmlinuz-openmosix 16.修改/etc/dhcpd.conf文件,使动态地址分配支持新的启动内核。 修改内核启动文件的名称和路径,如果该文件不存在,可以参考后面的配置文件。 cd/etc/ vidhcpd.conf filename"/lts/vmlinuz-openmosix"; 17.随后你可以添加自动分配主机名,这样每台客户机启动时自动生成主机名,注意主机名要和你的hosts文件对应。 本例中自动生成的主机名将是node001到node253,数字部分是根据IP地址补齐三位数得到的。 vidhcpd.conf filename"/lts/vmlinuz-openmosix"; optionhost-name=concat("node",binary-to-ascii(10,8,"", substring(reverse(1,leased-address),0,1))); 18.检查重要的服务进程是否启动,并使新配置文件生效。 chkconfigtftpon chkconfigdhcpdon servicedhcpdrestart servicexinetdrestart 19.创建mosix.map文件,并保持服务器和客户端的一致。 cd/etc/ vimosix.map 1192.168.0.2541 2192.168.0.1253 cp/etc/mosix.map/opt/ltsp/i386/etc/ 20.复制openmosix的工具到客户端的目录中。 cp/sbin/setpe/opt/ltsp/i386/sbin/ cp/bin/mosrun/opt/ltsp/i386/bin/ cp/bin/mosmon/opt/ltsp/i386/bin/ cp/bin/mosctl/opt/ltsp/i386/bin/ cp/bin/migrate/opt/ltsp/i386/bin/ 2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 架构 性价比 分布式 计算机 集群