三维复杂渗流场的并行求解Word下载.docx
- 文档编号:17091894
- 上传时间:2022-11-28
- 格式:DOCX
- 页数:13
- 大小:27.06KB
三维复杂渗流场的并行求解Word下载.docx
《三维复杂渗流场的并行求解Word下载.docx》由会员分享,可在线阅读,更多相关《三维复杂渗流场的并行求解Word下载.docx(13页珍藏版)》请在冰豆网上搜索。
Technology,
Dalian1l6024,China)
Abstract:
This
paperpresents
all
efficientparallel—computingmethodformodeling3Dcomplexseepageflow.First,a
mathematical
modelwasestablishedforsaturatedandunsaturateds-epage
flow,whichusedsaturationandwaterheadasvailables.
Themethodcan
automaticallycapturethefreesurface
on
fixed・鲥ds
bysolutionofsaturationfunction.Byanalyzingthecorrelation
ofme
data.theconnaturalcharacteristicsofalgorithmandthedistributionoftimeconsumingforFEMaccount.The
serial
program
hasbeen
transformedintoparallelprogramwithOpenMP
API.Theparallel
speedupsofdifferentscalehavebeen
setout.Andthe
resultsshowthatthisparallel
model
Call
getbetter
linearspeedup,whichwasrelatedtothenumbersofprocessorandthescalesof
simulatingproblem.Therationalityofthismodelhasbeenalsoproved.
Keywords:
3Dseepage
flow;
parallel
computation;
Open_m;
finiteelementmethod
搴收稿日期:
2008.12.24(2009—06.29修改稿)
作者简介:
付俊峰(1978一),男,辽宁人连人,博士,讲师.
付俊峰,等:
1引言
现代计算流体力学所解决的问题越来越复杂,对计算能力的要求与日俱增,受元器件及工艺水平
的限制,提高硬件的计算能力比较困难,而通过并
行计算来提高计算性能可以较好的解决这一问题uJ。
国外对地下水渗流并行数值模拟的研究开始较早,已取得一定成果。
1994年,Wangt2-31等采用并行迭代的Gauss--Seidel和SOR方法,进行了有自由
面渗流的有限元并行计算,得到了超线性加速比。
1996年,美国橡树岭实验室对不均匀含水层中水平井抽水后的渗流现象进行了并行数值模拟HJ。
G.Mahinthakumart副等使用有限元方法对地下水流动及输移系统进行了并行计算。
S.E.Howington等忡J开发了以MPI作为通信接口的地下水与地表水相互
作用的联合模型。
国内对于渗流分析的并行计算研
究尚处于起步阶段,江春波141等首先对二维非恒定渗流进行了有限元分析的并行计算,得到了超线性加速比。
杜晔华等【7】建立了基于MPI消息传递的微机机群系统,进行了有自由面渗流的有限元并行分析,研究表明基于MPI的并行计算能够对大型渗流问题进行快速精确的模拟。
Boeriul81等总结出影响有限元并行程序性能的关键因素是通信和计算之间的均衡性。
付朝江等【9l针对大型稀疏矩阵和向量乘的负载平衡,提出了一个快速负载平衡和有效的消息传递技术相结合的方法。
来缓解计算和节点间通信。
目前,并行计算研究和实现主要集中在基于MPI的集群计算机上,对大型问题能够提高运算速
度,具有移植性好、功能强大、效率高等多种优点
[10l,不足之处是部署、管理和维护的成本较高,对
三维复杂问题的域分解比较困难II¨
,且当通信量增
大时对并行效率有很大影响,同时,复杂的控制系统和网络的低可信性不利于大规模普及。
近年来,随着超线程处理器和多核处理器技术的出现和广泛使用,基于多核的共享存储系统的并行计算成为新的研究热点[12,13,14]。
从系统性能来看,共享存储使得通信时间大大减少,这种结构特别适合需要大内存、高性能CPU计算能力的应用场合。
由于变量共享,该方法可以避免域分解的困难。
同时,多核系统能够最大细化并行粒度,提高并行效率。
尽管今天主流计算机仍然是基于单CPU双核的芯片技术,但是目前4核CPU己在市场上大量销售,相
信不久的将来,更先进的多核CPU将会不断出现。
同时设计、科研单位有能力、有条件配备多CPU的小型服务器或者工作站,单机多CPU、多核高性能
551
计算技术必将有着广阔的发展前景【151。
由于三维渗流场计算需要大量的网格与节点,使得有限元求解中循环迭代的计算量急剧增大,而
OpenMP最主要的并行来源即是循环结构l¨
J。
本文用OpenMP对原有串行程序进行并行化改造,实现了对三维复杂渗流场求解的并行计算,其优点是简
单、可移植性强。
在小型服务器上通过对电厂灰坝
及某水库的三维稳定渗流的数值模拟,获得了较好的加速比,证明了OpenMP在三维复杂渗流场计算
中能够很好的提高计算效率与速度,同时验证了模
型的正确性和可靠性。
2双变量饱和一非饱和渗流模型
2.1基本方程口町
设土体的孔隙率为n,饱和度为C,达西流速为U,,对于饱和一非饱和渗流,由质量守恒定律并
考虑流体不可压缩,可得控制方程:
等一百O(nc)(㈨,2,3)
(1)
考虑各向同性渗流,对饱和一非饱和渗流,达西流速可写为:
蚝:
一KsK,j31—1:
一K。
c2j3H一:
一K3)H.,
dx;
oX;
f=1,2、3:
0≤c≤l(2)
式中:
墨为饱和渗透系数:
日为水头函数,其定义
1"1
为:
H=v+£=y+h,其中Y为铅直方向的高
y
度即位置水头,P为液体压强,y为液体容重,h为压强水头。
厨为相对渗透率,与介质的饱和度c
有关【l7'l引,可近似用函数表示为:
K,=C“,事实
上水土特征曲线是一个复杂的函数,和土的性质密
切相关,根据VGM模型19J,简化后m应为24的
数值,因在控制方程中已提出一个c,则本文中取m=2。
因此(1)式可写成:
未(K掣ox,加娑Ot(fil,2’3)
d览
‘
’
(3)
式(3)为描述饱和一非饱和渗流的一般微分
552
水动力学研究与进展A辑2009年第5期
方程式。
本文研究的是单相流问题,为避免研究复杂的多相流问题,可认为非饱和区是与大气相通的,因此测压管水头中的压力与大气压相等,使测压管水头等于位置水头,则渗流控制方程分别退化为饱和区的关于测压管水头的拉普拉斯方程及非饱和区的关于饱和度的对流方程。
则(3)式化为分区耦合方程为:
奇K》o,c司饱枢
。
字牵引蝴区
(4)
将渗流的控制方程写成式(4)的形式后,可以避免渗流问题中需要不断调整自由面(线)的变计算域的困难。
本文引入了VOF的概念,饱和度c的变化局限于较小的范围内,同时依据水头月的计算结果作为辅助判断,则渗透自由面(线)可通过确定各点的饱和度C而自动捕获。
求解式(3)应给定适当的边界条件:
aⅣ
水头边界H=H。
;
不透水边界K≥=0。
On
日。
为给定边界水头,,z为沿边界的外法线方向。
对方程(4),时间采用隐式差分格式做离散,空间用Galerkin有限元法做离散【2…,经分部积分并考虑边界条件,经整理,得方程组:
IDxjH,=o
【(M巧+B巧+%)c;
制=&
驴善£挚;
挚dQ
(6)
(8)
%=喜p,K挚r
∽
Fx=MqCj
00)
NK为权函数;
NJ为单元插值函数,单元结点总水头值日和饱和度C可表示为:
\H=HjNj
1c=c,』V,
以上给出了饱和一非饱和渗流问题数值模拟
的计算格式,问题的解可由满足0日斛1一日“ll<£
¨
和0c胂1一Cn0<岛时的解得到,£=lxl0-Sm,
一
£=lxl0-5为控制精度。
上述计算格式由于采用
固定网格法可避免自由面调整时网格重生成时所面临的困难。
采用隐式时l’日J推进格式求解可保证数值解的收敛性。
3并行性分析与并行程序设计
有限元计算中,前后处理阶段的耗时在整体计算时间中所占的比例很小,计算时问的耗费主要集中在系数矩阵的形成与方程循环迭代求解环节。
通过对单元系数矩阵和总体系数矩阵的计算特点进
行考察可知,前者的并行程度较高且并行实现简
单,而后者由于存取冲突和计算结果的要求导致并行程度低,并行实现较困难。
预处理共轭梯度法和Gauss—Seidel迭代法在计算机求解大规模微分方程领域有着广泛的应用,这诱种算法是椭圆方程及抛物方程的主要迭代算法之一,均可以较容易的实现并行计算。
本文根据OpenMP支持增量化并行的特点,利用已有的串行程序基础,对数据在程序执行时的相关性和算法结构的固有串行性进行分析,遵循先简单,后复杂的原则,逐步对循环结构进行并行化,将串行程序改造为并行程序。
改造主要分两部分,一是功能性并行,将程序中数据无关的某些操作分布到多个线程中,达到并行的目的;
二是循环并行,将占程序运行主要耗时的循环部分,根据数据相关性进行并行改造。
在对大量的赋值和简单运算的循环操作进行并行改造的过程中发现,当循环次数较小时,并行并不会带来较大的效率提高,有时反而会降低,因此需要根据不同的循环条件而设定一个循环次数的限制,当大于这个循环次数时并行才起作用,否则按照串行计算。
程序中对数据的存储采用一维数组紧缩存储,对系数矩阵的计算采用先计
盟孤
№
盟氓州百LI
C
竺>一.=
韵耐芝dk
=
舯
%
蚝
四级子坝
图l50m干滩电模拟结果与数值计算结果比较
图2100m干滩电模拟结果与数值计算结果比较
算单元系数然后直接叠加到总系数阵中的方式,因
此系数矩阵计算的并行化改造需要对变量的私有
性和公有性进行严格定义,同时在形成总系数矩阵处设置临界区,以保证并行结果的准确性。
在方程组求解过程中,由于需要迭代计算,是最耗费计算时间的部分。
迭代计算中有着大量的循环结构,在一些循环中由于条件中断语句的存在破坏了并行
性而无法并行,其余循环都可以并行化。
4并行算例与结果分析
4.1模型验证
用吉林二道江电厂太平沟灰场储灰坝四期子坝工程的电模拟实验结果与模型二维数值模拟结
果相比较,以验证模犁的有效性和准确性。
太平沟灰场初期坝为土石混合坝,坝顶标高
413.20m,四级子坝轴线与三级子坝轴线间距为220.3
m,坝顶标高为440.00m。
子坝坝体采用碎石
土分层碾压进行填筑。
电模拟实验的长度比尺为
1:
200,数值模拟所采用的饱和渗透系数见表l。
分别对四级子坝工程50m干滩和100m干滩坝体渗流的浸润面(线)进行了计算,与相应工况的电模拟实验结果的比较见图1及图2。
襄1太平沟饱和渗透系数衰
553
考虑电模拟实验的长度比尺及有限元计算中网格划分和数值误差等因素,电模拟实验所得浸润线和二维数值模拟计算所得浸润线吻合良好,证明
了数学模型在工程实际应用中的可靠性和准确性。
4.2三维并行有效性证明
用清河发电厂曹家沟储灰坝的二、三维数值模拟比较,证明了三维并行结果的有效性和可靠性。
曹家沟储灰场汇流面积1.9km2。
初期坝采用粘土和碎石土为筑坝材料,初期坝建成后分期修建五级子坝。
子坝的筑坝材料为黏土,每级子坝上游边坡为1:
2.O,下游边坡为1:
2.75。
上游坝脚处设有2.Ox2.Om土工布包碎石构成的排渗棱体。
坝体的典
型断面见图3。
各材料的饱和渗透系数见表2。
554
基岩风化料区
图3典型断面布置图
图4二级子坝中一中断面三维与二维浸润线比较图
图5五级子坝中一中断面三维与二维浸润线比较图
根据工程要求给定水头边界条件,排渗设施按实际情况布置,分别对二级坝及五级坝工况的100米干滩三向渗流浸润面进行了计算,计算域覆盖面积773248km2。
计算所得剖面浸润线与二维相同工况浸润线的比较见图4及图5。
考虑三维网格精度及剖面选取位置的差异,三
维计算所得断面浸润线和相应典型断面二维数值
模拟计算所得浸润线吻合良好,满足工程需要,证明了数学模型在三维并行计算中的可靠性和准确性。
5并行加速比的测定及分析
本文在小型服务器上实现OpenMP三维并行计算,服务器配置如下:
CPU为Intel(R)XeonTM(MP)2.2GHx4,内存5.5GB,操作系统MicrosoftWindowsServer2003EnterpriseEdition,Service
Packl。
并行系统的加速比是指对于一个给定的应用
三维复杂渗流场的并行求解555并行算法(或并行程序)的执行速度相对于串行算法(或串行程序)的执行速度快了多少倍。
对于工程应用来说,往往使用相对加速的概念,即对于给定的问题,同一个算法在单处理器上运行的时间除以在多个处理器上运行的时间‘61。
序的循环方式有关。
本文对渗流的并行计算主要集中在迭代部分,由于该部分并不统一于一种循环量(节点或单元)的迭代方式,是造成并行效率提高并不明显的重要原因,但是通过单元与节点的比值可以看出,在单元数占优的情况下,并行效率随参与计算的CPU核数的提升而平稳增大。
目前针对方程组求解的循环迭代部分建立的并行计算系统表2清河渗透系数表加快了大规模计算的速度,获得了很好的线性加速比。
根据加速比变化趋势可以看出,本文建立的并行计算模型是有效的,能够适应各种规模的问题,而且针对大型问题能够很好的提高运算速度。
图6各工况下加速比折线图6结论分别对三种网格规模的坝体稳定渗流问题进行了加速比的测定。
(1)二级坝,节点数为239457,单元数为424755:
使用OpenMp并行指导语句对串行程序进行增量化并行改造,实现了三维渗流问题的并行计算。
通过在小型服务器上分别对三种规模的算例在不同处理器核心数条件下的并行加速比进行比较,由结果可知:
并行计算的加速比正比于处理器核心数,随着参与计算的处理器核心数的增加,并行计算的优越性表现得明显起来。
在对循环迭代部分实现并行计算的条件下,加速比整体表现为线性,当问题规模一定时,处理器数目的增加会在某一阶段导致并行加速比下降,之后仍呈增加趋势,这与程序的循环方式有关,渗流的并行计算主要集中在迭代部分,由于该部分并不统一于一种循环量(节点或单元)的迭代方式,是造成并行效率提高并不明显的重要原因,但是通过单元与节点的比值可以看(2)五级坝,节点数为3ll399,单元数为641173;
(3)某水库,节点数为196565,单元数为753227。
分别采用串行,单CPU双核、二CPU四核、三CPU六核、四CPU八核进行对比计算。
计算结果见表3。
对使用MPI编程的机群系统来说,机器间的通信等待,各处理器的存储方式不同、高速缓存的影响、操作系统的均摊等都会对并行加速比产生影响【7】。
对于本文采用的OpenMP共享存储式并行系统,影响加速比的因素主要是问题的规模、循环迭代的次序及问题的收敛精度。
通过表3中加速比数据及图6加速比折线图对并行后程序的性能改善进行评价:
随着处理器数目的增加,并行计算的速度也逐渐增大,并行计算的优越性表现明显,计算的加速比表现为线性,当问题规模一定时,处理器数目的增出,在单元数占优的情况下,并行效率随参与计算的CPU核数的提升而平稳增大。
通过与电模拟实验验证表明,采用以水头和饱和度为变量,将渗流区域中饱和区与非饱和区统一描述为时间相关的抛物型方程,在物理概念上是明确合理的。
文中对三维复杂渗流场进行了有限元并行求解,并通过与二维相应条件下的数值解对比,证明了三维有限加会在某一数值导致并行计算加速比下降,这和程万方数据
556水动力学研究与进展A辑2009年第5期寰3并行计算加速比工况某水库二级坝五级坝节点数196565单元数753227单元厂节点3.832串行1.O双核1.454四核1.688六核1.997八核2.1462394574247551.7741.01.O1.4331.6151.4391.7483113996411732.0591.408L5642.2722.021元并行计算模型是正确可靠的。
同时证明了在多核处理器出现的条件下,使用OpenMp对原有的串行程序实现增量化并行,能够使得小型服务器甚至台式机有能力对大型工程进行快速精确的模拟。
【8】DUYehua,HUYunjin.Parallelfiniteseepage[J].JournalelementmetIlodofHydroelectricfor2DfreesurfaceEngineering,2006,25(3):
116-120.BOERIUS,BRUCHJRJC.PerformanceappliedtoaanalysistoolsfiniteelementadaptivemeshfreeboundaryseepageparallelAppliedalgorithm[J].ComputerMethodsandinMechanicsEngineering,2005,194:
参考文献:
【9】【l】朱国林,徐庆新.计算流体力学并行计算技术研究综述【J】.空气动力学学报,2002,20(3):
I-6.ZHUGuolin,XU297。
312.付朝江,张武,杨林峰.并行稀疏矩阵与向量乘的负载平衡和通信优化【J】.水动力学研究与进展.2004,19(增刊):
838.842.FUChao-jiang,ZHANGWU,YANGLin—feng.LoadcommunicationoptimizationforparallelQingonxin.Reviewonparallelbalancingandsparsecomputationtechniqueincomputationalfluiddynamicsmatrix-vectormultiplication[J].JoumalofCAI[J].ActaAerodynamicaSinica,2002,20(3):
1・6.KPBRUCHJC.ASORiterativeandthefiniteHydrodynamics,Ser.A.2004,19(Supplement):
838—842.【2】WANGalgorithmfor【10】符栋良,黄荣国.基于非结构网格求解换热器流场的并行计算【J】.水动力学研究与进展,A辑,2006,21(5):
557.564.FUDong—liang,HUANGinheatofRong—guo.ParallelthedifferenceelementmetIIodsthatisefficientanparaltelizable[J].AdvancesinEngineeringSoftware,1994,2l(1):
37-48.【3】WANGfiniteKP-BRUCHJC.AnelementofefficientiterativeparallelcomputationoffluidflowunstructuredexchangerbasedoncomputationalFiniteElementsmethod[J].Thegrid[J].JournalHydrodynamics,Ser.A.BGKofMathematics1994:
179.188.andAppfications,2006,2l(5):
557-564.【1l】HIBao-chang,LIUHong-juan.Parallellatticesimulationofnaturalconvectionina【4】江春波,安晓谧.二维非恒定渗流的有限元并行计算【J】.水科学进展,2004,15(4):
454-455.JIANGcavity【J】.JournalChun-bo,ANHydrodynamics,Ser.B,2005,17(5):
564—570.finiteXiao—IIli.ParallelelementIn【12】AKHTERS,ROBERTSJ著,李宝峰,富弘毅,李韬译.methodforWater【5】2Dunsteadyseepageflows[J].Advances多核程序设计一通过软件多线程提升性能【M】.北京:
电子工业出版社,2007.AKHTERS,ROBERTSFuHong-Yi,LiMAHD删AKUMARScience,2004,l5(4):
454-455.GSAIEDEImplementationandofaJ(WRITING)。
LIBao-Feng,performanceanalysisgroundwatertransportparallelmulticomponentof1999Tao(translation).Multi-coreSoftwareofcode[e1.ProceedingsProgramming:
IncreasingPerformancethroughSIAMParallelProcessingMeeting.Multi・threading[M].Beijing,:
PublishingEetElectronicsIn
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 三维 复杂 渗流 并行 求解