Fluid-Particle Multiphase Flow Simulations for the Study of Sand

Fluid-Particle Multiphase Flow Simulations for the Study of Sand

3rd JUQUEEN Porting and Tuning Workshop
Jülich, 2-4 February 2015
Fluid-Particle Multiphase Flow Simulations for the Study of
Sand Infiltration into Immobile Gravel-Beds
Tobias Schruff, Roy M. Frings, Holger Schüttrumpf
Institut für Wasserbau und Wasserwirtschaft (IWW)
RWTH Aachen University, Aachen
1
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
INTRODUCTION
The Riverbed
Quelle: U.S. Geological Survey
Permeability and porosity can be reduced
due to human induced fine sediment infiltration
2
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
Conents
 Objectives
 Methods





„The Cube“
Particle Flow Simulation
Fluid Flow Simulation
Fluid-Particle Coupling
HPC Performance
 Simulation Examples
 Gravel-Bed Packing
 Sand Infiltration
3
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
OBJECTIVES
State of Research
Major Research Questions…
 Which parameters influence fine sediment infiltration?
 How does fine sediment infiltration affect riverbed porosity and
permeability?
 …
Answers so far…
 Few case studies
Thereofore
Development of high performance computing
numerical model for systematic investigation of fine
sediment infiltration process
4
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
Model „The Cube“
5
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
Particle Flow Simulation (Sediments)
 Software: pe (physics engine)
 C++ framework for massively parallel rigid body simulations
 Support for many parallelization concept (Threads, OpenMP, MPI)
 Software infrastructure for various rigid body simulation algorithms
(DEM, RBD, …)
6
 Developed by Chair for System Simulation, Friedrich-Alexander
University Erlangen-Nürnberg (www10.informatik.uni-erlangen.de)
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
Fluid Flow Simulation (River)
 Software: waLBerla (widely applicable
Lattice Boltzmann framework from
Erlangen)
 Fluid flow simulations based on the
Lattice Boltzmann Method (LBM)
 Very good parallel performance
 Handles complex boundaries easily
turbulent flow (Re ~ 10,000) around sphere
7
blood flow through artery
 Designed as an HPC software framework
 Grid refinement
 Largest simulation: 1,835,008 processes
 Hybrid parallelization: MPI + OpenMP
 Open source → http://www.walberla.net
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
Fluid-Particle Coupling
 Particles and fluid are fully coupled
(4-way coupling)
 Coupling based on (Particulate)
Immersed Boundary Method (IBM)
(Particulate  particles are
represented by one Lagrangian point)
 Particles can be smaller than one fluid
cell
 Fluid and particle simulation timestep
can be tuned individually
8
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
HPC Performance (particle flow only)
speedup [real]
speedup [ideal]
16
Speedup
8
4
2
[ideal] if the number of cores doubles
the speed doubles too
1
128
(strong scaling)
256
512
Number of cores
1024
9
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
2048
METHODS
HPC Performance (fluid flow only)
speedup [real]
speedup [ideal]
4
Speedup
almost ideal scaling behaviour
2
1
16384
Number of cores
(strong scaling)
10
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
65536
SIMULATION EXAMPLES
Gravel-Bed Packing
domain decomposition (9 cores)
11
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
SIMULATION EXAMPLES
Sand Infiltration
domain decomposition (4 cores)
12
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
THANKS FOR YOUR ATTENTION!
??? QUESTIONS ???
13
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation
METHODS
Lattice Boltzmann Method (LBM)
 Operates on uniform grid with multiple particle distribution functions per cell
(D2Q9, D3Q19, D3Q27, …)
 Explicit method (no iterations necessary)
 Two steps: stream (neighbors) & collide (cell-local)
 For the collision, different operators exist: SRT, TRT, MRT
 Macroscopic quantities (velocity, density, …) can be calculated from the
particle distribution functions
14
Tobias Schruff | IWASA 2015 | Mit Hilfe von Hochleistungssimulationen auf den Spuren der Flussbettkolmation