1 Hochleistungsrechnen mit Windows

Transcription

1 Hochleistungsrechnen mit Windows
Hochleistungsrechnen mit Windows
Interaktive Benutzung und das Batchsystem
Christian Terboven
Rechen- und Kommunikationszentrum
RWTH Aachen
1
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
2
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
3
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Konfiguration des Clusters
Freischaltung des Accounts
•
Benutzerverwaltung der RWTH Aachen:
https://services.rz.rwth-aachen.de/enrole/logon
•
Dienst: „Hochleistungsrechnen RWTH Aachen“
• Mitarbeiter: Selbstständige Freischaltung
• Hiwis: Freischaltung über Ansprechpartner (Mitarbeiter)
• Beinhaltet Account für Unix *und* Windows
•
Passwort setzen ist notwendig, wenn der Dienst (Unix) bereits
länger als ca. 10/2005 existiert.
Dazu unter Manage Accounts für den Dienst das Passwort
neu setzen.
• Beinhaltet auch das Neusetzen des Passworts für Unix.
•
4
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Konfiguration des Clusters
Hardware
•
Zur Zeit fünf Maschinen:
• 4x Sun Fire V40z (AMD64)
• 1x Standard-PC (IA32)
•
Sun Fire V40z:
• 4 AMD Opteron 848 CPUs, 2,2 GHz, 1 MB L2 auf dem Chip
• 8 GB Speicher, 2GB mit lokaler Bandbreite von 5,3 GB/s
• HyperTransport mit Bandbreite von 6,4 GB/s
Standard-PC
• 2 Intel Xeon CPUs, 2,66 GHz
• 4 GB Speicher
•
•
•
5
Alle Rechenknoten sind durch Gigabit Ethernet verbunden.
Lokale Festplatten für System- und Scratch-Dateisystem.
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Konfiguration des Clusters
Software
•
6
Interaktivmaschine (cluster-win.rz.rwth-aachen.de, winoc45):
• Windows Server 2003, Enterprise Edition, 64bit
• Visual Studio 2003 und 2005
• Intel C/C++ und Fortran, Version 9.1
• MPI: Microsoft Compute Cluster Pack (beta), keine Batchjobs
• MPI: MPICH-2 und MPICH1
• Matlab R2006a (64bit)
• ACML 3.1 (32bit)
• AMD CodeAnalyst
• Microsoft Office 2003, StarOffice 8
• Software für Windows Entwicklung: MSDN, .NET, Windows SDK
• SSH-Client, X-Win, cygwin-Umgebung
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Konfiguration des Clusters
Software
•
•
•
7
Clusterknoten winoc46 und winoc48:
• Windows Compute Cluster Server 2003 (beta), 64bit
• Release wird für Juni 2006 erwartet.
• Abarbeitung von Batchjobs, kein Login
Clusterknoten winoc47:
• Nahezu identische Kopie der Maschine winoc45
• Abarbeitung von Batchjobs (kein Login)
Maschine winc1:
• Windows Server 2003, Enterprise Edition, 32bit
• Visual Studio 2003 und 2005
• Intel C/C++ und Fortran95, Version 9.1
• MPI: MPICH-2
• Intel VTune Software und Intel Threading Tools
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Konfiguration des Clusters
Betriebsumgebung
•
•
•
8
Gleiche Dateisysteme unter UNIX und Windows:
• Eigene Dateien (My Documents) liegt unter
$HOME/Eigene_Dateien/Win-HPC/.
• $HOME wird im interaktiven Betrieb unter H: gemountet.
Zugriff im Batchsystem über \\vfsc4\userid.
• $WORK wird im interaktiven Betrieb unter W: gemountet.
Zugriff im Batchsystem über \\vfsc4\work.
Scratch-Dateisystem $TMP wird unter D:\Temp\<userid> angelegt.
Dateien älter als eine Woche werden automatisch gelöscht.
Entwicklungs- und Testarbeit kann auf der Interaktivmaschine
erfolgen, Berechnung sollte ins Batchsystem submittiert werden.
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
9
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Login von Windows
Remotedesktop
•
Die Remotedesktopverbindung kann bei Bedarf von
http://www.microsoft.com/windowsxp/downloads/tools/rdclientdl.mspx
heruntergeladen werden, sonst ist sie unter Zubehör →
Kommunikation → Remotedesktopverbindung zu finden.
Empfehlung: 24bit Farbtiefe in
Registerkarte Anzeige einstellen.
Domäne: WIN-HPC
10
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Login von Windows
Remotedesktop
Lokale Geräte können verfügbar gemacht werden.
11
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
12
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Login von Linux
rdesktop
•
•
Das Programm rdesktop ist auf http://www.rdesktop.org verfügbar,
liegt aber auch den meisten Distributionen bei. Es sollte Version
1.4.x bzw. neuer verwendet werden.
Es bietet viele Optionen, die durch Eingabe von rdesktop ohne
Parameter angezeigt werden. Allgemein: rdesktop [optionen] host
• -u <user> :
Login als Benutzer <user>
• -d WIN-HPC : Login an Domäne WIN-HPC
• -g WxH :
Auflösung W mal H
• -f :
Vollbild, nicht mit –g verwendbar
• -a 24 :
24bit Farbtiefe
• -k de :
deutsches Tastaturlayout
• -r sound:local : Geräteumleitung (Soundkarte), weitere möglich
13
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Login von Linux
Auswahl der Domäne
Wichtig: Auswahl der Domäne WIN-HPC.
Eine Anmeldung an RZ-WIN oder WINOC45 ist nicht möglich.
14
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
15
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Verfügbare Software
Benutzungshinweise
•
Sowohl Visual Studio .NET 2003 als auch Visual Studio 2005 sind
installiert. Ein VS2003 Projekt wird beim Öffnen mit VS2005
konvertiert, kann aber nicht mehr zurückkonvertiert werden.
• Wurde ein VS2003 Projekt in ein Intel Compiler Projekt umgewandelt,
treten bei der Konvertierung nach VS2005 manchmal Fehler auf, die
das Projekt unbenutzbar machen.
•
•
VS2003-MS
VS2005-MS
VS2003-Intel
VS2005-Intel
Wir empfehlen die Benutzung von Visual Studio 2005, insbesondere
bei Verwendung der Intel Compiler.
Unter cygwin ist eine (nahezu) vollständige UNIX-Umgebung mit den
GNU Compilern und den Intel Compilern verfügbar, damit kann die
Portierung auf Windows erleichtert werden.
C
16
Hochleistungsrechnen mit Windows
Ce nter fo r
Co mputing an d C omm unic ation
C
C
Agenda
•
Konfiguration des Clusters
•
Login von Windows
•
Login von Linux
•
Verfügbare Software
•
Benutzung des Batchsystems
17
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Benutzungshinweise
•
Start des Frontends über All Programs → Compute Cluster Pack →
Compute Cluster Job Manager.
•
•
•
•
•
Batchsystem zur Ausführung von Benutzerjobs.
Bedingung: Programme dürfen keine GUI-Elemente enthalten
und keine Interaktivität erwarten.
Zur Zeit gibt es keine Beschränkung bezüglich der Anzahl der
CPUs eines Jobs oder der verbrauchten CPU-Zeit.
Eine Zeitbeschränkung ist in naher Zukunft zu erwarten (24h o.ä.).
Für OpenMP Programme stehen bis zur 4 CPUs zur Verfügung.
Für MPI Programme stehen bis zu 12 CPUs zur Verfügung.
Natürlich sind auch serielle Jobs möglich.
•
Beim ersten Start ist winoc48 als Cluster Head Node anzugeben.
•
18
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
•
Compute Cluster Job Manager: Absetzen und Verwalten von Jobs.
19
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
•
Im Menü: File → Submit Job:
Job Name: beliebig wählbar
Projekt Name: beliebig wählbar
Priorität: wird nur bezüglich anderer
Jobs eines Benutzers berücksichtigt
20
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
Festlegung der Anzahl der benötigten CPUs.
Eine Abschätzung der Laufzeit
kann angegeben werden, nach
Überschreiten der Laufzeit wird
der Job terminiert.
21
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
Ein Job besteht aus einer Anzahl
von Tasks. Diese können durchaus
nur einen Teil der angeforderten
Ressourcen benutzen und somit
parallel ausgeführt werden.
22
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
Für jeden Task können Eingabe,
Ausgabe und Fehlerausgabe
umgelenkt werden sowie ein
Arbeitsverzeichnis angegeben
werden.
Weiter können Umgebungsvariablen gesetzt werden, z.B.
für OpenMP.
Darüber hinaus können Abhängigkeiten zu anderen Tasks angegeben werden.
23
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
Auf unseren Systemen können
mehrere Jobs bzw. Tasks gleichzeitig auf einem System ausgeführt werden.
Dies kann durch eine entsprechende Option für jeden Tasks geändert
werden.
Für den Fall eines Systemfehlers
kann erlaubt werden, den Job neu
zu starten.
24
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Benutzung des Batchsystems
Compute Cluster Job Manager
Standardmäßig können alle Knoten
zur Ausführung des Jobs genommen werden, die Auswahl kann
aber eingeschränkt werden.
Eine exklusive Nutzung der Knoten
für einen Job ist nur dann erlaubt,
wenn sie die gesamten CPUs des
Knoten anfordern.
25
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation
Interaktive Benutzung und das Batchsystem
Gibt es Fragen zu diesem Teil?
26
Hochleistungsrechnen mit Windows
C
C
C
Ce nter fo r
Co mputing an d C omm unic ation