1 Hochleistungsrechnen mit Windows
Transcription
1 Hochleistungsrechnen mit Windows
Hochleistungsrechnen mit Windows Interaktive Benutzung und das Batchsystem Christian Terboven Rechen- und Kommunikationszentrum RWTH Aachen 1 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 2 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 3 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Konfiguration des Clusters Freischaltung des Accounts • Benutzerverwaltung der RWTH Aachen: https://services.rz.rwth-aachen.de/enrole/logon • Dienst: „Hochleistungsrechnen RWTH Aachen“ • Mitarbeiter: Selbstständige Freischaltung • Hiwis: Freischaltung über Ansprechpartner (Mitarbeiter) • Beinhaltet Account für Unix *und* Windows • Passwort setzen ist notwendig, wenn der Dienst (Unix) bereits länger als ca. 10/2005 existiert. Dazu unter Manage Accounts für den Dienst das Passwort neu setzen. • Beinhaltet auch das Neusetzen des Passworts für Unix. • 4 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Konfiguration des Clusters Hardware • Zur Zeit fünf Maschinen: • 4x Sun Fire V40z (AMD64) • 1x Standard-PC (IA32) • Sun Fire V40z: • 4 AMD Opteron 848 CPUs, 2,2 GHz, 1 MB L2 auf dem Chip • 8 GB Speicher, 2GB mit lokaler Bandbreite von 5,3 GB/s • HyperTransport mit Bandbreite von 6,4 GB/s Standard-PC • 2 Intel Xeon CPUs, 2,66 GHz • 4 GB Speicher • • • 5 Alle Rechenknoten sind durch Gigabit Ethernet verbunden. Lokale Festplatten für System- und Scratch-Dateisystem. Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Konfiguration des Clusters Software • 6 Interaktivmaschine (cluster-win.rz.rwth-aachen.de, winoc45): • Windows Server 2003, Enterprise Edition, 64bit • Visual Studio 2003 und 2005 • Intel C/C++ und Fortran, Version 9.1 • MPI: Microsoft Compute Cluster Pack (beta), keine Batchjobs • MPI: MPICH-2 und MPICH1 • Matlab R2006a (64bit) • ACML 3.1 (32bit) • AMD CodeAnalyst • Microsoft Office 2003, StarOffice 8 • Software für Windows Entwicklung: MSDN, .NET, Windows SDK • SSH-Client, X-Win, cygwin-Umgebung Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Konfiguration des Clusters Software • • • 7 Clusterknoten winoc46 und winoc48: • Windows Compute Cluster Server 2003 (beta), 64bit • Release wird für Juni 2006 erwartet. • Abarbeitung von Batchjobs, kein Login Clusterknoten winoc47: • Nahezu identische Kopie der Maschine winoc45 • Abarbeitung von Batchjobs (kein Login) Maschine winc1: • Windows Server 2003, Enterprise Edition, 32bit • Visual Studio 2003 und 2005 • Intel C/C++ und Fortran95, Version 9.1 • MPI: MPICH-2 • Intel VTune Software und Intel Threading Tools Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Konfiguration des Clusters Betriebsumgebung • • • 8 Gleiche Dateisysteme unter UNIX und Windows: • Eigene Dateien (My Documents) liegt unter $HOME/Eigene_Dateien/Win-HPC/. • $HOME wird im interaktiven Betrieb unter H: gemountet. Zugriff im Batchsystem über \\vfsc4\userid. • $WORK wird im interaktiven Betrieb unter W: gemountet. Zugriff im Batchsystem über \\vfsc4\work. Scratch-Dateisystem $TMP wird unter D:\Temp\<userid> angelegt. Dateien älter als eine Woche werden automatisch gelöscht. Entwicklungs- und Testarbeit kann auf der Interaktivmaschine erfolgen, Berechnung sollte ins Batchsystem submittiert werden. Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 9 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Login von Windows Remotedesktop • Die Remotedesktopverbindung kann bei Bedarf von http://www.microsoft.com/windowsxp/downloads/tools/rdclientdl.mspx heruntergeladen werden, sonst ist sie unter Zubehör → Kommunikation → Remotedesktopverbindung zu finden. Empfehlung: 24bit Farbtiefe in Registerkarte Anzeige einstellen. Domäne: WIN-HPC 10 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Login von Windows Remotedesktop Lokale Geräte können verfügbar gemacht werden. 11 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 12 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Login von Linux rdesktop • • Das Programm rdesktop ist auf http://www.rdesktop.org verfügbar, liegt aber auch den meisten Distributionen bei. Es sollte Version 1.4.x bzw. neuer verwendet werden. Es bietet viele Optionen, die durch Eingabe von rdesktop ohne Parameter angezeigt werden. Allgemein: rdesktop [optionen] host • -u <user> : Login als Benutzer <user> • -d WIN-HPC : Login an Domäne WIN-HPC • -g WxH : Auflösung W mal H • -f : Vollbild, nicht mit –g verwendbar • -a 24 : 24bit Farbtiefe • -k de : deutsches Tastaturlayout • -r sound:local : Geräteumleitung (Soundkarte), weitere möglich 13 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Login von Linux Auswahl der Domäne Wichtig: Auswahl der Domäne WIN-HPC. Eine Anmeldung an RZ-WIN oder WINOC45 ist nicht möglich. 14 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 15 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Verfügbare Software Benutzungshinweise • Sowohl Visual Studio .NET 2003 als auch Visual Studio 2005 sind installiert. Ein VS2003 Projekt wird beim Öffnen mit VS2005 konvertiert, kann aber nicht mehr zurückkonvertiert werden. • Wurde ein VS2003 Projekt in ein Intel Compiler Projekt umgewandelt, treten bei der Konvertierung nach VS2005 manchmal Fehler auf, die das Projekt unbenutzbar machen. • • VS2003-MS VS2005-MS VS2003-Intel VS2005-Intel Wir empfehlen die Benutzung von Visual Studio 2005, insbesondere bei Verwendung der Intel Compiler. Unter cygwin ist eine (nahezu) vollständige UNIX-Umgebung mit den GNU Compilern und den Intel Compilern verfügbar, damit kann die Portierung auf Windows erleichtert werden. C 16 Hochleistungsrechnen mit Windows Ce nter fo r Co mputing an d C omm unic ation C C Agenda • Konfiguration des Clusters • Login von Windows • Login von Linux • Verfügbare Software • Benutzung des Batchsystems 17 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Benutzungshinweise • Start des Frontends über All Programs → Compute Cluster Pack → Compute Cluster Job Manager. • • • • • Batchsystem zur Ausführung von Benutzerjobs. Bedingung: Programme dürfen keine GUI-Elemente enthalten und keine Interaktivität erwarten. Zur Zeit gibt es keine Beschränkung bezüglich der Anzahl der CPUs eines Jobs oder der verbrauchten CPU-Zeit. Eine Zeitbeschränkung ist in naher Zukunft zu erwarten (24h o.ä.). Für OpenMP Programme stehen bis zur 4 CPUs zur Verfügung. Für MPI Programme stehen bis zu 12 CPUs zur Verfügung. Natürlich sind auch serielle Jobs möglich. • Beim ersten Start ist winoc48 als Cluster Head Node anzugeben. • 18 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager • Compute Cluster Job Manager: Absetzen und Verwalten von Jobs. 19 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager • Im Menü: File → Submit Job: Job Name: beliebig wählbar Projekt Name: beliebig wählbar Priorität: wird nur bezüglich anderer Jobs eines Benutzers berücksichtigt 20 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager Festlegung der Anzahl der benötigten CPUs. Eine Abschätzung der Laufzeit kann angegeben werden, nach Überschreiten der Laufzeit wird der Job terminiert. 21 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager Ein Job besteht aus einer Anzahl von Tasks. Diese können durchaus nur einen Teil der angeforderten Ressourcen benutzen und somit parallel ausgeführt werden. 22 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager Für jeden Task können Eingabe, Ausgabe und Fehlerausgabe umgelenkt werden sowie ein Arbeitsverzeichnis angegeben werden. Weiter können Umgebungsvariablen gesetzt werden, z.B. für OpenMP. Darüber hinaus können Abhängigkeiten zu anderen Tasks angegeben werden. 23 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager Auf unseren Systemen können mehrere Jobs bzw. Tasks gleichzeitig auf einem System ausgeführt werden. Dies kann durch eine entsprechende Option für jeden Tasks geändert werden. Für den Fall eines Systemfehlers kann erlaubt werden, den Job neu zu starten. 24 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Benutzung des Batchsystems Compute Cluster Job Manager Standardmäßig können alle Knoten zur Ausführung des Jobs genommen werden, die Auswahl kann aber eingeschränkt werden. Eine exklusive Nutzung der Knoten für einen Job ist nur dann erlaubt, wenn sie die gesamten CPUs des Knoten anfordern. 25 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation Interaktive Benutzung und das Batchsystem Gibt es Fragen zu diesem Teil? 26 Hochleistungsrechnen mit Windows C C C Ce nter fo r Co mputing an d C omm unic ation