Télécharger - Ranch Computing

RANCH RenderFarm - Guide de l'utilisateur
Partie II – le RANCH pour Maxwell Render
www.ranchcomputing.com
15-03-03 – 3 mars 2015
Bienvenue sur le service de rendu automatisé RANCH, le supercalculateur ultra-rapide - mais
accessible - pour tous vos projets Maxwell ! Ce document contient les informations
spécifiques à l’utilisation de Maxwell Render sur le RANCH. Avant de le lire, nous
recommandons fortement que vous lisiez d’abord la première partie – le Guide général – qui
inclut tout ce qui ne concerne pas spécifiquement Maxwell.
Le temps total d’un projet, qui détermine son coût, inclut:
- la distribution du projet à travers le réseau
+ la phase de préparation / voxélization
+ le temps de calcul lui-même, spécifié dans le formulaire de soumission de projet
+ et la fusion de tous les MXIs partiels produits par les render nodes en un MXI final
Important : modifications de la fusion depuis la version 2.7
Maxwell Render 2.7 a introduit la compression des MXI. La taille du fichier MXI produit par
un projet est plus petite, donc le téléchargement du MXI final prendra moins de temps, bien
que le taux de compression varie considérablement avec chaque scène, en fonction de
nombreux paramètres (nombre de canaux, définition, émetteurs, utilisation du Multilight,
etc.). La fusion de MXI compressés prend un peu plus de temps que celle de leurs équivalents
non-compressés en basse/moyenne définition, mais la tendance s'inverse en haute définition.
L'inconvénient de la compression MXI est qu'il n'est plus possible de prédire précisément le
temps de fusion d'un projet en se basant sur la taille du MXI, sachant que :
- le taux de compression n'est jamais le même d'un projet à l'autre.
- des MXIs compressés de même taille peuvent demander des temps de fusion différents.
- le MXI final (fusionné) est plus lourd que les MXI individuels.
Par conséquent un MXI compressé de 500 Mo peut être équivalent à un MXI non-compressé
de 1 Go, ou de 4 Go... le temps de fusion sera 4 fois plus long dans le second cas, bien que la
taille du MXI compressé soit similaire.
Vous pouvez considérer qu'une fusion complète sur le RANCH Runner prend généralement
entre 2 et 20 minutes, pour des MXI de tailles courantes (de quelques Mo jusqu'à 2 Go).
Astuce : pour réduire la taille des MXIs, n'utilisez pas le Multilight sauf si vous en avez
absolument besoin. Dans ce cas, évitez le Color Multilight qui peut créer des MXIs énormes.
1
1) Maxwell Render sur le RANCH: fonctionnalités spécifiques
En plus des fonctionnalités décrites dans la partie I du RUG, le RANCH offre des fonctions
spécifiques aux moteurs de rendu Unbiased en général, et à Maxwell Render en particulier.
- Les projets coopératifs Maxwell 3.x et Maxwell 2.x sont supportés
- Possibilité de reprendre des projets (fonction resume) pour améliorer la qualité d'image
- Possibilité de viser un sampling level (SL) coopératif donné
- Vous récupérez les fichiers MXIs et les images bitmaps
- Possibilité de calculer plusieurs caméras en envoyant un seul projet (mode MultiCam)
- Une passe de débruitage est automatiquement appliquée aux rendus coopératifs
- La file d’attente affiche en temps réel une approximation du Sampling level (SL) global
atteint pendant le rendu d’un projet coopératif. Le premier affichage de SL est disponible 5 à
6 minutes après le début du projet.
- Des prévisualisations temps réel vous permettent d'observer le projet pendant son rendu.
2) Informations importantes pour la préparation des scènes
Il est TRES important que vous lisiez soigneusement le contenu de cette section avant de
soumettre une scène. Cela vous aidera à éviter les erreurs les plus communes.

Vérifiez avant d'envoyer une scène que vous l'avez sauvegardée avec tous les bons
paramètres. Il est de votre responsabilité de fournir la scène avec tous les réglages
corrects. La scène sera calculée exactement telle que vous nous l'envoyez. 

 Avant de nous envoyer une scène, chargez-là sur votre ordinateur et lancez un rendu
en définition maximale pendant quelques minutes à partir de Maxwell Render (PAS
de Maxwell Studio), pour vous assurer que tout fonctionne comme prévu et que votre
scène ne provoque pas de crash. Certaines erreurs – ‘triangles without material’ par
exemple - ne sont en effet pas détectées par MS, alors qu’elles crashent MR.

N’incluez pas de caractères accentués / non-alphanumériques, des espaces,
apostrophes et points dans les noms de fichiers de votre projet (scène, textures, objets,
etc.). Pour éviter tout problème d’interprétation par le RANCH Runner, merci
d’utiliser uniquement des lettres et des chiffres, ou le signe « _ » pour remplacer les
espaces.

Vous pouvez utiliser des scènes .mxs référencées (introduites dans Maxwell 2.6) dans
votre projet si toutes ces scènes ont le préfixe "xref_" (ex : "xref_MonProduit.mxs").
Seule la scène principale peut avoir un nom quelconque (ex : "MaScene.mxs"). Tous
les fichiers .mxs référencés doivent avoir le préfixe "xref_", sinon le serveur ne pourra
distinguer la scène principale et le projet sera rejeté ou considéré comme une
animation (avec autant de frames que de fichiers .mxs - voir page 6).
2
3) Préparation de la scène pour un projet d’image fixe – mode Coopératif
Pour préparer vos projets d’images fixes, vous devez utiliser RANCHecker, un logiciel
gratuit développé par le RANCH. Cet outil simple d’utilisation rassemble tous les contenus
nécessaires à vos scènes et prépare vos projets en tant qu'archives compressées au format
.vum, prêtes à être rendues.
RANCHecker est également capable de tester les performances de votre système et de vous
donner des estimations utiles de coût et de temps pour vos projets.
Vous pouvez télécharger RANCHecker sur notre site dédié à Maxwell (des versions PC et
Mac sont disponibles).
Depuis la version 2.2, RANCHecker est aussi capable de générer des projets MultiCam (un
seul projet avec plusieurs caméras à calculer). Pour plus de détails, veuillez consulter
l’appendice B de ce manuel consacré au mode MultiCam.
3
4) Reprise d’un projet coopératif !
Cette fonction exclusive du RANCH vous permet de continuer un projet coopératif
précédemment rendu. Imaginons que vous veniez juste de calculer un projet appelé
« MaMaison.vum » pendant deux heures. Vous téléchargez les fichiers, examinez les images
et le MXI… et regrettez de ne pas avoir demandé quatre heures de calcul, car le Sampling
Level est trop bas et l’image encore trop granuleuse.
Heureusement, le RANCH est capable de reprendre un projet coopératif ! Si vous envoyez un
projet avec exactement le même nom que le précédent (dans notre exemple
« MaMaison.vum ») et – à l’évidence – la même définition X / Y, le RANCH sera capable de
recharger automatiquement les données à partir de son cache de projets, et de reprendre le
rendu dans l’état où il se trouvait à la fin du rendu précédent. D’autres choses à savoir
concernant la fonction de reprise :
-
Toutes les données d’un projet coopératif sont conservées dans le cache jusqu’à ce que
le compte ftp temporaire du projet expire. Par conséquent si vous essayez de reprendre
un ancien projet (vieux de plus de 5 jours), ses données ne seront plus disponibles et il
sera considéré comme un nouveau projet.
-
Si vous voulez reprendre un projet, vous devez l’envoyer à partir du même compte
utilisateur RANCH que le précédent.
-
Chaque projet repris, quand il sera terminé, sera lui-même considéré comme un
nouveau projet par le RANCH. Il aura donc son propre dossier ftp… et vous pourrez
le reprendre lui aussi ! Cela signifie que vous pouvez améliorer le projet original
progressivement, par l’intermédiaire de plusieurs reprises successives !
-
Quand vous utilisez cette option, les e-mails que vous recevrez confirmeront que le
projet en cours est effectivement un projet repris.
-
Ne vous inquiétez pas si, en regardant la file d'attente pendant la seconde passe, le SL
affiché n'est pas plus élevé que durant la première passe : les MXIs de la première et
de la seconde passe sont simplement fusionnés à la fin pour produire le MXI final.
Une autre bonne surprise pour finir : quand vous reprendrez un projet, le RANCH utilisera
seulement les données de son cache, et n’essaiera pas de décompresser le fichier .vum que
vous envoyez. Cela signifie que vous n’avez pas besoin de renvoyer un gros fichier projet (la
vraie scène) à chaque reprise. Créez simplement un petit fichier texte (qui ne doit pas être vide
cependant, sa taille doit être > 0), renommez-le avec le nom exact du projet d’origine - dans
notre example ce serait « MaMaison.vum » - et envoyez-le !
Si le même nom est trouvé dans le cache, seules les données précédentes seront utilisées, et
donc cela n’a pas d’importance que votre fichier .vum ne soit pas un « vrai » fichier .vum.
Bien entendu, si aucune donnée n’est disponible dans le cache pour un projet de ce nom, il
sera simplement rejeté en tant que fichier .vum invalide.
4
5) Préparation de la scène pour un projet d’animation – mode Frame
La préparation est différente pour une animation. Voici les étapes à suivre :
1) Créez votre animation dans l’application-hôte (3DS Max, C4D, etc.). Dans le plugin
Maxwell, choisissez l’option « Write MXS ». Le plugin Maxwell va alors générer
autant de fichiers MXS qu’il y a de plans dans l’animation. Copiez tous ces fichiers
MXS dans un nouveau dossier que vous allez réserver aux fichiers de votre projet.
Appelons-le DIRA dans notre exemple (mais vous pouvez lui donner le nom que vous
voulez – juste avec des chiffres et lettres, sans espaces ni caractères spéciaux).
2) Rassemblez tous les fichiers externes nécessaires à votre projet (textures, etc.). Pour
cela, ouvrez dans Maxwell Studio l’une des scènes MXS générées en 1) et utilisez la
fonction « Pack’n’Go » pour enregistrer tous les fichiers trouvés dans un autre dossier
(PAS le dossier projet contenant toutes les scènes MXS). Appelons ce dossier DIRB.
3) Copiez tous les fichiers de DIRB dans DIRA, à l’exception de la scène MXS qui a été
créée dans DIRB par la fonction Pack’n’Go. Après cette opération, tous les fichiers
nécessaires sont dans DIRA (toutes les scènes MXS + fichiers externes, textures, etc.).
4) Compressez tous les fichiers du dossier DIRA en une archive au format .7z ou .zip
(voir 5-A pour les détails) en fonction du compacteur que vous avez l’habitude
d’utiliser. N’utilisez pas un autre format.
5) Renommez votre archive compressée avec l’extension « .vum ». Par exemple, si votre
fichier s’appelle « MonAnim.zip », renommez-le en « MonAnim.vum ». C’est
essentiel pour que le serveur automatisé détecte le fichier en tant que projet Maxwell.
Le RANCH sait qu'un projet est une image fixe s’il ne trouve qu’une seule scène principale
MXS dans l'archive .vum. Il allouera alors la même scène à tous les nodes en mode
coopératif. S’il trouve plusieurs scènes principales MXS dans l'archive (c'est-à-dire non 'xref_'
- voir page 3), il traitera le projet comme une animation (une scène MXS / frame par node).
Donc, si vous voulez envoyer une image fixe et non une animation, assurez-vous que
votre archive .vum ne contient qu’UNE seule scène principale .MXS.
Note : vous ne pouvez pas uploader un fichier d’une taille supérieure à 2 Go vers le
RANCH. Si vous envoyez un projet d’animation composé de nombreuses scènes .MXS,
cette limite peut être atteinte. Dans ce cas, vous devrez découper votre projet principal
en plusieurs sous-projets, chacun d’une taille < 2 Go.
Pour les utilisateurs de 3ds Max, Maya et Cinema 4D
Vous pouvez envoyer votre animation 3ds Max / Maya / Cinema 4D + Maxwell directement
sous la forme d'un projet 3ds Max, Maya ou C4D, au lieu de devoir envoyer de nombreux
fichiers .MXS indépendants et volumineux. Pour cela, consultez nos sites RANCH et nos
manuels d'utilisation PDF dédiés à ces applications.
5
6) Choisir une stratégie de rendu
Vous avez deux possibilités : choisir un temps de rendu maximum (en minutes) ou un
Sampling Level (SL) maximum. Si votre deadline est proche, vous voudrez sans doute obtenir
la meilleure qualité d’image possible dans le temps imparti. Si vous disposez de deux heures,
vous pouvez entrer “120” dans le champ « Render phase time limit » et 30 dans le champ
« Sampling Level ». La phase de rendu sera alors interrompue après 2 heures de calcul, ou
après que le SL ait atteint le niveau 30 (ce qui est peu probable ).
Une autre stratégie : vous voulez atteindre un Sampling Level de N (par exemple N=15), que
vous considérez nécessaire et suffisant. Dans ce cas vous pourriez entrer 120 minutes (le
maximum autorisé) et un SL de 15. Le rendu sera stoppé quand le SL désiré sera atteint. Vous
devez toujours utiliser cette stratégie pour un projet d’animation, afin de vous assurer
que toutes les images seront de même qualité.
Si vous n’êtes pas très sûr de vous, par exemple vous souhaitez atteindre un SL de 16 mais
cela n’est pas obligatoire, et en tout cas vous ne voulez pas que le temps de rendu dépasse 1
heure, alors vous pouvez entrer « 60 » et « 16 ». La phase de rendu sera stoppée dès que la
limite de 60 minutes sera atteinte, OU lorsqu’un SL de 16 aura été atteint.
Veuillez noter que le temps de traitement total d’un projet, qui détermine son coût total, inclut
plusieurs facteurs (l’exemple ci-dessous est celui d‘un projet coopératif) :
-
Le temps nécessaire pour envoyer la scène à tous les nodes. Cela prend moins d’une
minute avec la plupart des scènes, et quelques minutes avec des scènes complexes.
-
Le temps de préparation (la voxélization peut être longue sur une scène complexe).
-
Le temps de rendu (à l’évidence la plus longue étape, dont vous spécifiez la durée
dans le formulaire de soumission d’un projet).
-
Le temps nécessaire pour récupérer et fusionner tous les MXIs partiels en un MXI
final (dépend de la taille des MXI, voir page suivante).
-
Le temps nécessaire pour créer le répertoire ftp et y transférer les fichiers
(typiquement moins d’une minute).
Nous vous recommandons d’utiliser RANCHecker pour mieux évaluer le coût de votre projet.
6
IMPORTANT : complexité et temps de traitement des MXI
Le fichier MXI final est obtenu en récupérant et en fusionnant les MXI coopératifs de tous les
nœuds de calcul du RANCH Runner. La complexité d’un MXI dépend de la définition du
projet, de l’utilisation ou non de l’option Multilight, du nombre d’émetteurs lumineux et de
canaux. Le temps de récupération (pour copier les MXIs de tous les noeuds à travers le
réseau) et le temps de fusion (pour fusionner tous ces MXIs en un MXI final) dépendent de la
complexité de chaque MXI.
Avec de gros MXIs, une énorme quantité de données est transférée à travers le réseau, et le
temps nécessaire pour la phase de récupération + fusion peut être long. Cela étant dit, le
RANCH Runner offre le plus haut niveau de performance de fusion disponible
actuellement. Le temps de fusion sur le RANCH Runner prend typiquement entre 2 et 20
minutes en fonction de la complexité du projet.
Attention :
La fusion a été modifiée depuis la version 2.7 de Maxwell Render. Assurez-vous d'avoir lu les
détails en page 1 de ce guide.
Si vous choisissez l’option « Multilight » en enregistrant votre scène, la taille des MXI sera
beaucoup plus importante, et le temps de traitement augmentera en conséquence. Soyez très
prudent lorsque vous utilisez l’option Multilight, et soyez conscient du fait qu’elle peut
augmenter considérablement le temps de traitement total du projet, même si la phase de rendu
proprement dite est rapide.
Si vous devez absolument utiliser le Multilight, essayez d'éviter l'option Color Multilight, car
elle peut générer des MXIs énormes qui consommeront beaucoup de RAM et seront très longs
à fusionner.
7
7) Fichiers produits par le rendu
* Si votre projet est une image fixe / rendu coopératif
Vous trouverez dans le dossier ftp de votre projet:
-
votre scène .VUM originale.
le fichier MXI final, fusionné après le rendu coopératif.
les couches bitmaps spécifiées dans votre scène (alpha, Idmaterial, Idmesh, etc.)
une image finale de votre projet (avec le suffixe « _final »).
Une version « débruitée » de l’image finale (suffixe « _denoised »). L’image finale est
filtrée à la fin du processus RANCH, dans le but de réduire le bruit numérique.
Note 1 : les effets du « débruitage » sont subtils. Il ne remplacera jamais un temps de calcul
plus long, et ne transformera jamais une image très granuleuse en image parfaite , mais il
contribue à « nettoyer » l’image finale en éliminant une partie du bruit. La passe de débruitage
est très rapide et effectuée sans surcoût pour l’utilisateur.
Note 2 : sur certaines images il est possible que le denoiser ne fonctionne pas. Dans ce cas le
fichier « _denoised » ne sera pas inclus dans le dossier ftp. Etant donné qu’il s’agit d’un
processus automatique, le denoising ne peut pas être aussi sophistiqué que s’il était effectué
manuellement, et dans quelques (rares) cas il ne fonctionnera pas. Merci de considérer cette
fonction comme un bonus gratuit, et non comme un résultat garanti 
* Si votre projet est une animation
Vous trouverez dans votre dossier :
-
votre scène .VUM originale.
-
Toutes les images de l’animation, au format bitmap que vous avez choisi dans la
scène. Si pour une raison quelconque le format bitmap de sortie n’est pas identifié, le
format TIF 32 bits sera utilisé par défaut.
-
les couches bitmaps spécifiées dans votre scène (alpha, Idmaterial, Idmesh, etc.)
8
Appendice A : les prévisualisations temps réel
Prévisualisation de projet coopératif (image fixe)
Le RANCH vous permet d'observer votre projet coopératif pendant son rendu, sur une page
web spécifique à votre projet en cours. Pour accéder à cette page, cliquez sur le bouton
dans la file d'attente.
Voici ci-dessous un exemple de prévisualisation.
© Scène par Felix de Montesquiou
Notes :
- La première prévisualisation est disponible 5 à 6 minutes après le début du projet.
- La prévisualisation n'affiche pas toutes les subtilités de l'image finale.
- L'image de prévisualisation a une définition maximale de 1400 pixels (largeur ou hauteur).
- L'image est annotée (nom du projet, SL actuel, temps de rendu, définition réelle de l'image).
- La prévisualisation est générée à chaque augmentation du SL.
- Vous pouvez cliquer sur le bouton REFRESH pour mettre à jour la prévisualisation.
9
Prévisualisation d'animation
Le RANCH vous offre une fonction pratique pour prévisualiser votre projet d'animation
pendant le calcul. Elle affiche des vignettes de 256 pixels de large toutes les 10 frames
rendues (frame 0, 10, 20, etc.) sur une page web spécifique à votre projet en cours. Pour
accéder à cette page, il vous suffit de cliquer sur le bouton
qui apparaît
lorsque votre projet est en cours de rendu (et bien entendu s'il y a quelque chose à
prévisualiser : si chaque frame de votre animation demande 30 minutes de calcul, il n'y aura
évidemment rien à voir pendant les 30 premières minutes :)
Voici ci-dessous un exemple de ce que vous pourrez voir en cliquant sur Preview (l'image
occupe toujours à peu près 1900 pixels de large, sa hauteur dépend du nombre de vignettes).
Notes :
- A la fin du rendu, l'image de preview d'animation est copiée dans le dossier de votre projet.
10
Appendice B : le mode MultiCam
Dans certains projets, vous pouvez avoir à calculer plusieurs vues d’une même scène. Le
mode MultiCam (intégré à RANCHecker >= 2.2) vous laisse choisir les caméras à rendre :
puis enregistre ces informations dans l’archive .vum. Lorsque le projet est traité, les caméras
que vous avez sélectionnées sont calculées les unes après les autres, de sorte que vous n’aurez
pas à envoyer autant de projets que de vues à rendre. S’il n’y a qu’une caméra dans la scène,
le requester ci-dessus n’apparaîtra pas quand vous préparerez votre projet.
A savoir sur le mode MultiCam :
-
si vous ne sélectionnez qu’une caméra à rendre, la définition X/Y utilisée pendant le
rendu sera celle que vous saisissez dans le formulaire de soumission de projet
si vous sélectionnez au moins deux caméras à rendre, la définition X/Y utilisée pour
chaque caméra sera la définition enregistrée pour cette caméra dans la scène .mxs
chaque caméra est enregistrée dans son propre sous-dossier dans le dossier du projet
chaque caméra peut avoir une définition différente (largeur/hauteur)
si vous stoppez le projet en cours de rendu, l’ensemble du projet sera stoppé, et pas
seulement la caméra en cours
la file d’attente affiche « CAM 2/4 » par exemple si la caméra en cours de rendu est la
seconde sur un total de quatre
la liste des caméras sélectionnées est affichée dans l’e-mail de début de projet
le SL atteint par chaque caméra est affiché dans l’e-mail de fin de projet
la prévisualisation (appendice A) fonctionne avec chaque caméra successivement
reprendre un projet MultiCam est impossible, même si une seule caméra est cochée
11