DBC renderfarm

[Mark aka Dark]

(MOD: afgesplitst van viewtopic.php?f=34&t=321)
Dat zet mij weer aant denken voor een dutch render farm.

Je zou een centrale renderserver neer moeten zetten. Iedereen die zijn rekenkracht beschikbaar wil stellen zou zijn pc / device daar aan kunnen melden. Als je dan je project ter render aanbiedt aan die server, kijkt ie zelf welke resources er beschikbaar zijn en verdeelt het werk zodanig dat je snelle rendertijden krijgt. En dat allemaal via internet natuurlijk. Zo lang je dat binnen de community houdt zou dat moeten kunnen werken, en niet al te veel kosten.

Technisch gezien moet dat mogelijk zijn...

MAD

[JvL]

Komt toch die online renderfarm van een tijdje terug weer bovendrijven........
Mijn interesse is gewekt.  

[Mark aka Dark]

Heb er even naar gekeken hier op de blender wiki.

Dit is kinderlijk eenvoudig. Wat ik me dan afvraag: waarom bestaat er nog niet een publiek blender netrender netwerk?
Het idee:

Iemand stelt een server beschikbaar (Laat ik nou een pc hebben staan waar alleen nog een voeding in moet).
Stelt die server in als master.
Mensen die hun pc / laptop / device beschikbaar willen stellen downloaden een slave.blend file waar alle instellingen dusdanig ingesteld staan zodat ze verbinding maken met de master (je kunt dit via een batch file op de achtergrond laten opstarten).

Mensen die willen renderen stellen hun blender als client in, en kunnen via de master gebruik maken van alle resources die op dat moment beschikbaar zijn. Je kunt via de client zien hoeveel slave's er beschikbaar zijn (ook blacklisten trouwens, helaas). Stel je render engine op netrender in (hoe zit dat eigenlijk met cycles?) en knallen maar!

Let op: dr zitten volgens mij nog een hoop haken en ogen aan. Ik heb nog niet alles bekeken, dus er zijn vast zaken die ik nu over het hoofd zie en waar we tegen aan gaan lopen.

Wat me zeker leuk lijkt te doen is dit in de community uitproberen, zodat we elkaars bakken kunnen gebruiken bij het renderen. We zouden dit kunnen perfectioneren in samenwerking met "theeth via IRC (#blendercoders)". ik denk dat blender zelf een project als dit ook wel interessant vindt.

Probleempje: we zitten hier thuis tegen een bevalling aan. Dus tot die tijd nog zat te doen, en de eerste maand erna zeker ook. ALs er mensen dingen willen uitproberen en daarbij een master server nodig hebben, laat even weten wat je specifiek wilt, dan kan ik aangeven of ik dat zie zitten.

Mocht ik niets meer horen, dan start ik zelf vanzelf een keer  

MAD

[blenderbrammetje]

Mark , succes met de bevalling, alle goeds gewenst...
Ik kan jullie melden dat ik op korte termijn , enkele weken tot enkele maanden, een financiele injectie verwacht.
Ik heb in de planning staan om 2 workstations en 8 slaves met ieder twee Xeon E5-2697 v2 processoren en 64GB geheugen
aan te schaffen.
Tegen die tijd zal ik het ff laten weten. Ik vind het een mooi plan om een online renderfarm op te zetten,
maar misschien is een snelle verbinding dan wel aan te bevelen en een echt snelle server, vanwege alle binnenkomende connecties ?
Ik zal het eens aan mijn maat vragen, die is ook netwerk-specialist, ik niet.
Hoewel mijn rendercapaciteit primair voor mijzelf bedoelt is, kan ik natuurlijk nooit met twee man en kleine projectjes die bakken aan het stampen houden.... Ze mogen dan best stampen of met hun achtergrondcapaciteit meestampen met een rendernetwerk....
Ik hoor het wel, en ik hou het in de gaten ...

[JvL]

@Mark: Ook al duurt het nog even, alvast succes met de bevalling (al hoef je het natuurlijk niet zelf te doen   ).

@blenderbrammetje: Dat klinkt goed! Ik zou ook wel zo'n injectie willen, haha.


Ik blijf dit onderwerp ook op de voet volgen.

[Mark aka Dark]

Ik heb in de planning staan om 2 workstations en 8 slaves met ieder twee Xeon E5-2697 v2 processoren en 64GB geheugen aan te schaffen.

Zo, dat is een extra drive om dit te gaan proberen! :-)

maar misschien is een snelle verbinding dan wel aan te bevelen en een echt snelle server, vanwege alle binnenkomende connecties?

Yep, dat moet zeker. Maar niet het aantal connecties, maar de hoeveelheid data bepaald hoeveel je nodig hebt. In community vorm zullen we dat nog niet persé nodig hebben (gok ik, toch?). Ik heb 30 download en 3 upload.

Mocht dit echter een succes worden, dan is het natuurlijk een mogelijkheid om te kijken om een dedicated server neer te zetten in een datacenter. Afhankelijk wat dat kost moeten we dan naar fondsen werving kijken   .

MAD

[RDL]

dit is mijn speed
zou snel genoeg moeten zijn ....
wil m'n pc wel eens een weekendje als server beschikbaar stellen




@mark  gefeliciteerd  met de komst van uw baby enz......
moet ie nog lang renderen ?

lol
mvg rdl

[Mark aka Dark]

@mark  gefeliciteerd  met de komst van uw baby enz......
moet ie nog lang renderen ?

Iedereen bedankt trouwens voor de comments. Maar de scene is allang klaar met renderen. De pc wil de sessie alleen nog niet vrijgeven.  :lol:

Baby is al ter grootte van 40 weken terwijl mama nog op 37 weken zit. Baby is dus te snel gegroeid. Nu moet mama in het ziekenhuis bevallen, en als de baby niet opschiet, gaan ze em halen. (roepen dat hij/zij niet hoeft te werken, werkte helaas niet).

MAD

[RDL]

@mark  gefeliciteerd  met de komst van uw baby enz......
moet ie nog lang renderen ?

Iedereen bedankt trouwens voor de comments. Maar de scene is allang klaar met renderen. De pc wil de sessie alleen nog niet vrijgeven.  :lol:



MAD

oeie ...drivers updaten

[Mark aka Dark]

dit is mijn speed
zou snel genoeg moeten zijn ....
wil m'n pc wel eens een weekendje als server beschikbaar stellen

Eigenlijk moet de master server deze specs precies andersom hebben. Download van de Master is upload voor de client. De meeste mensen hebben upload niet zo hoog, als de download. Dus de master kan relatief met veel minder download toe als upload. Clients hebben vaak wel een forse download, dus de master moet behoorlijk kunnen uploaden. Zeker gezien het feit dat een project van een paar tientallen mb's (voor de master download) een animatie kan genereren van wel honderden mb's (voor de master upload).

hm, je zult em waarschijnlijk een paar keer moeten lezen.  :oops:

MAD

[RDL]

@marc klopt wat je schrijft


maar ik  had het zo begrepen ........

Frame Ranges
 if you have a local area network with available PCs, you can split the work up by frames. For example, if you want to render a 200 frame animation, and have 5 PCs of roughly equal processing power, you can allocate PC#1 to produce frames 1-40, PC#2 to frames 41-80, and so on. If one PC is slower than the others, simply allocate fewer frames to that PC. To do LAN renders, map the folder containing the .blend file (in which you should have packed your external data, like the textures, …) as a shareable drive. Start Blender on each PC and open the .blend file. Change the Start and End frame counts on that PC, but do not save the .blend file. Start Rendering. If you use relative paths for your output pathspec, the rendered frames will be placed on the host PC.

of

Collaborative Rendering
you can do WAN rendering, which is where you email or fileshare or Verse-share the .blend file (with packed data!) across the Internet, and use anyone's PC to perform some of the rendering. They would in turn email you the finished frames as they are done. If you have reliable friends, this is a way for you to work together.


staat in de blender handleiding ...het gaat niet over industrieel renderen gewoon samenwerken om vlugger resultaat te verkrijgen
dan mag die upload wat minder zijn

en in plaats van de frames te emailen kan je gebruik maken van bv dropbox een gedeelde map
ik wilde vooral eens experimenteren met de wan rendering

...........

mvg rdl

[Mark aka Dark]

Het zijn allebei werkbare oplossingen, maar het zorgt ervoor dat iedereen tegelijk online moet zijn en er eea afgestemd moet worden per sessie.
Volgens mij wordt in beide gevallen ook geen netrender gebruikt, netrender werkt heel anders.

MAD

[blenderbrammetje]

Yup. Netrender moeten we hebben. Zodat de tiles van de scene door verschillende processoren of door verschillende computers met een of meer processoren gerendert worden. Zo heeft ieder frame voordeel van de grote capaciteit van een netwerk.
Ik heb er samen met een maat mee gespeeld maar toen werkte de export-functie niet. Idioot bestandsformaat trouwens. EXR ?
In 3dsMax ging het uitstekend, ik heb inmiddels weer een nieuwe blenderversie, misschien dat het nu wel werkt.

Ik laat het meteen weten zodra ik mijn spullen heb. Het is de moeite waard er alvast mee te spelen.
Ik ga zodra mijn huidige project gerendert is, ook weer netrenderpogingen wagen.
Groetjes, Blenderbrammetje.

[Mark aka Dark]

Zojuist Blender 2.69 gedownload en 4 instances opgestart op mn laptop. Allemaal op netrender gezet (natuurlijk wel ff de module activeren).
1 > Master
2 > Client
3 > Slave
4 > Slave

Works like a charm! natuurlijk geen performance voordeel, want het is 1 en de zelfde machine. Maar technisch gezien werkt het. niet zo'n mooie maar functionele webinterface waar je het hele proces kunt volgen. Dit is echt piece of cake, teste het hele zaakje in 15 minuten tijd!

Ik zal kijken of ik van het weekend tijd hebt om op mijn server een master op te zetten. Iedereen kan dan die master testen door 2 instances te openen van blender. 1 stel je in als client, de ander als slave. Als je de enige bent zul je zien dat je de job die je verzend gerendert wordt door de andere instance. :-) Het domein zal ik op verzoek mailen/pm'en.

i'll keep you posted. Onderstaand een plaatje van de master webinterface. Je kunt zien dat ik wat jobs afgevuurd heb en dat er 2 slaves zijn, waarvan 1 druk is (de ander heb ik geblacklist, om te testen of dat werkt).


MAD

[JvL]

Kijk eens aan. Gaat die ontwikkeling toch nog sneller dan verwacht.