Dutch Blender Community
Hulp => Hardware => Topic gestart door: Mark aka Dark op 21 oktober 2013, 11:11:33 am
-
(MOD: afgesplitst van viewtopic.php?f=34&t=321 (http://www.dbc-3d.nl/viewtopic.php?f=34&t=321))
Dat zet mij weer aant denken voor een dutch render farm.
Je zou een centrale renderserver neer moeten zetten. Iedereen die zijn rekenkracht beschikbaar wil stellen zou zijn pc / device daar aan kunnen melden. Als je dan je project ter render aanbiedt aan die server, kijkt ie zelf welke resources er beschikbaar zijn en verdeelt het werk zodanig dat je snelle rendertijden krijgt. En dat allemaal via internet natuurlijk. Zo lang je dat binnen de community houdt zou dat moeten kunnen werken, en niet al te veel kosten.
Technisch gezien moet dat mogelijk zijn...
MAD
-
Komt toch die online renderfarm van een tijdje terug weer bovendrijven........
Mijn interesse is gewekt. ;)
-
Heb er even naar gekeken hier (http://wiki.blender.org/index.php/Doc:2.6/Manual/Render/Performance/Netrender) op de blender wiki.
Dit is kinderlijk eenvoudig. Wat ik me dan afvraag: waarom bestaat er nog niet een publiek blender netrender netwerk?
Het idee:
Iemand stelt een server beschikbaar (Laat ik nou een pc hebben staan waar alleen nog een voeding in moet).
Stelt die server in als master.
Mensen die hun pc / laptop / device beschikbaar willen stellen downloaden een slave.blend file waar alle instellingen dusdanig ingesteld staan zodat ze verbinding maken met de master (je kunt dit via een batch file op de achtergrond laten opstarten).
Mensen die willen renderen stellen hun blender als client in, en kunnen via de master gebruik maken van alle resources die op dat moment beschikbaar zijn. Je kunt via de client zien hoeveel slave's er beschikbaar zijn (ook blacklisten trouwens, helaas). Stel je render engine op netrender in (hoe zit dat eigenlijk met cycles?) en knallen maar!
Let op: dr zitten volgens mij nog een hoop haken en ogen aan. Ik heb nog niet alles bekeken, dus er zijn vast zaken die ik nu over het hoofd zie en waar we tegen aan gaan lopen.
Wat me zeker leuk lijkt te doen is dit in de community uitproberen, zodat we elkaars bakken kunnen gebruiken bij het renderen. We zouden dit kunnen perfectioneren in samenwerking met "theeth via IRC (#blendercoders)". ik denk dat blender zelf een project als dit ook wel interessant vindt.
Probleempje: we zitten hier thuis tegen een bevalling aan. Dus tot die tijd nog zat te doen, en de eerste maand erna zeker ook. ALs er mensen dingen willen uitproberen en daarbij een master server nodig hebben, laat even weten wat je specifiek wilt, dan kan ik aangeven of ik dat zie zitten.
Mocht ik niets meer horen, dan start ik zelf vanzelf een keer :D
MAD
-
Mark , succes met de bevalling, alle goeds gewenst...
Ik kan jullie melden dat ik op korte termijn , enkele weken tot enkele maanden, een financiele injectie verwacht.
Ik heb in de planning staan om 2 workstations en 8 slaves met ieder twee Xeon E5-2697 v2 processoren en 64GB geheugen
aan te schaffen.
Tegen die tijd zal ik het ff laten weten. Ik vind het een mooi plan om een online renderfarm op te zetten,
maar misschien is een snelle verbinding dan wel aan te bevelen en een echt snelle server, vanwege alle binnenkomende connecties ?
Ik zal het eens aan mijn maat vragen, die is ook netwerk-specialist, ik niet.
Hoewel mijn rendercapaciteit primair voor mijzelf bedoelt is, kan ik natuurlijk nooit met twee man en kleine projectjes die bakken aan het stampen houden.... Ze mogen dan best stampen of met hun achtergrondcapaciteit meestampen met een rendernetwerk....
Ik hoor het wel, en ik hou het in de gaten ...
-
@Mark: Ook al duurt het nog even, alvast succes met de bevalling (al hoef je het natuurlijk niet zelf te doen ;) ).
@blenderbrammetje: Dat klinkt goed! Ik zou ook wel zo'n injectie willen, haha.
Ik blijf dit onderwerp ook op de voet volgen.
-
Ik heb in de planning staan om 2 workstations en 8 slaves met ieder twee Xeon E5-2697 v2 processoren en 64GB geheugen aan te schaffen.
Zo, dat is een extra drive om dit te gaan proberen! :-)
maar misschien is een snelle verbinding dan wel aan te bevelen en een echt snelle server, vanwege alle binnenkomende connecties?
Yep, dat moet zeker. Maar niet het aantal connecties, maar de hoeveelheid data bepaald hoeveel je nodig hebt. In community vorm zullen we dat nog niet persé nodig hebben (gok ik, toch?). Ik heb 30 download en 3 upload.
Mocht dit echter een succes worden, dan is het natuurlijk een mogelijkheid om te kijken om een dedicated server neer te zetten in een datacenter. Afhankelijk wat dat kost moeten we dan naar fondsen werving kijken :) .
MAD
-
(http://s7.postimg.org/u5z5dpol7/spedknipsel.jpg) (http://postimage.org/)
dit is mijn speed
zou snel genoeg moeten zijn ....
wil m'n pc wel eens een weekendje als server beschikbaar stellen
@mark gefeliciteerd met de komst van uw baby enz......
moet ie nog lang renderen ?
lol
mvg rdl
-
@mark gefeliciteerd met de komst van uw baby enz......
moet ie nog lang renderen ?
Iedereen bedankt trouwens voor de comments. Maar de scene is allang klaar met renderen. De pc wil de sessie alleen nog niet vrijgeven. :lol:
Baby is al ter grootte van 40 weken terwijl mama nog op 37 weken zit. Baby is dus te snel gegroeid. Nu moet mama in het ziekenhuis bevallen, en als de baby niet opschiet, gaan ze em halen. (roepen dat hij/zij niet hoeft te werken, werkte helaas niet).
MAD
-
@mark gefeliciteerd met de komst van uw baby enz......
moet ie nog lang renderen ?
Iedereen bedankt trouwens voor de comments. Maar de scene is allang klaar met renderen. De pc wil de sessie alleen nog niet vrijgeven. :lol:
MAD
oeie ...drivers updaten
-
(http://s7.postimg.org/u5z5dpol7/spedknipsel.jpg) (http://postimage.org/)
dit is mijn speed
zou snel genoeg moeten zijn ....
wil m'n pc wel eens een weekendje als server beschikbaar stellen
Eigenlijk moet de master server deze specs precies andersom hebben. Download van de Master is upload voor de client. De meeste mensen hebben upload niet zo hoog, als de download. Dus de master kan relatief met veel minder download toe als upload. Clients hebben vaak wel een forse download, dus de master moet behoorlijk kunnen uploaden. Zeker gezien het feit dat een project van een paar tientallen mb's (voor de master download) een animatie kan genereren van wel honderden mb's (voor de master upload).
hm, je zult em waarschijnlijk een paar keer moeten lezen. :oops:
MAD
-
@marc klopt wat je schrijft
maar ik had het zo begrepen ........
Frame Ranges
if you have a local area network with available PCs, you can split the work up by frames. For example, if you want to render a 200 frame animation, and have 5 PCs of roughly equal processing power, you can allocate PC#1 to produce frames 1-40, PC#2 to frames 41-80, and so on. If one PC is slower than the others, simply allocate fewer frames to that PC. To do LAN renders, map the folder containing the .blend file (in which you should have packed your external data, like the textures, …) as a shareable drive. Start Blender on each PC and open the .blend file. Change the Start and End frame counts on that PC, but do not save the .blend file. Start Rendering. If you use relative paths for your output pathspec, the rendered frames will be placed on the host PC.
of
Collaborative Rendering
you can do WAN rendering, which is where you email or fileshare or Verse-share the .blend file (with packed data!) across the Internet, and use anyone's PC to perform some of the rendering. They would in turn email you the finished frames as they are done. If you have reliable friends, this is a way for you to work together.
staat in de blender handleiding ...het gaat niet over industrieel renderen gewoon samenwerken om vlugger resultaat te verkrijgen
dan mag die upload wat minder zijn
en in plaats van de frames te emailen kan je gebruik maken van bv dropbox een gedeelde map
ik wilde vooral eens experimenteren met de wan rendering
...........
mvg rdl
-
Het zijn allebei werkbare oplossingen, maar het zorgt ervoor dat iedereen tegelijk online moet zijn en er eea afgestemd moet worden per sessie.
Volgens mij wordt in beide gevallen ook geen netrender gebruikt, netrender werkt heel anders.
MAD
-
Yup. Netrender moeten we hebben. Zodat de tiles van de scene door verschillende processoren of door verschillende computers met een of meer processoren gerendert worden. Zo heeft ieder frame voordeel van de grote capaciteit van een netwerk.
Ik heb er samen met een maat mee gespeeld maar toen werkte de export-functie niet. Idioot bestandsformaat trouwens. EXR ?
In 3dsMax ging het uitstekend, ik heb inmiddels weer een nieuwe blenderversie, misschien dat het nu wel werkt.
Ik laat het meteen weten zodra ik mijn spullen heb. Het is de moeite waard er alvast mee te spelen.
Ik ga zodra mijn huidige project gerendert is, ook weer netrenderpogingen wagen.
Groetjes, Blenderbrammetje.
-
Zojuist Blender 2.69 gedownload en 4 instances opgestart op mn laptop. Allemaal op netrender gezet (natuurlijk wel ff de module activeren).
1 > Master
2 > Client
3 > Slave
4 > Slave
Works like a charm! natuurlijk geen performance voordeel, want het is 1 en de zelfde machine. Maar technisch gezien werkt het. niet zo'n mooie maar functionele webinterface waar je het hele proces kunt volgen. Dit is echt piece of cake, teste het hele zaakje in 15 minuten tijd!
Ik zal kijken of ik van het weekend tijd hebt om op mijn server een master op te zetten. Iedereen kan dan die master testen door 2 instances te openen van blender. 1 stel je in als client, de ander als slave. Als je de enige bent zul je zien dat je de job die je verzend gerendert wordt door de andere instance. :-) Het domein zal ik op verzoek mailen/pm'en.
i'll keep you posted. Onderstaand een plaatje van de master webinterface. Je kunt zien dat ik wat jobs afgevuurd heb en dat er 2 slaves zijn, waarvan 1 druk is (de ander heb ik geblacklist, om te testen of dat werkt).
(http://s11.postimg.org/bfl3wwe6b/netrender.jpg) (http://postimg.org/image/8y9cpmu9r/full/)
MAD
-
Kijk eens aan. Gaat die ontwikkeling toch nog sneller dan verwacht. ;)
-
het is ook zo makkelijk. Plaatje al gezien die ik later toegevoegd heb?
MAD
-
Ja, die heb ik gezien. Ik zag ook in de tutorial die RDL gelinkt had ook dat je de UI kan aanpassen en dan ziet het er al weer iets mooier uit. Maar het werkt inderdaad erg eenvoudig.
-
Eerste test mislukt, netrender lijkt niet met externe ip adressen overweg te kunnen :-(
maar ik geef niet op...
EDIT: :oops: Stom, firewall zat in de weg, vond het al zo vreemd, internet is toch ook gewoon een netwerk? :oops:
Werkt dus. Master is up and running, laptop staat ingesteld als slave!
Als je even wilt testen, laat het weten, dan mail ik je het adres!
MAD
-
De master draait inmiddels al een dag of 2 en blijft stabiel.
Ik zou het wel leuk vinden als er mensen het willen uit proberen, maar voel je vooral niet verplicht. Ik ben nog een beetje terughouden met het verspreiden van de domeinnaam, omdat ik niet weet hoe goed Blender beveiligd is.
Ik heb plannen (maar allleen nog plannen) om te kijken of dit niet potentie heeft tot een unieke feature van Blender: Zijn eigen embedded renderfarm.
MAD
-
ben nog steeds aan het bakken ...daarna ga ik een 750 frames animatie renderen
ik ga het zeker proberen .....
heb me mispakt aan de baktijd...... sorry
op het moment zit ik aan frame 625 ..dus nog 125 frames te gaan
zit nu op 34 uur baktijd en heb nog wel een 10tal uur te gaan.....(denk ik )
water res op 400 subdivisions 2 .......
mvg rdl
-
Ik heb mijn server als slave toegevoegd. Dus als je een beetje extra power wilt hebben...
Ik kan eventueel ook mijn laptop als slave toevoegen, maar die heb ik later op de dag zelf nog nodig.
MAD
-
kan maar pas vanavond laat starten met renderen ..
blijft de server beschikbaar ?
-
yep, die draait toch wel. :)
-
als ik alles goed gedaan heb zou die nu moeten renderen
bakken onderbroken op 635 frames
was aan het prutsen met de net instellingen
bakken is gewoon gestopt
doeme....
mvg rdl
enfin ben nu aan het knoeien met de instellingen om te renderen
verbinding is gelukt
maar heb de verkeerde settings
render engine enz......
moet op cycles komen
-
lukt dus niet
krijg zwarte beelden terug
engine moet bij u op cycles veronderstel ik....
enfin ik ga m'n projectje hier dan maar starten
dank voor het beschikbaar stellen v/d server
misschien kunnen we later nog experimenteren
mvg rudi
-
Een vraagje over Renderfarm ?
Ik heb boven nog oude computers staan een Pentium 3 en 4 kan ik daar nieuwe videokaart in plaatsen en deze gebruiken als een eigen renderfarm om deze te laten samenwerken met mijn laptop.
Zelf ben ik er ook niet zo voor om je systeem over te dragen aan de wereld. ;)
-
zou moeten gaan
ik denk een nieuwe video kaart zal niet nodig zijn als je de cpu's wil gebruiken
probeer ze eerst in netwerk te zetten
alhoewel ik denk dat blender niet zal werken op die pc's
nogal oud
-
lukt dus niet
krijg zwarte beelden terug
engine moet bij u op cycles veronderstel ik....
enfin ik ga m'n projectje hier dan maar starten
dank voor het beschikbaar stellen v/d server
misschien kunnen we later nog experimenteren
mvg rudi
Waar haal je die bestanden vandaan? Als je ze van de server haalt krijg je inderdaad zwarte bestanden terug (bekende bug). Je kunt gewoon een lokale output map gebruiken zoals bij een normale render. Daar staan dan gewoon de png's (in mijn geval) in. Ik kreeg op een gegeven moment foutmeldingen toen ik render jobs verstuurde, kreeg geen resultaten terug, maar de render trapte wel af op de master server (kon ik zien in de web interface). Herstarten van de master verhielp het probleem toen. Maar vreemd is het wel.
Ik kan op de master server geen engine ingeven. Dat wordt per job bepaald adhv de gegevens die degene die wil renderen meestuurt. Dus als je in je client Cycles instelt, dan gebruikt de master cycles.
De server is uit. Heb zelf nog eea geprobeerd, maar het is duidelijk niet gebouwd voor internet gebruik. Ik krijg continue time outs en rare zaken, zoals een slave die zich 5 keer aanmeld, terwijl dat maar 1 keer gebeurd? Jammer, want als ze dit goed zouden bouwen, dan hebben ze goud in handen.
MAD
-
t'was het proberen waard
-
Jammer!
-
zou moeten gaan
ik denk een nieuwe video kaart zal niet nodig zijn als je de cpu's wil gebruiken
probeer ze eerst in netwerk te zetten
alhoewel ik denk dat blender niet zal werken op die pc's
nogal oud
Blender werkt prima op oudere systemen, het zal alleen nogal traag zijn en daarom weinig bijdragen aan een renderfarm.
-
Goed,
De irritatie is wat gezakt. Ik ga er nog naar kijken. Maar wanneer weet ik niet. Eigenlijk heb ik best wel zin om hier in te duiken. probleem is dat het dan weer ten koste gaat van een nieuwe site.
Ik denk dat ik even ga inpluggen bij het project op blender.org. Eigenlijk moet ik gewoon als de sodemieter Python leren. Schijnt niet zo heel moeilijk te zijn.
Als iemand de master nodig heeft, laat het even weten. Dan probeer ik em aan te zetten. Ik weet alleen nog niet wat het beste draait, via de commandline of gewoon in blender zelf. (ik heb het idee dat vanuit Blender zelf beter draait) Ik kan mijn server als Slave koppelen. Die heeft niet zo heel veel rekenkracht, maar voor de sake of testing...
Een slave start je het beste vanaf de commandline. Als iemand trouwens hulp wil of een kant en klaar slave.blend incl batch file wil hebben. Geef een gil dan post ik dat. (***ik denk dat ik hoognodig maar eens een leden only gedeelte moet maken op dit forum***).
Wat ik vooral merk is dat de verbinding regelmatig wegvalt. Heb dusdanig zitten rommelen dat ik niet weet of dat mijn firewall is of iets anders. In eerste instantie gaat het goed maar daarna is het ineens bagger. Nog maar eens wat meer testen
Dat idee van een embedded blender netrender farm blijft toch doorzeuren in mijn hoofd.
ga het BLEND noemen: BLender Embedded Netrender Dingetje. haha
MAD
-
Tis fout, ik weet het, 2x achter elkaar posten in een topic hoort niet...
Maar :), ik heb in the vault een nieuw topic gestart over dit onderwerp, met meer informatie dan ik hier kan posten.
Voor degenen die het nog niet ontdekt hebben: We hebben een leden only forum, the vault geheten.
Hier kun je wanneer nodig gevoelige info posten.
MAD
-
Ik kom weer wat tegen bij blender.org het gaat over een Renderfarm, bekijk het eens misschien is het wel wat?
http://www.blendernation.com/2014/02/26/sheep-it-free-distributed-render-farm-for-blender/#utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+Blendernation+%28BlenderNation%29
-
Heb de software uitgeprobeerd (althans, het render gedeelte)
Werkt gewoon vanuit de browser, i-de-aal. Een project als dit maakt een DBC renderfarm gewoon overbodig!
Als er leden zijn die met meerderen van 1 account gebruik willen maken, dan wil ik eventueel wel een generiek DBC account aanmaken!
Ik heb vooralsnog een account voor mijzelf aangemaakt!
Ik ga denk ik eens projectje van mijzelf uploaden, de queue is nu leeg!
MAD
-
SheepIt-renderfarm supports Blender 2.65a, 2.66a, 2.67b, 2.68a, 2.69, 2.70a, 2.71 and now 2.72.
https://www.sheepit-renderfarm.com/news.php?id=1412620895
-
2.72 is ok :)
________________
Dell servers (http://www.senetic.nl/dell/dell_servers/)