Dag Peter,
wat ik zou proberen is om een blur toe te passen op het alfa kanaal van de texture van de bladeren.
Een manier om dit te doen: je neemt je blad texture in bvb photoshop en maak er een zwart-witte mask van. Dus zwart waar het transparant moet zijn en wit elders. Dan pas je de gewenste hoeveelheid blur toe. Doordat heel de interne kant wit is zal de blur enkel effect hebben op de rand die een beetje zacht wordt.
Je gaat dan nadien deze nieuwe mask gebruiken als alfa kanaal. Het is perfect mogelijk dit te doen als twee verschillende textures (eentje voor kleur en eentje voor alfa) en dat is misschien nog het makkelijkst. Alternatief is de node editor te gebruiken voor textures en via een 'combine RGBA' node de twee afbeeldingen (dus kleur en mask) te combineren. In dit laatste geval kan het wel is zijn dat je 'pre-multiply' nodig hebt, maar als dat zo is, dan vraag je het nog maar eens en dan leg ik dat wel uit.
Zo zou ik het doen.
Trouwens, probeer eerst eens met de anti-aliasing te spelen? Die dient juist om gekartelde randen tegen te gaan. Dat kan misschien al veel helpen. Die optie vind je in de renders tab voor blender internal en onder sampling in de renderstab voor cycles. Standaard staat die op 8 voor BI, maar daar kan je misschien 16 eens proberen. Of probeer de 1px width eens wat te verhogen. Pas op, dit kan wel je rendertijd drastisch beïnvloeden.
Groetjes Nick