Waar het aan ligt weet ik niet.
Er zijn twee factoren die hier van belang zijn: het aantal pixels in je height map, en het aantal vertices in je mesh. Als je een height map hebt waar 1 pixel gelijk staat aan een gebied van 50x50 meter, dan zal het resultaat nooit enigzins realistisch zijn (tenzij je het uitzicht uit een 747 wilt namaken, natuurlijk).
Dus als je ook maar een beetje detail wilt, close up, dan heb je al snel een pixel per vierkante meter nodig (ja, de maximale resolutie is 1 pixel per 5m2). Ga maar rekenen hoe groot je bitmap dan moet zijn als je een paar vierkante kilometer in je render wilt zien.
Daarnaast wil je dat die pixels dus vertices gaan verplaatsen in de hoogte - dus wil je eigenlijk een vertex per pixel hebben, anders is de resolutie van je height map voor niks.
Zie hieronder een stukje met de Waalbrug bij Nijmegen - veel beter gaat het niet worden met die kaarten...