Lip sync

[koos2]

Heeft iemand ervaring met het maken van lip sync animaties? Ik ben aan het onderzoeken wat zoal mogelijk is. Voor 3DMax heb je de handige plugin Voice-o-matic.
Deze is niet beschikbaar voor Blender. Blender maakt gebruik van Papagayo, maar dat vraagt nog veel handmatig animeren. Ik heb ook het volgende filmpje gevonden: https://www.youtube.com/watch?v=gUA8AkSwvys maar krijg het nog niet werkend. Waarschijnlijk door de beveiligingen hier. Zal het thuis ook eens proberen.

2 vragen.
Kan iemand mij zeggen of het veilig is om te werken met de Japanse add-on? Kennelijk maak je verbinding met zijn server, wat mij niet veilig lijkt.
Weet iemand misschien een andere weg? Ik zoek iets dat het lipsync nagenoeg automatisch maakt zoals Voice-o-matic.
https://www.youtube.com/watch?v=E1WLD0JdzDg

Ik weet ook dat je de lippen kunt laten  reageren op de hardheid van het geluid, maar dat wil ik niet. Het moet de klanken automatisch herkennen.

[JvL]

Ik ben bang dat je op dat gebied nog niet zoveel keus hebt in Blender met gratis addons.
Volgens mij werkt die addon uit het eerste filmpje alleen met live geluid via de microfoon en kun je dit niet opslaan als audiobestand in je animatie dus dat zou ook niet zo zinvol zijn.

Waarschijnlijk is het werken met bake sound to curve de beste benadering in jouw geval. je kunt de bewegingen ook bijvoorbeeld op pitch laten reageren in plaats van volume.
En als je met bv. twee curves werkt (1 voor verticale en 1 voor horizontale bewegingen) dan kom je denk ik al een heel eind in de goede richting.

[koos2]

Daar was ik al bang voor. Ik vrees dat er ook geen betaalde add-on is die dit doet. Ben al wel even bezig geweest met bake sound dat zal wel lukken, maar als je de voice-o-matic resultaten hebt gezien, dan ga je daar wel naar verlangen.

[Zaph]

De addon Julius is een real-time speech recognition pakket, dus die werkt inderdaad niet met .WAV bestanden of zo. Veilig is het wel, want je draait hem op je eigen systeem dat IP-nummer 127.0.0.1 heeft - dus niet via zijn server.

[JvL]

Dat mag ook wel voor de prijs die je voor Maya mag betalen (4000,- kaal).

[koos2]

De add-on zelf is 'maar' ongeveer 350 dollar. Dus dat valt wel mee.
Als je echt een betaalde animatie gaat maken heb je dat zo weer terug verdiend. het lijkt me dat er voor een dergelijke add-on toch een grote behoefte zal zijn.

Dus het werkt niet met wav. bestanden. Dat is dan toch weer jammer.
Val ik met dat IP nummer toch weer door de mand als PCkenner.
hardware is niet mijn ding.

[koos2]

Net heb ik al gezegd dat ik niet veel van hardware afweet, is het niet mogelijk om met een bepaalt kabeltje een cdspeler of andere audiodrager aan de microfoon aansluiting te koppelen? Als dat zou kunnen heb je op deze manier toch een heel aardig lip sync add-on.

[Zaph]

Vast wel, maar hoe? Hardware is ook niet mijn ding... 

[JvL]

Denk ook wel dat het moet kunnen maar het blijft dan nog steeds redelijk omslachtig. Het mooiste zou natuurlijk zijn als iemand de addon zou kunnen aanpassen zodat je wel op de normale manier je audio bestanden kunt gebruiken in Blender.
Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.

[koos2]

Als ik weer eens tijd heb ga ik wel eens verder rommelen. Ik hou jullie op de hoogte.

[Zaph]

Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.

Ja dat kan - het is in C geschreven en de source is openbaar. Moet je alleen even iemand vinden die kennis, tijd en zin heeft om dat aan te passen... 

[koos2]

Iets voor PKHG?

[IJp]

Dit kwam ik tegen op internet en moest gelijk aan Koos2 denken.
Misschien heb je er nog wat aan

https://www.youtube.com/watch?v=DAoBrCv2FIY&feature=share

[koos2]

Leuke tutorial. Zijn aanpak lijkt veel op de aanpak die JvL voorstelt. Hier worden echter nog wat tweaks gedaan. Wordt redelijk goed, maar wel veel werk. Ga de tutorial zeker een paar keer bekijken. Bedankt.

[Ruud]

Werken met de Fcurve is echt leuk, een duidelijke tutorial.