Dutch Blender Community

Hulp => Animatie en Rigging => Topic gestart door: koos2 op 24 juni 2015, 12:02:16 pm

Titel: Lip sync
Bericht door: koos2 op 24 juni 2015, 12:02:16 pm
Heeft iemand ervaring met het maken van lip sync animaties? Ik ben aan het onderzoeken wat zoal mogelijk is. Voor 3DMax heb je de handige plugin Voice-o-matic.
Deze is niet beschikbaar voor Blender. Blender maakt gebruik van Papagayo, maar dat vraagt nog veel handmatig animeren. Ik heb ook het volgende filmpje gevonden: https://www.youtube.com/watch?v=gUA8AkSwvys (https://www.youtube.com/watch?v=gUA8AkSwvys) maar krijg het nog niet werkend. Waarschijnlijk door de beveiligingen hier. Zal het thuis ook eens proberen.

2 vragen.
Kan iemand mij zeggen of het veilig is om te werken met de Japanse add-on? Kennelijk maak je verbinding met zijn server, wat mij niet veilig lijkt.
Weet iemand misschien een andere weg? Ik zoek iets dat het lipsync nagenoeg automatisch maakt zoals Voice-o-matic.
https://www.youtube.com/watch?v=E1WLD0JdzDg (https://www.youtube.com/watch?v=E1WLD0JdzDg)

Ik weet ook dat je de lippen kunt laten  reageren op de hardheid van het geluid, maar dat wil ik niet. Het moet de klanken automatisch herkennen.
Titel: Re: Lip sync
Bericht door: JvL op 24 juni 2015, 13:17:47 pm
Ik ben bang dat je op dat gebied nog niet zoveel keus hebt in Blender met gratis addons.
Volgens mij werkt die addon uit het eerste filmpje alleen met live geluid via de microfoon en kun je dit niet opslaan als audiobestand in je animatie dus dat zou ook niet zo zinvol zijn.

Waarschijnlijk is het werken met bake sound to curve de beste benadering in jouw geval. je kunt de bewegingen ook bijvoorbeeld op pitch laten reageren in plaats van volume.
En als je met bv. twee curves werkt (1 voor verticale en 1 voor horizontale bewegingen) dan kom je denk ik al een heel eind in de goede richting.
Titel: Re: Lip sync
Bericht door: koos2 op 24 juni 2015, 14:26:07 pm
Daar was ik al bang voor. Ik vrees dat er ook geen betaalde add-on is die dit doet. Ben al wel even bezig geweest met bake sound dat zal wel lukken, maar als je de voice-o-matic resultaten hebt gezien, dan ga je daar wel naar verlangen.
Titel: Re: Lip sync
Bericht door: Zaph op 24 juni 2015, 14:31:59 pm
De addon Julius is een real-time speech recognition pakket, dus die werkt inderdaad niet met .WAV bestanden of zo. Veilig is het wel, want je draait hem op je eigen systeem dat IP-nummer 127.0.0.1 heeft - dus niet via zijn server.
Titel: Re: Lip sync
Bericht door: JvL op 24 juni 2015, 14:33:08 pm
Dat mag ook wel voor de prijs die je voor Maya mag betalen (4000,- kaal).
Titel: Re: Lip sync
Bericht door: koos2 op 24 juni 2015, 16:15:40 pm
De add-on zelf is 'maar' ongeveer 350 dollar. Dus dat valt wel mee.
Als je echt een betaalde animatie gaat maken heb je dat zo weer terug verdiend. het lijkt me dat er voor een dergelijke add-on toch een grote behoefte zal zijn.

Dus het werkt niet met wav. bestanden. Dat is dan toch weer jammer.
Val ik met dat IP nummer toch weer door de mand als PCkenner. ;)
hardware is niet mijn ding.
Titel: Re: Lip sync
Bericht door: koos2 op 25 juni 2015, 11:01:03 am
Net heb ik al gezegd dat ik niet veel van hardware afweet, is het niet mogelijk om met een bepaalt kabeltje een cdspeler of andere audiodrager aan de microfoon aansluiting te koppelen? Als dat zou kunnen heb je op deze manier toch een heel aardig lip sync add-on.
Titel: Re: Lip sync
Bericht door: Zaph op 25 juni 2015, 11:32:38 am
Vast wel, maar hoe? Hardware is ook niet mijn ding...  ;)
Titel: Re: Lip sync
Bericht door: JvL op 25 juni 2015, 12:28:34 pm
Denk ook wel dat het moet kunnen maar het blijft dan nog steeds redelijk omslachtig. Het mooiste zou natuurlijk zijn als iemand de addon zou kunnen aanpassen zodat je wel op de normale manier je audio bestanden kunt gebruiken in Blender.
Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.
Titel: Re: Lip sync
Bericht door: koos2 op 25 juni 2015, 12:48:27 pm
Als ik weer eens tijd heb ga ik wel eens verder rommelen. Ik hou jullie op de hoogte.
Titel: Re: Lip sync
Bericht door: Zaph op 25 juni 2015, 15:22:59 pm
Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.

Ja dat kan - het is in C geschreven en de source is openbaar. Moet je alleen even iemand vinden die kennis, tijd en zin heeft om dat aan te passen...  ;)
Titel: Re: Lip sync
Bericht door: koos2 op 25 juni 2015, 16:00:04 pm
Iets voor PKHG?
Titel: Re: Lip sync
Bericht door: IJp op 02 juli 2015, 13:49:20 pm
Dit kwam ik tegen op internet en moest gelijk aan Koos2 denken.
Misschien heb je er nog wat aan ;)

https://www.youtube.com/watch?v=DAoBrCv2FIY&feature=share
Titel: Re: Lip sync
Bericht door: koos2 op 02 juli 2015, 14:26:16 pm
Leuke tutorial. Zijn aanpak lijkt veel op de aanpak die JvL voorstelt. Hier worden echter nog wat tweaks gedaan. Wordt redelijk goed, maar wel veel werk. Ga de tutorial zeker een paar keer bekijken. Bedankt.
Titel: Re: Lip sync
Bericht door: Ruud op 02 juli 2015, 17:04:01 pm
Werken met de Fcurve is echt leuk, een duidelijke tutorial.
Titel: Re: Lip sync
Bericht door: koos2 op 23 november 2015, 11:27:09 am
@JvL Je hebt het hierboven over de pitch. Bedoel je dat je de pitch ook aan de graph editor kunt baken?
Titel: Re: Lip sync
Bericht door: JvL op 23 november 2015, 12:04:07 pm
Daar kom ik vanavond even op terug Koos. Ik ben nu even erg druk op mijn werk.
Titel: Re: Lip sync
Bericht door: JvL op 23 november 2015, 21:37:02 pm
@Koos:

Je kunt in de Video Sequence  Editor een je sound strip toevoegen en aan de rechterkant in het menu (N) een keyframe toevoegen aan de pitch. Vervolgens kun je in de Graph Editor weer gewoon Bake Sound to F-curves gebruiken (met dezelfde soundfile natuurlijk).

Misschien overbodig om te zeggen maar je kunt de F-curve(s) ook omzetten in gewone keyframes door op de Animation tab Bake Action te gebruiken. Daarna kun je de voormalige F-curve manipuleren zoals je wilt (verschalen, verplaatsen, etc.).
Titel: Re: Lip sync
Bericht door: swets op 23 november 2015, 22:18:59 pm
https://www.youtube.com/watch?v=z-cJ-Jc460M

ik had deze zitten kijken..... vond ik wel duidelijk...
Titel: Re: Lip sync
Bericht door: koos2 op 24 november 2015, 10:50:22 am
@JvL Hartelijk dank. Ik ga dit binnenkort verwerken in mijn figuurtje. Ik heb het lipsync best wel aardig met het bake sound to F-curve voor elkaar gekregen volgens de manier die o.a. in de tutorial die Swets uitlicht besproken wordt. Daarbij heb ik dan met de hand nog wat extra key-frames gezet voor de O klank. Voor het doel is dit ruim voldoende. Maar ik kan me voorstellen als de horizontale beweging op de pitch gaat dit het geheel verlevendigt.

Het zag er naar uit dat ik een pratend figuurtje in een animatie zou gebruiken, waarschijnlijk gaat dit niet door. Maar om mijn kennis bij te spijkeren ga ik het nog wel bekijken. Helaas kan ik het niet publiceren omdat het filmpje niet mijn eigendom is. Wellicht dat ik snel een variant maak met een werkende lipsync zodat ik die met de community kan delen.

@Swets: Ik ken het. Het is een duidelijke tutorial. Bedankt!
Titel: Re: Lip sync
Bericht door: koos2 op 30 november 2015, 17:33:53 pm
@JvL Ik heb net snel geprobeerd of het werkt. Ik denk dat ik dan ook nog een driver moet maken voor de horizontale shape key zodat die aangedreven wordt door de pitsch. Volgens mij krijg ik anders op de horizontale shape key gewoon de amplitude van de sound. Klopt deze redenering? Ik ga morgen denk ik weer eens kijken.
Titel: Re: Lip sync
Bericht door: JvL op 30 november 2015, 18:03:35 pm
@Koos: Die redenering klopt. Je hebt een driver op de custom bone shape of de bone zelf die de richting van vertikaal naar horizontaal omzet.
Titel: Re: Lip sync
Bericht door: Ellajiw op 01 december 2015, 19:58:26 pm
Nice! Dit ziet er leuk uit allemaal.  8)