Topic: Lip sync  (gelezen 10630 keer)


Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Gepost op: 24 juni 2015, 12:02:16 pm »
Heeft iemand ervaring met het maken van lip sync animaties? Ik ben aan het onderzoeken wat zoal mogelijk is. Voor 3DMax heb je de handige plugin Voice-o-matic.
Deze is niet beschikbaar voor Blender. Blender maakt gebruik van Papagayo, maar dat vraagt nog veel handmatig animeren. Ik heb ook het volgende filmpje gevonden: https://www.youtube.com/watch?v=gUA8AkSwvys maar krijg het nog niet werkend. Waarschijnlijk door de beveiligingen hier. Zal het thuis ook eens proberen.

2 vragen.
Kan iemand mij zeggen of het veilig is om te werken met de Japanse add-on? Kennelijk maak je verbinding met zijn server, wat mij niet veilig lijkt.
Weet iemand misschien een andere weg? Ik zoek iets dat het lipsync nagenoeg automatisch maakt zoals Voice-o-matic.
https://www.youtube.com/watch?v=E1WLD0JdzDg

Ik weet ook dat je de lippen kunt laten  reageren op de hardheid van het geluid, maar dat wil ik niet. Het moet de klanken automatisch herkennen.

Offline JvL

  • Member
  • *
  • Berichten: 3,415
    • Bekijk profiel
    • Llyr Studio
« Reactie #1 Gepost op: 24 juni 2015, 13:17:47 pm »
Ik ben bang dat je op dat gebied nog niet zoveel keus hebt in Blender met gratis addons.
Volgens mij werkt die addon uit het eerste filmpje alleen met live geluid via de microfoon en kun je dit niet opslaan als audiobestand in je animatie dus dat zou ook niet zo zinvol zijn.

Waarschijnlijk is het werken met bake sound to curve de beste benadering in jouw geval. je kunt de bewegingen ook bijvoorbeeld op pitch laten reageren in plaats van volume.
En als je met bv. twee curves werkt (1 voor verticale en 1 voor horizontale bewegingen) dan kom je denk ik al een heel eind in de goede richting.

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #2 Gepost op: 24 juni 2015, 14:26:07 pm »
Daar was ik al bang voor. Ik vrees dat er ook geen betaalde add-on is die dit doet. Ben al wel even bezig geweest met bake sound dat zal wel lukken, maar als je de voice-o-matic resultaten hebt gezien, dan ga je daar wel naar verlangen.

Offline Zaph

  • Member
  • *
  • Berichten: 540
    • Bekijk profiel
    • Zaph webdevelopment
« Reactie #3 Gepost op: 24 juni 2015, 14:31:59 pm »
De addon Julius is een real-time speech recognition pakket, dus die werkt inderdaad niet met .WAV bestanden of zo. Veilig is het wel, want je draait hem op je eigen systeem dat IP-nummer 127.0.0.1 heeft - dus niet via zijn server.

Offline JvL

  • Member
  • *
  • Berichten: 3,415
    • Bekijk profiel
    • Llyr Studio
« Reactie #4 Gepost op: 24 juni 2015, 14:33:08 pm »
Dat mag ook wel voor de prijs die je voor Maya mag betalen (4000,- kaal).

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #5 Gepost op: 24 juni 2015, 16:15:40 pm »
De add-on zelf is 'maar' ongeveer 350 dollar. Dus dat valt wel mee.
Als je echt een betaalde animatie gaat maken heb je dat zo weer terug verdiend. het lijkt me dat er voor een dergelijke add-on toch een grote behoefte zal zijn.

Dus het werkt niet met wav. bestanden. Dat is dan toch weer jammer.
Val ik met dat IP nummer toch weer door de mand als PCkenner. ;)
hardware is niet mijn ding.

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #6 Gepost op: 25 juni 2015, 11:01:03 am »
Net heb ik al gezegd dat ik niet veel van hardware afweet, is het niet mogelijk om met een bepaalt kabeltje een cdspeler of andere audiodrager aan de microfoon aansluiting te koppelen? Als dat zou kunnen heb je op deze manier toch een heel aardig lip sync add-on.

Offline Zaph

  • Member
  • *
  • Berichten: 540
    • Bekijk profiel
    • Zaph webdevelopment
« Reactie #7 Gepost op: 25 juni 2015, 11:32:38 am »
Vast wel, maar hoe? Hardware is ook niet mijn ding...  ;)

Offline JvL

  • Member
  • *
  • Berichten: 3,415
    • Bekijk profiel
    • Llyr Studio
« Reactie #8 Gepost op: 25 juni 2015, 12:28:34 pm »
Denk ook wel dat het moet kunnen maar het blijft dan nog steeds redelijk omslachtig. Het mooiste zou natuurlijk zijn als iemand de addon zou kunnen aanpassen zodat je wel op de normale manier je audio bestanden kunt gebruiken in Blender.
Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #9 Gepost op: 25 juni 2015, 12:48:27 pm »
Als ik weer eens tijd heb ga ik wel eens verder rommelen. Ik hou jullie op de hoogte.

Offline Zaph

  • Member
  • *
  • Berichten: 540
    • Bekijk profiel
    • Zaph webdevelopment
« Reactie #10 Gepost op: 25 juni 2015, 15:22:59 pm »
Ik heb eerlijk gezegd geen idee of het sowieso mogelijk is.

Ja dat kan - het is in C geschreven en de source is openbaar. Moet je alleen even iemand vinden die kennis, tijd en zin heeft om dat aan te passen...  ;)

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #11 Gepost op: 25 juni 2015, 16:00:04 pm »
Iets voor PKHG?

Offline IJp

  • *
  • Berichten: 4,385
    • Bekijk profiel
    • IJpart
« Reactie #12 Gepost op: 02 juli 2015, 13:49:20 pm »
Dit kwam ik tegen op internet en moest gelijk aan Koos2 denken.
Misschien heb je er nog wat aan ;)

https://www.youtube.com/watch?v=DAoBrCv2FIY&feature=share

Offline koos2

  • Member
  • *
  • Berichten: 2,053
    • Bekijk profiel
« Reactie #13 Gepost op: 02 juli 2015, 14:26:16 pm »
Leuke tutorial. Zijn aanpak lijkt veel op de aanpak die JvL voorstelt. Hier worden echter nog wat tweaks gedaan. Wordt redelijk goed, maar wel veel werk. Ga de tutorial zeker een paar keer bekijken. Bedankt.

Offline Ruud

  • Member
  • *
  • Berichten: 1,860
    • Bekijk profiel
« Reactie #14 Gepost op: 02 juli 2015, 17:04:01 pm »
Werken met de Fcurve is echt leuk, een duidelijke tutorial.