Animación de personajes que hablan: herramientas y métodos de lip sync comparados
Por el equipo de Charmotion · Actualizado el · Cómo escribimos las guías

Para animar un personaje que habla, dibuja un set de formas de boca y deja que un software elija una para cada sonido de tu audio. Character Animator y Cartoon Animator calculan el lip sync a partir de una grabación, el gratuito Rhubarb Lip Sync exporta los tiempos de las bocas, y herramientas de IA como Hedra Character 3 convierten una imagen más audio en un video parlante.
Puntos clave
- Hay cuatro enfoques: cambio de bocas según el volumen, lip sync por visemas a partir de audio, seguimiento facial en vivo y video parlante generado con IA.
- Rhubarb Lip Sync es una herramienta gratis de línea de comandos que asigna el audio a 6 formas de boca básicas más 3 opcionales.
- Character Animator usa 11 formas de boca basadas en audio más Neutral, Smile y Surprised.
- Hedra Character 3 recibe una imagen inicial y audio; Hedra indica precios de API desde 2.5 centavos por segundo a 540p, a noviembre de 2026.
- Para streams en vivo, las apps de PNGtuber como veadotube mini simplemente abren la boca cuando tu micrófono supera un volumen determinado.
¿Ya tienes un personaje o logo? Mira ejemplos en pantallas reales de apps: pantallas de splash, onboarding, carga y estado vacío, con la animación que se reproduce en cada una.
¿Qué formas hay de hacer que un personaje hable?
| Método | Cómo funciona | Herramientas | ¿Conserva tu diseño exacto? |
|---|---|---|---|
| Cambio de bocas según el volumen | Boca abierta cuando el audio es fuerte, cerrada cuando es bajo | veadotube mini, PNGTuber Plus | Yes |
| Lip sync por visemas a partir de audio | El análisis del habla elige una forma de boca por sonido | Adobe Character Animator, Cartoon Animator, Rhubarb Lip Sync | Yes |
| Seguimiento facial en vivo | Tu cara y tu voz mueven un títere en tiempo real | Character Animator, Cartoon Animator, Live2D con VTube Studio | Yes |
| Video parlante con IA a partir de una imagen | Un modelo genera cada fotograma a partir de una imagen fija y audio | Hedra Character 3 | En su mayoría; los detalles pueden cambiar |
| Lip sync con IA sobre un video | Un modelo reajusta el tiempo de la boca en un video existente | Kling Lip Sync | En su mayoría |
| Transferencia de actuación | Una actuación filmada mueve la imagen de un personaje | Runway Act-Two | En su mayoría |
Para un avatar en vivo dentro de una app, el equilibrio es distinto; consulta lip sync vs amplitud para avatares que hablan.
¿Qué formas de boca tengo que dibujar para el lip sync?
Menos de las que crees. Rhubarb Lip Sync usa seis formas básicas y tres opcionales:
- A: cerrada, para P, B y M.
- B: ligeramente abierta con los dientes juntos, para la mayoría de las consonantes y "EE".
- C: abierta, para vocales como "EH" y "AE".
- D: muy abierta, para "AA".
- E: ligeramente redondeada, para "AO" y "ER".
- F: fruncida, para "UW", "OW" y "W".
- G, H, X (opcionales): dientes superiores sobre el labio inferior para F y V, lengua arriba para la L larga y una boca en reposo para las pausas.
Adobe Character Animator reconoce 11 capas de boca basadas en audio dentro de un grupo Mouth, más Neutral, Smile y Surprised para los momentos en silencio. Para un PNGtuber con cambio de bocas, dos formas (cerrada y abierta) son suficientes.
Dibuja todas las bocas sobre la misma cara para que solo cambie la boca, y mantén las formas en el estilo propio del personaje.
¿Cómo hago lip sync de un personaje 2D gratis?
Rhubarb Lip Sync funciona en Windows, macOS y Linux, lee audio WAV u Ogg Vorbis y exporta TSV, XML o JSON, además de archivos .dat para Moho y OpenToonz. Su página incluye integraciones con After Effects, Spine, Vegas Pro y Visionaire Studio.
- Graba un WAV limpio del diálogo.
- Guarda el guion como archivo de texto; darle el diálogo a Rhubarb mejora el reconocimiento.
- Ejecútalo:
rhubarb -f json --dialogFile script.txt -o mouth.json voice.wav
- Importa los tiempos a tu herramienta de animación, o lee el JSON en tu propio código, y muestra el dibujo de boca correspondiente para cada rango de tiempo.
El modo Starter gratis de Adobe Character Animator funciona con títeres prediseñados y seguimiento facial en tiempo real; crear tu propio títere usa las funciones Pro incluidas en Creative Cloud Pro.
¿Cómo hago que mi propio personaje hable con una voz en off?
Adobe Character Animator: crea un títere por capas en Photoshop o Illustrator con las formas de boca nombradas dentro de un grupo Mouth, importa tu audio, arrástralo a la escena, selecciona el títere y elige Timeline, Compute Lip Sync Take from Scene Audio. Después puedes editar visemas individuales en la línea de tiempo.
Reallusion Cartoon Animator 5: genera animación de lip sync a partir de audio y agrega captura de movimiento facial y 2D; hay una prueba gratis de 30 días.
Ambos sirven para personajes recurrentes en YouTube o en cursos: creas el títere una vez y cada nueva voz en off toma minutos.
¿La IA puede hacer que un personaje de caricatura hable a partir de una imagen?
Sí. Hedra Character 3 recibe una imagen inicial y una pista de audio (la dirección por texto es opcional) y devuelve un video de hasta 10 minutos, en relaciones de aspecto de 9:21 a 21:9. Sus ejemplos incluyen animales que hablan y presentadores ilustrados en 2D y animados en 3D. A noviembre de 2026, Hedra indica precios de API de 2.5 centavos por segundo a 540p, 5 centavos a 720p y 6.25 centavos a 1080p.
Lip Sync de Kling agrega audio subido o de texto a voz a un video existente de un personaje de Kling que muestre una cara clara; Kling dice que admite personajes humanos realistas, 3D y 2D. Act-Two de Runway transfiere una actuación filmada a la imagen de un personaje.
El inconveniente: estos modelos generan fotogramas nuevos, así que el trazo, los colores y los detalles pequeños pueden cambiar. Haz pruebas con tu propio personaje antes de comprometer una serie con ellos.
¿Cómo hago que un personaje hable en vivo en un stream o en una llamada?
- Lo más simple: una app de PNGtuber. veadotube mini abre la boca cuando tu micrófono supera el umbral que definiste; consulta cómo hacer un PNGtuber.
- Con la cara: el modo en vivo de Character Animator usa tu webcam y tu micrófono para el lip sync y el seguimiento facial; un modelo Live2D en VTube Studio hace lo mismo para VTubers.
- En una app o un agente de voz: controla un parámetro de boca a partir del volumen del audio o de los eventos de visemas que proporcione tu motor de voz.
¿Cómo hago que el lip sync se vea natural?
- Empieza con audio limpio. Una grabación seca y sin ruido da al análisis del habla muchos menos errores que una pista con música debajo. Agrega la música después de terminar el lip sync.
- Dale tu guion a la herramienta. Rhubarb acepta un archivo de diálogo, y el equipo de Adobe ha descrito el lip sync basado en transcripción como más preciso que el basado solo en audio.
- Acierta con las bocas cerradas. P, B y M deben cerrar los labios por completo; los espectadores notan un cierre fallido más que cualquier otro error.
- No cambies de forma en cada fotograma. Mantener cada boca al menos dos fotogramas se percibe como un habla más fluida.
- Anima más que la boca. Los parpadeos, los pequeños asentimientos en las palabras acentuadas y las cejas levantadas en las preguntas llevan buena parte de la actuación.
- Descansa entre oraciones. Vuelve a una boca neutral o en reposo en las pausas en lugar de congelarte en la última vocal.
¿Charmotion puede hacer que mi personaje hable?
Aviso: Charmotion es nuestro producto. Lo incluimos donde encaja y decimos dónde otras herramientas son mejores; todos los demás datos enlazan a su fuente.
No. Charmotion no tiene animación para hablar, lip sync ni animación de boca. Anima una imagen terminada de un personaje con su propio arte en loops idle, launch, happy, wave y loading para apps, sitios web y videos. Si tu personaje necesita hablar, usa una de las herramientas de arriba.
Los dos pueden funcionar juntos: una herramienta de lip sync para el diálogo y los loops de Charmotion (WebM o MOV transparente) para los momentos intermedios, como un saludo al final o una reacción de alegría. Mira cómo se ven los loops.
Preguntas frecuentes
¿Qué es un visema?
Un visema es la forma visible de la boca para un grupo de sonidos del habla. P, B y M se ven como una boca cerrada, así que comparten un visema. Las herramientas de lip sync asignan el audio a visemas, por eso un puñado de dibujos puede cubrir todo el habla.
¿Cuántas formas de boca necesita una caricatura que habla?
Dos (cerrada y abierta) para un estilo PNGtuber, unas seis a nueve para un lip sync convincente (el set de Rhubarb) y alrededor de una docena en Character Animator, que también usa Neutral, Smile y Surprised.
¿Por qué mi lip sync se ve atrasado o poco definido?
Las causas comunes son un audio con ruido, no darle el guion al analizador y bocas que cambian en cada fotograma. Limpia la grabación, proporciona el texto del diálogo y mantén cada boca al menos dos fotogramas.
¿Puedo hacer que hable un personaje no humano?
Sí. Las formas de boca dibujadas funcionan en cualquier personaje que tenga boca. Los ejemplos de Hedra incluyen animales que hablan. La documentación de Kling solo menciona personajes humanos, así que prueba una mascota no humana antes de depender de ella.
Respuestas rápidas de esta guía
Fuentes
- Rhubarb Lip Sync, Daniel Wolf on GitHub
- Lip sync mouth shapes, Adobe
- Feature focus: transcript-based lip sync, Adobe Community
- Adobe Character Animator, Adobe
- Cartoon Animator, Reallusion
- Hedra Character 3, Hedra
- Best lip sync video AI, Kling AI
- Performance Capture with Act-Two, Runway
- VTube Studio on Steam, Steam
- How Charmotion works, Charmotion
Guías relacionadas
- Lip-sync vs amplitud para un avatar que habla
- Alternativas a Adobe Character Animator: cuándo un set de estados supera a una marioneta
- Personaje para un canal de YouTube sin rostro: diseño, animación y reglas de monetización
- Cómo hacer un PNGtuber: imágenes, software gratis y configuración en OBS
- Avatar de agente de voz: mapeo de eventos de OpenAI Realtime