YouTube sta sviluppando una funzionalità di intelligenza artificiale per generare la sincronizzazione labiale per i suoi video doppiati automaticamente. La tecnologia mira a migliorare il realismo modificando i movimenti della bocca di chi parla per allinearli con le tracce audio tradotte, allo scopo di aumentare il coinvolgimento dello spettatore. Secondo Tendenze digitalila base tecnica del sistema, come spiegato in dettaglio dal responsabile del prodotto YouTube per il doppiaggio automatico, Buddhika Kottahachchi, si basa su un’intelligenza artificiale personalizzata. Kottahachchi ha spiegato che la tecnologia esegue modifiche complesse a livello di pixel alla bocca sullo schermo di chi parla per creare la sincronizzazione con l’audio doppiato. Il modello AI incorpora una percezione tridimensionale delle strutture facciali, consentendogli di analizzare la geometria delle labbra e dei denti. È inoltre progettato per interpretare e replicare le espressioni facciali che accompagnano il parlato. Questo approccio di modellazione 3D consente al sistema di simulare in modo più accurato i movimenti fisici richiesti per parlare in una lingua diversa. Nella sua fase iniziale, la funzionalità di sincronizzazione labiale presenterà specifiche limitazioni tecniche e linguistiche. L’elaborazione AI è attualmente limitata ai video con risoluzione 1080p e non può essere applicata a contenuti 4K. Il supporto linguistico al momento del lancio sarà limitato a inglese, francese, tedesco, portoghese e spagnolo. Dopo questo periodo introduttivo, YouTube prevede di espandere il supporto a più di 20 lingue. Questa espansione è progettata per allineare la funzionalità di sincronizzazione labiale con l’intera gamma di lingue attualmente offerte dal servizio di doppiaggio automatico di YouTube. YouTube non ha annunciato una data di rilascio definitiva per la funzionalità. Si prevede che la società introdurrà prima la tecnologia attraverso un programma pilota con un piccolo gruppo di creatori, una strategia che rispecchia il lancio della funzione di doppiaggio automatico. Il servizio di doppiaggio automatico è stato esteso a un pubblico più ampio proprio il mese scorso, indicando che l’aggiunta della sincronizzazione labiale potrebbe essere sottoposta a un periodo di test prolungato. Ai creatori verranno forniti controlli per gestirne l’utilizzo, inclusa l’opzione segnalata per disabilitare la funzione per l’intero canale o per singoli video, dando loro l’ultima parola sulla presentazione dei loro contenuti. La funzionalità potrebbe avere un costo aggiuntivo, sebbene un prezzo specifico non sia stato definito. Non è chiaro se sarà il creatore o il consumatore a sostenere la commissione, ma i rapporti suggeriscono che probabilmente sarà il consumatore. Per affrontare potenziali abusi, YouTube prevede di implementare misure di salvaguardia. Questi includono un’informativa descrittiva per informare gli spettatori dell’alterazione dell’intelligenza artificiale e un’impronta digitale invisibile e persistente incorporata nel video. Questa filigrana digitale è descritta come simile nella funzione a SynthID, uno strumento utilizzato per identificare i contenuti generati dall’intelligenza artificiale, fornendo un meccanismo per il tracciamento e l’autenticazione. YouTube non è l’unica piattaforma a sviluppare questa tecnologia. Meta ha un’iniziativa simile per la sua piattaforma Instagram, dove lo scorso anno ha lanciato un programma pilota per doppiare e sincronizzare i Reels. Sebbene i dettagli sul successo del programma siano limitati, recentemente è stato ampliato per supportare quattro lingue: inglese, hindi, portoghese e spagnolo. https://www.youtube.com/watch?v=8W3noE2Uxag
