Nouvelles

Un nouveau système combine des vidéos iPhone pour un montage vidéo 4D accessible

Un nouveau système combine des vidéos iPhone pour un montage vidéo 4D accessible

Des chercheurs de l'Université Carnegie Mellon ont combiné des vidéos iPhone prises à partir de caméras séparées pour créer des visualisations 4D, qui permettent aux téléspectateurs de voir une action rapide sous différents angles, selon un nouveau communiqué de presse. Le nouveau processus de prise de vue peut même supprimer des personnes ou des objets de la vue.

Cette nouvelle méthode - qui permet aux éditeurs vidéo de montrer de nouvelles astuces en temps réel - pourrait avoir des implications à un moment où la technologie d'échange de visage est déjà sur le point de provoquer un changement sismique dans la fiabilité du contenu vidéo.

CONNEXES: COMPRENDRE LA QUATRIÈME DIMENSION DE NOTRE PERSPECTIVE 3D

Création de scènes 4D à partir de plusieurs visualisations

Imaginez un événement en direct où le concert ou le jeu de sport (par exemple) est capturé à partir de chaque smartphone du théâtre ou de l'arène, et où toute obstruction au champ de vision pourrait être rapidement supprimée.

C'est vertigineux, mais aussi excitant.

Chaque vidéo - tournée indépendamment de plusieurs points de vue - des invités à une réception de mariage, pourrait placer les téléspectateurs là-bas, au milieu d'instants qui durent éternellement, Aayush Bansal, un Ph.D. étudiant à l'Institut de robotique de la CMU, expliqué dans le communiqué de presse.

Une autre application consiste à enregistrer des acteurs dans un cadre, puis à les insérer dans un autre, a-t-il ajouté.

"Nous ne sommes limités que par le nombre de caméras", a déclaré Bansal, expliquant qu'il n'y a pas de limite supérieure sur le nombre de flux vidéo pouvant être combinés.

Apporter des studios de cinéma aux iPhones

La «réalité virtualisée», comme l'appelle le communiqué de presse de Carnegie Mellon, n'a rien de nouveau. Cette nouvelle méthode de capture vidéo est importante car elle est à la fois facile et accessible à utiliser. Bien que ce ne soit rien de nouveau, la réalité virtualisée était auparavant exclusive aux configurations de studio comme Panoptic Studio de CMU, qui possède plus de 500 caméras vidéo intégrées dans ses murs géodésiques.

Cependant, combiner des informations visuelles de scènes du monde réel prises à partir de plusieurs caméras indépendantes et portables pour créer un seul modèle complet qui reconstruit une scène 3D n'a pas été possible jusqu'à présent.

Pour développer leur méthode, Bansal et ses collègues ont utilisé des réseaux neuronaux convolutifs (CNN), un type de programme d'apprentissage en profondeur qui sait analyser les données visuelles. L'équipe a constaté que les CNN spécifiques à une scène peuvent composer de manière adéquate différents extraits dans une scène 4D complète.

'Le monde est notre studio'

Pour démontrer leur méthode, les chercheurs ont utilisé jusqu'à 15 iPhones pour capturer plusieurs scènes - y compris des danses, des démonstrations d'arts martiaux et même des flamants roses à la National Aviary de Pittsburgh, aux États-Unis.

"Le but de l'utilisation des iPhones était de montrer que n'importe qui peut utiliser ce système", a déclaré Bansal. "Le monde est notre studio."

Bansal et ses collègues ont présenté leur méthode de visualisation 4D lors de la conférence virtuelle Computer Vision and Pattern Recognition le mois dernier. Bien que sans précédent, cette nouvelle technologie n'est que le début d'un nouvel avenir pour la capture multimédia et vidéo.


Voir la vidéo: iPhone Settings You Should Change Right Now (Janvier 2022).