Convierte TUS VIDEOS en modelos 3D en menos de 3 minutos, incluso si NO sabes NADA de renderizado 3D
Conoce Luma AI, una herramienta de Inteligencia Artificial que convierte cualquier video en un renderizado 3D para el disfrute de cualquier persona (también funciona con un teléfono).
¿Qué modelo de Inteligencia Artificial usa Luma AI?
Luma AI se basa en crear modelos multimodales con la finalidad de crear modelado 3D desde una imagen, video, texto o incluso la voz.
Por el momento cuentan con dos modelos:
- Genie (text to 3D): crea los modelos 3D a partir de un texto (prompt) que le ofrezcas. https://lumalabs.ai/genie
- Interactive Scenes (video to 3D): crea los modelos 3D a partir de un video. https://lumalabs.ai/interactive-scenes
¿Qué algoritmo de Inteligencia Artificial usa Luma AI?
No he encontrado ninguna información acerca de los algoritmos específicos que utiliza Luma AI para sus modelos.
Lo que sí sé, es que utilizan algoritmos de Visión por Computadora (computer vision) como:
- ResNet: para la detección de objetos y clasificación
- Autoencoders: para la reconstrucción de los modelos
Computer Vision
Esta categoría se basa en detectar objetos y clasificarlos de una imagen automáticamente, con algoritmos de inteligencia artificial. Aquí algunos algoritmos con sus respectivos papers de este campo:
- ResNet (short for Residual Network): Link al Paper
- Graph Cut Optimization: Link to paper
- Adaptive Image Thresholding: Link to paper
- Lucas-Kanade: paper
- Kalman Filter: Link to paper
Fuente: https://datagen.tech/guides/computer-vision/algorithms/
¿Cuál es el precio a pagar por esta herramienta?
Por los momentos, las herramientas que ofrece Luma AI son gratuitas.
Se pueden probar por la página web, por Discord y por una aplicación móvil.
¿Quién está detrás de Luma AI?
Alex Yu, investigador en el proyecto de NeRFs y previamente a esto, estuvo trabajando en el avance de renderizado neuronal y gráficos en tiempo real en Adobe. Esto demuestra que ha estado en múltiples proyectos similares de IA.
Amit Jain, con amplia experiencia en 3D Computer Vision con sistemas de cámaras, ML y productos de Apple.
Dos co-founders capacitados para un proyecto que comenzó en 2021 y tiene mucho potencial con la actual, Series B alcanzada recientemente.
Visita https://lumalabs.ai/team si quieres saber más acerca de todo el equipo.