Meta anuncia su propia herramienta de inteligencia artificial (IA) denominada CM3leon. Es capaz de entender y generar tanto texto como imágenes. Así, puede crear imágenes a partir de descripciones de texto y componer texto basado en imágenes. Esto lo hace útil para múltiples tareas. Por ejemplo, si uno teclea Un pequeño cactus que lleva un sombrero de paja y gafas reflectantes en el desierto del Sahara, se genera una imagen con esa descripción.
CM3Leon entrenado con modelos que utilizan solo texto
Se trata del primer modelo multimodal entrenado con una receta adaptada de modelos de lenguaje de solo texto. Así, mejora la velocidad de entrenamiento del modelo y permite entrenar transformadores más grandes con un aumento significativo pero alcanzable en el rendimiento.
Según Meta, CM3Leon es incluso más eficiente que la mayoría de los transformadores, ya que necesita cinco veces menos capacidad de cálculo y un conjunto de datos de entrenamiento más pequeño que los métodos anteriores basados en transformadores.
Además de la generación de imágenes a partir de texto, CM3leon también proporciona la capacidad de editar imágenes utilizando indicaciones en forma de texto. Un ejemplo es que se podrá cambiar el color del cielo a azul brillante. Se trata de un desafío, ya que requiere que el modelo entienda simultáneamente tanto las instrucciones textuales como el contenido visual. Por otro lado, la herramienta permite la opción de preguntar a la IA que describa una foto con palabras.
