Incorporações multimodais

Os modelos de incorporação multimodal transformam dados não estruturados de várias formas em um espaço vetorial compartilhado. Os modelos de incorporação multimodal do Voyage oferecem suporte a texto, imagens e vídeo, como cifras, fotos, conjuntos de dialetos, capturas de tela de documento e trechos de vídeo. Isso remove a necessidade de extração de texto ou pipelines ETL.

Ao contrário dos modelos multimodais como o CLIP, que processam texto, imagens e vídeo separadamente, os modelos de incorporação multimodal do Voyage vetorizam entradas contendo texto, imagens e vídeo intercalados. A arquitetura do CLIP impede que ele seja usado em pesquisas de modo misto, pois os vetores de texto, imagem e vídeo geralmente se alinham com itens irrelevantes da mesma forma. Os modelos de incorporação multimodal do Voyage reduzem esse enviesamento ao processar todas as entradas por meio de um único backlink.