Dimensiones flexibles y cuantización

Cómo funcionan las incrustaciones Matryoshka

Con el aprendizaje Matryoshka, una única representación contiene una familia anidada de representaciones de varias longitudes. Por ejemplo, una embedding de Voyage de 2048dimensiones contiene embeddings válidas de múltiples longitudes menores:

• Las primeras 256 dimensiones forman una incrustación válida de 256dimensiones

• Las primeras 512 dimensiones forman una incrustación válida de 512dimensiones

• Las primeras 1024 dimensiones forman una incrustación válida de 1024dimensiones

• Todas las 2048 dimensiones forman la incrustación de fidelidad total

Cada versión más corta proporciona una calidad de recuperación ligeramente inferior a la representación completa, pero requiere menos almacenamiento y recursos computacionales.

Cómo truncar incrustaciones Matryoshka

Truncar las incrustaciones de Matryoshka manteniendo el subconjunto principal de dimensiones. El siguiente ejemplo demuestra cómo truncar vectores de 1024dimensiones a 256 dimensiones:

import voyageai
import numpy as np
def embd_normalize(v: np.ndarray) -> np.ndarray:
    # Normalize rows of a 2D array to unit vectors
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms
vo = voyageai.Client()
# Generate 1024-dimensional embeddings
embd = vo.embed(['Sample text 1', 'Sample text 2'], model='voyage-4-large').embeddings
# Truncate to 256 dimensions and normalize
short_dim = 256
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()

Cómo funciona la cuantización

La cuantización reduce la precisión de las incrustaciones al representar cada dimensión con menos bits que el formato de punto flotante estándar de 32bits. En lugar de usar 4 bytes por dimensión, las incrustaciones cuantificadas utilizan:

• Enteros de8bits (1 byte por dimensión): Reduce el almacenamiento por 4veces

• Binario (1 bit por dimensión): Reduce el almacenamiento en un 32x

A pesar de esta drástica reducción de tamaño, los modelos entrenados conscientes de la cuantización, como los de Voyage, mantienen una alta calidad de recuperación. Los modelos de Voyage compatibles permiten la cuantización especificando el tipo de datos de salida con el parámetro output_dtype:

Binario desplazado

Binario de desplazamiento es un método para representar enteros con signo en forma binaria. Voyage IA utiliza este método para el tipo de salida binary para codificar los embeddings binarios empaquetados como enteros con signo (int8).

El método binario desplazado funciona añadiendo o restando un valor de desplazamiento:

• Cuando se convierte a binario: agrega 128 al entero con signo antes de codificar

• Al convertir de binario: Reste 128 del número entero después de decodificar

Para números enteros con signo de 8bits (rango -128 a 127), el desplazamiento es siempre 128.

Cómo usar la cuantización con Voyage IA

Puedes convertir manualmente las incrustaciones de coma flotante a formato binario o desempaquetar las incrustaciones binarias de vuelta a bits individuales. Los siguientes ejemplos demuestran ambas operaciones:

import numpy as np
import voyageai
vo = voyageai.Client()
# Generate float embeddings
embd_float = vo.embed('Sample text 1', model='voyage-4-large', output_dimension=2048).embeddings[0]
# Compute 512-dimensional bit-packed binary and ubinary embeddings from 2048-dimensional float embeddings
embd_binary_calc = (np.packbits(np.array(embd_float) > 0, axis=0) - 128).astype(np.int8).tolist() # Quantize, binary offset
embd_binary_512_calc = embd_binary_calc[0:64] # Truncate. Binary is 1/8 length of embedding dimension.
embd_ubinary_calc = (np.packbits(np.array(embd_float) > 0, axis=0)).astype(np.uint8).tolist() # Quantize, binary offset
embd_ubinary_512_calc = embd_ubinary_calc[0:64] # Truncate. Binary is 1/8 length of embedding dimension.

import numpy as np
import voyageai
vo = voyageai.Client()
# Generate binary embeddings
embd_binary = vo.embed('Sample text 1', model='voyage-4-large', output_dtype='binary', output_dimension=2048).embeddings[0]
embd_ubinary = vo.embed('Sample text 1', model='voyage-4-large', output_dtype='ubinary', output_dimension=2048).embeddings[0]
# Unpack bits
embd_binary_bits = [format(x, f'08b') for x in np.array(embd_binary) + 128] # List of (bits) strings
embd_binary_unpacked = [bit == '1' for bit in ''.join(embd_binary_bits)] # List of booleans
embd_ubinary_bits = [format(x, f'08b') for x in np.array(embd_ubinary)] # List of (bits) strings
embd_ubinary_unpacked = [bit == '1' for bit in ''.join(embd_ubinary_bits)] # List of booleans