Dimensiones flexibles y cuantificación

Cómo funcionan las incrustaciones de matrioskas

Con el aprendizaje Matryoshka, una sola incrustación contiene una familia anidada de incrustaciones de diferentes longitudes. Por ejemplo, una incrustación de Voyage de 2048-dimensional contiene incrustaciones válidas de múltiples longitudes más cortas:

• Las primeras 256 dimensiones forman una incrustación válida de 256dimensiones

• Las primeras 512 dimensiones forman una incrustación válida de 512dimensiones

• Las primeras 1024 dimensiones forman una incrustación válida de 1024dimensiones

• Todas las dimensiones 2048 forman la incrustación de fidelidad completa

Cada versión más corta proporciona una calidad de recuperación ligeramente inferior a la incrustación completa, pero requiere menos recursos de almacenamiento y computacionales.

Cómo truncar las incrustaciones de matrioskas

Truncar las incrustaciones de Matryoshka conservando el subconjunto principal de dimensiones. El siguiente ejemplo muestra cómo truncar vectores de 1024dimensiones a 256 dimensiones:

import voyageai
import numpy as np
def embd_normalize(v: np.ndarray) -> np.ndarray:
    # Normalize rows of a 2D array to unit vectors
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms
vo = voyageai.Client()
# Generate 1024-dimensional embeddings
embd = vo.embed(['Sample text 1', 'Sample text 2'], model='voyage-4-large').embeddings
# Truncate to 256 dimensions and normalize
short_dim = 256
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()

Cómo funciona la cuantificación

La cuantificación reduce la precisión de las incrustaciones al representar cada dimensión con menos bits que el formato estándar de coma flotante de 32bits. En lugar de usar 4 bytes por dimensión, las incrustaciones cuantificadas utilizan:

• Enteros de8bits (1 byte por dimensión): Reduce el almacenamiento por 4veces

• Binario (1 bit por dimensión): reduce el almacenamiento en 32x

A pesar de esta drástica reducción de tamaño, los modelos entrenados con capacidad de cuantificación, como los de Voyage, mantienen una alta calidad de recuperación. Los modelos de Voyage compatibles permiten la cuantificación especificando el tipo de datos de salida con el parámetro output_dtype:

Desplazamiento binario

Elbinario de desplazamiento es un método para representar enteros con signo en formato binario. Voyage AI utiliza este método para el binary tipo de salida para codificar incrustaciones binarias empaquetadas en bits como enteros con signoint8 ().

El método binario de desplazamiento funciona sumando o restando un valor de desplazamiento:

• Al convertir a binario: agregue 128 al entero con signo antes de codificar

• Al convertir de binario: reste 128 del entero después de la decodificación

Para números enteros con signo de 8bits (rango -128 a 127), el desplazamiento siempre es 128.

Cómo utilizar la cuantificación con Voyage AI

Puede convertir manualmente las incrustaciones de coma flotante a formato binario o descomprimirlas en bits individuales. Los siguientes ejemplos muestran ambas operaciones:

import numpy as np
import voyageai
vo = voyageai.Client()
# Generate float embeddings
embd_float = vo.embed('Sample text 1', model='voyage-4-large', output_dimension=2048).embeddings[0]
# Compute 512-dimensional bit-packed binary and ubinary embeddings from 2048-dimensional float embeddings
embd_binary_calc = (np.packbits(np.array(embd_float) > 0, axis=0) - 128).astype(np.int8).tolist() # Quantize, binary offset
embd_binary_512_calc = embd_binary_calc[0:64] # Truncate. Binary is 1/8 length of embedding dimension.
embd_ubinary_calc = (np.packbits(np.array(embd_float) > 0, axis=0)).astype(np.uint8).tolist() # Quantize, binary offset
embd_ubinary_512_calc = embd_ubinary_calc[0:64] # Truncate. Binary is 1/8 length of embedding dimension.

import numpy as np
import voyageai
vo = voyageai.Client()
# Generate binary embeddings
embd_binary = vo.embed('Sample text 1', model='voyage-4-large', output_dtype='binary', output_dimension=2048).embeddings[0]
embd_ubinary = vo.embed('Sample text 1', model='voyage-4-large', output_dtype='ubinary', output_dimension=2048).embeddings[0]
# Unpack bits
embd_binary_bits = [format(x, f'08b') for x in np.array(embd_binary) + 128] # List of (bits) strings
embd_binary_unpacked = [bit == '1' for bit in ''.join(embd_binary_bits)] # List of booleans
embd_ubinary_bits = [format(x, f'08b') for x in np.array(embd_ubinary)] # List of (bits) strings
embd_ubinary_unpacked = [bit == '1' for bit in ''.join(embd_ubinary_bits)] # List of booleans