Elige una base de datos vectorial para RAG: recall, latencia y coste

Tu aplicación RAG devuelve el fragmento equivocado porque el usuario formuló la misma pregunta con palabras distintas. Una base de datos vectorial cambia el emparejamiento exacto de palabras clave por similitud semántica. Wikimedia Deutschland utilizó DataStax Astra DB sobre IBM watsonx.data para hacer accesible el grafo de conocimiento de Wikidata, con 120 millones de entradas, a los LLM, informando de velocidades de consulta 30 veces más rápidas que el cálculo vectorial local, es decir, una trigésima parte del tiempo, y una reducción del 90 % en el tiempo de desarrollo. Acepta ese intercambio solo cuando la paráfrasis, y no los términos exactos, sea el modo de fallo.

Realiza tres comprobaciones antes de elegir la infraestructura:

• ¿La recuperación falla con paráfrasis?
• ¿Puedes asumir las operaciones ANN con tu volumen de consultas?
• ¿Necesitas fusión BM25 de palabras clave para términos exactos?

El fallo por paráfrasis decide la búsqueda vectorial

Un índice solo de palabras clave pasa por alto al usuario que formula la pregunta correcta con palabras distintas. Comprueba si una consulta reformulada alcanza el mismo fragmento. Ejecuta esa comprobación con consultas reales, no con ejemplos limpios.

Mantén un pequeño conjunto de consultas fallidas con la formulación del usuario, la formulación de la fuente y el fragmento esperado. Si la búsqueda por palabras clave no encuentra el fragmento esperado y la búsqueda vectorial sí lo localiza, el índice es el problema. Si ambas fallan, revisa el chunking, los metadatos o el texto de origen antes de cambiar la base de datos.

Extrae consultas de tickets de soporte, registros de búsqueda o entrevistas con usuarios. Sustantivos distintos con el fragmento esperado presente apuntan al índice. Fragmentos esperados ausentes apuntan al corpus.

Las operaciones del índice deciden el autoalojamiento

El indexado de vecinos aproximados más cercanos (ANN) permite a las bases de datos vectoriales localizar vectores relevantes rápidamente a escala. El índice es la parte que o bien posees o bien alquilas. Un tráfico estable y pequeño puede bastar para un índice simple; un tráfico con picos necesita indexado, caché y escalado que alguien más ya ha pagado.

Comprueba el comportamiento del índice en tu pico actual, no en tu media. Mide la latencia de cola, no solo la latencia media. El autoalojamiento es viable si tu equipo puede ajustar índices, supervisar la memoria y gestionar el reindexado sin despertar a nadie de madrugada. En caso contrario, la búsqueda gestionada es el camino más económico hasta que tengas datos y un plan claro.

Los términos exactos deciden el respaldo híbrido

Los términos exactos siguen importando. Nombres de producto, códigos de error y frases legales pueden fallar cuando un modelo los comprime en un embedding genérico. Weaviate puede fusionar resultados vectoriales con resultados BM25 de palabras clave, y los equipos pueden ajustar el comportamiento de la fusión. Comprueba el comportamiento de las palabras clave en consultas donde la cadena exacta es la respuesta.

Corpus mayoritariamente en lenguaje natural pueden bastar para una búsqueda solo vectorial. Corpus con identificadores, citas o códigos exactos necesitan un respaldo híbrido. Ajusta el peso de la fusión cuando un lado sobrepone al otro.

El coste decide entre gestionada, open source o híbrida

La búsqueda gestionada reduce el coste operativo y aumenta la dependencia. La búsqueda open source da control y transfiere el coste operativo a tu equipo. La búsqueda híbrida mejora el recall de términos exactos y añade trabajo de ajuste. Sigue el intercambio a medida que cambian el tráfico y el presupuesto.

Pinecone, un servicio totalmente gestionado de base de datos vectorial, gestiona el almacenamiento de embeddings, el indexado y las consultas basadas en API. Cambias control por una menor carga operativa. El coste se manifiesta en el vendor lock-in y en la necesidad de diseñar en torno a su interfaz.

Qdrant, un motor de búsqueda de similitud open source y base de datos vectorial, es la opción que ejecutas tú mismo. Tienes control sobre índices, almacenamiento y despliegue. El coste es operativo: asumes el escalado, las actualizaciones y el camino de guardia cuando la recuperación se degrada.

Turbopuffer ofrece búsqueda vectorial y de texto completo gestionada sobre una arquitectura de almacenamiento de objetos, con cachés para datos consultados con frecuencia. Encaja en la comprobación de términos exactos cuando quieres búsqueda gestionada con un camino de texto completo.

Weaviate es la opción de fusión. El coste es el ajuste: el comportamiento de la fusión puede cambiar el recall, así que necesitas un conjunto de pruebas para mantenerlo honesto. Mantén el conjunto de pruebas de términos exactos separado del conjunto de pruebas de paráfrasis. Revísalo cada vez que cambies el peso de la fusión, y mantén las consultas fallidas visibles en las notas de versión.