RAG Pipeline Cost Calculator

La Calculadora de costos de canalización de RAG estima el gasto mensual total de ejecutar un sistema de generación aumentada de recuperación combinando cuatro componentes de costos: generación de incrustación, alojamiento de bases de datos vectoriales, consultas de recuperación de documentos e inferencia de LLM para la generación de respuestas. Los canales RAG basan las respuestas de LLM en sus datos patentados al recuperar documentos relevantes antes de generar respuestas, lo que reduce drásticamente las alucinaciones y mejora la precisión para aplicaciones de dominios específicos. Esta calculadora es esencial para los equipos de ingeniería que crean bases de conocimientos, sistemas de atención al cliente, herramientas de búsqueda interna y cualquier aplicación que necesite un LLM para responder preguntas sobre documentos o datos específicos. Una canalización RAG típica que atiende 10 000 consultas por mes con un corpus de 100 000 documentos podría costar entre $150 y $500 por mes dependiendo de la elección de los componentes, lo que hace que sea fundamental modelar los costos antes de comprometerse con una arquitectura. Los cuatro componentes del costo tienen características de escalamiento muy diferentes. La incrustación es principalmente un costo único que se repite solo para las actualizaciones de documentos. El alojamiento de bases de datos vectoriales es un gasto mensual fijo que crece con el tamaño del corpus. Los costos de las consultas de recuperación aumentan linealmente con el volumen de consultas. Y la inferencia LLM, normalmente el componente más grande, entre el 60 y el 80 por ciento del costo total, escala tanto con el volumen de consultas como con la cantidad de contexto recuperado que se pasa al modelo. Comprender estas dinámicas ayuda a los equipos a optimizar los factores de costos más impactantes.

DigiCalcs delivers precision-engineered tools for engineers and STEM professionals.

1. 1Calcule el costo de incrustación de su corpus de documentos. Determine la cantidad total de documentos, el promedio de tokens por fragmento después de la división y cualquier superposición entre fragmentos. Utilizando text-embedding-3-small a 0,02 dólares por millón de tokens, un corpus de 100.000 documentos con 400 tokens cada uno con una superposición del 15 por ciento cuesta alrededor de 0,92 dólares para la incrustación inicial. Se trata de un coste único que se amortiza a lo largo de meses, con costes incrementales sólo para documentos nuevos o actualizados.
2. 2Calcule el costo de alojamiento de su base de datos vectorial. Los cargos sin servidor de Pinecone se basan en unidades de lectura, unidades de escritura y almacenamiento. Un corpus de 100.000 vectores con 1536 dimensiones requiere aproximadamente 600 MB de almacenamiento. Los planes basados ​​en pods de Pinecone comienzan en $70 por mes para un pod s1. Weaviate Cloud comienza en $25 por mes para grupos pequeños. Pgvector autohospedado en una máquina virtual de entre $50 y $150 por mes es la opción más económica para implementaciones más pequeñas.
3. 3Calcule el costo de recuperación por consulta. Para las bases de datos vectoriales administradas, cada consulta de búsqueda de similitud cuesta fracciones de centavo. Pinecone serverless cobra aproximadamente $8 por millón de unidades de lectura, y cada consulta consume de 5 a 10 unidades de lectura dependiendo de la cantidad de resultados solicitados. Para las soluciones autohospedadas, el costo de la consulta es efectivamente cero más allá del gasto fijo de hospedaje. Los costos de recuperación suelen ser el componente más pequeño del proceso RAG.
4. 4Calcule el costo de inferencia de LLM por consulta, que suele ser el gasto dominante. Cada consulta RAG envía la pregunta del usuario más fragmentos de documentos recuperados como tokens de entrada y luego genera una respuesta como tokens de salida. Si recupera 5 fragmentos de 400 tokens cada uno más un mensaje del sistema de 200 tokens y una consulta de usuario de 100 tokens, la entrada total es de 2300 tokens. Con una respuesta de 500 tokens en GPT-4o, cada consulta cuesta aproximadamente $0,011. Con 20.000 consultas mensuales, los costos de LLM suman un total de $212.
5. 5Agregue costos de reinserción para actualizaciones de corpus. Si el 5 por ciento de sus documentos cambia mensualmente, el costo de reincrustación es el 5 por ciento del costo de inserción inicial. Para un corpus de 100.000 documentos, esto añade aproximadamente 0,05 dólares al mes, lo cual es insignificante. Sin embargo, si vuelve a incrustar todo el corpus al actualizar los modelos de incrustación (recomendado anualmente), haga un presupuesto para el costo total de incrustación inicial como gasto periódico.
6. 6Tenga en cuenta el desarrollo y los gastos generales operativos. Las canalizaciones de RAG requieren supervisión de la calidad de la recuperación, ajuste de la estrategia de fragmentación y reindexación ocasional. El tiempo de ingeniería para mantener un sistema RAG de producción normalmente cuesta de 5 a 10 horas por mes a entre $100 y $200 por hora, lo que agrega entre $500 y $2000 en costos de mano de obra. Si bien no es un costo directo de infraestructura, estos gastos generales operativos deben incluirse en los cálculos del costo total de propiedad.
7. 7Revise el desglose de costos completo que muestra cada componente como porcentaje del costo total. Para la mayoría de los sistemas RAG, la inferencia LLM domina entre un 60 y un 80 por ciento, el alojamiento de bases de datos vectoriales representa entre un 15 y un 30 por ciento y la incrustación más la recuperación juntas representan menos del 5 por ciento. Esta distribución significa que la optimización de los costos de LLM mediante la selección de modelos, la compresión rápida o la reducción del recuento de fragmentos recuperados tiene el mayor impacto en el costo total.

• !Pasar demasiados fragmentos recuperados al LLM:
• !Uso del LLM más caro cuando un modelo de presupuesto es suficiente:
• !Sobreaprovisionamiento de la base de datos de vectores para corporaciones pequeñas: