El uso de ChatGPT podría costarle a OpenAI hasta $ 700.000 dólares por día. Todo esto, para sostener la costosa infraestructura tecnológica con la que se ejecuta la IA que impulsa su famoso chatbot. La mayor parte se iría en el mantenimiento de sus servidores, estimó la firma de investigación de semiconductores SemiAnalysis.
ChatGPT requiere grandes cantidades de potencia informática para calcular las respuestas en función de las indicaciones de cada uno de sus usuarios. El cálculo de SemiAnalysis está basado en el modelo GPT-3. Por eso, es probable que el costo operativo hoy sea incluso mayor, luego del lanzamiento de GPT-4, explicó Dylan Patel, analista jefe de la consultora, a The Information.
La capacitación de modelos de lenguaje grandes, como ChatGPT, puede demandar a OpenAI una inversión de decenas de millones de dólares. Pero, al final, los costos operativos superan este gasto con creces.
Para responder a las preguntas y consultas de las personas, el chatbot de OpenAI utiliza lo que los expertos en IA llaman "inferencia". Y de acuerdo a otro informe publicado por SemiAnalysis, los costos para inferir de ChatGPT exceden los costos de capacitación semanalmente. Y mientras más uso y más usuarios, más dinero que desembolsar.
El costo estructural de ChatGPT, una preocupación para OpenAI
La capacitación y la "inferencia" de modelos de como ChatGPT de OpenAI demandan un costo estructural muy diferente al de "booms" informáticos anteriores. En este cálculo de gastos, además, hay que considerar el hardware especializado.
Los procesadores de computadora tradicionales pueden ejecutar modelos de aprendizaje automático, pero son lentos. La mayor parte del entrenamiento y la inferencia de estos sistemas se realiza en unidades de procesamiento gráfico (GPU). Estas, en principio, estaban destinadas a juegos en 3D. Sin embargo, se convirtieron en una gran solución para las herramientas de IA porque pueden hacer muchos cálculos simples simultáneamente.
NVIDIA fabrica la mayoría de las GPU para la industria de la IA. Esta empresa de software se lleva el 95% del mercado de procesadores gráficos que se pueden usar para el aprendizaje automático, según un reporte de CNBC. Es, precisamente, uno de los principales proveedores de Microsoft y OpenIA.
El chip A100, el gran caballo de batalla de NVIDIA, cuesta unos $10.000 dólares. El ChatGPT de OpenAI exige un poder de cómputo que solo es posible de obtener con decenas de miles de GPU como estas.
Microsoft busca alternativas para bajar la inversión
Microsoft está desarrollando un chip de IA al que llama Athena, informó esta semana The Information. Se trata de un esfuerzo para acelerar el desarrollo de modelos como ChatGPT y GPT4 de OpenAI. También, por supuesto, para reducir los costos de ejecución.
El proyecto había comenzado en 2019. Pero ahora se aceleró, luego de Microsoft cerrara un acuerdo multimillonario de colaboración con OpenAI. El trato requería, además, que OpenAI ejecutara sus modelos exclusivamente en los servidores en la nube Azure del gigante tecnológico de Redmon.
Más de 300 empleados de Microsoft ahora están trabajando en el chip, según The Information. Los nuevos chips ya se estarían probando internamente. Aún no se conocen detalles de sus especificaciones, debido a que las partes han estado trabajando en secreto. La intención sería distribuirlos de manera masiva dentro de Microsoft y OpenAI a partir del próximo año.