Durante los últimos años Silicon Valley ha insistido con la capacidad de los nuevos sistemas de IA (Large Languaje Models) para mejorar de forma acelerada.
Los ingenieros de las tecnológicas nos han hablado de los constantes aumentos exponenciales en el rendimiento de los LLMs como resultado de la mayor capacidad computacional y la alimentación de datos.
Este gran optimismo relativo a los sistemas de IA ha llevado a los capitalistas de riesgo a invertir miles de millones de dólares en empresas como OpenAI, Anthropic o Perplexity. Y gracias a este boom es como Nvidia, la firma que produce los chips para hacer funcionar estos sistemas, llegó a convertirse en la empresa más valiosa del mundo.
Algo más está cambiando...
En artículos publicados en Wall Street Journal y Bloomberg se ha estado comentando que los nuevos LLMs que desarrollan las gigantes tecnológicas ya no rinden tanto como los anteriores. El primer alerta surgió del prestigioso medio dedicado a la tecnología digital, The Information. En un artículo de este medio, varios investigadores de OpenAI -que declararon bajo condición de anonimato- dijeron que el próximo lanzamiento del LLM llamado Orion, está mostrando un avance de rendimiento menor que el observado entre el GPT-3 y el GPT-4. En ciertas tareas, “no es confiablemente mejor que su predecesor”, según uno de los entrevistados.
Días después el fundador de OpenAI, Ilya Sutskever, quien dejó la compañía a principios de este año, declaró a Reuters que sentía cierta preocupación porque los LLMs estaban llegando a un estancamiento en los resultados que se pueden obtener de su entrenamiento. Sutskever asegura que ya no se logran los avances que se evidenciaban durante la década pasada. Según Sutskever, “ahora tenemos que volver a la era de las maravillas y los descubrimientos. Todos están buscando el siguiente paso. Escalar es ahora más importante que nunca”.
Una gran parte del problema, según los expertos es la falta de datos nuevos y de calidad para que los nuevos LLMs se capaciten. Es posible que los desarrolladores de estos modelos ya hayan utilizado lo más sustancial de los textos disponibles en internet. OpenAI y sus competidoras están recurriendo a la alimentación de datos sintéticos (datos creados por otros modelos que simulan datos reales) en el intento de superar este aparente muro con el que está empezando a chocar la IA generativa. Pero hay quienes sostienen que este tipo de datos artificiales puede conducir a un colapso de los modelos después de unos pocos ciclos de entrenamiento.
Otros emprendedores están cifrando sus esperanzas en futuros modelos de IA que escalarían basándose en capacidades de razonamiento en lugar de nuevos conocimientos, según un artículo de arstechnica.com. Pero investigaciones recientes muestran que los modelos de razonamiento de última generación se dejan engañar fácilmente por pistas falsas.
Si el crecimiento de las capacidades de los LLMs está llegando a un límite, ya no nos estaríamos acercando hacia una inteligencia artificial general, sino más bien por el contrario hacia inteligencias artificiales especializadas. Sistemas más pequeños pero útiles para determinadas tareas. Es decir, modelos de lenguaje pequeños destinados a ciertas áreas, por ejemplo: salud, legales, e-commerce, etc. Sistemas que pueden ser vendidos o concesionados a empresas y organizaciones específicas. Y que pueden llegar a ser más redituables que los sistemas que se ofrecen al público y que Meta ya ofrece gratuitamente en sus redes sociales. Microsoft, que ha hecho una gran apuesta por OpenAI, ya ha estado explorando este tipo de sistemas con relativo éxito. Y varias startups están probando ese camino.
Al mismo tiempo un artículo del Wall Street Journal titula: “Las inversiones en IA están explotando, pero las ganancias de los capitalistas de riesgo están en un mínimo histórico”. Según el subtítulo, las firmas de riesgo confían en que la Administración de Trump facilite las inversiones en alta tecnología.
Según el texto firmado por Berber Jin, a los inversionistas les está siendo fácil encontrar nuevas empresas en cuales invertir pero les está costando mucho obtener algún retorno económico. Según PitchBook, el año pasado los inversionistas estadounidenses recibieron acciones por valor de us$26.000 millones, el valor más bajo desde 2011. “Hemos recaudado mucho dinero y hemos devuelto muy poco”, dijo Thomas Laffont, cofundador de la firma de inversión Coaute Management. “Estamos sangrando dinero como industria”.
El año pasado las firmas de riesgo invirtieron us$60.000 millones más de lo que colectaron, lo que representa las menores ganancias en 26 años registrados. Organizaciones como universidades y fondos de pensión son los que invierten generalmente en estas firmas y no están viendo las ganancias que obtenían anteriormente.
La mayor parte de lo que se invierte actualmente va hacia las startups de inteligencia artificial, “un espacio candente en el que las valoraciones están aumentando rápidamente y las empresas rápidamente gastan ese dinero para desarrollar nueva tecnología”, señala el WSJ.
Te puede interesar también:
El insostenible consumo eléctrico de las criptomonedas
Meta lanza nuevas herramientas de IA para sus redes sociales
