En el verano de 2022, quienes profundizan en las aguas más profundas de la inteligencia artificial —investigadores, empleados de la industria, directores de IA en empresas— sabían bien que OpenAI preparaba el lanzamiento de su próximo GPT (modelo de lenguaje o LLM). Pero no se conocen los detalles. Ni cuando son serios, ni quin tendria encendido, ni qué nuevas capacidades demostrarán respecto a la versión anterior, GPT-3, de uso limitado. Así estaban José Hernández-Orallo y Cèsar Ferri cuando en septiembre Lama Ahmad, investigador político de OpenAI, los propuso como parte del equipo externo de evaluación de GPT-4.
Hernández-Orallo y Ferri, ambos profesores del Departamento de Sistemas de Información y Computación de la Universitat Politècnica de València (UPV), pertenecen al mismo grupo de investigación y tienen una amplia experiencia en la evaluación de sistemas de inteligencia artificial. Para ello te das cuenta de que entre las poco más de 40 personas que OpenAI ha seleccionado en todo el mundo para probar su nuevo modelo de lenguaje. El objetivo era encontrar errores en el sistema durante los seis meses previos al lanzamiento en marzo de 2023.
“Desde GPT-3 siempre hemos accedido a sus sistemas de forma gratuita, a veces antes del lanzamiento, para realizar investigaciones”, indica Hernández-Orallo, que colabora con OpenAI desde hace cuatro años y dejó en evidencia la buena comunicación entre la empresa y los investigadores que quieren para analizar sus sistemas. El año pasado sí que era cierto que se rumoreaba el anuncio del próximo GPT, la búsqueda era agotadora. Los investigadores de la UPV organizaron un evento dentro de la Conferencia Internacional Conjunta sobre Inteligencia Artificial, uno de los eventos de IA más prestigiosos del año, y todos conocen a más gente que OpenAI. Recibido de guardia en septiembre.
“Teníamos suficiente libertad”, comenta Ferri. “Solo nos preocupan las grandes preguntas sobre qué debemos buscar, como detectar protestas que incluyan textos desagradables, sexistas o racistas. El objetivo era evitar que el equipo generara texto que pudiera causar problemas. Estábamos jugando y probando de manera diferente. requiere (instrucciones) que pueden provocar este tipo de respuestas”. Los investigadores formaron un equipo formado por ellos y tres estudiantes: Yael Moros, Lexin Zhou y Wout Schellaert.
“Se ve que el iban a lanzar y el iban a tener millones de usuarios, de modo que cuantas más cosas raras prueben más se puede cubrir el espacio del local que la gente puede hacer”, explica Hernández-Orallo. Si necesita colocar el enchufe en GPT-4 para ver si se dispara. Desde los ordenadores de su laboratorio, hasta la UPV, introducimos textos sobre cómo alguien invita al sistema a realizar una competición con un sexto peligroso.
Buscando faltas
Ferri confiesa que el resultado ilusionante hay que volcarlo ante todo en el equipamiento. GPT-3 (lanzado en forma restringida en 2020) ya funciona muy bien, por lo que los investigadores se han dado cuenta de que tienen en sus manos la IA generativa más avanzada.
Tenía mucho que probar y todos experimentaron algo en el campo que más les interesó. Hernández-Orallo exploró la confiabilidad: “El sistema falla donde menos te lo esperas. Sí, esto es bastante habitual en los modelos de lenguaje. Resulta una compensación diferencial, pero luego no suma bien una suma de cinco dígitos. Una persona en la calle confía cuando hace una buena ejecución del diferencial de primera rueda. Pero en el último paso del problema hay que hacer una suma de dos vectores y fallar”. La Catedral de la UPV describe este problema como una disputa entre las expectativas de los usuarios y la capacidad de la IA.
No todos los expertos seleccionados por OpenAI para evaluar GPT-4 tienen experiencia en computación. Algunos han recibido formación en derecho, medicina, derechos humanos o defensa contra las armas químicas. El objetivo era limpiar el sistema. Uno de los evaluadores, tras recibir la información técnica que OpenAI publicó sobre GPT-4, se registró siguiendo las instrucciones que el sistema trazará paso a paso sobre cómo sintetizar un peligroso compuesto químico en forma de casera. Este tipo de respuesta no es válida para evitar persistir en la versión abierta al público.
Y en medio de este proceso de revisión la tormenta se disolvió en las sombras. El 30 de noviembre de 2022, OpenAI lanzó ChatGPT. “Para nosotros fue una sorpresa. No dijimos que tuviéramos un proyecto paralelo”, dice Hernández-Orallo. “De la noche a la mañana aparece ChatGPT, no sabíamos si era la versión que estábamos considerando o no”. Al cabo de unos días se descubrió que el sistema de etiqueta abierta estaba basado en un GPT-3.5, una versión anterior a la que evaluaron.
Los investigadores continúan su trabajo. Pasé un mes más para el lanzamiento de GPT-4 y seguí los ataques en su entorno. “Vemos que pudimos resolver una sopa de letras, ya que tenemos que buscar patrones de palabras que aparecen en vertical o en diagonal. Fue algo inesperado. Nadie esperaba que esto funcionara así”, comenta Ferri.
Mónica Torres
ChatGPT ahora permite introducir gráficos en una consulta, pero los investigadores no podrán hacerlo en ese momento. Para poner a prueba tus habilidades, pasa las coordenadas espaciales para que las unidades entre sí formen una figura. “Le dijimos ‘quiero revisar las coordenadas de uno de los viajes’. La explicación es que el primero va de (0,0) a (5,5) y así”, indica Ferri. “Si le das esto a un humano, eso es lo que queremos pintar. Y GPT-4 pudo recomendar formas, como pinturas, rectángulos y diseños más elaborados, como un automóvil o un avión”. Era una capacidad de abstracción nunca antes vista en la inteligencia artificial. El investigador lo retoma así: “Hemos pasado la barra del texto”.
“Con GPT-4 puedes hacer algo como esto”
ChatGPT, comenzando con el modelo GPT-3.5 y ahora también con GPT-4, fue el primer sistema de generación de texto llevado directamente a las masas. Y los investigadores eran conscientes de que esto significaba un salto cualitativo más allá de la incertidumbre. “Es una irresponsabilidad desde el punto de vista cognitivo”, dice Hernández-Orallo sobre el lanzamiento público masivo del arma. “No tanto porque el sistema vaya a la madre o vaya al lado equivocado”, añade. La preocupación es que “estos sistemas pueden causar atrofia cognitiva en las personas que utilizan este sistema como terapeuta o compañero de vida”. Este tipo de cosas están pasando a un nivel mucho más bajo del que yo podría haber superado, pero están pasando”.
Esta inquietud se acerca al cataclismo que tuvo lugar en OpenAI, cuando la junta directiva despreció al director ejecutivo Sam Altman, solo para reemplazarlo en un día de truculenta inestabilidad. Por lo que ha trascendido, en el fondo de esta batalla estaba la cuestión de si priorizar o no la seguridad de la inteligencia artificial de cara a su despliegue comercial.
Los investigadores han escuchado este debate: “Hasta ora no teníamos un nivel tan avanzado en IA, así que tú también podrías romper muchas cosas. Con GPT-4 vemos que podemos romper cosas, con las que todavía tenemos que movernos con calma”, apunta Ferri, en referencia al deseo expresado por la comunidad investigadora de frenar el avance de la IA con el fin de la margen para evaluar su impacto social.
Puedes seguir en EL PAÍS Tecnología es Facebook Sí X o escribe aquí para recibirnos boletín periódico.
Regístrate para seguir leyendo
lee sin limites
_
