2 comentarios

  1. Muy bueno. Solo comentar, o añadir, que se tiende a confundir programar y picar código, cosas que son diferentes. La primera es construir en la mente o en un papel o en el cristal de la ventana (cosa incómoda que queda bien por cámara) un flujo de procesos que lleven a la resolución de un problema y la segunda trasladar este flujo a una sintaxis determinada.
    Pasar un Excel a un Access o a MySQL es trivial. Su héroe de la clase médica tuvo suerte y eso ha reafirmado su hacer. Bien por él, pero en realidad suena a «beau geste» de los primeros tiempos de la informática, cuando todos nos veíamos entrando en M$ con un disquete que contenía una aplicación que desmontaba en segundos algún sistema de seguridad por ofuscación. Pronto descubrimos que en vez de darnos un despacho de esquina llamaban al FBI.
    También quiero decir que ni Claude ni Gémini son mágicos, sobre todo cuando lo que intentas es que sobre una aplicación ya establecida generar nuevas funciones. Siempre encuentras capas y capas de código que frenan el desarrollo.
    Por último dentro de un tiempo prudencial también podríamos contar los pacientes que no habrían recibido la atención médica necesaria porque sus datos los hubieran marcardo como clientes deficitarios para las aseguradoras
    Este no es un mundo perfecto.

  2. Premisa: no soy un experto, ni en programación ni en bases de datos ni en machine learning ni en «IA». Pero sí tengo una cierta formación adyacente y he trabajado con herramientas del ramo.

    – En el artículo se mezclan todas las herramientras de procesado estadístico computerizado en el término ubicuo hoy día: «IA». Y no es lo mismo una herramienta clínica especializada en detección de cánceres como la que se describe, que una LLM como ChatGPT o Claude, que el código generado por «agentes» basados en estas LLMs, que el código (clasificado o no como «IA») refinado por un humano a partir de lo anterior. O que una red neural de aprendizaje especializada en clasificar interacciones subatómicas, que se llevan usando desde hace décadas en física de partículas. Este «totum revolutum» me chirría un poco viniendo de un especialista, porque no es simplemente una pedantería léxica: es una confusión conceptual de las limitaciones inherentes a lo que popularmente se conoce como «IA» últimamente (los LLMs), adjudicándole éxitos y capacidades que no son suyos.

    – El argumento de que «los médicos/humanos también alucinan» está calcada de una declaración reciente del incalificable personaje Altman: ante el hecho de que los centros de cálculo para sus LLMs consuman cantidades ingentes de recursos, argumentó que la gente también consume, como si ambos consumos fueran cualitativa o cuantitativamente comparables, y dejando leer entre líneas inquietantes ideas sobre qué merece más la pena «apagar» si fuera necesario elegir. Pero al margen de objeciones éticas sobre el desprecio deshumanizante que supura, la afirmación es también falsa y reduccionista. En concreto, reduce el criterio humano a un «loop de aprendizaje», por citar las palabras textuales del artículo. Ignora lo que el error humano posibilita más allá de una decisión binaria. Aparte sospecho que el porcentaje de aciertos del 99% está basado en un benchmark predefinido en lugar de fiabilidad en campo, como la mayoría de estas «historias de éxito».
    – Enlazando con lo anterior, me sorprendería mucho encontrar un caso aplicativo de LLMs (sea directamente o a través de código que generen, sin intermediar mucho refinado humano de por medio) con la útilidad, fiabilidad y características descritas, aunque se les ponga el asterisco de potenciales, como a todo lo verdaderamente útil en este mundillo tan labil. No me creo que una LLM «de frontera», y de pago, como GPT Pro 5.3, a la que le pido hacerme un listado de las provincias españolas que contengan la letra Z, y que alucina repetidamente provincias que no existen, o letras Z que no existen, o se deja fuera Badajoz, en intercambios tan hilarantes como descorazonadores (porque hay gente que se fía a pies juntillas de estos «turcos mecánicos») – que una LLM decía, llegue en tiempos breves a ser fiable en un contexto clínico, o cualquier contexto donde se necesite fiabilidad en general. O que llegue a serlo NUNCA, visto que su naturaleza de procesado estadístico hace inevitable este tipo de problemas, como OpenAI admitió en su célebre paper del año pasado.

    – Como coda, porque éste es el meollo del artículo: el aspecto regulador, y la dicotomía (manida) EEUU-Europa. ¿Por qué deberíamos aceptar una desregulación atropellada a favor de herramientas que no sólo adolecen de las limitaciones técnicas mencionadas arriba, aparte de muchas otras incluyendo de privacidad*, sino que además -y crucialmente- están controladas por corporaciones con discutibles y opacos intereses, sino directamente incompatibles con el Estado de derecho y la democracia occidental? ¿Por qué deberíamos dar la bienvenida a iniciativas desreguladoras en un país que ya antes de encontrarse en la triste situación política y cleptocrática actual era un ejemplo de gestión colectiva desastrosa, tanto económica como sanitaria o de inclusión social, y que ahora hace avanzar a marchas forzadas cualquier iniciativa, por ruinosa que sea, que favorezca a sus pocos y poderosísismos financiadores, en el mejor de los casos elitistas extremos, y en su declinación más aceptada descritos como «tecnofascistas»? ¿Cuáles son los costes a medio y largo plazo de depender de estas herramientas, con ese bagaje, y que es sabido ofrecen sus servicios a pérdida, mientras que en el futuro previsibile no tienen perspectivas de mejorar rentabilidades ni eficiencias de computación, sino más bien al contrario? Si en 10 años se convierten en un agujero negro o un monstruo de gastos, ¿cuál es la estrategia de salida para sostener las «eficiencias» que se supone permitieron incorporar al sistema sanitario cuando eran casi gratis? Nadie habla de rechazar la tecnología; todo lo contrario. Pero sugerir ignorar un principio de precaución legal para «ver qué pasa», con estas herramientas con esa fiabilidad actual y futura, controladas por esos personajes, para aplicarlas en ese campo – ese es otro discurso.

    * –> Microsoft incluye en sus términos de uso de Copilot cómo sus outputs se ofrecen con fines «exclusivamente de entretenimiento». Mi empresa, una multinacional de seguridad cibernética y militar, nos advierte contractualmente en nuestra versión interna, acotada y legalmente responsable de fugas de información propietaria, de ChatGPT Pro, Gemini, Copilot y Claude, de que cualquier información insertada en LLMs está sujeta a ser usada sin nuestro consentimiento para entrenamientos futuros, y (lo que es más importante) puede salir a la superficie con los prompts adecuados, quizás no descubiertos en la actualidad, o bajo circunstancias aleatorias adecuadas. Me pregunto qué me debería llevar a confiar nada relevante a estos chats – mucho menos mi historial clínico.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*