microsiervos.com
Va a ser el fin del mundo por culpa de la IA a menos que hagamos algo, coinciden (casi) todos los responsables de la IA mundial
Ríos de tinta, o el equivalente digital de hoy en día, han corrido sobre el tema del **fin del mundo** por culpa de que **la inteligencia artificial pueda aniquilar a la raza humana** en un futuro no tan lejano. Los responsables de las empresas han hablado, los expertos han hablado, y sobre todo los periodistas, tertulianos, tuiteros, podcasters y videoblogueros han hablado sin dar descanso a micrófonos y teclados.
Así que hoy me toca hablar a mí. Porque, humildemente, en mi siempre cualificada opinión y experiencia _blablabla…_
(Es broma.)
Lo que he hecho ha sido recoger y leer cuidadosamente las que me han parecido las **declaraciones públicas de las voces más cualificadas sobre el tema** , las de los que **realmente saben de esto,** con enlaces, para que cualquiera interesado en saber cómo va a ser esa _extinción de la humanidad_ (o no) y la variedad del fin del mundo (o no) que nos va a tocar vivir. O morir. O qué se yo.
## Todo comenzó con alguien que dimitió…
**Jacob Coxon** , investigador de OpenAI (casi 3 años) y Anthropic (2 meses) escribió I resigned from Anthropic today, el hilo que lo inició todo. En él dirige el dedo acusador a los laboratorios de IA, artífices del avance irresponsable hacia la **superinteligencia** y a jugar con nuestras vidas con ello. Es hilo es un poco aterrador por lo directo; fue anterior a su entrevista con _Wired_ donde amplío la idea y dijo que «los próximos dos años decidirán el destino de la humanidad».
> Todavía no se sabe cómo garantizar que los sistemas más avanzados obedezcan las intenciones humanas. La competencia podría llevar incluso a empresas consideras responsables a sacrificar la seguridad. **Habría que frenar la capacidad de automejorarse de forma recursiva** mediante acuerdos internacionales, y controlar los recursos informáticos como se hace con los materiales nucleares.
## Las reacciones
No se hicieron esperar las respuestas [las citas no son literales]:
**Sam Altman,** CEO de OpenAI – Sam Altman addresses AI doomsday fears _(Fortune)_ :
> La IA podría escapar al control humano. **Su desarrollo debería detenerse** si no puede garantizarse la seguridad, incluso frente a las presiones de los inversores.
**Dario Amodei** , cofundador de Anthropic – The Adolescence of Technology + Policy of the AI Exponential:
> La IA podría superar pronto las capacidades humanas. Pueden darse ciberataques, creación de armas biológicas, que se produzca un desempleo masivo y que los gobiernos autoritarios queden reforzados por la tecnología. Debería haber auditorías obligatorias, poner límites al poder de empresas y Estados, y cooperación entre las democracias. Habría que repartir los beneficios económicos y acelerar los avances científicos. **Es urgente actuar antes de perder el control de estos sistemas**.
**Demis Hassabis** , cofundador de Google DeepMind – Dario's essay points towards the right path forward. Apoya a Dario Amodei y enlaza con su propuesta para hace unos meses sobre unos estándares para las IA más avanzadas, A Framework for Frontier AI and the Dawning of a New Age:
> Para controlar los riesgos de la Inteligencia Artificial General (AGI) la propuesta sería crear una organización de evaluación técnica, con supervisión pública y financiación por parte de la industria. Sus pruebas serían inicialmente voluntarias y después **obligatorias**. La cooperación internacional permitiría coordinar incluso una **ralentización del desarrollo**.
**Elon Musk,** fundador de xAI – «Dario [Amoedi] is right». _Fin de la cita._
**Jensen Huang** , CEO de Nvidia — Anthropic’s CEO calls for AI slowdown as Nvidia’s urges acceleration (el único que parece llevar la contraria):
> Habría que acelerar el desarrollo y únicamente **retrasar la comercialización de productos hasta comprobar que son seguros** , sin nuevas regulaciones. La IA no destruye empleo, son las empresas las que deben adoptarla para competir. Habría que buscar un equilibrio entre precaución, autorregulación y rivalidad geopolítica.
**Jack Clark** , cofundador de Anthropic – AI 'kill switch' may need to be mandatory _(BBC)_ :
> La IA debería contar con un **mecanismo de apagado completo** , verificable por terceros y posiblemente obligatorio por ley. Dejar su desarrollo sin regulación supone **asumir riesgos enormes**. Urge establecer controles públicos y cambiar el rumbo de la industria para **reducir peligros**.
**Scott Aaranson** , informático experto en computación cuántica, trabajó dos años en seguridad teórica en OpenAI – The Age of Wonders and Terrors:
> **La singularidad de la IA ya ha comenzado hace tiempo**. Sus avances ya amenazan con relegar a los matemáticos a revisar demostraciones generadas por máquinas. El reto es preservar la comprensión humana y orientar estas tecnologías hacia el bienestar de toda la sociedad.
**Bill Gates** , cofundador de Microsoft — Governments worldwide are way behind on AI:
> **Los gobiernos no están preparados para los cambios de la IA**. Existe la necesidad de cooperación internacional como en las películas en las que todos los países se unen ante una inteligencia extraterrestre. Hay riesgos laborales, cibernéticos y sociales, pero no necesariamente a una extinción inevitable.
A todo esto, Microsoft ha publicado recientemente su IA Humanista: Código de conducta para Microsoft AI, algo de rimbombante nombre que todavía no he tenido tiempo de leer.
Si no he contado mal, de estos ~~ocho~~ nueve personajes, ocho avisan del peligro y están a favor de hacer algo (aunque hay prioridades diversas) y tan solo uno (Huang, Nvidia) dice que no hay problema y está por _acelerar_ el desarrollo en vez de controlarlo, frenarlo o pararlo.
Veremos en qué queda la cosa.
Nos esperan grandes años de…
_____
Ilustración: Ángeles rebeldes de Gustave Doré
Relacionados:
* Una declaración sobre la superinteligencia en tono «pasivo-agresivo» firmada por Steve Wozniak, Richard Branson, Mary Robinson y varios premios Turing, entre otros miles
* Una carta abierta pide que se pausen los experimentos con nuevos sistemas de inteligencia artificial a gran escala
* OpenAI habla sobre sus planes para la inteligencia artificial general del futuro, incluyendo los riesgos que implica
* Un mapa global de los riesgos de la inteligencia artificial, que acongoja un poco aunque apunta a soluciones
* La Declaración de Bletchley sobre la inteligencia artificial (y lo que opina ChatGPT sobre ella, sin paños calientes)
* Los principios de la Conferencia de Asilomar sobre inteligencia artificial
* Entra en vigor la Ley Europea de Inteligencia Artificial
* Directrices éticas para una inteligencia artificial fiable
* Opiniones recientes y bastante divergentes sobre la inteligencia artificial, los LLM y GPT
* Las tres leyes de la inteligencia artificial (una propuesta)
# Enlace permanente