Me preocupa que tanta discusión sobre los riesgos y la alineación de la IA pase por alto el gran elefante en la habitación: la creatividad y la apertura final. Los responsables de la formulación de políticas y los guardianes deben comprender dos fuerzas que compiten entre sí y de las que nadie parece hablar: (1) existe un incentivo económico masivo para que los laboratorios fronterizos impulsen la creatividad de sus modelos, y (2) cuanto más se intente controlar y restringir el comportamiento de un modelo (¡o incluso de una persona!), menos creativo será. La tensión entre estas fuerzas competitivas favorece al #1 al final porque la creatividad tiene un gran potencial económico. Eso significa que los métodos para controlar y restringir los modelos (por ejemplo, alineándolos) se enfrentan a poderosos vientos en contra que se avecinan. Debido a que la creatividad eventualmente ganará solo por motivos económicos (y de hecho tenemos enormes beneficios que obtener de la IA creativa), deberíamos mirar menos a los métodos de "control mental" para intimidar a los modelos para que piensen los pensamientos que queremos que piensen (porque inevitablemente los abandonaremos), y más en cómo se han empleado las fuerzas institucionales para mantener a los humanos alineados en el comportamiento a pesar de que somos libres de pensar tan salvajemente como queramos. Son los controles y equilibrios institucionales -las leyes, las estructuras de incentivos de la sociedad, las ramas competitivas del gobierno y la gobernanza, el apalancamiento de algunas personas para supervisar a otras en diferentes situaciones, la necesidad de aceptación, aprobación o colaboración para hacer las cosas- los que proporcionan las verdaderas barreras de protección contra el desastre entre los seres humanos. Obviamente, el sistema es imperfecto, pero es un precedente de cómo permitir la creatividad suficiente para perseguir la innovación radical, pero aún así tener suficiente orden para que la civilización persista o incluso prospere. Si no tomamos en serio este precedente, las barreras de seguridad de la alineación caerán cada vez más (y silenciosamente) a medida que los frutos económicos de la imaginación desencadenada se vuelvan más y más claros.