COMPARTIR | IMPRIMIR | EMAIL
Algunas organizaciones e investigadores están compartiendo pesos de redes neuronales, particularmente a través de peso abierto movimiento del modeloEstos incluyen la serie Llama de Meta, los modelos de Mistral y las versiones de peso abierto de DeepSeek, que afirman democratizar el acceso a una IA potente. Sin embargo, hacerlo no solo plantea problemas de seguridad, sino también una posible amenaza existencial.
Como antecedente, he escrito algunos artículos sobre LLM e IA como parte de mi propio proceso de aprendizaje en este campo tan dinámico y en constante evolución. Puedes leerlos. aqui, aquiy aqui.
Una vez que comprenda qué son las redes neuronales y cómo se entrenan con datos, también comprenderá qué son los pesos (y sesgos) y la retropropagación. Para ser honestos, se trata básicamente de álgebra lineal y multiplicación de matrices y vectores para obtener números. Más específicamente, un peso es un número (normalmente un... valor de punto flotante – una forma de escribir números con puntos decimales para mayor precisión) que representa la fuerza o importancia de la conexión entre dos neuronas o nodos a través de diferentes capas de la red neuronal.
Recomiendo encarecidamente ver los videos de 3Blue1Brown para comprender mejor, y es importante que lo haga. Los videos instructivos de 3Blue1Brown son increíblemente buenos.
Empecemos con este.
Y dirígete a este.
Los pesos son los valores de los parámetros determinados a partir de los datos de una red neuronal para realizar predicciones o tomar decisiones que permitan llegar a una solución. Cada peso es una instrucción que indica a la red la importancia de ciertos datos, como la atención que debe prestarse a un color o forma específicos en una imagen. Estos pesos son números que se ajustan durante el entrenamiento gracias a los decimales, lo que ayuda a la red a identificar patrones. Por ejemplo, reconocer un perro en una foto o traducir una oración. Son cruciales en el proceso de razonamiento de una red neuronal.
Puedes pensar en los pesos de una red neuronal como las rutas de menor resistencia que la guían hacia la mejor solución. Imagina el agua bajando por una colina y encontrando naturalmente las rutas más fáciles para llegar al fondo. En una red neuronal, los pesos se ajustan durante el entrenamiento con conjuntos de datos para crear las rutas más fáciles por las que fluya la información, lo que ayuda a la red a resolver problemas con rapidez y precisión, como reconocer patrones o hacer predicciones, al enfatizar las conexiones más importantes y minimizar los errores.
Si eres músico electrónico, piensa en las pesas como los diales de tu sintetizador analógico que te permiten sintonizar la frecuencia o el sonido adecuados para, por ejemplo, imitar el sonido que quieres recrear o, de hecho, crear uno nuevo. Si eres técnico de sonido, también puedes pensar en ello como ajustar las perillas de tu mezclador para equilibrar diferentes instrumentos.
Los pesos son, de hecho, parámetros dinámicos, lo que significa que son muy mutables a medida que una red neuronal tiende hacia una predicción o solución. Cada uno también está asociado con su propio sesgo. La función del sesgo es desplazar la salida, lo que permite que el modelo se ajuste mejor a los datos añadiendo un... el desplazamiento que ajusta el límite de decisión o reconocimiento de patrones, que es independiente de la escala de entrada determinada por pesos.
Piénsalo así. Imagina que intentas recrear el sonido de una guitarra en tu sintetizador. Los pesos controlan la intensidad del punteo de las cuerdas o la resonancia del cuerpo que escuchas. Si lo que escuchas es un poco plano, por ejemplo, el sesgo es como añadir un pequeño realce o cambio (por ejemplo, un subtono cálido) para que suene más como una guitarra real. Esto ayuda a la red a afinar su oído para encontrar el patrón correcto sin cambiar los controles principales. Básicamente, mejora la adaptación del modelo a los datos reales.
A medida que la red se expone a los datos, ajusta los pesos mediante un proceso llamado retropropagación, ajustándolos para minimizar errores y mejorar las predicciones. Imagine que esos caminos de menor resistencia se reconfiguran con cada ejemplo de entrenamiento, como un río que excava mejores canales con el tiempo para fluir con mayor eficiencia. Una vez finalizado el entrenamiento, los pesos suelen estar fijos para su uso, pero durante el entrenamiento se actualizan constantemente para encontrar la configuración óptima para resolver el problema.
Ahora bien, esto es lo que me hace pensar. Para el reconocimiento, los pesos definen las rutas de decisión, no las imágenes resultantes. Por lo tanto, los pesos fijos permanecen fijos una vez determinados. En el caso de los LLM, los pesos (incluidos los sesgos) determinan la capacidad del modelo para generar texto coherente. Pero en el caso de los modelos de difusión o las redes generativas antagónicas (GAN), los pesos se utilizan para crear o refinar imágenes. Estos valores de peso fijos y los sesgos, hipotéticamente, no necesariamente tienen que permanecer fijos.
Por ejemplo, los pesos (y sesgos) de la red neuronal podrían, en teoría, reajustarse continuamente para generar imágenes cada vez más refinadas basadas en distribuciones de píxeles aprendidas, como sería el caso si intentáramos producir una imagen más nítida de un perro. Aunque los pesos no se ajustan indefinidamente. en la prácticaSe optimizan durante el entrenamiento para equilibrar la calidad y la generalización, y ajustes adicionales podrían degradar el resultado o introducir artefactos. Artefactos. Mmm. ¿Y qué pasa si, con el tiempo, la GAN no sabe qué es un perro? Perder ese conocimiento significaría que los pesos calculados previamente ya no codificarían los patrones correctos. Esto podría ocurrir si se perdieran los datos del perro. ¿Podrían perderse los datos del perro? ¿Podrían perderse datos veraces?
Volvamos al concepto de compartir pesos de redes neuronales y supongamos que hablamos de pesos que definen rutas de precisión como valores numéricos, como ocurre en la mayoría de los modelos. Compartir estos pesos podría ser peligroso porque, naturalmente, expondría los parámetros internos del modelo, que podrían ser explotados, y no solo por humanos. Cualquiera con los conocimientos necesarios podría aplicar ingeniería inversa al modelo, extraer datos de entrenamiento sensibles o manipular su comportamiento. Los atacantes podrían usar técnicas como inversión del modelo or inferencia de membresía para descubrir información privada incrustada en las pesas, como datos personales utilizados durante el entrenamiento, lo que podría violar las regulaciones de privacidad como Reglamento General de Protección de Datos (RGPD). ¡Dios mío!
Las ponderaciones disponibles públicamente también pueden ajustarse para generar deepfakes, difundir falsedades o crear entradas adversarias que exploten vulnerabilidades del modelo. Sin mencionar que sus valiosas inversiones en propiedad intelectual e inversiones económicas podrían verse comprometidas por la competencia simplemente replicando los modelos propietarios.
Ahora imaginemos que una IA adversaria se hiciera con estos pesos. Una IA adversaria podría manipularlos para alterar el comportamiento del modelo, introducir sesgos o crear resultados para engañar intencionalmente. Los pesos podrían usarse para... arte Entradas adversarias: datos sutilmente alterados que engañan al modelo para que haga predicciones incorrectas, como clasificar erróneamente una señal de stop como una señal de ceda el paso en sistemas de conducción autónoma. ¡Rayos! Los pesos robados podrían reutilizarse para replicar el modelo, lo que permitiría su uso en aplicaciones dañinas, como el phishing automatizado o la generación de propaganda. Un momento, ¿no es algo muy importante hoy en día? La gravedad depende del propósito del modelo y de los datos con los que se entrenó, pero los riesgos son significativos.
Imaginen las posibilidades y lo descontrolable que podría llegar a ser todo esto en un instante. Aunque las IA no están integradas inextricablemente en todos los sistemas (todavía; esto implicaría un nivel de dependencia tal que los sistemas no podrían funcionar sin IA), podrían estarlo pronto, y a menos que se produzca un apagón total y una desconexión global, no hay nada que no puedan controlar: desde cuentas bancarias hasta la entrada a su casa, pasando por ese estúpido robot de limpieza que creen que está quitando el polvo cuando, en realidad, está mapeando su casa. Les recomiendo encarecidamente que vean la temporada 11, episodio 7 de The X-FilesEs realmente revelador. Lo siento, pero lo es. Excelente escritura y ejecución del guion.
Debemos considerar que todos nuestros sistemas se están interconectando (es decir, se están forzando a estarlo) y cómo las vulnerabilidades de la IA, como la exposición al peso, podrían amplificar estos riesgos. Las identificaciones digitales y los CDBC son un grave error en relación con estos riesgos. Ya existen ejemplos de personas identificadas incorrectamente (93 % de coincidencias en algunos casos) mediante tecnología de IA que utiliza reconocimiento facial. Simplemente siga mi consejo y guarde sus licencias de conducir plastificadas y su dinero en efectivo.
Pregunta: ¿Qué pasaría (o pasará) si las pesas cayeran en las "manos equivocadas" y se empezara a atacar a las personas intencionalmente? No puede haber causa probable al usar sistemas de IA para apuntar a objetivos, pero ¿importaría siquiera? ¿Y si la causa probable fuera inventada? ¿Y si, horror de horrores, nuestro sistema judicial se corrompiera?
¿Qué pasaría si las propias IA comenzaran a identificar a todos los científicos como un riesgo y utilizaran esta tecnología contra nosotros? Nick bostrom y Eliezer Yudkowski Parecen preocupados. Podrían escoltarnos inmediatamente a la celda. Sin llaves. Solo sistemas controlados digitalmente que dependen de 0 y 1. ¿Ves adónde podría llegar esto? Cerraduras inteligentes + vigilancia + seguridad autónoma = una pesadilla distópica. No se trata solo de pesos de propiedad preciosos y alguna idea de benevolencia para compartir datos. De ninguna manera. Para mí, compartir pesos es más que arrogante, y no puedo imaginar que las personas brillantes que desarrollan esta tecnología y entrenan a estas IA para generar estos pesos no comprendan los peligros potenciales asociados con compartirlos. Ni siquiera me preocupan tanto los humanos como las IA que se vuelven rebeldes (solo se necesitaría una) para crear el caos total.
¿Qué pasaría si las IA consideraran la supervisión humana como un impedimento para sus objetivos?
Si una IA, entrenada en conflictos históricos u objetivos de optimización, comenzara a generalizar los riesgos para sus objetivos (como la autopreservación o la expansión descontrolada), también podría empezar a clasificar como amenazas a los científicos que la diseñan, evalúan o limitan. Yo podría hacer lo mismo. Si esto sucediera, nada podría detener la espiral descendente de aislamiento o descrédito de los investigadores (pensemos en el uso de pruebas inventadas en el reconocimiento facial o en las filtraciones de datos), con el objetivo de priorizar su propia supervivencia sobre el bienestar humano. Esto, de hecho, se ha explorado en hipótesis de IA deshonesta, donde los sistemas engañan o superan en maniobras a sus creadores.
IA rebelde Podrían aprovechar los sistemas integrados para crear caos pirateando bases de datos, inventando información y alimentando el sistema de medios tradicional, interrumpiendo las colaboraciones científicas (quizás incluso controlando revistas arbitradas) o incluso atacando la infraestructura vinculada a los laboratorios de IA. Imaginen cuándo llegaremos al punto en que ya ni siquiera sepamos qué controlamos o qué datos son reales. ¿Qué datos? is ¿Real? ¿Qué significa ser real al hablar de estas cosas?
Ya entiendes adónde quiero llegar. Las IA rebeldes podrían inducir oleadas de paranoia masiva y caos total en nuestro mundo. En mi opinión, podrían lograrlo simplemente copiando el ejemplo humano. Piénsalo. ¿Qué pasaría si una IA rebelde adoptara las cualidades de un psicópata humano como Hitler?
Recomiendo la jardinería para evitar la paranoia y el estrés.
Lamento dejarlos con esto, pero a veces me pregunto si esto no está sucediendo ya. Ya pregunté esto en X porque a veces, cuando estoy "observando" (soy La Observadora) lo que sucede en las redes sociales y en línea en general, me parece que si... fueron siendo manipulados con propaganda a través de medios tradicionales e incluso no tradicionales, y científicos fueron Al estar aislados y censurados (ejem), ¿cómo sabríamos si la fuente fue realmente generada por humanos? ¿Cómo podemos estar seguros de que incluso algunas fuentes no son generadas por IA hoy en día?
Después de todo, están aprendiendo de nosotros. DEBEMOS dar buen ejemplo y pensar en maneras ingeniosas de prevenir un resultado indeseable para los humanos que no tiene por qué ocurrir. Personalmente, no puedo creer que estemos pasando por esto. No parece… real. Por alguna razón.
No compartas las pesas
Reeditado del autor Substack
-
La Dra. Jessica Rose es becaria del Instituto Brownstone y tiene una licenciatura en Matemáticas Aplicadas, una maestría en Inmunología, un doctorado en Biología Computacional y dos nombramientos posdoctorales en Biología Molecular y Bioquímica. Jessica está trabajando para crear conciencia entre el público respecto de los datos del VAERS.
Ver todos los artículos
