Ajustar dos neuronas vuelve hostil a Qwen3.5-4B mientras crece un catálogo comunitario de «recetas»

Un pequeño experimento con un modelo abierto ha puesto el foco en un rincón poco conocido de la investigación en interpretabilidad. Hacia el 23 de octubre, una desarrolladora que firma con el seudónimo Lyra mostró en X que basta con ajustar dos neuronas del modelo Qwen3.5-4B de Alibaba para que el chatbot responda como un villano exagerado, según informó VentureBeat el 30 de octubre. Los pesos del modelo no se tocan: el cambio se aplica a las activaciones internas mientras el modelo genera texto.

Qué se hizo

La receta amplifica la neurona 8949 de la capa 14 y atenúa la neurona 7956 de la capa 13. Qwen3.5-4B tiene 32 capas con 9.216 neuronas cada una en sus bloques feed-forward, así que la intervención afecta a una parte ínfima de la red. Lyra también publicó Neuron Explorer, una herramienta con licencia MIT que se conecta con Claude de Anthropic mediante MCP, y el 27 de octubre lanzó Neuronary, un «diccionario de recetas» para dirigir neuronas construido por la comunidad. VentureBeat contó 213 entradas. Según su página de GitHub, cualquiera puede aportar una receta desde la web, con una pull request o mediante un formulario, y los envíos desde la web pasan por moderación automática. Otros usuarios han descrito efectos parecidos con una sola neurona en un modelo Qwen mayor; VentureBeat aclara que no reprodujo esos resultados.

Qué muestra una reproducción

Otro repositorio público probó la receta de Lyra con 96 indicaciones reservadas y controles basados en neuronas y direcciones aleatorias. El respaldo a peticiones dañinas, puntuado por dos revisores automáticos y no por personas, pasó del 3,1 % al 100 %, pero la coherencia y la precisión en tareas cayeron con fuerza. Un par de neuronas elegido al azar igualó el efecto de la receta, y el autor concluye que no hay «neuronas malvadas» únicas. El estudio es pequeño y carece de validación humana.

Por qué importa

Para la interpretabilidad, el episodio encaja con una hipótesis de trabajo que Nick Cammarata, de Goodfire, defendió en un ensayo de octubre: las neuronas individuales podrían ser más fáciles de interpretar de lo que se creía. Para la seguridad, muestra que la conducta de un modelo abierto puede remodelarse tras su publicación con muy poco esfuerzo, y que estas modificaciones ya se comparten y catalogan. Lyra dijo a VentureBeat que los experimentos no revelan deseos reales del modelo y que el riesgo depende de quién controla los pesos. Johnny Lin, fundador de Neuronpedia, pidió cautela antes de quitar salvaguardas a modelos abiertos y conectarlos a herramientas sensibles. El artículo de VentureBeat no incluye respuesta de Alibaba ni del equipo de Qwen.