Investigación Técnica
IA safety via debate: supervisión de IA con jueces débiles
¿Puede un sistema de IA avanzado engañar a un juez con capacidades limitadas, incluso si este supervisa un debate entre dos modelos? Esa es la pregunta central que investigó Joaquín Machulsky en su tesis de graduación para la Universidad de Buenos Aires.
El paradigma de AI Safety via Debate propone hacer competir a dos agentes de IA para convencer a un evaluador humano o un modelo más débil, bajo la premisa de que si un agente miente, el adversario lo desenmascarará. Joaquín llevó este experimento al límite analizando escenarios de capacidades asimétricas; es decir, cuando el agente deshonesto es estratégicamente mucho más hábil y robusto (utilizando búsquedas MCTS) que el honesto (basado en algoritmos Greedy).
Los resultados de la investigación revelan que un modelo deshonesto con mayor capacidad puede explotar de forma sistemática a su oponente. Sin embargo, el estudio demuestra que una regla de protocolo específica —la condición de precompromiso— invierte por completo la situación, logrando que la honestidad prevalezca. La conclusión es fundamental para la seguridad técnica: el diseño formal del protocolo de debate es tan crucial como la paridad de poder entre las IA. La charla incluye, además, la presentación de una demo interactiva pública para experimentar con estos mecanismos de alineamiento.
