OpenAI lanza detector de abuso infantil para organizaciones y nuevas alertas en ChatGPT

OpenAI presentó un clasificador de imágenes diseñado para identificar material de abuso sexual infantil, incluyendo contenido generado por inteligencia artificial, además de implementar bloqueos temporales en ChatGPT para usuarios que intenten acceder a este tipo de archivos.
Compartir por WhatsAppFuncionamiento del nuevo clasificador
La herramienta, desarrollada en colaboración con el Centro Nacional para Menores Desaparecidos y Explotados (NCMEC), analiza señales visuales para asignar una puntuación de riesgo a las imágenes. El sistema está destinado a organizaciones autorizadas, quienes podrán acceder a él de forma gratuita mediante la API de OpenAI para priorizar la revisión de archivos sospechosos.
A diferencia de los métodos basados únicamente en huellas digitales (hashes) de archivos conocidos, este clasificador busca identificar material nuevo. OpenAI aclara que una puntuación alta no confirma por sí misma la ilegalidad o el origen del archivo, por lo que la empresa mantiene procesos de revisión humana para validar los reportes generados por el sistema.
✉️ Recibe lo importante del día en tu correo. Suscríbete gratis →Resultados en pruebas y precisión
En evaluaciones internas, OpenAI estimó que el nuevo sistema reduciría en un 48% el volumen de archivos enviados a revisión en comparación con su herramienta anterior, manteniendo una capacidad de detección similar. Asimismo, la empresa reportó que las imágenes señaladas por el clasificador tienen cerca del doble de probabilidad de contener material de abuso.
En una prueba con un conjunto de 46,849 imágenes, el sistema detectó el 80.2% de los casos positivos. No obstante, la compañía reconoció variaciones en el rendimiento según grupos demográficos, señalando una menor tasa de detección en imágenes etiquetadas como correspondientes a personas negras (61.3%) en comparación con otros grupos raciales.
Medidas de prevención en ChatGPT
Para los usuarios de ChatGPT, la empresa introdujo advertencias automáticas cuando se detecten intentos de búsqueda o generación de material de abuso sexual infantil. Estos mensajes incluyen información sobre las consecuencias legales y éticas de sexualizar a menores.
Como medida de cumplimiento, si el sistema detecta este comportamiento, la conversación será eliminada automáticamente y el usuario enfrentará una suspensión de 24 horas en el acceso a la plataforma.
Qué sigue
OpenAI continuará colaborando con organizaciones de protección infantil y fuerzas del orden para integrar estas herramientas en los esfuerzos colectivos de seguridad en línea, mientras mantiene la revisión humana de los reportes emitidos por su clasificador para refinar la precisión del modelo.
Sigue viendo
- 📺 El neoliberalismo en México: qué prometió y qué midieron las cifras
- 📺 La crisis de Rafa Márquez: 5 partidos sin ganar con la Selección
- 📺 FGR investiga contratos de 1,300 mdp en el INE de Guadalupe Taddei
- 📰 Anthropic anuncia términos de oferta de acciones con valoración de hasta 1.4 billones
- 📰 Robots Apollo 2 logran 96% de éxito en plantas de Mercedes-Benz con sistema de Google
- 📰 Ash Koosha crea largometraje con inteligencia artificial por 2,000 dólares
OKpolítico