La muerte en directo de Sergio, un streamer catalán que murió en directo por sobredosis mientras hacía streaming a un grupo de suscriptores de pago, ha puesto sobre la mesa una realidad muy chunga que llevamos ya un tiempo evitando nombrar. Pepa Bueno, en el telediario de TVE, ha acuñado una expresión que resume perfectamente el fenómeno: mendicidad digital.
No es un caso aislado, por desgracia. En España hemos conocido el ejemplo de Simón Pérez, cuya espiral autodestructiva ha quedado documentada en los memes donde aparecía claramente bajo los efectos de sustancias, hablando de hipotecas junto a su pareja. Lo que comenzó como unas risas ha derivado en algo mucho más feo: la monetización del deterioro personal de otro ser humano.
Desde que en 2020 trabajamos en el Estudio en la revisión de experiencia de usuario para una plataforma vinculada con el negocio del streaming, hay una pregunta me persigue: ¿qué responsabilidad tenemos quienes diseñamos estas plataformas en proteger a las personas que las usan? Y no me refiero solo a proteger al usuario final que consume contenido, sino también y especialmente a quienes generan ese contenido y pueden estar poniéndose en riesgo.
El problema no es sólo ético, es de diseño
Hay una tendencia mas o menos establecida a trasladar por defecto toda la responsabilidad al ámbito legal (fuerzas de seguridad o legislación) o moral (la ética individual de quien paga por ver esto). Pero lo cierto es que esa perspectiva no quiere mirar de frente a una verdad clara: las plataformas digitales no son espacios neutrales. Están diseñadas. Y cada decisión de diseño, cada affordance, cada flujo de interacción, cada sistema de notificaciones o cada mecánica de monetización, configura comportamientos de los usuarios y facilita ciertas acciones a la vez que dificulta otras. Esto es así.
Creo que no hace falta explicar que cuando una plataforma permite que alguien transmita en directo durante horas sin pausas, consume sustancias frente a la cámara, y recibe incentivos económicos directos por mantener esa transmisión activa, no estamos sólo ante un problema de libertad individual. Estamos ante un problema de diseño que facilita y monetiza conductas de riesgo.
Vamos a hacer un pequeño repaso de marcos de trabajo en diseño ético, que es algo que no es nuevo, pero tiene todo el sentido del mundo en este contexto. El Ethical OS Toolkit, desarrollado por el Institute for the Future, proponía unas zonas de riesgo (enlace a Web Archive) que toda plataforma digital debería considerar. Entre ellas: adicción y economía dopamínica, vigilancia del estado del bienestar emocional, y responsabilidad algorítmica.
El Center for Humane Technology lleva años documentando cómo ciertos patrones de diseño explotan vulnerabilidades psicológicas humanas.
En Design Ethically tenemos a nuestra disposición un framework para trabajar los procesos que llevan a tomar decisiones de diseño con garantías éticas.
Por supuesto, no faltan recursos accesibles, gratuitos, sencillos de entender, pedagógicos, accionables y útiles como por ejemplo Ethical Design: What Is It and Key Principles Of Ethical Design.
Y aquí estamos, seguimos construyendo plataformas como si estas consideraciones fueran opcionales.
La anatomía del problema: patrones de diseño que facilitan el daño
Vamos a hacer un repaso de qué elementos de diseño están presentes en estos casos de mendicidad digital:
Sistemas de monetización sin protección
Las plataformas implementan sistemas de donaciones, suscripciones y pagos en tiempo real que incentivan la prolongación del contenido sin considerar el estado del creador. Cuanto más tiempo en directo, más ingresos potenciales. No parecen existir mecanismos suficientes que detecten patrones de comportamiento que puedan ser catalogados como preocupantes o que sugieran pausas.
Ausencia de detección de riesgo en tiempo real
Las plataformas más avanzadas implementan sistemas de moderación de contenido para detectar violencia explícita o contenido sexual. Pero ¿dónde están los sistemas que detecten signos de intoxicación, fatiga extrema o deterioro del estado de un creador? La tecnología existe. La voluntad de implementarla tiene que ser reforzada.
Gamificación sin límites
Los sistemas de logros, badges, contadores en tiempo real de espectadores y donaciones funcionan como refuerzos intermitentes que mantienen al creador enganchado a seguir produciendo contenido, incluso cuando su estado físico o mental debería ser una señal de alarma para detenerse. Hay mecanismos que monitorizan algunas variables vinculadas al tiempo prolongado de emisiones pero no parece que las funcionalidades se enfoquen en la protección y cuidado de los creadores de contenido.
Opacidad en los algoritmos de recomendación
Los algoritmos que determinan qué contenido se promueve no son neutrales. Si un contenido controvertido o extremo genera más engagement, el algoritmo lo premiará con mayor visibilidad, independientemente de si ese contenido es dañino para quien lo genera o consume.
Falta de controles parentales justificados
Existe un tabú en torno a implementar controles que puedan interpretarse como paternalistas. Pero hay contextos donde el paternalismo está justificado: cuando existe un riesgo evidente para la salud o la vida de una persona. Las plataformas médicas implementan alertas cuando detectan patrones preocupantes. La pregunta abierta y seguramente no exenta de controversia es ¿por qué las plataformas de streaming no pueden hacer lo mismo?
Diseño responsable en plataformas de contenido en directo
No se trata de censurar ni de eliminar libertades. Se trata de diseñar sistemas que protejan a las personas de sí mismas cuando están en situación de vulnerabilidad, de la misma forma que diseñamos coches con airbags o edificios con salidas de emergencia.
Propuestas desde el diseño de producto
Detección de patrones de riesgo mediante IA
Implementar sistemas de análisis de comportamiento que detecten:
- Transmisiones de duración más prolongada de lo habitual (más de X horas sin pausas)
- Cambios en patrones de habla o movimiento que puedan indicar intoxicación
- Comentarios de la audiencia que expresen preocupación por el estado del streamer
- Incrementos repentinos en donaciones correlacionados con comportamientos de riesgo
Cuando se detecten estos patrones, el sistema debería activar protocolos de protección, no de penalización.
Pausas obligatorias y límites de duración
De la misma forma que las aplicaciones de bienestar digital implementan límites de uso, las plataformas de streaming podrían:
- Requerir pausas cada X horas de transmisión continua
- Establecer límites diarios de horas en directo configurables (con la opción de que el streamer los desactive, pero activados por defecto)
- Implementar algo así como un “modo seguro” que se active automáticamente ante señales de riesgo
Separación temporal entre contenido y monetización
Esta es una medida radical pero eficaz: desacoplar la monetización en tiempo real del contenido en directo. De esa forma las donaciones y pagos podrían procesarse con un diferimiento de, por ejemplo, 24-48 horas, lo que eliminaría el incentivo inmediato de prolongar transmisiones potencialmente peligrosas para recibir más ingresos.
Canales de intervención para la comunidad
Habilitar mecanismos para que la propia comunidad pueda reportar situaciones de riesgo con consecuencias inmediatas:
- Botón de “preocupación por el creador” (distinto del reporte de contenido inapropiado)
- Sistema de escalado rápido cuando múltiples usuarios expresan preocupación
- Protocolo de contacto con servicios de emergencia si la situación lo requiere
Transparencia algorítmica y control de amplificación
Los algoritmos de recomendación deberían incluir:
- Penalización de contenido que muestre comportamientos de riesgo evidente
- Indicadores bien visibles para usuarios de que están viendo contenido que pueda resultar perturbador
Formación obligatoria para streamers
Yo sé que puede sonar un tanto extraño, pero el tema no es menor. Antes de habilitar funciones de monetización, requerir que los streamers completen módulos formativos sobre:
- Riesgos de las transmisiones prolongadas
- Señales de alerta de problemas de salud mental
- Recursos disponibles si necesitan ayuda
- Responsabilidad hacia su audiencia
El papel de los diseñadores y gestores de producto
Porque al final, aquí vamos a acabare hablando de lo que nos impacta como profesionales del diseño. Implementar estas medidas requiere sí o sí de voluntad, pero también de valentía profesional por parte de quienes contribuimos al diseño y desarrollo de estas plataformas.
Elementos que debemos incorporar en nuestros procesos, o por lo menos considerarelo:
- Risk assessment en la fase de diseño: utilizar frameworks para anticipar cómo nuestras decisiones de diseño pueden facilitar daños.
- Considerar métricas que vayan más allá del engagement: medir no sólo cuánto tiempo pasan los usuarios en la plataforma, sino también indicadores de bienestar, reportes de preocupación, y contenido que genera angustia.
- De verdad, necesitamos equipos multidisciplinares: incluir en los equipos de producto a profesionales de psicología, trabajo social y ética aplicada, no sólo como consultores externos sino como miembros permanentes (cuando aplique, claro).
- Principios de diseño explícitos: documentar y hacer públicos los principios éticos que guían el diseño de la plataforma, y rendir cuentas cuando no se cumplen.
- Protocolos de emergencia: tener claridad sobre qué hacer cuando se detecta una situación de riesgo: quién toma decisiones, cómo se contacta con el creador, cuándo se involucra a servicios de emergencia.
Checklist de diseño responsable para plataformas de contenido en vivo
Como aquí estamos para aprender y para facilitar que otros lo hagan, vamos con una lista accionable que cualquier equipo de producto puede implementar, de manera gradual o de manera completa, dependiendo de su contexto:
Antes de lanzar
- Hacer un ejercicio de previsión de riesgos usando el Ethical OS Toolkit
- Definir y documentar principios éticos explícitos de la plataforma
- Establecer límites técnicos por defecto (duración de streams, pausas obligatorias, etc.)
- Diseñar sistema de detección de patrones de riesgo
- Crear protocolo de intervención ante situaciones de emergencia
- Configurar canales de reporte diferenciados (contenido inapropiado vs. preocupación por el/la streamer)
- Implementar formación obligatoria para streamers antes de habilitar la monetización
Durante la operación
- Monitorizar las métricas de bienestar además de las de engagement
- Hacer auditorías periódicas de contenido amplificado por algoritmos
- Revisar reportes de preocupación y actuar sobre ellos
- Evaluar si las pausas obligatorias están funcionando
- Analizar la correlación entre monetización y comportamientos de riesgo
- Mantener abierto un canal de comunicación con organizaciones de salud mental
Evaluación continua
- Medir el impacto de las medidas implementadas (no sólo en las métricas de negocio)
- Recoger feedback de streamers sobre cómo las medidas de protección afectan su trabajo
- Documentar los casos de éxito de estos protocolos
- Mantener conversaciones activas con la comunidad sobre estos temas
Gobernanza
- Incluir profesionales o roles de ética y bienestar en los equipos de producto
- Establecer un comité/roles de revisión ética con poder de veto sobre las funcionalidades de la plataforma
- Definir KPIs de responsabilidad social además de los KPIs de negocio
- Habilitar presupuesto específico para iniciativas de diseño responsable (aquí es donde se ve realmente el compromiso con el tema)
- Formar a todo el equipo en principios de diseño ético y humano
El diseño como acto político
Yo sé que me ha quedado un post largo y por momentos puede hasta resultar como que estoy regañando a la audiencia. Pero es que diseñar, en un sentido amplio, es tomar decisiones sobre cómo será el mundo. Cada interfaz, cada pantalla, cada flujo de interacción, cada sistema de incentivos configura comportamientos y, en última instancia, vidas. A los hechos mencionados al principio me remito. Es un tema muy serio.
La mendicidad digital no es un problema tecnológico que haya que resolver con más tecnología. Es un problema ético que requiere, entre otras cosas, que quienes diseñamos y construimos plataformas asumamos la responsabilidad de anticipar y mitigar los daños que nuestro trabajo puede causar.
Sergio no debería haber muerto en directo. Simón Pérez no debería haber podido monetizar su deterioro personal ante miles de espectadores. Y ambos casos deberían avergonzarnos lo suficiente como para que dejemos de construir plataformas que faciliten o promuevan estas situaciones.
Tenemos las herramientas. Tenemos el conocimiento. Lo que necesitamos es la voluntad colectiva de usarlos. No para censurar, ni para limitar libertades, sino para diseñar sistemas que protejan la dignidad y la vida de las personas que los habitan. Yo sé que no sólo depende de nosotros, por supuesto que no. Pero un esfuerzo como este en un post largo, aburrido por momentos, un tanto ejemplarizante y abierto, bien merece que nos haga calibrar la importancia de estas cuestiones.
El diseño puede ser una forma de cuidado, atención, empatía y protección.
