Wenn auf Instagram ein Kommentar verschwindet, auf YouTube ein Video als potenziell schädlich markiert wird oder auf X eine Beschwerde automatisch beantwortet wird, steckt dahinter immer häufiger kein Mensch, sondern ein KI-System. Solche Systeme, die eigenständig handeln, also Inhalte bewerten, Entscheidungen treffen und mit Nutzer*innen in Dialog treten, werden als „soziale KI-Agenten“ bezeichnet. Öffentliche Debatten werden damit zunehmend durch Systeme strukturiert, die selbst nicht öffentlich rechenschaftspflichtig sind.

Diese Entwicklung ist auf zwei Ebenen wirksam: Generative KI-Systeme erzeugen Texte, Bilder und Videos in einem Tempo, das menschliche Prüfung praktisch unmöglich macht, während agentive Systeme diese Inhalte automatisiert bewerten, herunterstufen oder entfernen. Behörden und Aufsichtsstellen arbeiten hingegen weiterhin mit Verfahren, die auf Einzelfallprüfung und transparente Begründung angewiesen sind. Mit der EU-KI-Verordnung und dem Digital Services Act wurden zwar neue rechtliche Anforderungen an Transparenz und Rechenschaftspflicht festgelegt, doch überprüfbare Kriterien, die diese Vorgaben mit der Praxis automatisierter Moderation verbinden, fehlen bislang.

Das Verbundvorhaben AGORA-KI soll diese Lücke schließen. Vier Partner aus Sozialforschung, Technikfolgenabschätzung, Rechts- und Politikanalyse sowie Technologieentwicklung kombinieren empirische Forschung, partizipative Reflexion und regulatorische Operationalisierung, um die Folgen automatisierter Moderation zu verstehen und in tragfähige Governance-Instrumente zu überführen.

Die Arbeit des ITAS-Teams bildet den empirischen Kern des Projekts. Durch leitfadengestützte Interviews mit Moderator*innen, Plattformentwickler*innen und Regulierungsakteuren untersucht das Team, nach welchen Logiken automatisierte Moderationsentscheidungen zustande kommen und wie die beteiligten Akteure Verantwortung zuschreiben. Ebenso kommen Menschen zu Wort, die von Hasskommunikation betroffen sind, sowie Nutzer*innen, deren Inhalte fälschlicherweise entfernt wurden. Beide Gruppen erleben einen Kontrollverlust gegenüber algorithmischen Systemen: die Ersteren, weil gegen sie gerichtete Hassrede online bleibt, die Letzteren, weil ihre Beiträge fälschlicherweise als Verstoß eingestuft werden. Die Forschenden interessiert beispielsweise, ob Betroffene von Hassrede den Eindruck haben, dass Plattformen den Schutz zunehmend an Maschinen delegieren, oder ob Nutzer*innen, deren Beiträge entfernt wurden, das Vertrauen in die Plattform als Raum für öffentlichen Diskurs verlieren.

Aufbauend auf diesen Befunden gestaltet und leitet das ITAS partizipative Workshops, in denen diese Gruppen gemeinsam mit Expert*innen und Aufsichtsbehörden erarbeiten, welche Anforderungen an Transparenz, Fairness und menschliche Kontrolle künftige Moderationssysteme erfüllen müssen. Gezielt einbezogen werden dabei auch marginalisierte Communities, etwa LGBTQIA+, BIPoC und neurodivergente Personen. Ergänzend untersucht das Team in Szenario-Workshops (Foresight), wie Moderation unter veränderten technologischen Bedingungen funktionieren könnte, um Governance-Kriterien zu entwickeln, die auch bei verschobener technologischer Grundlage greifen.

Die Ergebnisse verdichtet das ITAS-Team zu einer strukturierten Governance-Matrix: ein Instrument, das Anforderungen aus unterschiedlichen Perspektiven bündelt, Spannungen sichtbar macht und Indikatoren definiert, anhand derer sich die Einhaltung prüfen lässt. Die Matrix bildet damit eine empirisch fundierte Brücke zwischen den regulatorischen Anforderungen und dem, was sich in der Praxis überprüfen lässt.

AGORA-KI schafft so eine Basis, um abzuschätzen, ob automatisierte Moderationssysteme den Anforderungen demokratischer Kontrolle gerecht werden.

Tel.: 0721 608-22329
E-Mail