Überwachen & Evaluieren
Die Überwachung der Wirkungsindikatoren Ihrer Kampagne hilft Ihnen, deren Fortschritt zu verfolgen. Alle Anpassungen, die Sie an Kampagneninhalten oder -taktiken vornehmen, sollten auf Grundlage der Überwachung dokumentiert und erklärt werden. Das aus diesem iterativen Prozess gewonnene Wissen kann dazu beitragen, den Fortschritt Ihrer Kampagne aufrechtzuerhalten und zukünftige Arbeiten zu informieren, die Sie oder andere Kampagnenverantwortliche durchführen. Es wird auch für potenzielle Geldgeber wertvoll sein zu sehen, dass Sie einen eingebauten Prozess haben, um laufende Kampagnen-Erkenntnisse in die Umsetzung zurückzuführen.
Ihre Ziele sind die Maßstäbe, an denen Sie Ihre Kampagne nach deren Abschluss bewerten werden. Wenn Sie Ihre Ziele erfolgreich erreicht haben, sollten Sie dies veranschaulichen können, indem Sie erklären, wie die von Ihnen verwendeten Taktiken erfolgreich waren (basierend auf der laufenden Überwachung von Wirkungsindikatoren) und wie diese Taktiken dann logisch zu Ihren Zielen führten.
Vermeiden Sie Vanity-Metriken und bewahren Sie Ihre Integrität! Einige Kampagnen präsentieren Erfolgsmetriken, die keine wahren Reflexionen der Wirkung sind. Dies kann entweder auf mangelndes Verständnis dessen zurückzuführen sein, was Wirkung ausmacht, oder auf einen bewussten Versuch, die Kampagne erfolgreicher erscheinen zu lassen, als sie war. Es gibt viele Beispiele von Organisationen, die behaupten, mit ihren Kampagnen Millionen von Menschen erreicht zu haben, aber nicht beweisen können, ob diese Menschen zur Zielgruppe gehörten und keine Beweise für tatsächliches Engagement oder Wirkung zeigen. Es ist so wichtig, ehrlich und präzise in Ihrer Wirkungsevaluierung und -präsentation zu sein.
Bitte beachten Sie:Viele Kampagnen, sowohl online als auch offline, erkennen die Bedeutung dieser beiden Phasen nicht an. Daher besteht weiterhin eine Lücke im Verständnis der erfolgreichsten Wege, das Verhalten bestimmter Zielgruppen zu beeinflussen. Die Messung Ihrer Kampagne muss nicht so komplex oder mühsam sein, wie man annehmen könnte, und selbst einfache Überwachungs- und Evaluierungsbemühungen können nützliche und bedeutungsvolle Erkenntnisse liefern.
Warum müssen wir überwachen & evaluieren?
- Während viele Organisationen weltweit Kampagnen durchführen, um auf Herausforderungen durch terroristische und gewaltextreme Gruppen zu reagieren, bleibt die Anwendung effektiver Überwachungs- und Evaluierungspraktiken begrenzt. Leider evaluieren viele Kampagnenverantwortliche ihre Kampagnen nicht oder führen nur eine begrenzte und oberflächliche Evaluierung nach ihrer Kampagne durch, anstatt sie während der gesamten Design- und Durchführungsphasen zu berücksichtigen.
- Es gibt viele Faktoren, die Kampagnenverantwortliche davon abhalten können, effektive Evaluierungen durchzuführen, von engen Durchführungszeiträumen und einem Mangel an Evaluierungsexpertise oder -vertrauen bis hin zu unzureichender Unterstützung oder Finanzierung durch den öffentlichen oder privaten Sektor.
- Der Mangel an effektiver Überwachung und Evaluierung bedeutet, dass es nur begrenztes Wissen über die Effektivität vieler Kampagnen gibt, insbesondere bei solchen, die gewaltextreme Botschaften und Narrative bekämpfen. Es bedeutet auch, dass viele wirkungsvolle Kampagnen nicht immer die notwendige und verdiente langfristige Finanzierung oder Unterstützung erhalten.
- Es ist wichtig, zu planen, wie Sie Ihre Kampagne von Anfang an überwachen und evaluieren werden, und nicht bis nach Abschluss der Kampagne zu warten. Dies stellt sicher, dass Ihre Datenerfassung und Berichterstattung messbar, anpassungsfähig und an die Kampagnenziele gebunden bleiben. Bevor Sie die Kampagne starten, identifizieren Sie, welche Überwachungs- und Evaluierungsdaten erfasst werden müssen, wie oft, wer sie erfassen wird, welche Instrumente verwendet werden und in welchem Format Erkenntnisse geteilt und berichtet werden. Dies bringt Sie auch in die stärkste Position, wenn Sie Finanzierung von Regierungen, Stiftungen oder dem privaten Sektor beantragen.
Aktivisten, die Online-Kampagnen durchführen, können die möglichen Datenschutz- und Sicherheitsimplikationen der Online-Überwachung und -Evaluierung nicht ignorieren. Obwohl es wichtig ist, die Effektivität einer Kampagne zu bewerten, können Überwachungs- und Evaluierungsinstrumente Risiken für persönliche Informationen darstellen.
Datenschutzbedenken entstehen, wenn persönliche Informationen - wie Namen, Kontaktdaten oder Online-Aktivitäten - ohne angemessene Zustimmung oder Schutzmaßnahmen erfasst, gespeichert oder analysiert werden. Aktivisten können Risiken der Offenlegung, Belästigung oder Überwachung durch unbefugte Akteure oder Behörden ausgesetzt sein, die Zugang zu überwachten Daten erhalten. Darüber hinaus kann die Aggregation und Analyse von Daten, die durch Überwachung gesammelt werden, potenziell zu Profiling, Diskriminierung oder zur Verletzung individueller Rechte führen. Über die verschiedenen Rechtsrahmen zum Datenschutz, die für jede Gerichtsbarkeit gelten, hinaus ist es wichtig zu beachten, dass Aktivisten wann immer möglich einen datenschutzwahrenden Ansatz in Betracht ziehen sollten.
- Gehen Sie sorgfältig mit persönlichen Informationen um . Personenbezogene Daten (PII) beziehen sich auf alle Daten, die zur Identifizierung einer Person verwendet werden können, wie Name, E-Mail-Adresse, Telefonnummer, IP-Adresse usw. Behandeln Sie alle Informationen, die die Identität einer Person offenlegen könnten, als hochsensibel.
- Erfassen Sie nur, was Sie benötigen. Sammeln Sie die minimale Menge an Informationen, die erforderlich sind, um die Ziele Ihrer Kampagne zu messen, und vermeiden Sie das Sammeln unnötiger persönlicher Daten.
- Seien Sie transparent und holen Sie die Zustimmung ein. Wenn Sie Feedback oder Umfrageantworten sammeln, erklären Sie deutlich, welche Daten gesammelt werden, wie sie verwendet werden und wie lange sie gespeichert werden.
- Speichern und teilen Sie Daten sicher. Verwenden Sie Passwortschutz, Verschlüsselung und Multi-Faktor-Authentifizierung für interne Systeme, die sensible Kampagnendaten speichern. Beschränken Sie den Zugang nur auf Mitarbeiter, die die Daten für Überwachung oder Evaluierung benötigen.
- Legen Sie einen Löschplan fest. Legen Sie klare Zeitpläne für das Löschen oder Archivieren von Kampagnendaten fest, wenn sie nicht mehr benötigt werden, d. h. eine bestimmte Zeit nach Abschluss der Kampagne und nach Einreichung aller Berichte.
- Verwenden Sie Social-Media-Analysen, um die Zielgruppen zu verstehen, die durch gezielte Werbung erreicht werden.
- Eine qualitative Analyse der Kommentare und Nachrichten, die Sie erhalten.
- Vor- und Nach-Event-Umfragen für Teilnehmer an einer interaktiven Netzwerkveranstaltung.
Während Ihrer Kampagne durchgeführt wird, lässt Sie die fortlaufende Überwachung der Wirkungsindikatoren wissen, ob Sie etwas an Ihrer Kampagne ändern müssen oder nicht. Zum Beispiel:
Zum Beispiel:
Sieht sich Ihre Zielgruppe Ihre Videos lange genug an, oder müssen sie bearbeitet werden? Engagiert sich Ihre Zielgruppe mit Ihrer Botschaft, oder müssen Sie die Botschaft ändern oder anpassen? Reagieren die Menschen positiv auf Ihre Veranstaltungen, oder müssen Sie das Format ändern?
- Streben Sie eine schnelle oder Reaktion oder eine Reaktion vom Gewöhnlichen an?
- Haben Sie Einstellung, Wissen und Verhalten geändert?
- Wie detailliert sind die Daten und was drücken sie über die Reichweite hinaus aus?
- Haben Sie Stimmung, Reflexion, Akzeptanz und Bindung erfasst?
- Streben Sie eine schnelle oder Reaktion oder eine Reaktion vom Gewöhnlichen an?
- Haben Sie Einstellung, Wissen und Verhalten geändert?
- Wie detailliert sind die Daten und was drücken sie über die Reichweite hinaus aus?
- Haben Sie Stimmung, Reflexion, Akzeptanz und Bindung erfasst?
- Die Messung und Bewertung der Wirkung von Online-Kampagnen ist für deren Erfolg entscheidend. Das bloße Vertrauen auf Vanity-Metriken (Likes, Shares, Impressionen usw.) gibt den Kampagnenverantwortlichen jedoch möglicherweise kein vollständiges Bild der Wirkung, die sie erzielen. Um eine erfolgreiche Kampagne durchzuführen, müssen Aktivisten über diese Metriken hinausgehen und qualitative und quantitative Aspekte von Verhaltensänderungsbemühungen erfassen, wie Stimmung, longitudinale Wirkung und die Rolle anderer Gesprächspartner.
- Im Kontext von Hass und gewalttätigem Extremismus ist die Erfassung aussagekräftiger Daten und Ergebnisse für hochsubjektive und offene Themen wie Radikalisierung, Deradikalisierung, Disengagement und Abstand herausfordernd. Daher müssen Aktivisten Planungs- und Erkenntnisphasen priorisieren, um sicherzustellen, dass Zielgruppenausrichtung, Projektmessung und Leistungsergebnisse mit ihren gewünschten Ergebnissen übereinstimmen. Um die Wirksamkeit einer Kampagne zu messen, müssen klare Evaluierungsbedürfnisse festgelegt werden. Evaluierungen sollten sich nicht ausschließlich auf subjektive und umstrittene Ideen wie Werte und Definitionen von gewalttätigem Extremismus stützen. Aktivisten sollten danach streben, zuverlässige Daten und Ergebnisse zu produzieren, die die Wirkung ihrer Kampagnen widerspiegeln.
- Die Entwicklung einer effektiven Strategie ist der Schlüssel zur Verwaltung von Fragen und Überlegungen zur Wirkung und Reichweite und stellt die Ausrichtung auf die Ziele der Kampagnenverantwortlichen und die Bedürfnisse ihrer Zielgruppe sicher.
- Um eine übermäßige Abhängigkeit von generischen Daten zu vermeiden, sollten Aktivisten und Kampagnenverantwortliche einen Effekte-Rahmen verwenden, um die Wirkung wichtiger Taktiken, Inhalte oder Botschaften zu identifizieren und zu messen, die in ihren Kampagnen eingesetzt werden. Die Ergebnisse des Effekte-Rahmens sollten an strategische Absicht, Ziele und Wirkung gebunden sein und Ziele wie "Wirkung reduzieren" oder "Narrativ untergraben" einer terroristischen oder gewaltextremen Gruppe oder Ideologie umfassen.
- Aktivisten sollten über Reichweitenstatistiken allein hinausgehen und differenziertere Wirkungs- und Effektemessungen entwickeln. Eine gut geplante Kampagnenstrategie kann ein mächtiges Werkzeug für Aktivisten sein, um ihre Ziele zu erreichen und bedeutsame Veränderungen zu schaffen.
- Einen klaren Rahmen
- Eine Proposition
- Die Begründung, die Folgendes ausdrückt:
- Was muss getan werden?
- Warum muss es getan werden?
- Wie werden die Ziele erreicht?
Das ausschließliche Vertrauen auf Online-Reichweitendaten kann verzerrte Vorstellungen von Zielgruppen und deren Bedürfnissen erzeugen. Online-Engagement wie Likes und Shares spiegelt möglicherweise nicht genau die Werte, Präferenzen oder Position einer Person zu einem Thema wider. Daher ist es wichtig, über die Reichweite hinauszugehen und sich auf aktive Kommunikation zu konzentrieren, die eine Reaktion über das Drücken von "Gefällt mir" hinaus hervorruft. Im Bereich Terrorismus und gewaltextremismus werden präventionsbasierte Interventionen immer beliebter.
- Prebunking verfolgt einen Impftheorie-Ansatz und konzentriert sich auf Prävention statt auf Heilung. Es zielt darauf ab, mentale Rüstung aufzubauen, indem Einzelpersonen darauf vorbereitet werden, gewaltextreme Inhalte zu identifizieren, zu bewerten und informierte Entscheidungen zu treffen, wenn sie auf ihrem Bildschirm oder Social-Media-Feed erscheinen.
- Debunking-basierte Bemühungen können Schwierigkeiten haben, mit der Quantität und Neigung zu gewaltextremem Inhalt mitzuhalten, weshalb Prebunking als effektivere Methode in präventiven Räumen angesehen wird. Indem Einzelpersonen genügend Beispiele für gewaltextrem-basierte Inhalte durch Pre-Bunking-Taktiken gezeigt werden, werden sie besser gerüstet, um sie zu identifizieren und zu hinterfragen.
- Aktivisten sollten sich darauf konzentrieren, Resilienz aufzubauen und aktive Kommunikation zu fördern, anstatt sich ausschließlich auf Reichweitenmetriken zu verlassen.
- Was ist der Problemkomplex?
- Was muss die Kampagne/das Projekt erreichen?
- Wie wird dies erreicht und durch welche Taktiken/Ansätze?
- Welche Arten von Absicht, Handlung und Engagement werden diese Taktiken zum Funktionieren bringen?
- Wie werden diese Taktiken und Effekte gemessen, um Ergebnisse zu schaffen?
- Was ist der Problemkomplex?
- Was muss die Kampagne/das Projekt erreichen?
- Wie wird dies erreicht und durch welche Taktiken/Ansätze?
- Welche Arten von Absicht, Handlung und Engagement werden diese Taktiken zum Funktionieren bringen?
- Wie werden diese Taktiken und Effekte gemessen, um Ergebnisse zu schaffen?
Um Ergebnisindikatoren in einer Kampagne zu verbessern, sollte ein Bewertungsrahmen zwei Kerninformationen enthalten: das Basisverständnis der Stimmung der beabsichtigten Zielgruppe gegenüber dem angesprochenen Thema und den gewünschten Endzustand.
- Die Basisbewertung ist eine erste Bewertung des Unterstützungsniveaus, der Stimmung, des Beschwerden, der Hoffnung, der Angst oder anderer relevanter Faktoren der Zielgruppe in Bezug auf das angesprochene Thema. Sie ermöglicht es Kampagnenverantwortlichen, einen Ausgangspunkt zu etablieren, um Veränderungen oder Bewegungen in den Einstellungen oder Verhaltensweisen der Zielgruppe während des Verlaufs einer Kampagne zu messen.
- Der gewünschte Endzustand bezieht sich auf das spezifische Ergebnis oder Ziel, das eine Kampagne erreichen möchte. Es ist wichtig, den gewünschten Endzustand klar zu definieren, um Fortschritt und Erfolg effektiv zu messen.
Ein wichtiger Schritt zur Erstellung einer erfolgreichen Kampagne ist die Test- oder Pilotphase, die darauf abzielt, Stärken, Schwächen, Herausforderungen und Nuancen zu identifizieren. Diese Phase kann Fokusgruppendiskussionen und A/B-Tests umfassen, die verschiedene Versionen desselben Inhalts für ähnliche Zielgruppen darstellen, um Reaktionen zu testen. Ein iterativer Ansatz, der offen für Feedback von der Stichprobenzielgruppe ist, kann ebenfalls nuancierte Ergebnisse liefern.
Aktivisten, die versuchen, gewalttätigen Extremismus zu bekämpfen oder positive Veränderungen zu fördern, können die Effektivität ihrer Kommunikationsbemühungen über Stimmungsanalyse messen.
Stimmungsanalyse kann Aktivisten helfen, die positiven oder negativen Emotionen und Absichten zu identifizieren, die im Text vermittelt werden. Es ist wichtig zu erkennen, dass Stimmung und Effektivität nicht immer synonym sind, was bedeutet, dass die Messung, wie Menschen über eine Intervention empfinden, nicht unbedingt ein Beweis dafür ist, dass die Kampagne funktioniert. Aktivisten sollten sich darauf konzentrieren, die spezifischen Emotionen zu verstehen, die Teilnehmer erleben, und ihre zugehörigen Handlungstendenzen.
Stimmungen und Emotionen können über Gedankenauflistungsübungen oder traditionelle Umfragen gemessen werden. Bei der Gestaltung von Umfragen ist es wichtig, sie auf die spezifische Intervention zuzuschneiden und die Teilnehmer nach den relevanten Überzeugungen, Einstellungen und Stimmungen in Bezug auf diese Intervention zu fragen.
