Wirkungskontrolle? Von der Leistung zur Wirkung

Um die Frage nach der Wirkung bearbeiten zu können, lohnt es sich, sich den Kernauftrag von Verbänden wieder einmal zu vergegenwärtigen. Verbände entstehen als Ergänzung zu Staat und marktgesteuerten Unternehmen, um Bedürfnisse zu decken – entweder der eigenen Mitglieder oder für Dritte. Diese Bedürfnisse können ganz unterschiedlicher Natur sein. So vertritt beispielsweise ein Berufsverband die wirtschaftlichen Interessen seiner Mitglieder, wohingegen Sport- und Freizeitvereine die gesellschaftlichen oder kulturellen Bedürfnisse ihrer Basis decken. Die Erbringung karitativer oder anderer unentgeltlicher Unterstützungsleistungen im Sozial- und Gesundheitsbereich, welche Dritte fördern, ist das Anliegen von Hilfsorganisationen und Wohlfahrtsbetrieben. So unterschiedlich die Bedürfnisse und die Bedarfsdeckung auch sind, gemeinsam ist immer, dass keine Rentabilitätszielsetzungen damit verbunden sind. Die durch Verbände erreichte „Wirkung“ hat demzufolge vielerlei Gestalt und deren Nachweis ist deshalb anspruchsvoll.

Wirkung im Sinne von Nutzen schaffen kann als Veränderung angesehen werden, die kausal durch eine Intervention evoziert wird. Der Verband versucht durch seine Leistungen eine Veränderung herbeizuführen, welche die Bedürfnisse der Leistungsempfänger deckt. Oder mit anderen Worten wünscht sich die Zielgruppe einen Soll-Zustand, den der Verband durch seine Leistungen zu erreichen versucht. Wirkungsnachweis beginnt deshalb immer bei der Planung des Soll-Zustands.

Ziele – Maßnahmen – Messgrößen

Planung beinhaltet die Festlegung der Ziele sowie der Maßnahmen zur Zielerreichung. Bei diesem Schritt ist es im Hinblick auf Wirkungsnachweis wertvoll, sich genau zu überlegen, was genau verändert werden soll. Häufig werden die Zielsetzungen allgemein gehalten, was für das Wirkungscontrolling ungeeignet ist. So strebt beispielsweise ein Berufsverband an, dass die Berufsgruppe „bekannt“ ist. Je präziser bereits hier die beabsichtigte Veränderung beschrieben wird, desto eher können geeignete Maßnahmen getroffen und Wirkung erzielt und nachgewiesen werden.

Auch bei der Wahl geeigneter Maßnahmen ist Sorgfalt geboten. Die kausale Verkettung und damit auch der Grund für die Wahl einer Maßnahme gehen manchmal mit der Zeit verloren und so kann sie nicht mehr „wirken“. So trifft man immer wieder die Situation an, dass Verbände beispielsweise Kommissionen pflegen, deren Auftrag nicht mehr definiert ist, oder die Mitarbeitenden erbringen Dienstleistungen ohne erkennbaren Zusammenhang mit den strategischen Zielen.

In vielen Verbänden ist es zudem üblich, im Planungsprozess Messgrößen der Zielerreichung zu bestimmen. Auch hier empfiehlt es sich, gut zu überlegen, woran man die angestrebte Veränderung wirklich festmachen und beobachten kann und will. Oftmals werden klassische Kennzahlen als Messgrößen festgelegt. Damit wird jedoch der eingangs beschriebenen, vielfältigen Gestalt der verbandsspezifischen Wirkungsziele nicht vollumfänglich Rechnung getragen. Eine Ergänzung um qualitative Messgrößen wird deshalb empfohlen.

Output – Outcome – Impact

Wie werden nun geeignete qualitative Messgrößen bestimmt? Bevor diese Frage beantwortet werden kann, ist auf die nützliche Unterscheidung von Output, Outcome und Impact hinzuweisen. Diese Begriffe werden uneinheitlich benutzt, sodass im eigenen Verband zunächst geklärt werden muss, was darunter verstanden werden soll.

Hier ein Vorschlag:

Mit Output werden die erbrachten Leistungen bezeichnet. In der Praxis kann beobachtet werden, dass sich das Controlling und die Berichtlegung in erster Linie auf die Dokumentation der erbrachten Leistungen konzentrieren. Typischerweise wird in Jahresberichten beispielsweise die Anzahl durchgeführter Veranstaltungen aufgeführt und es werden klassische Kennzahlen wie beispielsweise die Anzahl freiwilliger Helfer berichtet. Die Berichtlegung beschränkt sich auf den Output und ist im Kern ein Leistungsbericht. So nützlich Leistungsberichte sind, haftet ihnen doch eine gewisse Eindimensionalität an. Die interessierte Leserschaft weiß zwar nach deren Lektüre, dass im Verband jede Tätigkeit „zählt“, aber was sie „bewirkt“, bleibt nach wie vor offen. Kurz gesagt: Outputberichte sind Leistungsberichte, d. h. Übersichten über klassische Kennzahlen.

Die Wirkung jedoch zeigt sich im Outcome und Impact. Outcome bezeichnet dabei die durch die Leistungen ausgelösten Wirkungen bei den entsprechenden Leistungsempfängern, d. h. die Qualität, mit welcher der Bedarf der Zielgruppe gedeckt werden konnte. So haben beispielsweise die freiwilligen Helfer ermöglicht, dass ein Sportanlass stattfinden konnte, den sich die Mitglieder im Sportverein schon lange wünschten. Oder die Broschüren zu Berufshaftpflichtfragen haben die Mitglieder in einem Berufsverband über ihre Pflichten orientiert, sodass jene geeignete Maßnahmen treffen können, um Rechtsstreitigkeiten zu minimieren. Mit Impact ist die längerfristige Wirkung gemeint, die in der Regel über die eigentliche Anspruchsgruppe hinausgeht und sich in der gesamten Gesellschaft entfaltet. So steigert beispielsweise die regelmäßig wiederkehrende Sportveranstaltung die Bekanntheit der Stadt, in welcher sie durchgeführt wird, sodass mehr Touristen den Ort aufsuchen. Nicht alle Verbände bezwecken Veränderungen auf Ebene der Gesellschaft, weswegen Outcome bei vielen ein legitimer Endzustand ist und im Folgenden die Bestimmung von Outcome-Indikatoren im Vordergrund steht.

Outcome-Indikatoren und Anspruchsgruppen

So klar man den Output nur beschreiben kann, wenn man sich des Verbandes und seinen klassischen Kennzahlen annimmt, so wird Outcome nur ersichtlich, wenn man sich den Leistungsempfängern zuwendet.

Dabei zeigt sich „Outcome“ einerseits als objektiv beobachtbare Veränderung bei der Zielgruppe. Andererseits äußern sich die Leistungsempfänger zur subjektiv erlebten Wirkung. Beides ist legitim. Deswegen kann der Begriff „Wirkungsmessung“ als leicht irreführend bezeichnet werden, denn Outcome ist nicht direkt messbar, sondern nur beobachtbar und/oder reflektierbar. Dabei sind die sozialwissenschaftlichen Methoden sehr nützlich, da sie qualitative Informationen objektivierbar machen.

Die Bestimmung von Indikatoren auf Outcome-Ebene richtet sich demzufolge nach der Frage, woran beobachtet werden kann, dass die beabsichtigte Wirkung eingetreten ist, oder durch welche Auskünfte der Leistungsempfänger, die Wirkung plausibel wird. Setzt sich beispielsweise eine Organisation der Entwicklungshilfe zum Ziel, die Infektionskrankheiten in einer bestimmten Region zu dezimieren, und ergreift als Maßnahme den Bau von Brunnen, um sauberes Trinkwasser zu gewährleisten, so ist als Output-Information zunächst die Anzahl sauberer Trinkwasserbrunnen relevant. Danach lässt sich als Outcome-Information der Rückgang an Infektionskrankheiten beobachten. In vielen Fällen sind jedoch beobachtbare Outcome-Indikatoren rar. Hier bietet es sich an, die Leistungsempfänger zu befragen. So befragt beispielsweise ein Verband, dessen Zweck die autonome Alltagsbewältigung von sehbehinderten Menschen ist und der als Maßnahme Hilfsmittelabgaben einsetzt, die Leistungsempfänger nach dem Nutzen der Hilfsmittel bei der Bewältigung ihres Alltags. Solche Befragungen sind wertvoll und entfalten ihre Potenz v. a. dann, wenn sie über die Zeit wiederholt werden und dabei die Veränderung festgehalten wird.

Wirkungscontrolling konkret

Damit Wirkungsmessung nicht nur als Rechenschaftsbericht gegen außen dient, sondern auch die interne Steuerung und Qualitätssicherung anregt, ist es empfehlenswert, einerseits das Leistungsdenken durch eine Wirkungsorientierung abzulösen (Kulturwandel), andererseits die Outcome-Indikatoren schlank ins bestehende Controllingcockpit einzubauen.

Dabei gelingt der Kulturwandel durch die Einbindung der obersten Führungsebene und durch die Verankerung der Wirkungsorientierung in Leitbildern und Konzepten. Die Umsetzung erfolgt dann einerseits bei der strategischen Planung, indem folgende Punkte beachtet werden:

• Die Zieldefinitionen beschreiben möglichst genau die angestrebte Veränderung (Wirkung).
• Die abgeleiteten Maßnahmen stehen möglichst in kausalem Zusammenhang mit den angestrebten Zielen (Kausalketten).
• Die Messgrößen der Zielerreichung beinhalten sowohl quantitative Kennzahlen (Output) als auch qualitative Größen (Outcome).

Andererseits wird der Controllingprozess um die wiederkehrende Erhebung der qualitativen Outcome-Indikatoren erweitert. Dabei lohnt es sich, ereignisbezogen und zeitgesteuert vorzugehen. Ereignisbezogen meint beispielsweise den Einsatz von Evaluationsbögen bei Bildungsangeboten. Diese dienen dazu, direkt nach dem „Ereignis“, hier der Bildungsveranstaltung, die Zufriedenheit der Teilnehmenden zu erfassen. Diese Techniken sollten durch sogenannt zeitgesteuerte, d. h. periodische Befragungen komplettiert werden, beispielsweise durch Mitgliederbefragungen oder Kundenzufriedenheitsanalysen, die in bestimmten Intervallen wiederholt werden. Werden diese Intervalle in geeigneter Weise an die Strategieplanung gekoppelt, dienen sie nicht nur als Rückblick, sondern als Lern- und Steuerinformation.

Stolpersteine und Erfolgsfaktoren

Obwohl der Nutzen eines wirkungsorientierten Controllingsystems unbestritten ist, soll vor Stolpersteinen gewarnt werden.

Messungswahn

Der Aufwand für die Wirkungsmessung sollte in einem vernünftigen Verhältnis zum Aufwand für die Wirkungserzielung stehen. Als Faustregel empfiehlt sich, immer nur so viele Informationen zu erheben, wie auch wirklich „bearbeitet“ werden können. Datenfriedhöfe, die nicht aufbereitet und nicht in die Verbandskommunikation und -steuerung Einzug halten, dienen niemandem.

Bürokratie

In dynamischen Verbänden entstehen Aktivitäten und Projekte auch außerhalb der Planung. Diese Eigendynamik soll durch eine Wirkungsmessungsbürokratie auf keinen Fall unterbunden werden. Auch hier gilt es abzuwägen, wie viel „unkontrollierte“ Eigendynamik sinnvoll ist und wo nach systematischem Wirkungscontrolling gefragt werden soll.

Ãœberanpassung

Teilweise wird beobachtet, dass nach einer gewissen Zeit die Planung nach der Messbarkeit ausgerichtet wird. So werden beispielsweise nur noch Bildungsangebote organisiert, die gut abschneiden, obwohl der Verband ein Wissensdefizit bei seinen Mitgliedern in einem – leider unbeliebten, aber wichtigen – Bereich ortet. Besonders gefördert wird diese Fehlentwicklung, wenn an die Erreichung von Wirkungszielen Leistungszulagen gekoppelt sind.

Widerstände bei der Einführung

Mitarbeitende und Führungskräfte äußern teilweise Widerstände gegenüber der Einführung von Wirkungsmessung. Dies ist auch verständlich, denn ihre Arbeit soll künftig neu beurteilt werden. Um diesen Widerständen zu begegnen, empfiehlt es sich, insbesondere die mittlere Leitungsebene in die Bestimmung der Outcome-Indikatoren einzubeziehen. Denn wer will nicht selbst bestimmen, wofür er später geradestehen soll?

Der wichtigste Erfolgsfaktor ist die sorgsame Interpretation der Wirkungsresultate. Es gilt in einem gemeinsamen Prozess plausible Hypothesen zu entwickeln, welche die Resultate erklären. Dabei darf nicht vergessen gehen, dass manchmal auch das Verhindern von unerwünschter Veränderung „Wirkung“ darstellt. Wirkungsmessung bezweckt schlussendlich nicht nur den Nachweis von Wirkung, sondern die Reflexion der eigenen Tätigkeit und die Steuerung künftiger Leistungsangebote.