Projekt autoewaluacji i ewaluacji programów Ministra Kultury powstał dzięki pracy Barbary Fatygi i Jadwigi Alicji Bakulińskiej oraz przy współpracy Magdaleny Dudkiewicz, Bogny Kietlińskiej, Ludwiki Malarskiej, Piotra Michalskiego, zespołów Węzłów Regionalnych Sieci Badawczej oraz Obserwatorium Żywej Kultury.
Uwagi wstępne
Raport dotyczący autoewaluacji i ewaluacji programów Ministerstwa Kultury zawiera szczegółowe analizy przedstawione w serii aneksów, które poprzedza tekstów główny, w którym zawarte są wnioski i rekomendacje.
Autorzy raportu podkreślają, że systemy ewidencji wniosków MKiDN (EBOI i SZPON), a także Programy Ministra w ciągu ostatnich lat przechodziły liczne zmiany i aktualizacje. Fakt ten miał znaczenie dla prowadzonych przez autorów, ponieważ badane przez nich projekty działań kulturalnych obejmowały dość szeroki zakres czasu.
Pod względem merytorycznym raport dotyczący projekty autoewaluacji i ewaluacji programów Ministra Kultury dzieli się na trzy części dotyczące:
– Zarządzania programami Ministra od strony merytorycznej i finansowej – autorzy odwoływali się do polityki kulturalnej oraz analizy regulaminów programów i priorytetów, wytycznych do nich, dziennika urzędowego MKiDN, stron instytucji i organizacji kulturalnych, ustaw, a także istniejących ewaluacji i badań.
– Formy i treści wniosków – autorzy podjęli się całościowej analizy przekazu kierowanego w Program Ministra do wnioskodawców i zaproponowali zmiany, który mają ulepszyć schematy dokumentów. Szczególny nacisk położony był na takie kwestie jak kwalifikacje wykonawców, ocena środowiska, w którym projekt ma być realizowany, ujednolicenie kosztów kwalifikowanych, poprawienie systemu wskaźników oraz zmiany ich funkcji.
Części merytoryczne dotyczą procedur autoewaluacyjnych. Ostatnia część raportu dotyczy ewaluacji działania programów Ministra w środowiskach realizacji projektów oraz do skutków społecznych tak skonstruowanego systemu dofinansowania kultury.
Autoewaluacja i ewaluacja – przyjęte znaczenia pojęć
Autorzy w tej części raportu wyjaśnili definicje dwóch głównych pojęć dla projektu:
AUTOEWALUACJĘ – definiowaną jako zespół czynności danej grupy, instytucji lub organizacji mających na celu ocenę działalności tej właśnie grupy, instytucji lub organizacji, odróżniamy tu od EWALUACJI, która jest oceną dokonywaną z zewnątrz. W tym drugim wypadku wybór ocenianych zagadnień może zależeć od zleceniodawcy, bądź od realizatora ewaluacji lub może być efektem uzgodnienia celów obu stron. Zaznaczmy zatem, że w połowie okresu realizacji tego projektu postaraliśmy się o konsultację PT Zleceniodawcy, w szczególności po to by przedstawić nasze propozycje poszerzenia podjętych zagadnień dotyczących w szczególności wskaźników i ewaluacji terenowej, co spotkało się z życzliwym zainteresowaniem i zachętą by takie zadanie zrealizować.
Rozróżnienie tych dwóch pojęć w praktyce nie jest jednak tak oczywiste:
Jako zadanie w programie ministra Obserwatorium Kultury na lata 2013-2014 zapisano „analizę i ewaluację oddziaływania Programów Ministra w latach 2010-2012”, a zatem sugerowano ocenę zewnętrzną. Jednakże patrząc od strony intencji (MKiDN podjęło inicjatywę ewaluowania własnych programów) oraz celu niniejszego projektu (miały powstać narzędzia do autoewaluacji, którą MKiDN będzie mogło następnie prowadzić samo w stworzonym na własne potrzeby środowisku informatycznym) mamy do czynienia z działaniami autoewaluacyjnymi. Z drugiej strony, projekt i narzędzia realizowany był w wyniku konkursu przez organizację zewnętrzną. Ponadto – patrząc od strony przedmiotu i metody: w proponowanym tu ujęciu działania ewaluacyjne prowadzące do stworzenia narzędzi autoewaluacyjnych wymagały nie tylko analizy danych zgromadzonych przez MKiDN, lecz również danych kontekstowych, pochodzących z zewnątrz (przede wszystkim z repozytoriów Mojej Polis i Obserwatorium Żywej Kultury – Sieci Badawczej gromadzonych na portalach mojapolis.pl i ozkultura.pl). Widać, zatem, iż wyznaczenie granic pomiędzy ewaluacją i autoewaluacją winno być tutaj dosyć elastyczne.
Wnioski z dotychczasowych raportów i ekspertyz ewaluacyjnych
Ministerstwo Kultury i Dziedzictwa narodowego, a także jego poszczególne departamenty i instytuty wielokrotnie podejmowały ewaluację własnej aktywności. Autorzy badań w pierwszej kolejności podjęli próbę analizy dotychczasowych ocen pojedynczych programów. W zastanych raportach powtarzały się podobne wskazówki i postulaty mające usprawnić Programy Ministra. Autorzy Projektu autoewaluacji i ewaluacji programów Ministra Kultury pogrupowali je w 3 grupy:
1) Oczekiwania względem polityki kulturalnej państwa. Główne zarzuty to: słabe wykorzystanie przez MKiDN współczesnej wiedzy o kulturze, […] niedostatki w procesie uspołecznienia polityk kulturalnych przez współpracę z jednostkami samorządu terytorialnego, […] brak jasno sformułowanych celów strategicznych polityki kulturalnej, ograniczenia „ręcznego sterowania” polityką kulturalną przez ministra na rzecz jawnych, akceptowalnych społecznie procedur).
2) Postulaty dotyczące konkretnych usprawnień programów Ministra. Główne postulaty zewnętrzne to: uwagi dotyczące zarządzania programami – by uwzględniało ono szybkie zmiany w rzeczywistości społeczno-kulturalnej kraju (wskazywano m.in. potrzebę wypracowania bardziej sprawiedliwych zasad konkurowania o granty przez małe i duże podmioty, osobnych procedur dla małych i dużych projektów; zmianę terminów ogłaszania konkursów na wcześniejsze, itd.). Natomiast w postulatach wewnętrznych podkreślano potrzebę merytorycznej ewaluacji projektów, które otrzymały dofinansowanie oraz konkretnych usprawnień w systemach oceny wniosków (np. jawność ocen ekspertów, wymianę i rozszerzanie gron ekspertów w kolejnych edycjach konkursów); niektóre z tych zmian w międzyczasie zostały wprowadzone, inne wprowadzono tylko częściowo, co odebrało sens proponowanej zmianie (np. prosty postulat by przy składaniu wniosków generowany był w systemie tzw. teryt, czyli numer statystyczny gminy, co znakomicie ułatwia geolokalizację grantobiorców2; wprowadzono go tylko dla jednostek samorządu terytorialnego, które stanowią stosunkowo niewielką grupę uprawnionych do aplikowania w Programach Ministra), jeszcze inne propozycje zmian pominięto, mimo iż się powtarzały, bez upublicznionej dyskusji nad ich sensownością.
3) Propozycje konkretnych działań kulturalnych.
Wnioski z analizy zarządzania programami Ministra w latach 2008-2015
Rekomendacją wynikającą z analizy stabilności zarządzania Programami Ministra postulują, jest potrzeba krytycznego przeglądu odpowiedniości statutów i kadr w podmiotach zarządzających, tak by dopasowane były do wymogów merytorycznych.
Autorzy na podstawie szczegółowych analiz przepływów finansowych w programach Ministra przedstawionych w aneksach stwierdzili, że procedura konkursowa zakładająca przejrzystość i jawność – jest marginalizowana. Analiza systemów oceniania wniosków w perspektywie zarządzania programami Ministra dowodzi istnienie sprzeczności między założeniami systemu a wyjątkami od ustanowionych reguł. Problem stanowi także ocena błędów formalnych, spójności ocen oraz ocena doboru ekspertów.
Wnioski z analizy miejsc i roli programów ministra w systemie finansowania kultury na przykładzie województwa warmińsko-mazurskiego
Analizy danych pokazały, że wiedza o systemie jest niepełna, a porównania procentowych wartości finansowego wsparcia dla kultury ze środków europejskich i z pozostałych źródeł pokazują, że nawet podstawowe finansowanie (z dotacji JST) może osiągać wartości jedynie ok. 10% ogółu rozpoznanych środków, gdy gmina uzyska dostęp do funduszy unijnych. Ponadto na przykładzie tego województwa widać, że polityka wyrównywania szans nie ma prawa się zrealizować.
Wnioski z analizy aktywności i skuteczności wnioskodawców w programach Ministra
W tej części projektu autorzy analizowali bazy SZPON-u z lat 2010-2012, 2010-2013, 2012-2014. Wyniki tej analizy pokazują, że gmin, które nie składały wniosków, było nawet ponad 60% w województwie (np. w Lubelskim w roku 2012). Analiza pozwala na zaobserwowanie prawidłowości – wiele gmin co roku nie bierze aktywnego udziału w składaniu wniosków.
Gminy, które próbują uzyskać wsparcie finansowe na rozwój kultury z Programów Ministra często spotykają się z negatywnym rozpatrzeniem wniosków (nawet 80% złożonych wniosków w niektórych programach i priorytetach). Interesującym i smutnym wnioskiem mówi o tym, że sukces w zdobyciu środków nie motywuje, by zdobywać kolejne dofinansowania.
Wnioski z terenowego badania ewaluacyjnego
Teren badań obejmował województwo mazowieckie, podlaskie, pomorskie i warmińsko-mazurskie. Wnioski z badań nie są optymistyczne. Już na początku badań autorzy natrafili na 2 projekty źle funkcjonujące. Badacze w placówkach kulturalnych kilkukrotnie zetknęli się z niechęcią, niezbyt grzecznym traktowaniem oraz blokowaniem dostępu do informacji. W związku z tym wysnuli pesymistyczne pytanie: jak są traktowani na co dzień uczestnicy czy beneficjenci takich projektów?
W toku badań największą słabością zbadanych projektów okazały się działania informacyjne – o projekcie i finansowym wsparciu udzielanym przez MKiDN. Kolejny wniosek dotyczył szaty informacji kulturalnej i przyniosła przygnębiający wniosek o jej BRZYDOCIE i FATALNYM GUŚCIE ESTETYCZNYM dominującym w tego rodzaju przekazach.
Analizy zawartości merytorycznej formularzy wniosków i innych dokumentów ze stron Programów Ministra
Analizie zostały poddane koszty kwalifikowane (wniosek: nieujednolicone), kompetencje wykonawców projektu (wniosek: w wielu priorytetach brak wymagań dot. opisu kompetencji wykonawców projektu lub wymagania bardzo restryktywne), społeczne uzasadnienia potrzeb realizacji projektów (wniosek: brak społecznych uzasadnień), dobór ekspertów, wskaźniki realizacji projektu (wniosek: brak zadowolenia z istniejących wskaźników jakościowych). Wszystkie problemy, które wyniknęły z analiz, zostały nie tylko dogłębnie opisane i sprawdzone, ale także autorzy zaproponowali liczne sposoby i narzędzia, by sobie z nimi poradzić.
Ogólne wnioski z realizacji projektu
Wnioski z analiz pozwoliły na sformułowanie następujących wniosków ogólnych:
– Programy Ministra oparto na założeniach jawności, przejrzystości, wspierania obszarów zaniedbanych i przyczyniania się do utwierdzania procedur demokratycznych w staraniach o środki finansowe;
– istotnym problemem są odstępstwa od pierwotnych założeń widoczne na poziomie zarządzania Programami Ministra;
– ten problem odnosi się do kompetencji i stylów działania ludzi tworzących kadry zarządzające programami i priorytetami w MKiDN i Narodowych Instytucjach Kultury;
– autorzy tego badania nie mają nadziei na to, że ich propozycje i wyniki przyczynią się do dyskusji wśród osób odpowiedzialnych za funkcjonowanie Programów Ministra.
Spis treści numeru Kto płaci kulturze?
Meandry
Marzena Mikosz, Kto płaci kulturze?
Felietony
Marzena Mikosz, III strefa Kultury
Maciej Młynarski, Wychowanie do piękna, czyli czym jest kultura
Wywiady
Marzena Mikosz, “Polacy już dawno wyprzedzili swoje państwo” – wywiad z Andrzejem Sadowskim
Marzena Mikosz, Instrukcja obsługi sponsora. Wywiad z Ewą Łabno-Falęcką
Recenzje
Redakcja, Polskie platformy crowdfundingowe
Weronika Julia Gryczkowska, Co daje storytelling?
Publikacje
Edukatornia
Marcin Teodorczyk, Współpraca organizacji pozarządowych z otoczeniem
Kosmopolita
Jędrzej Gulczyński, Mecenat prywatny w Anglii
Sebastian Uszyński, Marzena Mikosz, Finansowanie kultury w Szwajcarii
Rekomendacje
Jerzy Mikosz, “Strategia organizacji” Krzysztofa Obłoja
Anna Chorzępa, Zarządzanie kulturą. Studia na Uniwersytecie Jagiellońskim
Publikacja powstała dzięki
Funduszowi Popierania Twórczości Stowarzyszenia Autorów ZAiKS
