Single Blog Title

This is a single blog caption
16
Cze

Jak skutecznie prowadzić ewaluację szkoleń? – rozmowa z Przemysławem Kędzią

Piotr Peszko: Patrząc na powszechnie stosowany model ADDIE mam wrażenie, że to “E” jest na samym końcu i tak właśnie jest traktowane. Jak z Twojego doświadczenia wygląda ewaluacja szkoleń na naszym podwórku?

Przemysław Kędzia: Na poziomie teorii całkiem nieźle. Większość osób odpowiedzialnych za szkolenia zna model Kirkpatricka oparty na ocenie czterech poziomów skuteczności szkoleń: reakcji, wiedzy, zachowań i rezultatów. Nie wystarczy jednak znać, ale trzeba też wdrożyć.

Nie znam firmy, która regularnie mierzy efekty szkolenia na poziomie zachowań uczestników i rezultatów dla organizacji, a w ramach naszej pracy mamy kontakt z kilkudziesięcioma dużymi korporacjami.  W praktyce ewaluacja ogranicza się najczęściej do ankiety po szkoleniu, w której ocenia się czy kotlet był ciepły, a trener fajny.

PP: Skoro tak, to co innego mamy jeszcze do dyspozycji? Jakie są inne modele? Który działa?

PK: Nie chodzi o modele. One są w porządku. Problem w tym, jak wdrożyć taki model w praktyce, bo wymaga to spełnienia dwóch warunków. Pierwszy to posiadanie systemu mierzenia efektów. Barierą wdrożenia są tu niestety wysokie koszty. Drugi to konieczność określania oczekiwanych od szkolenia rezultatów, co sprawia bardzo duże problemy trenerom i osobom odpowiedzialnym za szkolenia w firmach. Inaczej mówiąc musisz wiedzieć co chcesz zmierzyć i jak to zmierzyć.

PP: No ok, skoro problem jest w tym jak wdrożyć taki model, to powiedz mi proszę jak to zrobić? Jeśli jestem właścicielem małej firmy, która ma 20 szkoleń na temat wykorzystywania swoich produktów i jeśli jestem osobą wdrażającą nowe szkolenie sprzedażowe dla swoich pracowników.

PK: Chodzi o to, żeby obejść pierwszy warunek, czyli kosztowne systemy mierzenia efektów. Po to właśnie opracowaliśmy koncepcję, którą nazwaliśmy „Effect Factor”. Założenia były jasne: prostota uniwersalność i niskie koszty. W skrócie rzecz wygląda następująco. W Effect Factor są tylko 4 krótkie pytania, po jednym do każdego poziomu. Dzięki temu odpowiedź na nie zajmuje maksymalnie 60 sekund. Nie wystarczy zapytać raz, ponieważ inne będą opinie uczestników tuż po szkoleniu, a inne dwa tygodnie albo 3 miesiące później. Dlatego pytamy trzy razy właśnie w takich odstępach czasu. Nie wystarczą też opinie samych uczestników, ale potrzebujemy również opinii ich szefów. Ich też pytamy trzykrotnie. Odpowiadają na te same pytania. Jak widać w sumie jest to 6 badań po 4 pytania. Łączny czas to 6 minut. Nie jest konieczny żaden skomplikowany i kosztowny system pomiaru. W ten sposób obchodzimy problem wysokich kosztów pomiaru.

PP: No dobrze, jeśli pytam, to w jaki sposób? Jak zbudować pytania?

PK: Pytania są zawsze takie same. Ich treść można znaleźć na naszej stronie effectfactor.ninja.  Każde z nich jest punktowane. Dzięki temu możemy wyliczyć wskaźniki skuteczności dla każdego szkolenia i porównać je ze sobą. To daje olbrzymie możliwości. Możemy ocenić, który trener albo która firma szkoleniowa jest najskuteczniejsza. Możemy porównać skuteczność szkoleń z negocjacji ze skutecznością szkoleń produktowych. Możemy tworzyć rankingi szkoleń pod względem skuteczności, porównywać oceny uczestników i ich szefów, oraz obserwować skuteczność wraz z upływem czasu.

Pytania są krótkie i uniwersalne. Żeby uczestnicy mogli rzetelnie odpowiedzieć na 4 krótkie pytania potrzebują wskazówek. Te wskazówki zawarte są w celach szkolenia, które muszą być zdefiniowane na wszystkich poziomach, w tym również na poziomie zachowań i rezultatów oraz przedstawione uczestnikom razem z pytaniami.  Dlatego oprócz metody mierzenia skuteczności rozwinęliśmy metodykę projektowania skutecznych szkoleń skoncentrowaną na celach szkolenia. To kluczowy element całej koncepcji, bo przecież jeżeli nie wiemy co chcemy osiągnąć, nie jesteśmy w stanie sprawdzić czy to osiągnęliśmy.

PP: Czy masz już jakieś konkrety? Jakieś wyniki?

Pierwsze badania pilotażowe, które prowadziliśmy potwierdzają niektóre generalne zjawiska, których się spodziewaliśmy, np. to że szefowie zdecydowanie niżej oceniają efekty szkoleń niż sami uczestnicy. W jednym z badań skuteczność na poziomie rezultatów została oceniona przez uczestników na 72 punktów, a przez ich szefów tylko na 43 punkty. (w skali od 0 -100 punktów). W innym badaniu dwa, w założeniu takie same szkolenia prowadzone jednak przez dwóch różnych trenerów różniły się wskaźnikiem skuteczności o ponad 10 punktów. To tylko przykłady wartościowych informacji pozwalających na podjęcie odpowiednich działań osobom zarządzającym HR.

PP: Rozumiem, że metoda już jest, co będzie kolejnym krokiem?

Jesteśmy w trakcie przygotowywania systemu, który automatycznie wykona całą robotę. Chcemy po raz pierwszy dostarczyć system, który pozwoli na powszechne mierzenie skuteczności szkoleń, dostępne dla każdej organizacji, a nawet dla każdego trenera. Mam nadzieję, że będziemy gotowi na 1 września z pierwszą wersją komercyjną systemu, który będzie dostępny w internecie w formule SaaS czyli jako usługa. Każdy indywidualny trener i każda firma będzie mogła wykorzystać go do oceny skuteczności swoich szkoleń.

PP: OK, a jeśli nie chcę Twojego systemu? Co mam zrobić? Gdzie zacząć?

PK: Każdy może skorzystać z metodyki i narzędzi ją wspierających. Regularnie udostępniamy kolejne wskazówki i narzędzia takie jak wzory ankiet, sposoby ustalenia wskaźników itp. Na dobrą sprawę wystarczy mail i Excel żeby zastosować koncepcję niezależnie od systemu. Chcemy zachęcić wszystkich do tej metody. Z naszej strony deklaruję pełną otwartość i dostęp do wszystkich zasobów metodycznych i narzędzi, które dzisiaj udostępniamy przez naszą stronę effectfactor.ninja


Przemysław Kędzia 

CEO w poznańskiej firmie Llidero, która zajmuje się rozsądnym i skutecznym wdrażaniem nowoczesnych technologii szkoleniowych. Twórca modelu ewaluacji Effect Factor.

Podobało Ci się? Chcesz więcej?

Zostaw swój e-mail, bardzo chętnie przypomnę Ci o nowych treściach, a przy okazji dostaniesz e-booka o elearningu.

Poprzednie newslettery możesz znaleźć na stronie archiwum.

* indicates required