Projektuję, doradzam, szkolę i wszędzie do znudzenia powtarzam o konieczności tego, żeby zbierać dane. Nie stało się to jeszcze moją obsesją, bo wiem, że ludzie też uczą się dla przyjemności i sam fakt zdobywania nowych informacji jest dla nich wartością samą w sobie, ale jeśli mówimy o branży szkoleń i szkoleniach jako biznesie, to bez danych się nie obędzie. Sorry!

Przygotowywałem się ostatnio do webinaru na temat TinCan API i zastanawiałem się co może być przyczyną tego, że ludzie nie mierzą i nawet nie mają planu zbierać danych. W świecie technologii jest do dla mnie bardzo dziwne, niemal niepojęte. Nie wyobrażam sobie na przykład sklepu internetowego, który nie będzie mierzył tego jak klienci kupują.

Popatrzmy więc na mierzenie z perspektywy osoby, która

1. Strach przed wynikami

Zaczynam od tej przyczyny, bo pewnie wielu trenerów, firm szkoleniowych i elearningowych miałoby obawy przed przyznaniem się do tego, że nie zamierzają zbierać danych inne niż dupogodziny uczestników, bo mogłoby się okazać, że szkolenia są po prostu nieefektywne. Pierwszym, bardzo ważnym powodem jest więc obawa przed utratą reputacji. Przecież dużo lepiej żyć w słodkiej nieświadomości. Motywatory są pewnie te same, które mamy przed wykonaniem kompletnych badań lekarskich. Przecież dopóki czuję się dobrze, to nie ma co się badać. Lekarze zawsze coś znajdą. Lepiej ich nie zaczepiać.

Rozwiązanie: Warto znaleźć taką daną, która jest łatwa do oswojenia, a z drugiej strony ważna. Nie polecam na początek sprawdzania tzw. konsumpcji, czyli tego ile osób faktycznie korzysta ze szkolenia, bo może okazać się (raczej w to nie wierzę), że nikt nie ogląda naszych szkoleń i wydatki na e-learning powiększą zysk firmy w przyszłym roku. Wybierzmy na przykład ścieżkę dostępu do szkolenia, czyli to jak nasi odbiorcy zachowują się od momentu zalogowania, do momentu, w którym zaczynają się uczyć.

2. Brak wymagań

Pomimo tego, że projektanci, czy nawet osoby tworzące szkolenia będą namawiać do tego, żeby mierzyć, to bardzo łatwo te głosy zignorować. Skoro bliżej nieokreślona „góra” organizacji nie wymaga od nas innych danych, niż lista osobników i wspomniany czas spłaszczania pośladków na krzesłach w sali szkoleniowej, to nie ma sensu tego robić.

Rozwiązanie: Jeśli góra nie wymaga, to może dół pokaże, że można coś usprawnić. Dane są dobrą bronią w przypadku corocznej walki o zwiększenie wydatków na szkolenia. Może jako instructional designer jesteś w stanie pokazać, że szkolenie powinno być krótsze, albo że należy zastosować inne podejście. Może do szału doprowadza Cię aktualny LMS, ale nie wiesz jak przekonać do zmiany. Dane Ci pomogą. Zacznij je zbierać i analizować nawet jeśli nikt ich nie potrzebuje.

3. Brak planu

Nawet kiedy organizacja już wie, że chce mierzyć i ktoś, gdzieś na konferencji usłyszał, że jest coś takiego jak ROI, albo Kirkpatrick to nikt nie ma pomysłu gdzie mierzenie zacząć i gdzie je skończyć. Poza tym w polskich realiach szkoleniowo-EFSowych słowo ewaluacja wiąże się raczej z generowaniem zbędnych papierów niż faktycznym zbieraniem informacji, które mogą wpłynąć na efektywnośc szkolenia. Poza tym, wiele osób kurczowo trzyma się przestarzałej koncepcji ADDIE, w której ewaluację przeprowadza się na samym końcu, kiedy rozwiązanie/szkolenie jest już wdrożone, a nie po każdym pojedyczym etapie.

Rozwiązanie: Nie bądź leniem, zrób plan. Ewaluacja to tylko wielkie słowo wykorzytstane przez instytucje pośredniczące EFS do zabicia wiary w ludziach realizujących projekty. Ja mam podejrzenie, że sami nie wiedzieli o co chodzi, to zrobili tak jak umieli, czyli toną papieru. Ty, planuj! Planuj co chcesz mierzyć już na etapie analizy i projektowania.

4. Wiara w mit, że pomiary są trudne

Kolejnym powodem jest przekonanie, że pomiary są trudne, a badania drogie. Lepiej jest więc eksperymentować i mocno trzymać kciuki, a potem „masować dostępne dane” w taki sposób, żeby na wszystkich slajdach pojawił się zielony słupek. Znam też takich, którzy uważają, że mierzenie nie ma sensu, albo że dane, które uzyskuje się na przykład z Google Analytics nic nie dają. W świecie pełnym technologii mierzenie nie jest trudne, bo wszystko jest cyfrowe. Większość pomiarów (jeśli je zaprojektujemy) dzieje się automatycznie, lub niemal automatycznie. Trzeba o nich jednak pomyśleć zanim wdroży się szkolenie.

Rozwiązanie: Zastanów się, czy wolisz wierzyć, czy mierzyć. Jeśli to pierwsze, to zakryj prędkościomierz w samochodzie, zrezygnuj z zegarka i termometru. Uwierz własnej intuicji. Może akurat listopad w tym roku pozwoli na sandały i bose stopy.

5. Przekonanie, że mierzenie nie należy już do uczenia

Dla osoby zakochanej w narzędziach autorskich mierzenie nie będzie „fajną” częścią pracy. To konieczność opisywania dodatkowych interakcji i uruchamiania specyficznych raportów, czasami konieczność dopisania skryptu. Dla projektanta, to jedno z wymagań, które lepiej byłoby ominąć, bo wymusza bardz dokładne definiowanie celów szkoleniowych i rozdrabnianie się na miary, punkty i skale. Zamiast tego dużo przyjemniej jest zaprojektować jakąś grwalizację. Tylko co z niej, jeśli oprócz tego, że jest nie jesteśmy w stanie uduwodnić jej wpływu na osobę uczącą się.

Rozwiązanie: Trzeba obalić mit. Mierzenie należy do uczenia, a zwłaszcza do kwestii zarządzania nim. Jeśli nie mierzysz to nie zarządzasz, a więc Twój Learning Management System, może okazać się tylko przechowalnią plików. Poza tym jeśli masz w swojej grupie instructional designera, to on nie powinien spać spokojnie, jeśli nie mierzy, bo oznacza to mniej więcej tyle, że kolejnym razem (przy aktualizacji) po prostu nie wie i wysysa dane z palca.

6. Brak wiedzy na temat tego co mierzyć

Znam takich, którzy skupili się na ROI i o niczym innym nie chcą słyszeć. Próbują, wmawiają i trzymają się ROI jak suchy popiół dupska tylko dlatego, że biznes (czyt. ich przełożeni) wiedzą co to jest ROI i potrafią się do tego odnieść. Na nieszczęście szkoleń na tym się kończy kwestia mierzenia, później jest przepaść, a na końcu pojawia się ilość osób zapisanych na szkolenie, tych które je ukończyły, ewentualnie średnia punktów, czyli tylko to, co niesie ze sobą SCORM. Czasami pojawia się też nic nie znacząca dupogodzina, czyli czas, który ludzie uczący spędzili na gapieniu się w ekran. Szkoda, że nie liczą ile razy kliknęli Dalej. Taki Dalej-Master to byłby dyplom. Okazuje się, że ROI nie jest jedyną miarą. Samo przypięcie do systemu LMS Google Analytics sprawi, że danych na temat poruszania się po naszym systemie będzie więcej niż potrzeba.

Rozwiązanie: Samo przypięcie do systemu LMS Google Analytics sprawi, że danych na temat poruszania się po naszym systemie będzie więcej niż potrzeba. Poza tym, są gotowe rozwiązania, które mówią co można  mierzyć i jak mierzyć, bo zmierzyć w szkoleniach online da się każdą reakcję, każde kliknięcie i każdą podjętą decyzję.

Poza tym, przy zastosowaniu odpowiednich systemów do pomiaru konsumpcji treści (np. video) możemy wiedzieć ile razy powtarzany jest dany fragment nagrania, albo kiedy nasi uczący się wyłączają materiał i przestają być nim zainteresowani.

Tylko to wszystko trzeba przemyśleć i zaprojektować, a później wdrożyć na odpowiednim etapie.

7. Brak przygotowania szkoleń do pomiarów

Ostatnim powodem. Sam nie wiem, czy nie najważniejszym jest brak przygotowania i kompletna ignorancja w tej kwestii. Wiąże się to trochę z przyczyną numer 1, ale ten problem da się bardzo łatwo rozwiązać. Sposób jest znany. Po prostu trzeba się nauczyć. Znaleźć, przeczytać, spróbować i nie bać się tego, że za pierwszym razem nie wyjdzie.

Rozwiązanie: Znajdź projektanta, który wie, chce i nie boi się.