Nie tylko sama tworzę koncepcje ACDC , ale jestem też zapraszana do konsultacji przygotowanych Centrów, bądź biorę w nich udział jako Asesor. Z perspektywy takich ról jest mi oczywiście łatwiej dostrzec niedociągnięcia i mankamenty przygotowania i stosowania tej metody oceny kompetencji. Poniżej przedstawiam niektóre z nich, które mogą mieć znaczący, negatywny wpływ na rzetelność badania.
- Brak punktu odniesienia (brak optymalnego modelu kompetencji)- utrudnia interpretację wyników. Jaki wynik będzie interpretowany jako wysoki? Czy osiągnięcie najwyższego wyniku to dobrze, czy nie? (wbrew pozorom zbyt wysoki wynik może być niekorzystny, gdyż oznacza on, iż osoba może mieć zbyt wysokie kompetencje dla danego stanowiska). Czy to, że osoba osiągnęła wysokie wyniki np. w trzech kompetencjach, a w pozostałych trzech osiągnęła wyniki niskie oznacza, że nie kwalifikuje się na dane stanowisko? To tylko niektóre z problemów, jakie powstają przy braku optymalnego profilu kompetencji. Pamiętajmy przy tym, że „optymalny”, to taki, który najlepiej oddaje potrzebne kompetencje na danym stanowisku, nie muszą to być najwyższe możliwe do osiągnięcia wyniki.
- Niejasny opis kryteriów i punktacji, bądź przeciwnie- nadmierne dążenie do matematycznego opisu kompetencji i jej wyznaczników (nadmierna szczegółowość), czyli radykalizacja podejścia. Nadmiernie ogólne opisy pozostawiają zbyt duże pole do różnorodnych interpretacji, Asesor ma trudności z umiejscowieniem danego zachowania na ocenianej skali. Z drugiej strony zbyt ścisłe opisanie poprzez wiele wyznaczników, co do których należy podjąć decyzję „tak/nie” prowadzi do zbyt technicznego podejścia. W praktyce Asesor ma trudności z oceną, gdyż w wielu sytuacjach dany wyznacznik zachowania nie pojawia się; jednakże jest on na tyle drobny i specyficzny, że może nie pojawić się, nawet w dwóch przygotowanych zadaniach a pomimo tego, jego brak nie wpływa znacząco na efektywność realizacji zadania. Pojawia się wtedy wątpliwość co do znaczenia diagnostycznego tak szczegółowo opisanego wyznacznika.
- Niedostosowane ćwiczenia/zadania – nie stosowanie zasady, że zadania w sposób wiarygodny powinny oddawać rzeczywistość obecnej lub przyszłej pracy badanego; wykorzystywanie ćwiczeń adekwatnych do sytuacji szkoleniowych („budowanie wieży z klocków”) lub zadań z innej branży osłabia efekt prognostyczny oraz wizerunkowy Centrum.
- Nie przygotowanie co najmniej dwóch zestawów równoważnych zadań – w przypadku powtarzania badania ( kilka grup, badanie w odstępie czasu) stwarza problemy. Uczestnicy wynoszą doświadczenia i przekazują innym badanym, występuje efekt uczenia się.
- Nie stosowanie zasady- minimum 2 zadania badające 1 kompetencję ( i opisujące ją wyznaczniki), zwiększa niebezpieczeństwo nadinterpretacji wyników. Istotne jest, że zadania te powinny wymagać pojawienia się opisanych wyznaczników danej kompetencji, a nie tylko samej kompetencji. Np. jeśli chcemy zbadać umiejętność motywowania, to nie możemy przygotować zadań w ten sposób, aby w jednym z nich osoba pokazywała swoje umiejętności tworzenia jasnych kryteriów przyznawania premii, a w drugim prowadziła rozmowę z pracownikiem, w trakcie której powinna wyrazić pochwałę, gdyż w istocie badamy dany przejaw (wskaźnik) kompetencji tylko raz.
- Niewystarczające przygotowanie asesorów , prowadzi do subiektywizacji oceny. W szkoleniu powinny być rozwijane umiejętności: bezstronnej obserwacji i zapisu, katalogowania zachowań oraz przede wszystkim oceny (kategoryzacji) zachowań, udzielania informacji zwrotnej ( jeśli Asesorzy będą w trakcie trwania Centrum udzielać informacji rozwojowej).
- Brak kontroli czasu/ niedoszacowanie czasu trwania poszczególnych zadań, co prowadzi do opóźnień, braku standaryzacji czasu przeznaczonego na poszczególne zadania w kolejnych edycjach Centrum, przyznanie uczestnikom zbyt mało czasu na niektóre zadania ( zwłaszcza te pod koniec dnia) itp. Nie tylko utrudnia zebranie rzetelnych danych, ale tworzy również negatywny wizerunek co do profesjonalizmu osób prowadzących Centrum. Prowadzący Centrum powinien dostać rzetelny feedback odnośnie sposobu prowadzenia, co np. w sytuacji, kiedy prowadzącym jest szef, a asesorami jego podwładni jest często utrudnione.
- Podział czasu na badanie poszczególnych kompetencji– przydzielanie na badanie niektórych kompetencji zbyt dużo czasu w stosunku do innych kompetencji ( nieuzasadnione różnymi wagami, które przypisujemy poszczególnym kompetencjom)- nie otrzymujemy adekwatnych danych w zakresie wszystkich kompetencji.
- Feedback w czasie DC– jeśli stosujemy informację zwrotną do uczestników pomiędzy poszczególnymi zadaniami, to jej zakres powinien być z góry uzgodniony i kontrolowany. Inaczej trudno porównywać wyniki pomiędzy różnymi badanymi grupami ( jedna grupa może dostać więcej wskazówek niż inna).
- To jednak tylko/aż 70% trafności – traktowanie wyników Centrum jako ostatecznej wyroczni, a nie użytecznego i jednego z najbardziej trafnych narzędzi diagnostycznych. Uwzględnienie w interpretacji wyników pola niepewności.
Autor: Danuta Mirek
Comments