Şirket içi İngilizce eğitiminin sonucu nasıl ölçülür
Eğitim bütçesi onaylanırken sorulmayan soru altı ay sonra mutlaka sorulur: "Bu eğitim işe yaradı mı?" Elinizde sadece bir memnuniyet anketi varsa bu soruya cevap veremezsiniz.
Memnuniyet anketi neyi ölçer
Eğitimin son gününde doldurulan beş soruluk anket, katılımcının eğitimi sevip sevmediğini ölçer. Bu bilgi boş değil. Eğitmeni sevmeyen bir ekip derse gelmez, gelmeyen ekip de öğrenmez. Ama sevmek ile öğrenmek ayrı şeyler. Bizim gördüğümüz en yüksek memnuniyet puanlarının bazıları, en az konuşturulan gruplardan geldi: ders keyifli geçmiş, kimse zorlanmamış, kimse de işte bir şeyi farklı yapmaya başlamamış.
Eğitim değerlendirmede sık kullanılan Kirkpatrick modelinin dört basamağı burada işe yarıyor: tepki, öğrenme, davranış, iş sonucu. Memnuniyet anketi birinci basamakta kalır. İK'nın ve bütçeyi onaylayan yöneticinin asıl merak ettiği şey üçüncü basamak: insanlar işte farklı bir şey yapıyor mu?
Başta ölçmediyseniz sonda ölçemezsiniz
En sık karşılaştığımız durum şu. Eğitim bitiyor, İK bir seviye testi yaptırıyor, sonuçlar "B1, B1, B2, A2" diye geliyor. Başta ne olduğu bilinmiyor. Ya da başta bir kurumun testi, sonda başka bir kurumun testi kullanılmış. İki kurumun "B1"i aynı şeyi ölçmüyor, bu iki sonuç yan yana konamaz.
Ölçüm planı eğitim başlamadan yapılmalı ve üç şey sabit kalmalı: aynı araç, aynı görev, aynı puanlama ölçütü. Bizim sprintlerde bu iş ilk ve son haftadaki konuşma kaydıyla yapılıyor. Katılımcı iki kez aynı görevi yapıyor (işini ve haftasını iki dakikada anlatmak), iki kayıt aynı dört ölçütle puanlanıyor: akıcılık, doğruluk, kelime, anlaşılır telaffuz. Puanlayan eğitmen ikinci kaydı puanlarken ilk puanı görmüyor.
Altı haftada ne beklenmeli
Dürüst olalım: altı haftalık bir eğitimde ekibin CEFR seviyesinde değişim görmeyi beklemeyin. Cambridge English'in yaklaşık hesabına göre bir seviyeden ötekine geçmek 150-200 saatlik rehberli çalışma istiyor. Altı haftalık bir sprint bunun bir kısmı. Altı haftada görülebilecek ve ölçülebilecek şeyler başka:
| Gösterge | Nasıl ölçülür | Altı haftada |
|---|---|---|
| Devam | Ders bazında kayıt | Hemen görünür |
| Görev tamamlama | Platform kaydı | Hemen görünür |
| Konuşma puanı | Aynı görev, başta ve sonda, 1-5 ölçek | Genelde bir iki ölçütte bir puan |
| İşteki davranış | Yöneticiye sorulan sabit sorular | İlk işaretler |
| İş sonucu | Örneğin dış görüşmeleri kimin yürüttüğü | Aylar sürer |
Bir puan az gibi görünebilir. Akıcılıkta 2'den 3'e çıkmak, cümle ortasında uzun duraklamalardan, kısa ve toparlanabilen duraklamalara geçmek demek. Toplantıda bunun karşılığı, sözü başkasına bırakmadan cümleyi bitirebilmek.
Yöneticiye üç soru
Davranışı ölçmenin en ucuz yolu, ekibin yöneticisine eğitimin başında ve sonunda aynı soruları sormak. Biz şu üçünü öneriyoruz:
- Son iki haftada bu kişi İngilizce bir toplantıda kendiliğinden söz aldı mı?
- Yabancı bir muhataba e-postayı kendisi mi yazdı, yoksa birine kontrol ettirdi mi?
- Bir telefon ya da video görüşmeyi başından sonuna kendisi yürüttü mü?
Cevaplar evet, hayır ya da bilmiyorum. Bilimsel bir ölçüm değil. Ama yöneticinin gözlemi, İK'nın görmek istediği şeye en yakın veri. "Bilmiyorum" cevabı da bir bilgi: yönetici o kişinin İngilizce iş yaptığı ortamda hiç bulunmuyorsa, eğitimin etkisini görecek kişi de o değildir. Bu durumda soruyu kişinin İngilizce çalıştığı muhataba yakın birine sormak gerekir.
Devam oranı bütün ölçümü bozabilir
Derslerin yarısına giren birinin sondaki puanı eğitim hakkında pek bir şey söylemez; o puan daha çok kişinin takvimini anlatır. Raporlarda bu yüzden iki grubu ayrı gösteriyoruz: derslerin en az yüzde sekseninde bulunanlar ve altında kalanlar. İki grubun konuşma puanlarındaki değişim çoğu zaman belirgin şekilde farklı çıkıyor. Fark yoksa, o zaman eğitimin kendisini sorgulamak gerekir.
Devamın düşmesi de bir veri. Bizim gruplarda en kritik dönem üçüncü ve dördüncü haftalar. İş yoğunlaşıyor, bir ders kaçıyor, ikincisi kaçınca kişi kendini geride hissediyor. Haftalık devam özetinin amacı bu anı yakalamak. İki hafta üst üste derslerin yarısından azına giren kişiyi işaretliyoruz; eğitmen ona yazıyor, İK da bilgi sahibi oluyor. Altıncı haftada fark etmek yerine üçüncü haftada fark etmek, ölçümün de anlamlı kalmasını sağlıyor.
Ölçümü boşa çıkaran alışkanlıklar
Birincisi, sadece yazılı test kullanmak. Yazılı test dilbilgisi ve okumayı ölçer. Türkiye'de İngilizce öğrenmiş çoğu kişide yazılı sonuç konuşmanın önündedir; eğitim konuşmayı hedefliyorsa yazılı test değişimi göremez.
İkincisi, katılımcıya kendi seviyesini sormak. İnsanlar kendini ya olduğundan kötü ya da olduğundan iyi görür, ve bu algı eğitim boyunca ölçülen performanstan bağımsız değişebilir. Kendini değerlendirme anketi motivasyon hakkında bilgi verir, seviye hakkında değil.
Üçüncüsü, ölçümü eğitimi veren kuruma bırakıp hiç kontrol etmemek. Bunu biz söylüyoruz, evet. Raporumuzdaki puanların nasıl verildiğini, hangi görevle ölçüldüğünü ve kimin puanladığını sorun. İsterseniz başlangıç ve bitiş kayıtlarından birkaçını şirketinizden bir İngilizce konuşan çalışanla birlikte dinleyelim. Puanları savunabiliyor olmamız gerekir.
Rakamların dışında kalan
Bazı değişiklikler ölçeğe girmiyor. Telefonu açmadan önce yaşanan o kısa tereddüdün azalması, toplantıda kamerayı açık tutmak, yabancı bir müşteriye "Could you say that again?" diye sormaktan çekinmemek. Bunları rakama çevirmeye çalışmak yerine sprint sonunda katılımcıya tek bir soru soruyoruz: "Altı hafta önce yapmadığın ama şimdi yaptığın bir şey var mı?" Cevaplar raporda eğitmen notunun yanında duruyor.
İK'ya giden raporun bütün bölümlerini raporlama sayfasında anlattık.