Buradasın
Eğitimde Ölçme ve Değerlendirme: Güvenilirlik ve Geçerlilik Kavramları
youtube.com/watch?v=--2CKqLu1UoYapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitimci tarafından sunulan eğitimde ölçme ve değerlendirme konularını ele alan bir ders anlatımıdır. Eğitimci, sınavların temel özelliklerini ve bunların arasındaki ilişkileri detaylı şekilde açıklamaktadır.
- Video, ölçme araçlarının üç temel özelliğini (geçerlilik, güvenilirlik ve kullanışlılık) inceleyerek başlıyor ve güvenilirliğin alt kavramlarını (duyarlılık, objektiflik, tutarlılık ve kararlılık) detaylı şekilde ele alıyor. Ardından objektif ve subjektif sınav türleri, subjektif sınavlarda objektifliği sağlamak için kullanılan yöntemler ve güvenirliği etkileyen faktörler (soru sayısı, standart sapma, ayrılık, soru zorluğu, sınav süresi, kopya çekme, şans başarısı ve sınav dilinin açık olması) açıklanıyor.
- Videoda özellikle ÖSYM sınavlarına hazırlanan öğrencilere yönelik bilgiler sunulmakta ve sınav güvenilirliğini artırmak için öğretmenlerin dikkat etmesi gereken noktalar vurgulanmaktadır. Ders, güvenirlik ve geçerlilik konusunun bir sonraki derste devam edeceği bilgisiyle sonlanmaktadır.
- 00:24Dersin Amacı ve Geçmiş Konu Özeti
- Ders, geçen gün bırakılan konumdan devam ederek güvenirlik ve geçerliliğin yorumlanması ve karşılaştırılması üzerine odaklanacak.
- Geçen gün, bir ölçme aracında bulunması gereken özellikler incelenmiş ve öğretmenlerin sınav hazırlarken üç duruma dikkat etmesi gerektiği belirtilmiş.
- 02:16Ölçme Aracının Özellikleri
- Ölçme aracının özelliklerini kodlamak için: geçerlilik-amaca, güvenilirlik-sonuca ve kullanışlılık-maliyete ilişkilendirmek gerekir.
- Geçerlilik, bir ölçme aracının amaca hizmet etme derecesi olarak tanımlanır ve bilen-bilmeyen ayrımı yapabilme, ölçülen özelliği karıştırmadan ölçme ve sabit-sistematik hatalardan arınma özelliklerini içerir.
- Geçerlilik eksi bir ile artı bir arasında yer alır ve minimum 0,30 değerini aşmalıdır.
- 03:52Güvenirlik ve Kullanışlılık
- Güvenirlik, geçerlilikten farklı olarak sonuçlarla ilgilenir ve sonuçların tesadüfi hatalardan arınmış olup olmadığına bakar.
- Güvenirlik sıfır ile bir arasında yer alır ve minimum 0,70 değerini aşmalıdır.
- Kullanışlılık, maliyetle ilgilenir ve sınavın zaman, emek ve para açısından ek yük getirip getirmediğini değerlendirir.
- 05:20Ölçme Araçlarının Özellikleri ve İlişkileri
- Geçerli yüksek olan bir sınavın güvenirliği de kesinlikle yüksek olur çünkü amaca hizmet eden bir sınav zaten doğru sonuç vermek zorundadır.
- Güvenirliği yüksek olan bir sınavın geçerliliği hakkında kesin bir yorum yapılamaz, çünkü doğru sonuç veren bir sınav amaca hizmet etmeyebilir.
- Güvenirliği düşük olan bir sınavın kesinlikle geçerliliği de düşük olur çünkü doğru sonuç vermeyen bir sınav amaca da hizmet etmez.
- 12:12Ölçme Araçlarının Önem Derecesi
- Ölçme araçlarında en önemli özellik geçerliliktir, yani sınavın amaca hizmet etmesidir.
- İkinci önemli özellik güvenirlik olup, üçüncü önemli özellik kullanışlılık (maliyet) olur.
- Bir ölçme aracının geçerli katsayısı, güvenirlik katsayısının karekökünden büyük olamaz.
- 15:59Güvenirliğin Temel Kavramları
- Güvenirliğin temel kavramları dört türdür: duyarlılık, objektiflik, tutarlılık ve kararlılık.
- 16:26Güvenilirliğin Alt Başlıkları
- Duyarlılık, objektiflik, tutarlılık ve kararlılık, güvenirliğin alt başlıklarıdır.
- Bir öğretmen bu kavramlardan birini arttırmaya çalışıyorsa aslında güvenirliği arttırmaya çalışmaktadır.
- Sınav sorularında veya seçeneklerde bu kavramlardan birini gördüğünüzde, öğretmenin güvenirliği arttırmaya çalıştığını unutmayın.
- 17:15Duyarlılık Kavramı
- Duyarlılık (hassaslık), güvenilir sonuçlar elde etmek isteyen bir öğretmenin ölçme aracında hassas ölçümlerin olmasını sağlamasıdır.
- Duyarlılığı artırmak için iki yol vardır: birincisi birimler arası mesafeyi küçültmek, ikincisi ölçme aracındaki birim sayısını artırmaktır.
- Eğitimde duyarlılığı artırmak için tek yolu sınavda soru sayısını artırmaktır.
- 20:47Duyarlılığın Önemi
- Duyarlılığın arttığı yerde sınavın güvenilirliği de artar.
- ÖSYM'nin KPSS ve ÖABT sınavlarında soru sayısını artırmasının amacı güvenirliği artırmaktır, kapsamı genişletmek değildir.
- Duyarlılık arttığında ölçme işlemine karışan hata miktarı azalır ve ölçme sonuçlarının gerçeğe yakınlık derecesi yüksektir.
- 23:38Objektiflik Kavramı
- Güvenilir sonuçlar elde etmek isteyen bir öğretmen, puanlama güvenirliği (objektiflik) sağlamak zorundadır.
- Objektiflik, bir sınavı farklı kişiler puanladığında herkes kağıtlara benzer puanlar verebiliyorsa vardır.
- Objektiflik, puanlamada tarafsızlık veya nesnellik demektir; bir kağıdı kime verirsen ver benzer sonuçları çıkartabilmektir.
- 25:59Objektif ve Subjektif Sınavlar
- Bazı sınavlar kolay, bazıları zordur ve doğru-yanlış cevapların net ve kesin olduğu sınavlar objektiftir.
- Çoktan seçmeli testler, doğru-yanlış testler ve eşleştirme testleri objektif sınavlardır çünkü cevaplar net ve kesindir.
- Doğru-yanlış cevabının yoruma açık olduğu sınavlara subjektif testler denir, örneğin açık uçlu yazılı yoklama ve sözlü mülakat tarzı sınavlar subjektiftir.
- 29:49Subjektif Sınavlarda Objektiflik Sağlama Yöntemleri
- Objektifliği sağlamak için öğretmen sınavının yanında ayrıntılı cevap anahtarı kullanır (rubbrik veya dereceli puanlama anahtarı).
- Puanlama sırasında isimler kapatılıp puanlama yapılır, böylece öğretmenin öğrencilerle ilgili duygu ve düşünceleri puanlamaya karışmaz.
- Öğretmen sınavı farklı kişilere puanlatır ve ortalamalarını alır, veya aynı sınavı farklı zamanlarda iki defa puanlar ve ortalamayı kullanır.
- Kağıdın tümünü okuma yerine, herkesin bir sorusu aynı anda puanlanır (soru-soru okuma) böylece eşdeğer bir puanlama yapılır.
- 32:58Güvenirliğin Temel Kavramları
- Tutarlılık, sonuçların benzer çıkması anlamına gelir, ancak ÖSYM son yıllarda iç tutarlılık kavramını daha sık kullanmaktadır.
- İş tutarlılık, bir sınavda sorular arası uyumunu ifade eder; uyum yüksekse iş tutarlılık yüksektir, uyum düşükse iş tutarlılık düşüktür.
- ÖSYM'de "maddeler arası korelasyon" ifadesi kullanılırken, bu aslında "sorular arası ilişki" veya "uyum" anlamına gelir.
- 35:15İş Tutarlılığıyı Artırma Yöntemleri
- Öğretmenin benzer kapsamdan soru yazması, aynı konudan çok sayıda soru sorması iş tutarlılığıyı artırır.
- Soruların benzer hedef davranışları ölçmesi veya homojen olması da iş tutarlılığıyı artırır.
- Bir konuya ağırlık verip diğer konulara dengeli dağıtmayan bir sınavda iş tutarlılık yüksektir.
- 38:25Akademik İfadeler ve İş Tutarlılığı
- "Tek boyutlu yapıda" bir sınav, aynı kapsamdan veya benzer özelliklerden sorular içeren bir sınavdır ve iş tutarlılığı yüksek olur.
- Çok boyutlu yapıda bir sınav, farklı konulardan oluşur ve iş tutarlılığı düşüktür.
- İş tutarlılıkla kapsam geçerli ters orantılıdır; iş tutarlı arttıkça kapsam geçerli düşer.
- 39:58Kararlılık ve Güvenilirlik
- Kararlılık, hazırlanan ölçme aracının zamana karşı dirençli ölçümler yapmasıdır.
- Bir sınavı tekrar tekrar uygulayan ve aradan zaman geçmesine rağmen benzer sonuçlar elde eden bir sınav kararlıdır.
- Kararlı ölçümler yapan sınavların güvenilirliği yüksek kabul edilir.
- 41:01Güvenilirliğin Alt Başlıkları
- Duyarlılık, objektiflik, tutarlılık ve kararlılık güvenirliğin alt başlıklarıdır.
- Sınavlara soru ekleme, ayrıntılı cevap anahtarı hazırlama, objektif puanlama gibi yöntemler güvenirliği artırır.
- Güvenilirliği etkileyen etmenler olumlu veya olumsuz etkiler gösterebilir.
- 42:58Güvenilirliği Olumlu Etkileyen Etmenler
- Sınavdaki soru sayısını artırmak duyarlılığı ve dolayısıyla güvenilirliği artırır.
- Sınavlara homojen yapıda soru eklemek güvenilirliği olumlu etkiler.
- Sınavlarda soru sayısını heterojen şekilde artırmak güvenilirliği olumsuz etkileyebilir.
- 44:36Sınav Sorularının Homojen ve Heterojen Arttırılması
- Homojen arttırmada öğretmen sınavına benzer kapsamdan ve hedef davranışlara yönelik sorular ekler.
- Heterojen arttırmada öğretmen sınavına farklı kapsamdan ve hedef davranışları ölçen sorular ekler.
- Sınavlara soru eklenmesi (homojen veya heterojen) sınavın duyarlılığını artırır çünkü duyarlılık soru sayısından etkilenir.
- 46:12Güvenirlik ve Soru Arttırma Etkisi
- Soruları homojen arttırdığında hem duyarlılık hem de iç tutarlılık artar, bu da sınavın güvenirliğini çok iyi şekilde artırır.
- Soruları heterojen arttırdığında duyarlılık artarken iç tutarlılık azalır, ancak duyarlılık iş tutarlılığından daha baskın olduğundan güvenirlik bir miktar artar.
- Soruları heterojen arttırdığında sınavın kapsam geçerliliği daha çok artar.
- 48:38Soru Sayısı ve Güvenirlik İlişkisi
- Sınavlarda soru sayısı ile güvenirlik arasında doğru orantı vardır, ancak her sınav için bir doyum noktası vardır.
- Bir noktaya kadar soru sayısını arttırmak güvenirliği artırır, ancak bu noktadan sonra soru sayısını arttırmak güvenilirliği düşürebilir.
- Soru sayısını arttırmak güvenirliği artırmak için önemli bir faktördür.
- 49:56Güvenirlik ve İstatistiksel Ölçümler
- Standart sapma, varyans ve ranj merkezi dağılım ölçüleridir ve puanların birbirine yakınlığını gösterir.
- Güvenirlik ile standart sapma, varyans ve ranj arasında doğru orantı vardır.
- Güvenirliğin temel göstergesi standart sapmadır; standart sapma değeri yüksek olan sınavın güvenirliği daha yüksektir.
- 51:43Ayrıcılık ve Güvenirlik İlişkisi
- Ayrıcılık, sınavın bilenle bilmeyenin ayrımını yapmasıdır ve geçerliliği gösterir.
- Geçerlilik yüksekse güvenirlik de yüksek çıkar.
- Ayrıcılığın yüksek olması iyi bir şeydir çünkü geçerliliği ve güvenirliği gösterir.
- 53:07Soru Zorluğu ve Süre Etkisi
- Soruları zorlaştırmak veya kolaylaştırmak tesadüfi hata miktarını artırır, bu da güvenirliği düşürür.
- Güvenirliği yüksek tutmak için öğretmenler orta güçlükte (PC değeri 40-60 aralığındaki) soruları seçmelidir.
- Süreyi kısaltmak veya uzatmak da tesadüfi hata miktarını artırır, bu da güvenirliği ve geçerliliği düşürür.
- 56:18Güvenirlik ve Geçerlilik İlişkisi
- Kopya çekme davranışı, kimin çektiği ve nasıl çekildiği bilinmeyen bir durumdur ve kopyanın karışması sonuçlardaki tesadüfi hatayı arttırır.
- Güvenilirliği düşüren her şey geçerliliği de düşürür, ancak bunun tersi söylenemez.
- Soru sayısı arttıkça duyarlılık artar ve bu güvenilirliği arttırır; soruları homojen artırmak güvenilirliği çok iyi, heterojen artırmak ise bir miktar artırmaktadır.
- 57:29Güvenirliği Etkileyen Faktörler
- İstatistik sorularında güvenilirliği yorumlamak için standart sapmaya bakılır, sapması yüksek olan sınavın güvenilirliği yüksektir.
- Ayrılık (bilenle bilmeyenin ayrımı) yüksek olduğu yerde öncelikle geçerlilik yüksekten, sonra güvenilirlik yüksek çıkar.
- Soruların zor ya da kolay olması, sürenin uzun ya da kısa olması ve kopya çekmek güvenilirliği ve geçerliliği düşürür.
- 58:02Şans Başarısı
- Şans başarısı, atarak doğru cevaba ulaşma ihtimalidir ve sadece seçenekli sınavlarda (çoktan seçmeli, doğru-yanlış, eşleştirme) vardır.
- Şans başarısı yüksek olduğu sınavlarda tesadüfi hata artar, güvenilirlik düşer ve bu da geçerliliği düşürür.
- Öğretmenler şans başarısını önlemek için üç yolla başvurabilir: düzeltme formülü kullanma, seçenek sayısını arttırma ve açıklama isteme.
- 1:02:37Güvenirliği Artıran Öğretmen Uygulamaları
- Öğretmenler açık, net ve anlaşılır bir dil kullanmalıdır, aksi takdirde her okuyan farklı bir anlam çıkarabilir.
- Sınavlarda yönergeler bulunmalıdır çünkü bu çocuğun hata yapmasını önler ve güvenilirliği arttırır.
- Sorular kolaydan zora sıralanmalıdır çünkü zor bir soruyla başlamak öğrencinin kaygısını arttırır.
- 1:04:04Güvenirliği Etkileyen Faktörlerin Özeti
- Güvenilirliği olumlu etkileyen faktörler: soru sayısını artırmak, sapmanın yüksek çıkması ve ayrılığın yüksek olmasıdır.
- Güvenilirliği olumsuz etkileyen faktörler: soruların zor ya da kolay olması, sürenin uzun ya da kısa olması, kopya çekilmesi ve şans başarısının yüksek olmasıdır.
- Öğretmenlerin açık dil kullanması, yönergeler vermesi ve soruları kolaydan zora sıralaması güvenilirliği artırmaya çalışmak için yapılan uygulamalardır.