Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitimci tarafından sunulan ölçme değerlendirme dersinin bir bölümüdür. Eğitimci, ÖSYM sınavlarına hazırlık amacıyla güvenilirlik ve geçerlik kavramlarını örnek sorular üzerinden anlatmaktadır.
- Videoda, test güvenilirliği ve geçerliliği konuları detaylı olarak ele alınmaktadır. Eğitimci, duyarlılık, objektiflik, kararlılık, tutarlılık gibi güvenilirlik alt kavramlarını ve görünüş geçerliliği, kapsam geçerliliği, yapı geçerliliği, yordama geçerliliği gibi geçerlik türlerini örnek sorular üzerinden açıklamaktadır. Ayrıca, test güvenilirliğini artırmak için dikkat edilmesi gereken faktörler ve sınav sorularının nasıl değerlendirilmesi gerektiği de anlatılmaktadır.
- Video boyunca ÖSYM sınavlarından çıkmış sorular çözülerek konular pekiştirilmekte, özellikle testlerin güvenilirlik ve geçerlilik derecelerinin nasıl değerlendirileceği örneklerle açıklanmaktadır. Eğitmen, sınav sorularının analiz edilmesi ve doğru cevaba ulaşma stratejileri hakkında da bilgiler vermektedir.
- 00:16Güvenilirlik ve Geçerlik Sorularının Çözümü
- Videoda güvenilirlik ve geçerlik konuları üzerinden soru çözümleri yapılacak ve soruların mantığı nasıl yürütüleceği incelenecek.
- Ölçme değerlendirme derslerinde çıkmış soruların çözümü gösterilecek.
- Güvenilirlik ve geçerlik sorularının nasıl yorumlanacağı ve mantığı nasıl yürütüleceği adım adım analiz edilecek.
- 02:00Güvenilirlik Kavramları
- Güvenilirliğin alt kavramları (duyarlılık, objektiflik, kararlılık, tutarlılık) sorularda görülürse, bu kavramların güvenirlikle ilgili olduğu anlaşılmalıdır.
- Duyarlılığı artırmak için iki yol vardır: birimler arası mesafeyi küçültmek veya birim sayısını çoğaltmaktır.
- Birden fazla puanlayıcının benzer sonuçlar elde etmesi objektiflik (puanlamada tarafsızlık) anlamına gelir.
- 05:25Tutarlılık Kavramı
- Test maddesinin (sorunun) testin bütünüyle uyumlu olması iç tutarlılık kavramına işaret eder.
- İç tutarlılık, sınavdaki soruların birbiriyle uyumuna bakar ve sorular arası uyum yüksekse iç tutarlılık yüksektir.
- İç tutarlılığı artırmak için aynı kapsamdan çok sayıda soru sorulmalı, benzer hedefler ölçülmalı ve sorular homojen yazılmalıdır.
- 07:17Objektiflik Örneği
- Bir öğretmen kısa ve uzun cevaplı maddeleri bulunan yazılı sınav geliştirmiş ve cevap kağıtlarını puanlarken tüm öğrencilerin aynı sorularını aynı anda puanlamış.
- Bu yöntem (soru soru okuma) objektifliği sağlamak için kullanılır.
- Öğretmenin temel gerekçesi, öğrencinin bir maddeye verdiği cevabın diğer cevaplarına verilecek puanları etkilemesini önlemektir.
- 11:44Sınav Güvenirliği ve Duyarlılık
- ÖSYM'nin yazarı bir öğretmen aynı kapsamda ve düzeyde iki farklı sınav (25 soruluk ve 10 soruluk) hazırlamış ve aynı kuru gruba uygulamış.
- Birinci sınavdan elde edilen puanların güvenirliği daha yüksektir diyen kişinin iddiasını destekleyebileceği açıklama, 25 soruluk testin duyarlılığının 10 soruluk testten daha yüksek olmasıdır.
- Sınavın soru sayısını fazla tutmanın en temel amacı duyarlılığı (hassas ölçümler yapma) artırmaktır, bu da hata oranını azaltır ve gerçeğe yakınlığı artırır.
- 14:27Sınav Güvenirliği ile İlgili Seçenekler
- Soruların puanlanma şekli soru tipine göre değişebilir ve puanlamanın nesnelliği (objektifliği) ölçmeden kaynaklanan hatayı azaltır.
- Soruların ayırt edicilik dereceleri ve güçlük dereceleri test puanlarının güvenilirliğini etkiler.
- Doğru cevap "Edirne" seçeneğidir: "Testteki soru sayısı arttıkça ölçme sonuçlarına karışan hata azalır."
- 18:16Sınav Geçerliliği Türleri
- Yordama geçerliliği, bir sınavın geleceğe yönelik doğru tahmin yapıp yapmadığı ile ilgilenen geçerlilik türüdür.
- Kapsam geçerliliği, sınavın içeriği ile ilgilenir ve sınavın tüm kapsamı örnekleyip örneklemediğini test eder.
- Zorluk derecesi sınavın zorluğu ile ilgilidir, iş tutarlığı ise sorular arası uyumu inceler, puanlayıcı güvenilirliği ise objektiflik (nesnelliği) ifade eder.
- 20:27Test Geçerliliği Analizi
- Bir araştırma için 7. sınıf sosyal bilgiler dersi kazanımlarını ölçen 30 maddelik çoktan seçmeli test ve aynı kazanımları ölçen 60 maddelik doğru-yanlış test hazırlanmıştır.
- Soruların ölçtükleri beceriler uzmanlarca incelenmiş ve iki sınav kapsam bakımından karşılaştırılmıştır.
- İki öğrenci grubuna farklı testler uygulanmış, elde edilen puanların alfa katsayıları ve testlerin madde güçlük ortalamaları belirlenmiştir.
- 23:04Test Geçerliliği Ölçüleri
- Alfa katsayısı (Kromba alfa katsayısı) doğru ve yanlış cevabın yoruma açık olduğu testlerde kullanılır ve iş tutarlılığı test eder.
- Madde güçlük ortalamaları, soruların güçlük bakımından ortalamasına bakarak testin zorluk derecesini ölçer.
- İki grup öğrencinin sosyal bilgiler dersi yıl sonu notu ile test puanları arasındaki korelasyon yordama geçerliliğini ölçer.
- 26:26Objektiflik Testi
- Yüksek lisans giriş sınavının yanıtları ilgili ana bilim dalında bulunan öğretim elemanları tarafından okunmuş ve puanların tutarlılığına bakılmıştır.
- Bir ölçme aracının farklı kişilere puanlatılmasının amacı, bu kişilerin benzer sonuçlar verebilmesi ve ölçme aracının objektifliğini test etmektir.
- Objektiflik testinde puanlama güvenilirliği veya puanlayıcı güvenilirliği terimleri de kullanılır.
- 29:23Güvenilirliği Artırma Yöntemleri
- Testin güvenilirliğini artırmak için öğretmenin öncelikle dikkate alması gereken faktörler vardır.
- Güvenilirliği etkileyen etmenler arasında soru sayısını artırmak, standart sapmanın yüksek çıkması ve ayırıcılığın yüksek olması bulunmaktadır.
- 30:31Test Güvenirliği Artıran Öncelikli Etmeler
- Test sorularının ve seçeneklerinin dilbilgisi kurallarına uygun olması sınavların güvenirliğini arttırır, ancak öncelikli bir madde değildir.
- Açık, net ve anlaşılır dil kullanmak, yoruma açık ifadelerle soru yazmamak güvenirliği arttıran öncelikli maddelerden biridir.
- Soru kökünün ifade bakımından seçeneklerle tutarlı olması tesadüfi hatayı engelleyerek güvenirliği artırır.
- 32:05Güvenirliği Artıran Diğer Etmeler
- Test kapsamında ölçülmek istenen her özelliğe ait soru bulundurmak kapsam geçerli ile alakalıdır, güvenirlikle doğrudan ilgili değildir.
- Seçeneklerin birbirine eşit ya da yakın uzaklıkta olması, seçenekleri eleme yapmasını önleyerek güvenirliği artırır.
- Soruların zor ya da kolay olması, cevaplama süresinin kısa veya uzun olması güvenirliği düşürür, orta güçlükte sorular ve uygun süre güvenirliği artırır.
- 35:06Güvenirliği Artıran Diğer Etmeler
- Sorularda yoruma açık ifadeler kullanılması her okuyanın farklı bir anlam çıkarmasına neden olur ve güvenirliği düşürür.
- Puanların bir puanlayıcının diğerine değişmesi objektifliğin olmadığını gösterir ve güvenirliği düşürür.
- Soruların bilenle bilmeyeni ayırıcı nitelikte olması önce geçerliliği artırır, geçerlilik yüksek olan sınavların güvenirliği de yüksek çıkar.
- 36:58ÖSYM Sorusu Örneği
- ÖSYM'nin bir sorusunda fen bilgisi proje ödevinin puanlanması için derse giren öğretmenin yerine diğer sınıfın öğretmeninin puanlama yapması, projelere kod numaraları verilmesi ve öğrenci isimlerinin gizlenmesi objektifliği sağlamayı amaçlamaktadır.
- Değerlendirme için kapsamlı, detaylı ve açık bir puanlama rehberi (rubrik) oluşturulması da objektifliği artırır.
- Soruda iç tutarlılık, kullanışlık, görünüş geçerliliği ve yapı geçerliliği gibi kavramlar sorunun içeriğine uygun değildir.
- 39:58Güvenilirlik Artırıcı Etmenler
- Güvenilirliği arttıran etmenler arasında ayırt edicilik gücünün yüksek olması, öğrencilerin sınava ilişkin olumsuz psikolojik yapılarının giderilmesi, sürenin tüm öğrencinin düzeyine uygun belirlenmesi ve kopya çekilmemesi için önlem alınması bulunmaktadır.
- Yeterli öğrenemeyen ve düşük puan alan öğrencilere ek puan verilmesi güvenilirliği arttırmaz çünkü bu sistematik hatadır ve sadece geçerliliği düşürür.
- Güvenilirlik ve geçerlilik arasındaki ilişki: Ayırt edicilik yüksekse geçerlilik yüksek çıkar, geçerlilik yüksek olduğu yerde güvenilirlik de yüksek çıkar.
- 42:39Görünüş Geçerliliği
- Görünüş geçerliliği, sınavın türünü ve amacını herhangi bir kişi doğru algılayabilmesiyle ilgilidir.
- Bir sınavda, sınavın ilgili branşla ilgili kavramları, görselleri, grafikleri ve tabloları kullanması gerekir, aksi takdirde görünüş geçerliliği düşüktür.
- Sosyal bilgiler dersinde başarılı olan bir öğrenci sosyal bilgiler sorusunu matematik sorusu gibi algılayıp boş bırakması, sınavın görünüş geçerliliğinin düşük olduğunu gösterir.
- 45:24Geçerlilik Türleri
- Kapsam geçerliliği, sınavın içerik bakımından amaca hizmet edip etmediğiyle ilgilidir; tüm konulardan soru varsa kapsam yüksektir, yoksa düşüktür.
- Yordama geçerliliği, sınavın geleceğe yönelik doğru tahmin verip vermediğiyle ilgilidir ve karşılaştırma gerektirir.
- Yapı geçerliliği, sınavın ayrıcılıkla ilgilenir ve bilenle bilmeyeni ayırt edebilmesiyle ilgilidir.
- Uygunluk geçerliliği, sınavın geçmişte uyumlu sonuçlar verip vermediğiyle ilgilidir ve geçmişteki sonuçlarla karşılaştırılır.
- 46:44Yordama ve Uygunluk Geçerliliği
- Pazarlama elemanları seçiminde kullanılan bir testin, işe alınan elemanların ilk aydaki başarılı satış sayıları ile karşılaştırılması, yordama geçerliliği ile ilgilidir.
- Yordama ve uygunluk geçerliliği sorularında, sınavın bir şeyle karşılaştırılması durumunda cevap yordama veya uygunluk olacaktır.
- Yordama geçerliliği, sınavın geleceğe yönelik doğru tahmin verip vermediğiyle ilgilidir, uygunluk geçerliliği ise geçmişteki sonuçlarla uyumlu olup olmadığıyla ilgilidir.
- 51:05Kapsam Geçerliliği
- Kapsam geçerliliği, sınavın içeriği ile ilgilidir ve sınavın amaca hizmet etmesiyle ilgilidir.
- Başarı testinde kapsam geçerliliği yüksek ise, her konudan soru sorulmuştur.
- 51:42Test Geçerliliği ve Güvenilirliği
- Sorular konulara dengeli dağıtılmışsa, kapsam geçerli yüksek olur.
- Tutarlı ve kararlı sonuçlar veren bir test güvenirlik ölçüsüdür.
- Testteki soruların konu alanını iyi bir şekilde örneklemesi kapsam geçerliyi gösterir.
- 53:34Güvenirlik ve Geçerlilik İlişkisi
- Soruların güçlük düzeyinin öğretim düzeyine uygun olması güvenirlikle ilgilidir.
- Öğrencilerin motivasyonu tesadüfi hata sebebidir ve güvenirlikle ilgilidir.
- Güvenirlik ve geçerlilik arasında ilişki vardır, geçerlilik yüksekse güvenirlik de yüksek çıkar.
- 54:19Yordama Geçerliliği
- Öğretim üyesi öğrencilerin mezuniyet dereceleri ile ÖSS puanları arasındaki korelasyon 85 bulunmuşsa, bu pozitif ve yüksek bir korelasyon değeridir.
- Yüksek korelasyon değeri, iki test arasındaki benzerliğin çok yüksek olduğunu gösterir.
- Üniversiteye girişte kullanılan sınavın geleceğe yönelik doğru tahmin verip vermediğini test eden geçerlilik yordama geçerlidir.
- 56:35Kapsam Geçerliliği
- Bir matematik öğretmeni problem çözme becerilerine yönelik etkinliklere ağırlık verirken sınav daha çok dört işlem yapabilme becerisini ölçerse, sınav amaca hizmet etmez.
- Sınavın içerik bakımından amaca hizmet edip etmediği ile ilgilenen geçerlilik kapsam geçerlidir.
- Sınavda tüm konulara dengeli soru dağıtılmazsa kapsam geçerli düşer.
- 59:01Test Soru Dağılımı ve Etkileri
- Öğretmen her bir konu için güçlük ve ayırt edici maddeler (sorular) kullanmayı planlarken, ikinci konuyla ilgili yeterli ayırıcılıkta madde olmadığını fark eder.
- İkinci konu yerine üçüncü konudan soru yazmak, kapsam geçerliyi düşürür çünkü bazı hedefler göz ardı edilir.
- C konusundan soru sayısını artırmak iç tutarlılığı (iş tutarlılığı) artırır, ancak kapsam geçerliyi düşürür.
- 1:02:53ÖSYM Sorusu Analizi
- ÖSYM, bilenle bilmeyeni ayırt edecek şekilde hikayeler oluşturarak sorular hazırlar.
- Soruda öğrencilerin sözel yeteneklerini ölçmek için hazırlanmış bir A testi inceleniyor.
- A testinin alfa katsayısı 91 hesaplanmış, bu iş tutarlılık (güvenilirlik) ölçüsüdür ve minimum 70 olması gerekir.
- 1:04:31Test Geçerliliği ve Güvenilirliği
- A testinin uygulandığı gruba, sözel yetenekleri geçerli olarak ölçtüğü bilinen bir B testi de uygulanmıştır.
- "Geçerli olarak ölçtüğü bilinen" ifadesi, testin amaca hizmet ettiğini ve geçerliliğinin yüksek olduğunu gösterir.
- Geçerli yüksek olan testin güvenilirliği de yüksek çıkmalıdır, ancak tersi söylenemez.
- 1:05:58Testler Arası Korelasyon
- A ve B testleri arasındaki korelasyon 0,15 olarak düşük bulunmuştur.
- İki test arasındaki korelasyon düşük ise, bu testler arasındaki benzerlik düşüktür denir.
- Sözel yetenekleri ölçen iki testin benzerliğinin düşük olması, bir testte problem olduğunu gösterir.
- 1:07:01Sorunun Çözümü
- A testinin güvenilirliği yüksek ancak geçerliliği hakkında bilgi verilmemiş.
- B testinin geçerli ve güvenilirliği yüksek olduğu bilinmektedir.
- Korelasyonun düşük olması nedeniyle A testinin geçerliliğinin düşük olduğu sonucuna varılır.
- 1:08:52Kapanış
- Çıkmış soruların özellikle incelenmesi ve çözülmesi tavsiye edilmektedir.
- Öğrencilere dinlenmeleri, kendilerine iyi bakmaları ve dualarını eksik etmemeleri önerilmektedir.