Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir eğitmen tarafından sunulan teknik bir eğitim içeriğidir. Eğitmen, büyük dil modelleri hakkında bilgi vermektedir.
- Video, MR7B büyük dil modelinin tanıtımını ve performansını ele almaktadır. İlk olarak GPT-3.5 ve GPT-4 gibi büyük dil modellerinin güçlü bilgisayarlar gerektirdiği ve ücretli abonelik gerektirdiği belirtilir. Ardından MR7B modelinin 7 milyar parametresi olduğu, Apache 2 lisansı altında ücretsiz kullanılabildiği ve performansı detaylı olarak incelenir. Video, MR7B modelinin Hugging Face Hub'dan nasıl indirileceği, performansı ve kullanılan teknikler hakkında bilgiler sunarak, son olarak büyük dil modellerinin dört farklı modeli (pre-trained, fine-tuned, instruction tuned ve reinforcement learning) hakkında açıklamalar yaparak sona erer.
- Büyük Dil Modelleri ve Chat GPT
- Chat GPT, GPT-3.5 ve GPT-4 gibi büyük dil modelleri ile kullanılabiliyor ve bu modelleri eğitmek için güçlü bilgisayarlar gerekiyor.
- GPT-4'ü kullanmak için paralı aboneye geçmek gerekiyor çünkü arkasında güçlü bilgisayarlar çalışıyor.
- Büyük dil modelleri (large models) ismi üssünde, GPT-3'ün 177 milyar parametresi varken, GPT-4'ün yaklaşık 100 trilyon parametresi olduğu tahmin ediliyor.
- 00:41Ücretsiz Büyük Dil Modelleri
- Son zamanlarda ücretsiz kullanabileceğimiz Lama veya MR gibi modeller geliştirildi.
- Bu modelleri Colep veya Kaggle üzerine kullanabilirsiniz, tek yapmanız gereken modeli indirip kendi göreviniz için kullanmak.
- Kaggle yeni bir özellik geldi, artık notebook'a model ekleyebiliyoruz.
- 01:05MR-7B Modeli
- Bu bölümde MR-7B büyük dil modeli ele alınacak, buradaki 7B 7 milyar parametreyi ifade ediyor.
- MR modeli, eski adı Facebook, şimdiki adı Meta'nın açık kaynak kodlu büyük dil modelidir.
- MR modeli, 13 milyar parametreli Lama 2 modelden ve 34 milyar parametreli Lama 1'den daha iyi performans gösteriyor.
- 01:50MR-7B Modelinin Özellikleri
- Küçük modellerle daha kolay çalışabilirsiniz, trilyonlarca parametresi olan bir modelle çalışmak çok daha zordur.
- MR-7B modeli MR AI takımı tarafından geliştirildi ve çıktığı tarihte kendi seviyesindeki modellerin arasında en iyisi ve en güçlüsü.
- MR modeli Apache 2 lisansı altında olduğu için herhangi bir sınırlama olmadan istediğiniz amaç için kullanabilirsiniz.
- 02:46MR-7B Modelinin Kullanımı
- Bu modeli kendi web sayfasından indirebilir veya Hugging Face Hub'da yüklü olan veri setini kullanabilirsiniz.
- Hugging Face Hub'daki model kartı incelendiğinde, modelin 370 bin kez indirildiği ve cümle tamamlama örnekleri gösterildiği görülüyor.
- Modelde muhtemelen token sınırı olduğu için belli bir token'dan sonra metin üretme duruyor.
- 04:27MR-7B Modelinin Performansı
- MR AI takımı bu modeli Lama 2 ailesi ile karşılaştırmış ve MR-7B modeli Lama 2-7B'den daha iyi, Lama 13B modelinde ise hemen hemen bütün metriklere daha iyi performans gösteriyor.
- Massive Multitask Language Understanding (MML) veri setindeki performansında MR modeli Lama 2 ve 1'e göre daha iyi cevaplar vermiş.
- Knowledge, reasoning ve comprehension testlerinde de MR-7B daha iyi performans gösteriyor.
- 08:01MR-7B Modelinin Teknik Özellikleri
- MR modeli Slide Window Attention (kayan pencere yöntemi) kullanılarak geliştirildi.
- Bu yöntemde bir katmandaki bir token, bir önceki katmandaki tokenlarla haritalanır ve yukarıdaki katmanlar daha önceki bilgilere ulaşabilir.
- Bu yaklaşımın faydası modelin daha az önbellek kullanmasını sağlıyor, bu da modelinizle daha küçük bir bilgisayar kullanarak çalışabilirsiniz.
- 09:15Büyük Dil Modelleri Çeşitleri
- Büyük dil modelleri ile çalışırken dört farklı model tipi ile karşılaşırsınız: pre-trained, fine-tuned, instruction-trained ve reinforcement learning.
- Pre-trained modeller daha önce geniş veri seti üzerinde eğitilmiş temel modellerdir, diğer modellerin kullandığı iskelet gibidir.
- Fine-tuned modellerde önceden eğitilmiş pre-trained modeli kendi veri setiniz üzerinde eğiterek belirli bir görev için modelin yeteneklerini geliştirirsiniz.
- 10:35Diğer Model Çeşitleri
- Instruction-trained modellerde metinsel talimatlar kullanarak ince ayar yapılır, bu modellerin avantajı modelle konuşarak amacınıza uygun yanıtlar alabilmenizdir.
- Reinforcement learning teknikte modeller geri bildirimlerle beslenir, bir sonuç bulur ve bu sonuca göre modele ödül ve ceza verilir.
- Gelecek derste MR modelinin nasıl kullanılacağı gösterilecek.