Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, Doçent Dr. Dursun Akaslan tarafından Harran Üniversitesi Bilgisayar Mühendisliği'nde verilen doğal dil işleme dersinin sekizinci ünitesidir.
- Video, doğal dil işleme kütüphanelerine giriş yaparak başlıyor ve kütüphanelerin sınıflandırılması hakkında bilgi veriyor. Ardından NLTK (Natural Language Toolkit) kütüphanesinin tanıtımı ve kurulum aşamaları detaylı olarak anlatılıyor. Daha sonra yüklü kütüphanelerin kontrolü, corpus yükleme işlemleri ve metin verilerinin işlenmesi (kelime ve cümle sayımı, metin parçalama gibi) konuları ele alınıyor.
- Türkçe için Zemberek, İstanbul Teknik Üniversitesi'nin web tabanlı kütüphanesi ve Turkish Piri gibi örnekler verilirken, video izleyicilere Python uygulaması yapmaları için bir görev de veriliyor.
- 00:04Doğal Dil İşleme Kütüphaneleri Giriş
- Doçent Doktor Dursun Akaslan, Harran Üniversitesi Bilgisayar Mühendisliği'nde görev yapmaktadır.
- Bu derste yaygın olarak kullanılan doğal dil işleme kütüphanelerinden bahsedilecek ve örnek bir kütüphane üzerinden uygulama yapılacak.
- Doğal dil işleme kütüphaneleri, yapay programlama dillerinde geliştirilmiş ve daha önceki deneyimlerden faydalanmak amacıyla kullanılan araçların ve yöntemlerin içerdiği dijital kütüphanelerdir.
- 01:22Doğal Dil İşleme Kütüphanelerinin Sınıflandırılması
- Doğal dil işleme kütüphaneleri araçsal kütüphaneler (cümle ayırıcı, ayrıştırma için kullanılan kütüphaneler), doğal dillere göre geliştirilmiş kütüphaneler (sadece İngilizce, Türkçe veya çoklu dil için geliştirilmiş kütüphaneler) olarak sınıflandırılabilir.
- Aynı dil grubundaki diller birbiriyle ortak özelliklere sahip olduğu için, genellikle aynı dil grubu için geliştirilmiş kütüphaneler üzerinde işlenebilir.
- Kütüphaneler ayrıca yapı dillerine göre, yaygın kütüphaneler ve açık kaynaklı veya ticari amaçlı yazılmış kütüphaneler olarak da sınıflandırılabilir.
- 03:04Doğal Dil İşleme Kütüphanelerinin Özellikleri
- Araçsal kütüphanelerde sentence segmentation (cümle bölümlendirme), tokenization (sözcük bölümlendirme), etiketleme, parsing (ayrıştırma), entity extraction (varlık çıkarma) gibi temel özellikleri bulunur.
- Dil bazlı kütüphaneler arasında İngilizce için çok sayıda kütüphane geliştirilmişken, Türkçe için Zemberek kütüphanesi en çok bilinir.
- Çok dilli kütüphaneler arasında en yaygın olanı NLTK (Natural Language Toolkit) kütüphanesidir.
- 05:55NLTK Kütüphanesi ve Kurulumu
- NLTK, insan dili verileri ile çalışmak üzere geliştirilmiş bir programlama kütüphanesidir ve sınıflandırma, kök belirleme, etiketleme, ayrıştırma ve anlamsal akıl yürütme için farklı yöntemler içerir.
- NLTK kütüphanesinin en önemli özelliği içerisinde çok fazla corpus (kelime dağarcığı) bulunmasıdır.
- NLTK kurulumu için dört aşamadan oluşur: Python kurulumu, NLTK kurulumu, bağımlı kütüphanelerin kurulumu ve veri kurulumu.
- 08:15Python ve NLTK Kurulumu
- Python kurulumu için Python web sayfasına gidip, işletim sisteminize uygun (Windows için 32 bit) en son sürümü indirmeniz gerekir.
- Python kurulumu sırasında tüm seçenekleri varsayılan olarak seçmeniz önemlidir.
- NLTK kurulumu için komut panelinde "pip install nltk" komutunu kullanabilirsiniz ve kurulumun başarılı olduğunu kontrol etmek için "pip list" komutunu kullanabilirsiniz.
- 11:39Python'da Natural Language Toolkit (NLTK) Kullanımı
- NLTK, doğal dil işleme için kullanılan bir Python kütüphanesidir ve kelime, paragraf veya kitap gibi metin birimlerini işleyebilir.
- NLTK kurulumu için başlat menüsünden Python uygulamasına gidip "import nltk" komutu ile başlanabilir.
- NLTK'de "nltk.download()" komutu ile gerekli kütüphaneler indirilebilir, bu kütüphaneler doğal dil işleme için gerekli veri kaynaklarını içerir.
- 12:49NLTK Kütüphaneleri ve Kullanımı
- Word corpus, bir sözcüğün doğal dil içerisinde nasıl kullanıldığını gösteren bir veri kaynağıdır.
- İndirilen kütüphaneler içinde metin dosyaları bulunur ve bu dosyalar öğrenme işlemlerinde kullanılabilir.
- Türkçe kütüphaneler de kullanılabilir ve NLTK ile metin uzunluğu, kelime ve cümle parçalamaları gibi işlemler yapılabilir.
- 14:12NLTK ile Metin İşleme Örnekleri
- NLTK ile metin uzunluğu öğrenilebilir ve metin parçalara ayrılabilir.
- Kütüphanelerden belirli veri setleri (örneğin Shakespeare) çağrılabilir ve içeriğine erişilebilir.
- Metin dosyalarındaki sözcükler ve cümleler dizilere kaydedilebilir, örneğin Shakespeare Hamlet metninde 25.833 tane sözcük ve 31.316 tane cümle bulunmaktadır.