Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir programlama eğitim içeriğidir ve konuşmacı Python programlama dilinde doğal dil işleme ve metin madenciliği konularını anlatmaktadır.
- Video iki ana bölümden oluşmaktadır. İlk bölümde NLTK (Natural Language Toolkit) kurulumu, tokenization işlemleri ve probability modülünden frequent distribution kullanarak metin içindeki kelimelerin sıklık dağılımını hesaplama gösterilmektedir. İkinci bölümde ise Matplotlib kütüphanesi kullanılarak frekans grafiği oluşturma süreci adım adım anlatılmaktadır.
- Eğitim içeriğinde NLTK Downloader kullanımı, Punkt tokenizer kurulumu, stop kelimelerin kullanımı, Matplotlib kütüphanesinin kurulumu ve kullanımı, plot.histogram, scale, cumulative gibi fonksiyonların kullanımı detaylı olarak açıklanmaktadır. Video, doğal dil işleme ve metin madenciliği konularında temel bilgiler sunmaktadır.
- 00:01NLTK Tanıtımı
- NLTK, Python için doğal dil işleme (NLP) için kullanılan bir pip paketidir.
- NLTK, metin madenciliği ve doğal dil işleme gibi çeşitli konuları ele almak için güçlü Python komutları, algoritmalar ve araçlar içerir.
- NLTK ile metin öğrenme ve bazı makine öğrenme algoritmaları uygulanabilir.
- 00:42NLTK Kurulumu
- NLTK kurulumu için "pip install nltk" komutu kullanılır.
- NLTK kurulumu tamamlandıktan sonra "import nltk" ile NLTK kütüphanesi kullanılabilir.
- NLTK Downloader, NLTK'nin kendi paket yöneticisidir ve buradan tüm modüller ve paketler indirilebilir.
- 01:57Punctuation Manager Kurulumu
- NLTK kurulumu öncesinde punctuation manager'ın kurulması gerekir.
- Punctuation manager'ı kurmak için "pip install punkt" komutu kullanılır.
- Alternatif olarak, "python -m nltk.download" komutu ile tüm paketler indirilebilir.
- 02:59Tokenization
- Tokenization, metni kelimelere ayırma işlemidir.
- Word tokenizer ile "from nltk.tokenize import word_tokenize" ve "print(word_tokenize(text))" komutları kullanılarak metin kelimelere ayrılır.
- Sent tokenizer ile "from nltk.tokenize import sent_tokenize" ve "print(sent_tokenize(text))" komutları kullanılarak metin cümlelere ayrılır.
- 04:36Frequency Distribution
- NLTK'nin probability kütüphanesinden frequent distribution kullanılarak kelimelerin sıklık dağılımı hesaplanabilir.
- "from nltk.probability import FrequentDistribution" ve "frequent_distribution = FrequentDistribution(word_tokenize(text))" komutları ile frekans dağılımı oluşturulur.
- "frequent_distribution.most_common(3)" komutu ile en sık kullanılan üç kelime bulunabilir.
- 07:00Matplotlib Kurulumu
- Python'da matplotlib paketini kurmak için "pip install matplotlib" komutu kullanılabilir.
- Matplotlib kurulumu tamamlandıktan sonra "import matplotlib.pyplot as plot" şeklinde import edilebilir.
- 07:51Matplotlib ile Grafik Oluşturma
- Matplotlib ile frekans grafiği oluşturmak için "plot.freq_distribution(fd, scale=30, cumulative=False)" komutu kullanılabilir.
- Grafik gösterildikten sonra "plot.show()" komutu ile grafik ekranda görüntülenebilir.
- Matplotlib'in font cache'ini oluşturması nedeniyle grafik oluşturma işlemi biraz zaman alabilir.
- 09:03Grafik Sonuçları
- Oluşturulan grafikte "dot" kelimesinin frekansı 3 olarak gösterilmiştir.
- "nltk" kelimesinin frekansı 2 olarak gösterilmiştir.
- Bu temel bir NLP (Natural Language Processing) tutorial'udur ve bir sonraki derste devam edilecektir.