Yapay zekadan makale özeti
- Kısa
- Ayrıntılı
- Bu video, bir sunum formatında doğal dil işleme teknikleri kullanılarak geliştirilen Türkçe metin özetleme uygulamasının tanıtımını içermektedir. Sunumda iki konuşmacı yer almaktadır: ilk konuşmacı uygulamanın genel özelliklerini anlatırken, ikinci konuşmacı uygulamanın kullanımını ve detaylarını göstermektedir.
- Video, metin özetleme uygulamasının teknik detaylarını, çalışma prensiplerini ve algoritmasını kapsamlı şekilde ele almaktadır. Uygulama, metin özetleme için tefsife göre, cümle uzunluğuna, alıntı cümleye, metin başlığına, özel isme, rakamsal ve özel karakterlere göre puanlama sistemi kullanmaktadır. Sunum, her bir özellik için algoritma çalışma prensibini ve puanlama mantığını adım adım açıklamaktadır.
- Uygulama, Flask framework, Bootstrap, Python ve çeşitli kütüphaneler (NLTK, Zemberek, OSI, Pandas, RegEx) kullanılarak geliştirilmiştir. Ayrıca mobil uyumluluğu, haber linki üzerinden otomatik metin çekme özelliği ve istatistiksel analiz için veri düzenleme algoritması da gösterilmektedir.
- 00:02Doğal Dil İşleme ile Metin Özetleme Uygulaması
- Doğal dil işleme teknikleri kullanılarak metin özetleme uygulaması geliştirilmiştir.
- Uygulamanın amacı, metni anlamını kaybetmeden istenilen şekilde özetlemektir.
- Özetleme için tefsife göre, cümle uzunluğuna, alıntı cümleye, metin başlığına, özel isme, rakamsal ve özel karakterlere göre puanlama sistemi oluşturulmuştur.
- 00:38Uygulamanın Kullanım Çeşitleri
- Birinci kullanımda özetlenecek metin seçilir.
- İkinci kullanımda metnin linki haber linki kısmına yerleştirilerek uygulama çalıştırılır.
- Üçüncü kullanımda birden fazla txt uzantılı dosya için metinlerin özetlenmesi ve çıktı olarak alınması sağlanır.
- 01:55Geliştirme Ortamı ve Kullanılan Teknolojiler
- Geliştirme ortamı Atom editördür.
- Dili Python'dur ve Anaconda kullanılmaktadır.
- Kullanılan paketler (kütüphaneler) NLTK, Zemberek, OSI, Pandas ve Reges'tir.
- 02:20Uygulamanın Ekran Görüntüsü ve Özellikleri
- Uygulama Flask mikro framework kullanılarak hazırlanmıştır.
- Sol tarafta basit bir koltuk şeması ve Bootstrap kullanılmıştır.
- Butonlar aslında açıp kapama özelliği sağlar ve özelliklerin puanları otomatik olarak hesaplanır.
- 03:36Uygulamanın Yeni Özellikleri
- Haber linki olarak Newspaper API kullanılarak haber linki direkt çekilebilir.
- Yüzdelik özetleme butonu eklenecek, kullanıcı ne kadar özet istediğini yazabilecek.
- Uygulama tamamen kullanım için son versiyon olarak hazırlanmıştır.
- 04:10Uygulamanın Çalışma Prensibi
- Haber linki üzerinden otomatik olarak veri çekilerek özet çıkarılır.
- Girdi metni yapıştırılıp çalıştırıldığında otomatik olarak özetlenir.
- Uygulama tamamen kullanım için son versiyon olarak tasarlanmıştır.
- 05:24Veri Düzenleme ve Özetleme Süreci
- Karışık metinlerde regular expression kullanılarak başlıklar ve paragraflar ayrılır.
- Ayrılan her bir komponent özetleme algoritmasına sokulur.
- Çıkan sonuçlar tek bir şekilde birleştirilir.
- 06:02Uygulama Örneği ve Mobil Uyumluluğu
- Abdülkadir Selvi adlı yazarın yaklaşık 654 adet dökümanının özetlenmesi gösterilmiştir.
- Uygulama Bootstrap sayesinde tamamen responsive bir tasarıma sahiptir.
- Mobil uygulama telefondan kullanılacak bir uygulamaya uygun şekilde tasarlanmıştır.
- 08:15Özetleme Sonuçları ve Algoritma
- Özetleme işlemi sonucunda orijinal metnin yaklaşık dörtte biri kadar (yüzde otuz) özetlenmiştir.
- Özetleme yaparken tespit edilen başlıklar ilk başlık olarak dahil edilmiştir.
- Metin özetleme işlemi temelinde TFE (Term Frequency and Inverse Document Frequency) hesaplaması algoritması kullanılmaktadır.
- 09:59Metin Özetleme Algoritması
- Metin özetleme algoritması, birden fazla döküman yerine tek bir metni baz alarak önemli cümleleri tespit edip yüksek puan vererek üst sıralara koyar.
- Özetleme işlemi sırasında metindeki sadece önemli cümleler koparılır ve bu cümleler "inver sentence" olarak adlandırılır.
- NLP (doğal dil işleme) kütüphanesi kullanılarak cümleler parçalanır ve dökümanlar yerine cümleler kullanılır.
- 11:01Özetleme İçin Parametreler
- Özetleme için üç adet parametre hazırlanır: kelimeler, cümleler ve kelime frekansları.
- Kelimeler, Zemberek kütüphanesi kullanılarak köklerine ayrılır ve eşsiz kelimeler bir kelime havuzu oluşturur.
- Cümleler, NLP kütüphanesi kullanılarak metindeki tüm cümleler ayrılır ve bir dizinin içinde tutulur.
- Kelime frekansları, kelimelerin cümleler içindeki kullanım sıklığını tutan iç içe geçmiş bir dizi olarak tutulur.
- 13:05Puanlama Formülü
- Cümlelerin puanlanması için genel formül, kelimenin cümledeki sayısı ile toplam cümle sayısı bölü t terimini içeren toplam cümle sayısı çarpılarak bulunur.
- Formülde logaritma alınarak kelimenin cümledeki önemi belirlenir ve her cümle için puan değeri hesaplanır.
- Hesaplanan puanlar iç içe geçmiş listenin içine atanır ve toplam listesi oluşturulur.
- 15:02Zemberek Kütüphanesi
- Zemberek, Türkçe metinler üzerinden dil işleme yapabilmek için oluşturulmuş bir NLP kütüphanesidir.
- Kütüphanenin mükemmel kök bulma yeteneklerinden yararlanılır ve Java için geliştirilmiş versiyonu Python için çalıştırılmıştır.
- Özetleme sınıfında kelime ayrı fonksiyonu ile kelimeler parçalara ayrılır, Zemberek fonksiyonu ile kökleri bulunur ve dikişler metoduyla eşsiz kelimeler bir liste oluşturur.
- 16:16Özellik Grupları ve Puanlama
- Özetleme sırasında alıntı tespiti, özel karakter tespiti gibi özellikler otomatik olarak puanlanır.
- Alıntı tespiti için cümlede alıntı varsa, alıntının kaç kere bulunduğu değeri kelimeler listesine eklenir.
- Özel karakter tespiti için sadece özel karakterler özel karakter kelime havuzuna alınır.
- 17:46Özetleme Süreci
- Metin tokenaz yardımıyla cümlelere ayrılır ve cümleler bir liste içinde toplanır.
- Metnin içindeki kelimeler tespit edilir, Zemberek yardımıyla kökleri bulunur ve eşsiz kelimeler bir kelime havuzu oluşturur.
- Kelime havuzundaki kelimeler tek tek hesaplanır, cümle uzunluğu, özel karakter, başlık kökleri, özel isimler ve rakamsal değerler için ayrı puanlar hesaplanır.
- En yüksek puanı alan cümleler özet olarak kullanılır.
- 19:32Cümle Uzunluğu Algoritması
- Metin özetleme sırasında kaliteli cümlelerin bulunması önemlidir; cümleler ne çok kısa ne de çok uzun olmalıdır.
- Cümle uzunluğu hesaplanırken script punction metodu ile cümleler noktalama işaretlerinden ayrılır ve rebection kullanılarak sadece kelimeler listeye eklenir.
- Tüm cümleler kelimelere ayrılıp listeye atılır, uzunlukları hesaplanır ve ortalama cümle uzunluğu tespit edilir.
- 20:54Alıntı ve Özel Karakter Tespiti
- Regex sayesinde cümleler içinde çift tırnak şeklinde bulunan kısımlar tespit edilir ve alıntıya sahip cümleler puanlanır.
- Cümle içinde vurgu veya anlatıma detay katmak amacıyla kullanılan özel karakterler (soru işaretleri, ünlem ve iki nokta) tespit edilir.
- Tespit edilen noktalamaların sayısı ve hangi cümlede bulundukları TF CF hesaplanmasına parametre olarak girer.
- 21:47Başlık Kelimeleri ve Özel İsim Tespiti
- Başlıkta bulunan kelimelerin cümle içinde tespiti yapılır; metnin başında bulunan kelimeleri barındıran cümleler önemlidir.
- Başlıkta birden fazla kelime barındırılıyorsa, barındırılan kelime sayısına göre cümlenin önem puanı artar.
- NTK kütüphanesi içindeki posta aracı kullanılarak cümle içindeki özel isimler ve rakamlar tespit edilir; rakam içeren cümleler ekstra puan alır.