Buradasın
BERT ile Türkçe metin sınıflandırması nasıl yapılır?
Yazeka
Arama sonuçlarına göre oluşturuldu
Türkçe metin sınıflandırması için BERT modeli kullanmak aşağıdaki adımlarla gerçekleştirilebilir:
- Model ve Tokenizer'ı Yükleme: Hugging Face Hub'dan BERT modelini ve tokenizer'ı yükleyin 1.
model_name = "ba2hann/bert_base_turkish_sentiment_analysis" tokenizer = BertTokenizer.from_pretrained(model_name) model = BertForSequenceClassification.from_pretrained(model_name)
- Girdi Hazırlama: Metni tokenize edin ve modele uygun bir formata getirin 1.
inputs = tokenizer(metin, return_tensors="pt", padding=True, truncation=True, max_length=256)
- Model İleri Besleme: BERT modelini çalıştırarak her sınıf için bir olasılık puanı hesaplatın 1.
with torch.no_grad(): outputs = model(**inputs) logits = outputs.logits
- Sınıflandırma: En yüksek olasılık puanına sahip sınıfı tahmin edin 1.
olasılıklar = torch.nn.functional.softmax(logits, dim=-1)[0] tahmin_edilen_sınıf = torch.argmax(logits, dim=-1).item()
- Sonuçları Biçimlendirme: Her kategori için olasılıkları bir sözlük formatında geri döndürün 1.
sonuc = { 'Tahmin': kategori_haritasi[tahmin_edilen_sınıf], 'Tahmin Güveni': olasılıklar[tahmin_edilen_sınıf].item(), 'Kategori Olasılıkları': kategori_olasılıkları, 'En Yüksek İkinci Tahmin': kategori_haritasi[olasılıklar.argsort(descending=True)[1](https://github.com/ba2hannn/turkce-metin-siniflandirma-bert).item()], 'İkinci Tahmin Olasılığı': olasılıklar[olasılıklar.argsort(descending=True)[1](https://github.com/ba2hannn/turkce-metin-siniflandirma-bert)].item() }
Bu model, ırkçılık, kızdırma, nötr ve cinsiyetçilik gibi kategorilere ayırma gibi çeşitli sınıflandırma görevleri için kullanılabilir 1.
5 kaynaktan alınan bilgiyle göre: