Buradasın

Kurumsal Bilgi Yönetimi ve Microsoft SQL Server Teknolojileri Eğitimi

Veri Kalitesi

youtube.com/watch?v=v60qB7-BkXs

Yapay zekadan makale özeti

Kısa
Ayrıntılı

Bu video, Mikso Kurumsal Danışmanlık Hizmetlerinde yazılım danışmanlığı yapan Olcay tarafından sunulan, kurumsal bilgi yönetimi ve Microsoft SQL Server teknolojileri hakkında kapsamlı bir eğitim içeriğidir.
Video, kurumsal bilgi yönetiminin tanımı ve önemi ile başlayıp, Microsoft'un Data Quality Services (DQS), Master Data Services (MDS) ve SQL Server Integration Services (SSIS) teknolojilerinin bu amaçla nasıl kullanılabileceğini detaylı olarak anlatmaktadır. İçerik, veri kalitesi kavramı, veri temizleme, eşleştirme, tekilleştirme süreçleri ve bunların uygulamalı örnekleriyle desteklenmektedir.
Eğitim boyunca, Knowledge Base oluşturma, Data Quality Client kullanımı, domain yönetimi, adres ve e-posta doğrulama, Excel ve web arayüzleri üzerinden MDS entegrasyonu gibi konular adım adım gösterilmektedir. Ayrıca, SQL Server 2012 ve 2014 arasındaki DQS ve MDS farkları, MDS'in hiyerarşi yapıları, doğrulama kuralları ve versiyonlama yöntemleri gibi teknik detaylar da sunulmaktadır.

00:01Sunumun Amacı ve İçeriği: Konuşmacı, Mikso Kurumsal Danışmanlık Hizmetlerinde yazılım danışmanlığı yapmakta ve son üç senedir ağırlıklı olarak iş zekası projelerine odaklanmaktadır.
Sunumda kurumsal bilgi yönetiminin ne olduğu ve Microsoft teknolojileri ile nasıl gerçekleştirilebileceği anlatılacaktır.
Sunum ağırlıklı olarak Data Quality Services (DQS) ve Master Data Services (MDS) teknolojileri üzerine odaklanacaktır.
00:36Sunum Ajandası: Kurumsal bilgi yönetimi (Enterprise Information Management) konusu ele alınacaktır.
Kurumsal bilgi yönetimi için kullanılan teknolojiler: Data Quality Services, Master Data Services ve SQL Server Integration Services.
Kurumsal bilgi yönetimi = Data Quality Services + Master Data Services + SQL Integration Services olarak düşünülebilir.
01:29Kurumsal Bilgi Yönetiminin Önemi: İş zekası projelerinde çalışanlar belirli veri kaynaklarından veri çekerek sorularını çözmeye çalışıyor ve sonuçları kendi işlerini geliştirmek için kullanabilmek istiyorlar.
Veri kaynakları ve çalışanlar arttıkça, bu veriler iş zekası projelerinde küp yapılar üzerinde toplanmaya çalışılıyor.
Veri tabanlarına veri giriş yapan kullanıcıların hatalı giriş yapması ve verilerin mükerrer olması çöp veri problemine neden oluyor.
03:38İş Zekası Projelerinde Veri Kalitesi Sorunları: İş zekası projelerinde çöp veri problemi, çalışan ve süreçler arttıkça artmaya başlıyor.
Çöp veriler raporlarda tutarsız sonuçlara yol açarak işleri zorlaştırıyor.
İş zekası projelerinde yapılan veri temizleme işlemlerine zamanın yaklaşık %70'i harcanıyor.
05:16Veri Kalitesi Sorunlarının Önemi: Yapılan araştırmalara göre, kurumsal zekası ve analitik adaptasyonu konusunda en büyük engel veri kalitesi probleminin olduğu belirtiliyor.
2011 ve 2012 yıllarında veri kalitesi sorununun engelleyici rolü %55 ve %46 oranında olduğu görülmüş.
Veri kalitesi sorunu sadece iş zekası projelerinde değil, bilgi yönetim sistemlerinde de önemli bir problem olarak karşımıza çıkıyor.
06:32Kurumsal Bilgi Yönetiminin Önemi ve Microsoft'un Yaklaşımı: Microsoft'un bir yayınına göre, kurumsal bilgi yönetimi önümüzdeki 10 yıl içinde üst düzey yöneticiler için başarı için önemli bir faktör haline gelecek.
Kurumsal bilgi yönetimi, firmanın temel iş amacını yerine getirirken (mission critical) önemli bir konu haline geliyor.
Microsoft, kurumsal bilgi yönetimi için Data Quality Services, Master Data Services ve SQL Server Integration Services gibi teknolojiler sunuyor.
07:42Microsoft Teknolojileri: Data Quality Services, bilgi tabanına sahip olduğumuz verilerin temizlenmesi ve tekilleştirilmesini sağlıyor.
Data Quality Services tek başına kullanılabiliyor veya SQL Server Integration Services ile entegre olarak çalışabiliyor.
Master Data Services, veri ambarı yapısında bulunan dimension tablolarını (referans verileri tutan yapıları) yönetmek için önemli bir teknoloji.
09:07Kurumsal Bilgi Yönetimi ve Teknolojileri: Integration Service, Master Data Services ve Data Quality Services'in otomasyonu bir arada çalışmasını sağlayarak bütün sürecin otomatize edilmesi için kullanılan önemli bir teknolojidir.
Kurumsal bilgi yönetimi sadece teknolojiden ibaret olamaz, başarıya ulaşmak için süreçlerin iyi tanımlanması ve insanların bu sürece inanması gerekir.
SQL Server platformu, kurumsal bilgi yönetimi için gerekli teknolojileri (DQS, MDS ve SSS) sağlamış olmaktadır.
10:29Kurumsal Bilgi Yönetimi Araçları: SQL Server Integration Services (SSIS), veri hareketlerinden sorumlu olan bileşendir.
Data Quality Services (DQS), veri kalitesini kontrol eden ve yanlışları gösteren bir araçtır.
Master Data Services (MDS), referans tablo olarak kullanılan ve OLTP sisteminde referans verilerin tutulduğu yapıları tutan bilgi tabanıdır.
11:34Veri İyileştirme Süreci: Kurumsal bilgi yönetimi için önemli olan süreç, veri iyileştirme sürecidir.
Veri iyileştirme süreci, veri temizleme, veri eşleştirme ve tekilleştirme, MDS ile veri yönetimi ve SQL Integration Services ile otomasyon aşamalarından oluşur.
Bu süreçteki tüm adımlar SQL Server teknolojileri ile gerçekleştirilebilir.
12:44Veri Kalitesi ve Önemi: Veri kalitesi, bir verinin üst süreçlerden ve iş süreçlerinde kullanım açısından ne kadar tutarlı ve düzgün olduğunu gösteren bir ifadedir.
Veri kalitesi sadece teknoloji ile gerçekleşmez, süreçlerin tanımlanması ve uygulanması ile yapılabilecek bir iştir.
Veri kalitesi düşükse şirketlerin operasyonel bütçelerinde %15-25 oranında veya daha fazla zararla karşılaşabileceği belirtilmiştir.
13:37Veri Kalitesinde Karşılaşılan Sorunlar: Standartlık sorunu: Veri elemanlarının farklı sistemlerde farklı şekilde tanımlanması (örneğin cinsiyet bilgisinin bir sistemde "1-2" diğerinde "K-Y-T" olarak tanımlanması).
Bütünlük kontrolü: Verilerin bir kısmının girilmemiş olması (örneğin %20'lik soyisim boşlukları veya %50'lik posta kodu boşlukları).
Kesinlik: Verinin gerçeği kesin olarak gösterip göstermediği (örneğin sistemde aktif olarak gözükmesine rağmen uzun süre işlenmeyen tedarikçiler).
Tutarlılık: Veri değerlerinin kabul edilebilir aralıklarda olması (örneğin maaş aralığı dışında olan personeller).
Tekillik: Verinin birden fazla kez tekrarlanması (örneğin "O. Akçay" ve "Okay Akçay" olarak kaydedilen aynı kişi).
16:12Veri Temizleme Örneği: Bütünlük: John Doe isimli kişinin zip code alanı boş olmasına rağmen, diğer bilgilere bakılarak otomatik olarak doldurulması sağlanabilir.
Kesinlik: "60th Street" yerine "E 60th Street" şeklinde düzeltilmesi gereken bilgiler.
Standartlık: "State" kısmında "New York" ve "NY" olarak farklı şekilde kullanılan değerlerin aynı standarda getirilmesi.
Tutarlılık: Jane Down'un bayan olunması gerekirken erkek olarak işaretlenmesi gibi hataların düzeltilmesi.
Tekillik: Birden fazla kez kullanılan "John Smith" isimlerinin tekilleştirilmesi için clustering yöntemi kullanılır.
18:48Veri Kalitesi Süreçleri ve Bilgi Tabanı Oluşturma: Veri kalitesi süreçleri referans veriler, kurumsal veri ve bulut servisleri üzerinden bilgi tabanı (knowledgebase) oluşturmak için kullanılır.
Bilgi tabanı, verinin keşfi, yönetilmesi, düzeltilmesi, standardizasyonu ve tekilleştirilmesi ile kurumsal bilgi yönetim yapısını oluşturmak için kullanılır.
Master Data Service, referans verileri ve boyutsal verileri tutan bir yapı olarak düşünülebilir ve bilgi tabanı üzerinden yeni verileri inceleyip yönetmek için kullanılır.
21:19Veri Kalitesi Servisleri ve Master Data Servisleri: Veri kalitesi servisleri (DQS) ile tedarikçi verileri için kurallar tanımlanabilir ve büyük veri setleri bu kurallardan geçirilebilir.
DQS, Data Quality Client üzerinden erişilebilir ve SQL Server kurulumu sırasında Data Quality Server Installer ile kurulabilir.
SQL Server 2012 ve 2014 arasında DQS ve Master Data Services arasında çok fazla değişiklik olmamış, daha çok düzeltme ve performans iyileştirmeleri yapılmıştır.
23:16Master Data Services Kurulumu: Master Data Services kurulumu için Master Data Service Configuration Manager aracı kullanılır.
Kurulum sırasında bir web uygulaması oluşturulur ve bu uygulamanın hangi veritabanına bağlanacağı ayarlanır.
Master Data Services veritabanı SQL Server üzerinde duran bir veritabanı olarak düşünülebilir ve bu veritabanını kullanan bir web uygulaması oluşturur.
24:36Data Quality Client Kullanımı: Data Quality Client aracında üç sekme bulunur: Knowledgebase Management, Data Quality Project ve Administration.
Knowledgebase Management kısmında domainler oluşturulabilir, Data Quality Project kısmında bilgi tabanı kullanılarak projeler oluşturulabilir.
Administration kısmında temizleme işlemlerinin durumu ve Azure ile entegrasyon ayarları yapılabilmektedir.
25:40Bilgi Tabanı Oluşturma ve Domain Yönetimi: Yeni bir bilgi tabanı (knowledgebase) oluşturulabilir ve bu taban sıfırdan oluşturulabilir veya DQU dosyasından aktarılabilir.
Bilgi tabanında domain management, knowledge discovery ve matching policy gibi aktiviteler bulunur.
Domain management kısmında tedarikçi verileri için supplier ID, contact, address, city, state, country ve zip gibi alanlar (domain) oluşturulabilir.
28:18Domain Değerleri ve Düzenleme Kuralları: Domainlere ilişkin kurallar tanımlanabilir, örneğin country alanına girilebilecek değerler belirlenebilir.
Yanlış değerler (örneğin "US" yerine "USD") düzeltilmesi gereken veri olarak işaretlenebilir.
Eşdeğer değerler (örneğin "United States" ve "US") tanımlanabilir ve biri diğerine dönüştürülebilir.
30:05State Bilgilerini Excel'den Aktarma: State bilgisi farklı bir veritabanında durabilir ve bu bilgileri tek tek girmek yerine Excel'den aktarılabilir.
Excel dosyasından state bilgilerini almak için bir bağlanma yapılabiliyor ve bu bilgiler sistemimize aktarılabilir.
Suppliers dosyasından elli adet eyalet bilgisi alınıp sistemde doğru olarak temizle işleminin yapılacağı tahmin edilebilir.
31:26E-mail Doğrulama Kuralları: E-mail adreslerinde regular expression'lar kullanılarak doğrulama kuralları tanımlanabilir.
Domain bilgisinin belirli bir formatta olması isteniyorsa (örneğin "adventureworks.com" ile bitmesi) bu kural tanımlanabilir.
Regular expression kullanılarak e-mail formatının doğruluğu da kontrol edilebilir.
34:02Terma Relationlar ve Kompozit Domainler: Terma relationlar, tedarikçilerin isimlerinde kullanılan "Corp.", "Inc." gibi terimleri standartlaştırmak için kullanılabilir.
Adres doğrulama için kompozit domainler oluşturulabilir, bu domainler adres satırı, şehir, eyalet, posta kodu ve ülke bilgilerini içerir.
Kompozit domainlerde de kural tanımlanabilir, örneğin "Los Angeles" şehrinde eyaletin "California" olması gibi.
36:53Azure Entegrasyonu ve Referans Veriler: Adres doğrulama için Azure üzerinde çalışan dış sistemler entegre edilebilir.
Melisa Data gibi adres doğrulama servisleri kullanılarak dış sistemdeki bilgilerin knowledge base ile eşleştirilmesi sağlanabilir.
Referans veriler üzerinden adres doğrulama kuralları (örneğin yüzde eşleşme oranı, düzeltme önerileri) ayarlanabilir.
39:08Veri Temizleme Projesi Oluşturma: Oluşturulan knowledge base ile yeni bir veri temizleme projesi (Data Quality Project) oluşturulabilir.
Veri temizleme projesinde SQL Server veya Excel dosyası gibi veri kaynakları seçilebilir.
Kompozit domainler otomatik olarak seçilir ve tüm alanların seçildiği sürece referans olarak kullanılabilir.
42:34Veri Temizleme İşlemi: Veri seti ve knowledgebase seçildikten sonra veri temizleme işlemi başlatılıyor.
Temizleme işlemi sırasında, profil kısmında toplam 55 kayıt olduğu ve bunların ne kadarının düzgün, düzeltilmiş, önerilmiş veya geçersiz olduğu gösteriliyor.
İşlem tamamlandıktan sonra 55 kayıttan 15 tanesi düzeltme işlemi yapılmış, 31 tanesinde öneri yapılmış ve 4 tanesi geçersiz kayıt olarak belirtilmiş.
44:54Temizleme Sonuçları ve Düzenlemeler: Adres doğrulama kısmında 42 kaydın bulunduğunu ve "United State" ifadesinin "United States" olarak otomatik olarak düzeltilmiş olduğunu görüyoruz.
Geçersiz kayıt olan "USD" ifadesi, domain olarak "USA" olarak kaydedilmiş.
Geçersiz e-posta adresleri gibi otomatik olarak düzeltilmeyen alanlar manuel olarak düzenlenebiliyor.
47:21Düzenlenmiş Veriyi Kaydetme: Düzenlemeler tamamlandıktan sonra sonuçların CSV, Excel veya SQL Server dosyasına aktarılması sağlanabilir.
Düzenlenmiş veri seti temiz bir şekilde kaydedilebilir.
48:24Veri Tekilleştirme İşlemi: Knowledgebase'e matching policy (eşleştirme politikası) eklenebilir.
Tekilleştirme işlemi için supplier ID, supplier name ve kontakt email adresi gibi alanlar seçilir.
Eşleştirme kuralları belirlenirken, örneğin supplier ID'nin kesinlikle aynı olması ve supplier name'in %70, kontakt email'in %30 oranında aynı olması gibi kriterler belirlenebilir.
52:57Tekilleştirme Sonuçları: Matching result kısmında istatistiksel sonuçlar gösterilir: 55 kayıttan 26 tanesi eşleşmiş, 29 tanesi eşleşmemiş.
Bir cluster (grup) olduğu için 26 eşleşen kayıttan bir tekil kayıt çıkmış, toplamda 40 kayıt elde edilmiş.
Temizleme ve tekilleştirme işlemlerinin otomasyon için sırası önemlidir: önce temizleme sonra tekilleştirme işlemi yapılmalıdır.
56:25Veri Kalitesi ve Tekilleştirme İşlemleri: Veri kalitesi işlemlerinde 55 kayıttan oluşan bir veri kümesi üzerinde işlem yapılmış ve class bilgileri otomatik olarak oluşmuştur.
Tekilleştirme işlemi sırasında cluster'ların sadece birer satırı seçilir ve eşleşmeyen kayıtlar "survivorship" olarak adlandırılır.
Pivot kayıtları, cluster'ların en başındaki kayıtlara karşılık gelir ve bu şekilde tekil kayıtlar seçilmektedir.
57:37Data Quality Service (DQS): Data Quality Service, istatistiksel, algoritmik ve bilgi tabanlı bir veri düzeltme teknolojisidir.
DQS, kullanıcıların email adresi gibi bilgilerde düzeltme yapabilmesini sağlar ve otomatik toplu işleme senaryoları için imkan sunar.
SQL Server Integration Services içerisinde DQS Cleansing adlı bir task bulunur ve üçüncü parti servislerle referans verilerin doğruluğunu kontrol etme imkanı sağlar.
58:34Master Data Services: Master Data Services, kurumsal bilgi yönetimindeki iki önemli bacaktan biridir (diğer biri Data Quality Services).
Master veri, iş süreçlerinin merkezindeki veri setleridir; müşteri, personel gibi temel bilgileri içerir.
Master Data Services, master verinin üretilmesi, takibi ve idamesi için kullanılan bir teknolojidir.
59:52Master Data Services Kullanım Senaryoları: Master Data Services, verilerin mevzuat kapsamında kontrolü için onay süreci mekanizmasını sağlar.
Veri anları ve datamart yönetimi senaryolarında boyutların ve hiyerarşilerin iş kullanıcılarının yönetmesini sağlar.
Operasyonel veri yönetimi noktasında, operasyonel sistemler tarafından üretilen verilerin merkezi bir noktadan takibi ve entegrasyonu yapılabilir.
1:01:07Master Data Services'in Yetenekleri: Merkezi veri yönetimi ve idamesini sağlayan bir master veri yöneticisi bulunmaktadır.
Excel veya web arayüzü aracılığıyla modelleme işlemleri yapılabilir, rol tabanlı güvenlik ve değişiklik takibi için transaction dipnotlama yöntemleri kullanılabilmektedir.
Verinin tutarlılığını sağlamak için iş kuralları tanımlanabilir ve DQS'in kurallarına göre daha kapsamlı kurallar kullanılabilir.
1:02:06Master Data Services Veritabanı Bileşenleri: Master Data Services veritabanı üzerinde staging tabloları, view'lar ve iş akışları bulunmaktadır.
View'lar son kullanıcıların verileri görmesini sağlar ve staging tabloları SQL Server Integration Services ile entegrasyon için kullanılır.
Fonksiyonlar sayesinde bir entity tek bir tablo olarak değil, farklı yerlerde bilgileri dağılmış olarak tutulabilir ve SQL Server Integration Services tarafından kullanılarak ilgili tablolara dağılması sağlanır.
1:03:05Master Data Services Kullanımı: Master Data Services'de öncelikle boyut tabloları olarak düşünebileceğimiz entityler oluşturulmalıdır.
Entitylere ilişkin attribute'lar (kolonlar) oluşturulup, veri tutarlılığını sağlamak için tekilleştirme yöntemleri kullanılabilir.
Master Data Services'in kendi web arayüzü sistem yöneticileri tarafından, Excel bileşeni ise information worker kullanıcıları tarafından kullanılır.
1:06:16Entity Oluşturma ve Veri Aktarımı: Master Data Services'e temizlenmiş verileri otomatik olarak aktarmak için entity oluşturulabilir.
Entity oluşturma işlemi sırasında kod (ID) ve name (description) alanlarının belirtilmesi gerekmektedir.
Tekilleştirilmemiş verilerin aktarılması durumunda hata mesajları alınır ve kodunun tekil olması gerektiği uyarısı verilir.
1:10:31Entity Yönetimi ve Veri Değişiklikleri: Entity içerisindeki verileri görüntülemek için Excel arayüzüne geçilebilir veya entity kısmından tedarikçi seçilerek görüntülenebilir.
Veri değişikliklerinin her biri tarihçede otomatik olarak kaydedilir ve hangi tarihte değiştirildiği gibi bilgiler görüntülenebilir.
Master Data'da entity oluşturulduktan sonra üzerine ek veriler eklenebilir.
1:12:19Veri Birleştirme ve Tekilleştirme: Veri arayüzünde "Combine Data" sekmesi kullanılarak farklı veri setleri birleştirilebilir.
Birleştirilen verilerin senkronize edilmesi için tekilleştirme işlemi yapılmalıdır.
Data Quality Services entegrasyonu ile tekilleştirme işlemi gerçekleştirilebilir ve cluster ID'ye göre veriler birleştirilebilir.
1:15:19Entegrasyon ve Veri Erişimi: SQL Server Integration Server'da Integration Management kısmından entitylerin dışarıdan okunabilmesi sağlanabilir.
"Create View" seçeneği kullanılarak bir entity için view oluşturulabilir ve verileri başka yerlerden okumak mümkün hale gelir.
Master Data Services, web arayüzü ve Excel arayüzü ile kullanım kolaylığı sağlar, hiyerarşi yapıları, doğrulama kuralları ve versiyonlama yöntemleri sunar.
Data Quality Services entegrasyonu ile tutarlı verilerin konsolidasyonu ve tekilleştirilmesi sağlanabilir.
1:18:31Kurumsal Bilgi Yönetimi ve SQL Server: Kurumsal bilgi yönetimi, kurum genelinde yürütülen iş süreçlerinde üretilen verilerin tekilleştirilmesi ve gerçeğin tek bir versiyonuna erişmeyi hedefleyen bir yapıdır.
SQL Server, kurumsal bilgi yönetimi için önemli bir ürün olup, sağladığı teknolojilerle operasyonel sistemlerindeki veri karmaşasını son kullanıcılara daha anlaşılır hale getirir.
Enterprise Information Management (EIM) konusu SQL Server'da DQS (veri tutarsızlığı belirleme, temizleme, mükerrerleri ortadan kaldırma), MDS (master data service) ve SSIS (SQL Server Integration Services) teknolojileri ile gerçekleştirilebilir.
1:19:50SQL Server Integration Services Kullanımı: SQL Server Integration Services (SSIS), kurumsal bilgi yönetimi senaryolarını otomatikleştirmek için kullanılabilir.
SSIS projesinde stage tablosu temizlenir, veri okunur ve DQS Cleaning taskı ile temizleme işlemi gerçekleştirilir.
Tekilleştirme işlemi için SSIS içerisinde matching'e ilişkin özel bir task bulunmaz, ancak Fuzzy Grouping taskı kullanılabilir veya Codeplex üzerindeki DQS Matching taskı kullanılabilir.
İşlemler sonunda staging tablosuna yazılan kayıtlar, Master Data Service tablolarına aktarılır.

Kurumsal Bilgi Yönetimi ve Microsoft SQL Server Teknolojileri Eğitimi

Yapay zekadan makale özeti

Yanıtı değerlendir