Bilinen Şablonda tanımlanan uzmanlara Veri Kalitesi Doğrulama Şablonu sağlanır. Bu şablonu tamamlamak ve size geri vermek onların sorumluluğundadır. Bunu yaptıklarında, her veri öğesinin kalite seviyesiyle ilgili belirli bir durumu olacaktır:

■■ Veriler meta verilerle eşleşir ve bu nedenle veri kalitesi sorunu yoktur.
■■ Veriler, meta verilerle eşleşmiyor ve veriler yanlış.
■■ Veriler, meta verilerle eşleşmiyor ve meta veriler yanlış.
■■ Veriler meta verilerle eşleşmiyor ve hem veriler hem de meta veriler yanlış.
■■ Daha fazla örnek veri almamız gerekecek çünkü bir sorun olup olmadığından emin değilim.

Meta veriler ve veri sütunları, Veri Kalitesi Doğrulaması bölümünde zaten açıklanmıştır. Doğrulama sütunları Y, N veya soru işareti (?) ile doldurulabilir. Y, “Evet, meta veriler verilerle doğru bir şekilde eşleşiyor ve bu nedenle, veri örneklemesine dayanarak, bir veri kalitesi sorunu görmüyorum” anlamına gelir.

N, “Hayır, burada bir veri kalitesi sorunu var” anlamına gelir. Sembol ? “Bir sorun olup olmadığından emin değilim; Bir karara varmadan önce biraz daha bilgiye ihtiyacım olacak.” Yorumlar sütunu, ele alınması gereken notları ve soruları içerir.

Örneğin, herhangi bir sütunda N varsa, Uzmanlar bir sorunun neden var olduğunu Yorumlar’ın altına koyabilir. varsa ? herhangi bir sütunda sembolü varsa, uzman gereken ek bilgileri Yorumlar altında listeleyebilir. Doğrulama sütunlarının her birini açıklayalım:

Anlam. Ad ve tanım, bize verilen örnek verilerle eşleşiyor mu? Sahip olduğumuz 10 ila 25 satıra göre tutarlılığımız var gibi görünüyor mu? Bu, uzmanın hata yapma olasılığının olduğu doğrulamalardan biridir, çünkü sadece bir avuç farklı değere bakıyoruz.

Hükümsüz. Boş sütun, verilerde gördüğümüzle eşleşiyor mu? Burası, boş olmayan olarak tanımlanmış, boş değerlere sahip olabilecek veri öğelerine ve tamamen boş veri öğelerine sahip olacağımız yerdir.

Uzunluk. Karakter veya sayısal veri öğelerinin uzunluğu, örnek verilerde gördüğümüzle eşleşiyor mu? Ayrılan uzunluk ve biçim ile gerçekte gördüklerimiz arasındaki büyük tutarsızlıkları burada tespit edebiliriz. Yalnızca en büyük uzunluğa bakıyoruz ve bu nedenle bu kontrolde de hata payı var.

Bakmak. Bu veri öğesinin tüm durumlarını mevcut verilerle doğru bir şekilde eşleştiriyor muyuz? Örneğin, sipariş bilgilerinde, ürün tanımlayıcı değerleri mevcut ürün tablomuzdaki karşılık gelen ürünlerle eşleşiyor mu? Bu kontrolün, veri öğelerinin çok küçük bir azınlığı için yapıldığını unutmayın, çünkü genellikle yalnızca birkaç arama verisi öğesi vardır.

Yorumlar. Bu bulgularla ilgili herhangi bir not veya soru var mı? Bunlar, daha fazla bilgi taleplerini, uzmanın neye baktığını açıklığa kavuşturmak için soruları veya bulunan sorunlar hakkında daha fazla açıklamayı içerebilir.

Veri kalitesinin özellikleri
Veri kalitesi modeli
AHIMA veri kalitesini belirleyen özellikler
Veri kalitesini belirleyen özellikler
AHIMA veri Kalitesi Modeli
Ahıma veri kalitesi nedir
AHIMA Veri Kalitesi modeline göre
Veri Nedir

Uygulamada Veri Kalitesi Doğrulama Şablonu

Veri Kalitesi Doğrulama Şablonunu kullanmanın ayrıntılı bir örneğini inceleyelim. Bu şablonu tamamlamak için attığınız adımları tartışacağız ve ardından gerçek bir örnek üzerinden gideceğiz. Ayrıntılı örnekte, çok büyük bir e-tabloyu tekrarlamak yerine, yalnızca Öğe konu alanına odaklanacağız.

İşte adımlar:

1. Veri Kalitesi Yakalama Şablonunu tamamlayın. Bu bölümde daha önce tartışılan adımlara bakın.
2. Bu şablonu doğrulamak için uzmanı belirleyin. Bilinen Şablona bakın. Genellikle konu alanına göre doğrulama atayabilirsiniz.
3. Uzmanın bulgularını gözden geçirin. Uzmanın gündeme getirmiş olabileceği veri kalitesi sorunlarını burada ele alacağız. Uzman ayrıca bu sorunları çözmemize yardımcı olacak bir konumda olmalıdır. Örneğin, boş tanımlı olmayan bir veri öğesinde boş değerler görüyorsak hangisi doğru? Veri öğesini null olarak değiştirmeli miyiz yoksa değerler eksik mi?
4. Gerekli değişiklikleri ve önerileri yapın. Burası, uzmanın tavsiyelerine dayalı olarak herhangi bir güncelleme yaptığımız yerdir.

Bu nokta, şu sırayla uygulanması gereken bu dört mantıksal veri analizi aracına odaklanmaktadır.

Veri Elemanı Aile Ağacı. Uygulama için veri öğelerinin tam listesini ve her biri için kaynakları ve dönüşümleri, veri öğesi meta verilerinin birkaç başka önemli parçasıyla birlikte içerir.

Veri Öğesi Matrisi. Bir elektronik tablo formatı kullanarak her bir ölçüm veya olgu için raporlama düzeylerini yakalar. Bu, raporlama gerekliliklerini doğrulamak için okunması çok kolay bir belge sunar.

Veri Kalitesi Yakalama Şablonu. Her veri öğesi için meta veriler ile gerçek verilerin bir kısmı arasındaki karşılaştırmayı gösterir. Bu araç, format, null ve açıklama dahil olmak üzere meta verilerdeki en önemli bilgileri doğrulamak için kullanılır.

Veri Kalitesi Doğrulama Şablonu. Her bir veri öğesi için meta verilerin ve gerçek verilerin bir kısmının ne kadar iyi karşılaştırıldığını belgeler. Doğrudan Veri Kalitesi Yakalama Şablonuna dayanan bu araç, her bir veri öğesindeki verilerin gerçekte ne kadar iyi veya kötü olduğuna ilişkin bir uzmanın görüşünü içerir.

Bu dört aracı uyguladıktan sonra, uygulamamızda ihtiyaç duyduğumuz veri öğelerini ve her birinin genel veri kalitesini çok iyi anlamış olacağız. 

Gereksinimlerin Modellenmesi ve Bazı Öneriler

Hiç bir proje için mantıksal veri modellemeye başladınız ve modelde yakaladığınız her veri öğesini tam olarak anladığınıza tamamen inandınız mı? “Normalizasyon Yürüyüşü ve Denormalizasyon Hayatta Kalma Kılavuzu” adlı bu metinde yer alan araçları uyguladıktan ve özelleştirdikten sonra bu güveni hissedeceksiniz.

1. Bölümde uygulama geliştirmenin temelini oluşturduk,

2. Bölümde üst düzey gereksinimleri ve veri öğelerini yakaladık ve 

3. Bölümde veri gereksinimlerini modellemeye hazırız.

İdeal veri modelini düşündüğümüzde, temel veritabanında performans ve depolama faktörlerinden ödün vermeden iş gereksinimlerini esnek bir şekilde doğru bir şekilde yakalayan bir modeldir.

Metnin bu kısmı, veri modellerimizin bu kriterleri karşılamasını sağlamaya yardımcı olan araçlara odaklanmaktadır. 8’den 10’a kadar olan bölümler, veritabanı performansını ve depolama sonuçlarını göz önünde bulundurarak veri gereksinimlerinin esnek bir şekilde modellenmesi için bir dizi araç sunar. Bonus olarak, kitabı yıllar boyunca öğrendiğim ve bir veri modelleyici olarak sürekli takip ettiğim bazı tavsiyelerle sonlandıran da dahil edilmiştir.

The post Veri Kalitesi Doğrulama first appeared on Ödev - Tez - Proje Hazırlatma Merkezi.

Veri kalitesi açısından bakılacak bu dört kategoriden çok daha fazlası var, ancak bu dördünün 80/20 kuralını karşıladığını buldum. Yani, veri kalitesini doğrulama çabasının yüzde 20’si için, veri kalitesi hatalarının en az yüzde 80’ini kapatabilirsiniz.

Bu dört kategorinin yakalanması nispeten minimum bir süre alır ve yine de meta verilerin en az yüzde 80’ini veri kalitesi sorunlarına göre saptayabilir. Hatta bir adım daha ileri giderek bu dört kategorinin, geliştirmeniz sırasında karşılaşacağınız veri kalitesi sorunlarına kadar meta verilerin %95’ini tespit edeceğini söyleyeceğim.

Veri Kalitesi Yakalama Şablonunun çeşitli avantajları vardır:

Verileri meta verilerle karşılaştırır. Bu aracın birincil amacı budur, yani bu noktaya kadar yaptığınız iyi işlerin aslında gerçekte eşleştiğinden emin olmaktır. Aşağıdakileri birçok kez gördüm: Sonunda bir veri öğesinin tanımı üzerinde tam bir anlaşmaya varıldı; ancak verilere gerçekten baktığımızda, değerler ve tanım arasındaki tutarsızlıkları kolayca tespit ederiz.

Bu şablon, bu tutarsızlıkları tespit etmek için tasarlanmıştır. Örneğin, bir Şirket Adı veri öğesinin adı ve tanımı üzerinde bir kez anlaşmıştık. Meta verileri bu veri öğesinin verileriyle karşılaştırdığımızda çok endişe verici bir şey fark ettik.

Değerlerin çoğu şirket adları değil de gerçekten e-posta adresleriymiş gibi görünüyordu. Bu, bu veri öğesi hakkında daha fazla soru sormamıza neden oldu. Çoğu durumda, veri girişi yapan kişinin bu veri öğesine şirket adı yerine şirketin e-posta adresini yazdığını öğrendik.

Bunun nedeni, kaynak uygulamada e-posta adreslerini yakalamanın bir yolu olmaması ve e-posta adresinin şirket adından daha önemli olarak belirlenmiş olmasıdır.

Veri kalitesi sorunları için erken uyarı sağlar. Veri Kalitesi Yakalama Şablonu, herhangi bir veri uygulamanıza fiilen getirilmeden önce tamamlanır. Henüz mantıksal veri modellemeye başlamadığımızı ve hala verileri görmekle ilgilendiğimizi unutmayın.

Herhangi bir gerçek veri getirilmeden önce tespit edildiğinde veri kalitesi sorunlarının çok daha küçük sorunlar olduğunu buldum. Henüz kod yazmadığımız veya herhangi bir tablo tasarlamadığımız için, bu noktadaki düzeltmelerin küçük bir etkisi var.

Ayrıca, veriler uygulamanıza fiilen getirilmeden önce veri kalitesi sorunlarını tespit etmenin, sorunu çözme sorumluluğunu ekibinizden çok kaynak uygulamaya yüklediğini de bulduk.

Örneğin, kaynak uygulamanızdaki öğe tanımlayıcıları, mevcut öğe referans verilerinizdeki öğe tanımlayıcısıyla doğru şekilde eşleşmezse, kaynak sistem uzmanları bu sorunu çözme sorumluluğunu hızla üstlenmelidir. Bazı durumlarda, düşük kaliteli veriler uygulamanıza girer girmez, verileri tespit etme ve düzeltme sorumluluğunun yalnızca kaynak uygulamanın sorumluluğu yerine sizin sorumluluğunuz haline geldiğini gördüm. Bu proaktif yaklaşımı benimsemek bu durumu önleyecektir.

Koleksiyonu doğrulamadan ayırır. Çoğu zaman veri kalitesi kontrolü yaparken, gerekli verileri ve meta verileri toplayıp ardından bu verileri doğrulamak için uzmanlarla birlikte çalışmaktan bunalmış halde buluyoruz. Bu araç yalnızca toplama noktasına odaklanır.

Tartışacağımız bir sonraki araç olan Veri Kalitesi Doğrulama Şablonu, alandaki bir uzman tarafından örnek verilerle meta verilerin senkronize olup olmadığı hakkında bir yargıya varmak için kullanılır.

Veri kalitesinin özellikleri
Veri kalitesini belirleyen özellikler
AHIMA veri kalitesini belirleyen özellikler
AHIMA veri kalitesi modeli
Ahıma veri kalitesi nedir
AHIMA Veri Kalitesi modeline göre
Veri kalitesi modeli nedir
Veri hikayesi anlatımının temel unsurları

Veri Kalitesi Yakalama Şablonunu Kullanma

Veri Kalitesi Yakalama Şablonu, verileri ve meta verileri bir iş uzmanı tarafından doğrulamayı kolaylaştıracak şekilde biçimlendirmek için kullanılır. Bu şablonu kendi ihtiyaçlarınıza göre uyarlayabilirsiniz. Örneğin, aşağıda listelemediğim bazı meta verileri veri kontrollerine eklemek isteyebilirsiniz. Yalnızca gördüğüm veri kalitesi sorunlarının çoğunu açıkladığını düşündüğüm kontrolleri listeledim.

Bu şablonun iki ana bölümü vardır: meta veriler ve veri sonuçları. Meta veriler, doğrudan bu bölümde daha önce bahsedilen Veri Öğesi Aile Ağacından gelir.

Aile Ağacındaki meta veri sütunları, doğrudan bu şablondaki uygun sütunlara kopyalanabilir. Sonuçlar sütunları, gerçek verilere erişim gerektirir. Veriler için, bize sağlanan tüm örnek veri setini incelemek ve basit sorgular çalıştırmak için 10 ila 25 satıra ihtiyacımız var. Bu araçta bu sütunların her birine daha yakından bakalım.

İsim

Ad sütunu, veri öğesinin adını içerir. Bu şablonda olması iki nedenden dolayı yararlıdır: Diğer araçlara bir işaretçi sağlar; ve tanımla bağlantılı olarak, örnek değerlerin doğrulanmasına yardımcı olabilir. Veri Öğesi Aile Ağacına veya Veri Öğesi Tahıl Matrisine geri dönmek istersem, veri öğesinin adını bilmek son derece önemli olacaktır.

İsteğe bağlı olarak, araçlar arasında tutarlı tuttuğum bir tür çapraz referans numarası ekleyebilirim. Örneğin, Brüt Satış Tutarı, Veri Kalitesi Yakalama Şablonunda, Veri Kalitesi Doğrulama Şablonunda ve Aile Ağacı ve Tane Matrisinde referans numarası 35 olabilir.

Ad ve tanım, gerçek verilerle karşılaştırmamızı yapmak için kullandığımız şeylerdir. Veri öğesinin adı Brüt Satış Tutarı ise ve örnek veriler müşteri adlarını gösteriyorsa, kolayca bir sorun belirledik. Tanım, gerçek verilere karşı doğrulamamız gereken birincil meta veri bilgi parçasıdır.

Biçim

Biçim, veri öğesinin uzunluğu ve türüdür. Biçim örnekleri aşağıdakileri içerir:

■■ Ondalık
■■ Tamsayı
■■ Karakter
■■ Tarih

Bu örneklerin her biri, bu veri öğesinde bulduğumuz gerçek değerlerle doğru şekilde eşleşmelidir. İşte aranacak bazı tuzaklar:

■■ Alanın çok küçük bir yüzdesinin kullanıldığı çok uzun karakterli veri öğeleri, örneğin yalnızca ilk 50 karakteri kullandığımız bir Varchar(2000) veri öğesi.
■■ Son derece uzun olan kod veri öğeleri, örneğin, Durum Kodunun Karakter(2) yerine Varchar(10) olması.
■■ Metin değerleri içeren Toplam Satış Miktarı gibi karakter değerlerine sahip, kulağa sayısal gelen bir ada sahip bir veri öğesi.
■■ Tarih dışında değerler içeren bir tarih veri öğesi.

Bu sütunda bu veri öğesinin boş, Y veya evet olarak tanımlanıp tanımlanmadığı, bu veri öğesinin boş olabileceğini gösterir. Yani boş olabilir. Bir N veya hayır, bu veri öğesinin her zaman doldurulması gerektiğini, yani boş olmadığını gösterir.

Bunu iki duruma bakmak amacıyla gerçek verilerle eşleştireceğiz:

■■ Boş olmaması gerektiğine inandığımız veri öğeleri, ancak boş değerler buluyoruz.
■■ Tamamen boş olan veri öğeleri, yani bu veri öğesinde hiçbir şey doldurulmaz. Bu veri öğeleri ya gelecekteki yer tutuculardır ya da büyük bir hatadır.

The post Veri Kalitesinin Sağlanması first appeared on Ödev - Tez - Proje Hazırlatma Merkezi.