Aykırı Değerler: Tanımı, Tespiti ve Veri Biliminde Yönetim Stratejileri

Veri bilimi projelerinde aykırı değerleri analiz etmek ve yönetmek, doğru sonuçlara ulaşmak için kritik bir adımdır. Aykırı değerler (outliers), veri setindeki diğer değerlerden ciddi anlamda farklı olan veri noktalarıdır. Bu değerler, ölçüm hatasından kaynaklanabileceği gibi gerçek bir anormallik olarak da ortaya çıkabilir. Bu yazıda, aykırı değerlerin ne olduğunu, onları analiz etme ve yönetme yöntemlerini, farklı veri tiplerinde karşımıza çıkan durumlardaki stratejileri ve yöntemlerin avantaj ve dezavantajlarını ele alacağız.

1. Aykırı Değer Nedir?

Aykırı değer, belirli bir dağılımın dışındaki uç noktalarda yer alan veri noktasıdır. Bu değerler, çoğu durumda veri setinde sıradışı olayları veya hataları temsil eder. Örneğin, müşteri gelirleri analiz edilirken bir bireyin diğerlerinden çok daha yüksek bir gelire sahip olması ya da bir biyometrik ölçümdeki ekstrem farklılıklar aykırı olarak kabul edilebilir. Aykırı değerlerin varlığı özellikle makine öğrenimi modellerinde yanıltıcı sonuçlara yol açabileceği için dikkatle ele alınmalıdır.

2. Aykırı Değerleri Tespit Etme Yöntemleri

Aykırı değerleri tanımlamak için kullanılan en yaygın yöntemler şunlardır:

2.1) IQR (Interquartile Range) Yöntemi: Veriyi dört çeyreğe bölerek, Q1 ve Q3 arasındaki farkı (IQR) kullanır. Q1'den 1.5*IQR daha düşük veya Q3'ten 1.5*IQR daha yüksek değerler aykırı olarak kabul edilir.

• Avantajı: Uygulaması kolaydır ve veri üzerinde hızlıca sonuç verir.
• Dezavantajı: Veri çok büyük olduğunda daha geniş aralıklar belirlenebilir, bu da bazı aykırı değerlerin kaçırılmasına yol açabilir.

2.2) Z-Skoru Yöntemi: Veri noktalarının ortalamaya uzaklığını ölçer. Z-skoru yöntemi, verilerin ortalama etrafında kaç standart sapma uzakta olduğunu değerlendirir ve genellikle 3 veya üzeri z-skoruna sahip noktalar aykırı olarak görülür.

• Avantajı: Normal dağılımlı veri setlerinde oldukça etkilidir.
• Dezavantajı: Normal dağılım varsayımına dayanır, bu nedenle veriler normal dağılmıyorsa yanıltıcı olabilir.

2.3) Mahalanobis Mesafesi: Özellikle çok değişkenli veri setlerinde kullanılan bir yöntemdir. Bu yöntem, veri noktalarının ortalamadan uzaklığını ve diğer noktalarla ilişkisini analiz ederek aykırı değerleri belirler.

• Avantajı: Çok değişkenli veri setleri için oldukça güçlü bir yöntemdir.
• Dezavantajı: Hesaplama maliyeti yüksektir ve büyük veri setlerinde zor uygulanabilir.

2.4) LOF (Local Outlier Factor): Komşuluk tabanlı bir yöntemdir ve her veri noktasının, çevresindeki diğer noktalara kıyasla ne kadar aykırı olduğunu değerlendirir.

• Avantajı: Yoğunluk bazlı yapısı sayesinde farklı dağılımlarda etkili sonuç verir.
• Dezavantajı: Hesaplaması karmaşık ve büyük veri setlerinde yavaş olabilir.

2.5) Grafiksel Yöntemler: Kutu grafikleri (boxplot), dağılım grafikleri (scatter plot) ve histogramlar gibi görselleştirme teknikleri ile veri setindeki aykırı değerler görsel olarak tespit edilebilir.

• Avantajı: Özellikle küçük veri setlerinde aykırı değerleri kolayca gözlemlemeyi sağlar.
• Dezavantajı: Çok büyük veri setlerinde gözle analiz zorlaşabilir.

3. Farklı Veri Türleri İçin Aykırı Değer Yönetimi

Aykırı değerler, farklı veri türlerinde farklı stratejilerle yönetilebilir:

• Sürekli Veriler: Finansal veriler, biyometrik ölçümler veya sıcaklık değerleri gibi sürekli veri setlerinde aykırı değerler genellikle normal dağılıma göre tespit edilir. Bu tür verilerde aykırı değerler büyük etki yaratabileceğinden, çıkarma veya dönüştürme yöntemleri kullanılabilir.
• Açıklayıcı veya Kategorik Veriler: Cinsiyet, ülke veya müşteri grubu gibi kategorik verilerde aykırı değerler daha nadir görülür. Ancak, kategorik veri içinde nadiren rastlanan bir kategori değeri varsa, bu durum farklı bir analiz gerektirir. Örneğin, çok düşük sayıda müşteri grubu varsa bu kategoriye özel analiz yapılabilir.

4. Aykırı Değerlerle Başa Çıkma Yöntemleri ve Duruma Göre Stratejiler

Aykırı değerleri analiz ettikten sonra onları yönetmek için birkaç yöntem kullanabiliriz:

4.1) Aykırı Değerleri Kaldırma: Aykırı değerlerin veri setinden tamamen çıkarılması en yaygın yöntemlerden biridir. Özellikle veri analizini saptıran, ölçüm hatasından kaynaklanan aykırı değerlerin çıkartılması, analizin doğruluğunu artırabilir.

• Avantajı: Ölçüm hatalarını giderir ve analiz sonuçlarını iyileştirir.
• Dezavantajı: Gerçek bir anomaliyi yanlışlıkla aykırı olarak değerlendirmek ve çıkarmak bilgi kaybına yol açabilir.

4.2) Aykırı Değerleri Dönüştürme: Logaritmik veya kök gibi dönüşümler uygulanarak aykırı değerlerin etkisi hafifletilebilir. Örneğin, gelir verisi gibi sağa çarpık (right-skewed) dağılımlarda log dönüşümü kullanmak bu sorunu hafifletebilir.

• Avantajı: Aykırı değerlerin veri setindeki etkisini azaltır ve analizde bozulma yaratmadan kullanımı sağlar.
• Dezavantajı: Veriyi orijinal haliyle analiz etmek isteyenler için veri anlamını zorlaştırabilir ve karmaşıklık yaratabilir.

4.3) Winsorizing: Aykırı değerleri belirli bir sınır değerine getirerek veri setinde tutulmasını sağlar. Örneğin, en yüksek %5 ve en düşük %5'lik dilimdeki değerleri belirli sınırlarla sınırlamak Winsorizing yöntemidir.

• Avantajı: Ekstrem değerlerin model performansına zarar vermesini engeller.
• Dezavantajı: Gerçek aykırı değerleri tam olarak temsil edemez ve bazı durumlarda hata payını artırabilir.

4.4) Modelde Ağırlıklandırma: Bazı durumlarda aykırı değerlere model içinde farklı bir ağırlık atamak da bir strateji olabilir. Örneğin, finansal veri analizlerinde büyük değişkenliği olan veri noktalarına daha az ağırlık vermek daha sağlıklı sonuçlar alınmasını sağlayabilir.

• Avantajı: Aykırı değerlerin model üzerindeki etkisini kontrol altına alır.
• Dezavantajı: Modelin karmaşıklığını artırabilir ve dikkatli bir değerlendirme gerektirir.

4.5) Özel Aykırı Değer Algoritmaları Kullanmak: Bazı algoritmalar, aykırı değerlerin model üzerinde fazla etkili olmamasını sağlamak için özel olarak tasarlanmıştır. Örneğin, Decision Trees veya Random Forest gibi yöntemler, aykırı değerlere karşı daha dayanıklı olabilir.

• Avantajı: Modelin stabilitesini artırır ve aşırı öğrenme (overfitting) riskini azaltır.
• Dezavantajı: Tüm modeller için uygun değildir ve bazı durumlarda önemli bilgileri göz ardı edebilir.

5. Aykırı Değerlerin Analiz Amacına Göre Önemi

Aykırı değerlerin analiz amacına göre önemi değişebilir. Örneğin:

• Anomali Tespiti: Banka işlemlerinde sahtecilik veya ağ güvenliğinde izinsiz giriş tespitinde aykırı değerler, analiz için çok değerlidir. Bu durumda aykırı değerlerin çıkarılması yerine detaylı analiz edilmesi gereklidir.
• Tahmin Modeli Oluşturma: Aykırı değerler tahmin modellerinde sonuçların sapmasına neden olabileceği için, çıkarma veya dönüştürme yöntemleri kullanılarak model doğruluğu artırılabilir.
• İstatistiksel Analiz: Ortalama, medyan ve standart sapma gibi temel istatistikler üzerinde çalışırken aykırı değerler analiz sonuçlarını ciddi şekilde etkileyebilir. Medyan gibi aykırılıklara dayanıklı (robust) ölçütler kullanmak daha doğru sonuçlar verebilir.

İlgili araç: Bu yazıdaki IQR kuralını kendi verinizde denemek için CSV Veri Seti Profili aracına bir CSV bırakın — her sayısal sütun için çeyreklikleri hesaplayıp aykırı değerleri sayar.