Geçtiğimiz günlerde Avrupa, iki kritik seçime ev sahipliği yaptı. İlk olarak 4 Temmuz'da İngiltere'de yapılan seçimde İşçi Partisi tarihinde uzun süredir elde etmediği bir başarıyı elde etti, hemen 3 gün sonrasında düzenlenen Fransa'daki ikinci tur seçimlerinde ise sol ittifak yeni halk cephesi seçimi önde bitirdi. Her iki seçimde de ortak olan kazanan partilerin ve/veya ittifakların ideolojik olarak ortaklıkları değil, seçim öncesinde paylaşılan kamuoyu anketlerinin bu seçimlere dair yapmış oldukları projeksiyonda yanılmaları oldu.

İngiltere'deki seçimler öncesi yapılan anketlerle seçim sonuçları kıyaslandığında İşçi Partisi'nin seçimi önde bitirse de seçim öncesi yapılan projeksyonların altında oy aldığı, mecliste olması beklenmeyen Reform Partisi'nin mecliste olduğu görüldü.

Kaynak (Grafiğin atıldığı tweet)

Keza yine Fransa'daki seçimlerin ikinci turu için yapılan anketlerin neredeyse tamamında aşırı sağın birinci, sol koalisyonun ikinci, Macron'un üçüncü gelmesi öngörülüyordu. Ancak seçim sonuçları sol ittifakın ilk sırada, Macron'un Ensemble'nın ikinci, aşırı sağın ise üçüncü sırada tamamladığı sonucunu gösteriyordu.

Fransa'daki 2. Tur Seçimler İçin Yapılan Bir Anket. Siyah aşırı sağ, koyu kırmızı, yeşil, kırmızı sol ittifak, sarı Macron'un partisi Ensemble. Kaynak: Europe Elects

Kamuoyu araştırmaları ile gerçek seçim sonuçları arasındaki uyumsuzluk sadece bu iki seçimle sınırlı değil. 2016 yılında Amerikan Başkanlık seçimlerinde anketlerin çoğu Hillary Clinton'u önde gösterirken, seçimi sürpriz bir şekilde kazanan Donald Trump olmuştu. Yine 2019 Arjantin seçimlerinde de sonuçlar benzer bir ters köşe yaratmıştı.

Aslıda bu uyumsuzluk durumuna ülke olarak biz de pek yabancı sayılmayız. Çok değil, yaklaşık birkaç ay önce yapılan yerel seçimlerde pek çok araştırma şirketinin sonuçlarına göre AKP'nin ikinci parti olması beklenen bir sonuç değildi. Biraz daha geriye gidersek eğer 14 Mayıs 2023 Cumhurbaşkanlığı seçimlerinde, anketlerin çoğunluğu Kemal Kılıçdaroğlu'nu önde gösteriyor, hatta kimi anketlerde seçimin ilk turda Kılıçdaroğlu lehine tamamlanacağını söylüyordu.

Bu kadar başarısız örnekten sonra akıllarda oluşabilecek olası soruya istinaden bir yanıt vermek gerekirse, elbette anketlerle gerçek sonuçların uyum sağladığı seçimler de mevcut. Haziran 2019 İstanbul seçimi, 2012 ve 2020 Amerikan Başkanlık seçimi gibi.

Ancak bu tutarsızlık hâli, kamuoyu araştırmalarını, özellikle siyasi eğilim/tercih anketlerini, sadece biz de değil, dünya genelinde de aslında tartışma konusu haline getiriyor. Klasik anket yaklaşımının başarısız olduğu, yapay öğrenme bazlı, sosyal medya verilerinden çıkarımlara dayanan farklı alternatiflerin önerildiği pek alternatif mevcut, fakat bunların yayımladıkları makaleler hariç başarısını henüz yeterince ölçebileceğimiz donemiz de pek yok, varsa da açık kaynak olarak paylaşılmadığı söylenebilir.

Yıllardır süregelen bu tartışmanın ben şüpheci tarafında kalmayı tercih edenlerdenim. Anketlerin faydalı bir araç olduğuna inansam da tüm anket sonuçlarına inanmamayı, onları sorgulamayı tercih ediyorum. Birkaç senedir de neden böyle düşündüğümü anlatan yazılar yazıyorum ve bu yazı da onlardan biri olacak.

İlk olarak yazının ilerleyen paragraflarındaki argümanlara temel olması açısından anket nedir sorusunu kısaca yanıtlayalım.

Türkçeye, Fransızcadaki soruşturma, araştırma veya soru sorma anlamına gelen "enquête" kelimesinden geçen anket sürecinde, ilk olarak bir araştırma konusu veya hipotezi belirlenir. Ardından, bu konuya uygun anket yöntemi seçilir. Araştırmanın hedef kitlesine ulaşmak genellikle zordur; örneğin, bir seçim anketinde tüm seçmenler hedef kitledir. Bu geniş kitleden, temsil yeteneği olan küçük bir örneklem seçilir. Sonrasında, belirlenen anket yöntemi ile hazırlanmış sorular bu seçilen gruba uygulanır. Son aşamada, toplanan veriler analiz edilip, sonuçlar raporlanır. "Anket" olarak adlandırdığımız bu işlem dizisi her ne kadar birkaç cümlede özetlenebilse de zaman ve maliyet açısından aksine, oldukça zahmetli ve emek gerektiren bir süreç aslında.

Hazırlanması hem zaman hem de maliyet almasına rağmen bizler, bu anketlerin sonuçlarına çok rahat bir şekilde, özellikle sosyal medyada, rahatlıkla ulaşabiliyoruz. Hatta bazen bizim ulaşmamıza gerek kalmıyor, sonuçlar bize ulaşıyor desek yanılmış olmayız. İşte bu noktada Türkiye'de bence bu alanın önde gelen isimlerinden Prof. Dr. Emre Erdoğan'ın kendi Medium hesabında yayımlandığı Anket Sonucu Okuma Sanatı isimli yazısına atıf yaparak şu soruyu sormak gerekiyor. Bu kadar zaman ve maliyet gerektiren bir sürecin çıktısını nasıl bu kadar kolayca öğreniyoruz? Bu iyiliği bize kimler yapıyor?

Seçim anketleri ve tahminlerinin büyük ilgi gördüğü Amerika'da, bu anketlerin finansmanı genellikle basın kuruluşları, üniversiteler veya siyasetçiler tarafından sağlanıyor. Ancak Türkiye'de bu durumu genellemek zor. Bu soruya verilen en yaygın yanıt "abonelerimizden aldığımız ücretler" oluyor, bu da bizi bir başka soruya yönlendiriyor: Bu aboneler kimler?

Yukarıda da kısaca bahsettiğim gibi, anketin en kritik aşamalarından biri, anakütle ya da popülasyon olarak adlandırılan hedef grubu temsil etmesi amacıyla örneklem adını verdiğimiz ve anakütleden daha küçük olan, ama anakütle içerisinden seçilen bir grubun seçilmesi sürecidir ve bu süreç asla ama asla mükemmel bir sonuç vermez.

Örneğin rastgele 1000 kişi seçildi diyelim, bu seçilen grubun politik eğilimlerinin ülke geneliyle tam olarak eşleşmesi pek olası değildir. 1000 kere yazı tura attığınızda teorik olarak 500 yazı ve 500 tura gelmesi beklenirken 495 yazı, 505 tura gelebilir ya da 490 tura 510 yazı. Yani seçilen örneklemin de ülkedeki siyasi tercihleri tam olarak yansıtması mümkün değil. İşte bu sapmaya örneklem hatası diyoruz. Hatırlatma, örneklem hatası belki de bu anket sürecindeki en masum hatadır.

Örneklemin temsiliyeti sorunu bununla da bitmiyor. Türkiye'deki seçim anketleri genellikle büyükşehirler veya belirli kentsel bölgeler dikkate alınarak yapıldığından, özellikle kırsal bölgelerde yaşayan geniş seçmen kitlesi göz ardı ediliyor.

Her örneklem alınması sırasında temsiliyeti korumak için belirli nüfus dağılımlarına göre ağırlıklandırmalar yapılsa da, bu yöntem temsiliyet düzeyindeki sapmayı azaltıyor. Fakat tamamen ortadan kaldırmıyor. Ayrıca, rassallık konusu da önemli; sokaktan herhangi bir yayayı durdurup anket yapmak gerçek anlamda rassallığı yansıtmaz, bunu belirtmekte fayda var.

İyi haber, bu sorun evrensel bir sorun. Journal of Big Data dergisinde 2021 yılında yayımlanan "Why polls fail to predict elections" başlıklı makalede Arjantin'deki ön seçimler öncesi yapılan anketlerde 30 yaş altındaki grupları yeterince temsil edilemediği sonucu ortaya kondu. Bekleneceği üzere bu durum, zorunlu oy kullanma yaşının 16 olduğu PASO seçimlerinde, genç seçmenlerin tercihlerinin doğru yansıtılmaması nedeniyle anketin başarısız olmasına yol açtı.

Varsayalım ki örneklem belirlendi, şimdi bu örneklemdeki kişilere ulaşmamız gerekiyor. Bu amaçla çeşitli yöntemler kullanılır; geçmişte posta ile yapılan anketler artık internet, telefon ve yüz yüze yöntemlerle yapılmakta. İnternet üzerinden doldurulan anketlerin ülke genelini temsil etmesi düşük bir olasılıktır, hatta bence imkânsız. Bu tür anketler sadece katılımcı grubunun fikirlerini yansıtır. Bu yüzden, Twitter, YouTube veya diğer sosyal platformlarda yapılan anket sonuçlarını değerlendirme aracı olarak kullanmamanızı öneririm.

Türkiye'de yapılan anketlerde en yaygın kullanılan yöntem, Bilgisayar Destekli Telefon Görüşmesi (CATI) olarak biliniyor. Bu yöntem, veri toplama sürecinde maliyet avantajı sağladığı için tercih edilse de, anket sonuçlarının doğruluğunu etkileyen bazı faktörler barındırmakta. Katılımcılar üzerinde oluşan güvenlik endişesi bu faktörler arasında ilk sırada yer alabilir. Bir anda bilinmeyen bir numaradan gelen bir aramaya insanların sorgusuz gerçek politik görüşünü söylemesi düşük bir ihtimal. Hele hele Türkiye gibi kutuplaşmanın yoğum olduğu bir ülkede. Ayrıca, bu yöntemle yapılan anketlerde katılımcı profili de başka bir sorun. CATI üzerinden düzenlenen çalışmalarda sosyoekonomik seviyesi düşük gruplar ve kadınlar bu anketlerde yeterince temsil edilmez. Bu yöntemle yapılan anketlere katılanların genelde demokrat, komplo teorilerine inanmayan, toplumsal güven algısı yüksek kişiler olması, sonuçların doğruluğunu sorgulatır. Yaşlılar ve kırsal bölgelerde yaşayanlara erişim de bu yöntemin diğer zayıf yönlerindendir. Bu nedenle, kabaca bu anketler genellikle kent merkezinde yaşayan 20-50 yaş aralığındaki erkeklerin görüşlerini yansıtır.

Yüz yüze yapılan anketler, tüm veri toplama yolları arasında bizi gerçeğe en yakın yere götürecek metottur. Fakat kötü haber, burada da yine bizim örneklem hatasına dahil olmayan ve sonucu sorgulamaya iten bazı faktörler var. Yüz yüze anketlerin sokakta rastgele insanlara soru sormak olmadığını tekrar hatırlatayım. Yani bu anketlerin evde yapılması gerekir. Burada ise anketörün giyinişi, ses tonu, sakal ve bıyık şekli gibi faktörler, katılımcının yanıtlarını etkileyebilir. Ayrıca, siyasi eğilimleri ölçmek için hazırlanan anketlerde, hedef soru olan "kimi destekliyorsunuz?" sorusundan önce sorulan sorularla katılımcının cevabı manipüle edilebilir. Anketin uzunluğu, anketörün aceleci tavrı veya katılımcının soruları geçiştirme ihtimali de sonuçları etkileyen diğer faktörlerdir.

Bu noktaya kadar anket sahipleri ve/veya düzenleyicilerden kaynaklı sorunlardan bahsetsek de tek sorun kaynağı onlar değil. Katılımcılar da anketlerin şüpheli gözlerle sorgulanmasına katkıda bulunmaktadır. Yine yukarıda bahsettiğim "Why polls fail to predict elections" başlıklı makalede Arjantin seçimleri için seçimler öncesi ve sonrası aynı 1900 katılımcı üzerinde yapılan uzunlamasına veri analizini sosyal beğeni yanlılığını araştırmak için incelenmiş. Bu inceleme sonucunda belirli yaş gruplarının seçim öncesi ve sonrası farklı yanıtlar verdiği görülmüş. Bir başka deyişle "Yarın seçim olsa kime oy verirdiniz?" soruyla "Seçimde kime oy verdiniz?" soruları aynı kişi tarafından farklı bir şekilde cevaplandırılmış. Bu sonuçlar insanların seçim öncesi anketörlere gerçek oy niyetlerini sakladıklarını ve sosyal beğeni yanlılığının* sonuçları etkilediğini ortaya koyuyor.

Anketler, anlık ölçümlerdir ve sadece o andaki eğilimleri yansıtır, geleceğe dair bir projeksiyon sunmazlar. Ayrıca, gerçek olmayan, hipotetik senaryolar için de güvenilir sonuçlar vermezler. Örneğin, seçim öncesi adaylık kesinleşmeden sorulan "X aday olursa X mi Y mi?" sorusu, X'in alabileceği oy potansiyelini doğru yansıtmaz. Bradley etkisi veya sessizlik sarmalı olarak bilinen, seçmenlerin gerçek tercihlerinden farklı yanıtlar verme eğilimi de anket sonuçlarını etkileyen diğer faktörlerdir.

Sonuç olarak, anketler önemli bir ölçüm aracıdır, ancak sonuçlarına sorgusuz sualsiz güvenmemek ve karar mekanizmasında yüksek öncelik vermemek gerekir. Bir çalışma, yukarıda sayılan sorunları göz ardı ediyorsa veya bu sorulara bir cevap veremiyorsa, sonuçları karar alma süreçlerinde dikkate alınmamalıdır.

* Sosyal beğeni yanlılığı anket ya da araştırma sorularına katılımcıların başkaları tarafından olumlu görülmek amacıyla yanıt vermesi eğilimidir.

Referanslar

Zhou, Z., Serafino, M., Cohan, L. et al. Why polls fail to predict elections. J Big Data 8, 137 (2021). https://doi.org/10.1186/s40537-021-00525-8

https://medium.com/@urbanhobbit/anket-sonucu-okuma-sanat%C4%B1-b432b99e1ed0

https://tr.euronews.com/2021/06/16/turkiye-de-anket-sirketlerinin-s-k-yapt-g-hatalar-neler