message in a bottle
benchmark

Önerilerin isabetini ölçüp yayınlıyorum.

Bir yazışma uygulamasının tek dürüst reklamı sayısıdır: önerdiği kişi gerçekten cevaplandı mı, bir bağa dönüştü mü. Bu sayfa o sayıları sürüm sürüm gösterir. Ölçmediğimi "çalışıyor" diye satmam.

ölçtüğüm metrikler
İlk cevap oranı
veri toplanıyor
Gönderilen mektupların yüzde kaçı en az bir cevap aldı. Slowly gibi uygulamaların yayınlamadığı, en can alıcı sayı.
Karşılıklı yanıt oranı
veri toplanıyor
Önerdiğim kişilerden kaçı gerçekten karşılıklı mektup alışverişine döndü. Ana kalite metriğim (Reciprocal-Contact Precision@K).
Bağ kurma oranı
veri toplanıyor
Bir tanışmanın üç ve daha fazla mektup alışverişine ulaşma oranı. Yani "tek mektupta bitmedi" oranı.
Geri dönme oranı
veri toplanıyor
Bir hafta sonra geri gelip yazmaya devam eden kişilerin oranı. Ritüel katmanının işe yarayıp yaramadığı.

Hedef nerede, dürüst zemin ne

"Mükemmel öneri" diye bir şey yok. Karşılıklı öneri, klasik öneriden daha zor: iki tarafın da birbirinden hoşlanması gerekiyor, o yüzden başarı çıtası düşük ve iyileştirme payı büyük. Akademik literatürde yayınlanmış en iyi karşılıklı öneri yöntemleri bile aşağıdaki aralıkta kalıyor. Yani sağlıklı bir başlangıç zemini var, gizlenecek bir şey değil.

yaklaşımyayınlanmış başarı
Collaborative filtering (klasik)%25,1
Karşılıklı (reciprocal) yöntemler%28,7
message in a bottleveri toplanıyor

Kaynak akademik aralık: reciprocal recommender benchmark çalışmaları (arXiv:1501.06247, arXiv:2507.01063). Kendi sayım yalnızca yeterli sayıda gerçek mektup alışverişi biriktiğinde yayınlanır.

Nasıl ölçüyorum

Sayılar canlı üründen geliyor, laboratuvar simülasyonundan değil. Kimin kime cevap verdiği ve hangi önerinin gerçek bir mektup alışverişine döndüğü ölçülüyor. Mektup içeriği okunmuyor; ölçüm mektubun kendisine değil, "cevap geldi mi, karşılıklı oldu mu" olayına bakıyor. Örnek büyüklüğü küçükken sayının yanına örneklem büyüklüğünü de yazacağım, çünkü on kişilik bir orandan yüzde çıkarmak dürüst değil.