Arama motorları nasıl çalışır? sorusunu aramanın 3 temel aşaması olan tarama, indeksleme ve sunma aşamalarını açıklayarak cevap verdik.
Arama motorları internet sitelerini bot denilen programlar ile ziyaret eder, edindikleri bilgileri bir dizine kayıt eder, sorgular yani anahtar kelimeler ile dizini ilişkilendirirler ve size sorgunuz ile en iyi eşleşen sonuçları basit bir arayüzle listelerler.
Tüm arama motorları temelde bu mantıkta çalışırlar. İşlemler ise temel 3 aşamada gerçekleşir. Bu aşamalar ise sırasıyla;
- Web tarama (Web Crawling)
- İndeksleme, Dizin oluşturma (Indexing)
- Arama ve sonuçları sunma (Searching)
olarak adlandırılır. Bunları bebeklerin yeni oyuncakları tanımaya, kendilerince bir düzen içinde dizip, oynamak istediğinizde birini size uzatmalarına da benzetebiliriz.
Arama motorları nasıl çalışır?
Arama motorlarının işleyişi hakkında daha fazla bilgi edinmek için herkese açık kaynaklarda bulunabilecek bilgiler ışığında arama motorlarının çalışma aşamalarını kısa kısa açıklayalım.
Web tarama (Web Crawling)
Bu aşamada kısaca bot adı verilen yazılımlar ile web siteleri ziyaret edilir ve bilgi toplanır.
Bot, spider, crawler olarak adlandırılan programlar ile web sayfaları ziyaret edilerek incelenir. İncelenen sayfalara ait veriler değerlendirilmek üzere toplanır. Botlar (yada örümcekler) sayfalara ait URL, başlık, içerik, meta açıklaması, CSS, JavaScript vs gibi bir çok bilgiyi toplar.
Botlar belli bir algoritma dahilinde çalışırlar. Tarama işleminde site sahipleri tarafından sağlanan sitemap.xml (site haritası), robots.txt gibi dosyalardan faydalanırlar.
Sitemap ile örümceklere siteye ait taranması istenilen URL ler gösterilir. Robots dosya içeriği ile sitenin neresine bakmaları yada bakmamaları gerektiği gösterilir.
Örümcek yada bot olarak bilinen yazılımlar webde hiç durmadan yeni ve güncel bilgi peşinde koşar ve web sayfalarından değerlendirilmek üzere bilgi toplarlar.
İndeksleme, Dizin oluşturma (Indexing)
Bu aşamada arama motoru indeksleme işleminde hızlı ve doğru bilgi sunumunu kolaylaştırmak için botlar tarafından toplanan veriler ayrıştırılır, depolanır ve güncellenir. Toplanan veriler dizin oluşturmak için kullanılır.
Dizin tasarımı, dilbilim, bilişsel psikoloji, matematik, bilişim ve bilgisayar bilimlerinden disiplinler arası kavramları içermektedir. İnternet ortamında web sayfalarını bulmak için tasarlanmış arama motorları bağlamında işlemin alternatif adı, web dizini oluşturma işlemidir.
Dizin oluşturma, web sayfalarında bulunan sözcükleri ve diğer tanımlanabilir işaretleri alan adlarına ve HTML tabanlı alanlara ilişkilendirmeyi ifade eder.
Çoğu web arama motoru reklam geliri ile desteklenen ticari girişimlerdir ve bu nedenle bazıları reklam verenlerin listelerini bir ücret karşılığında arama sonuçlarında daha üstte sıralanmasına izin verir. Tabi doğal sonuçlardan belirgin şekilde ayırt edilebilecek şekilde.
Çevrimiçi davranışsal reklamcılık uygulaması ile karşımıza çıkan reklamlar buna örnek verilebilir. Dizine ekleme ve ön bellekleme teknikleri genel olarak ticari sırlardır.
Arama ve sonuçları sunma (Searching)
Bu aşamada kullanıcının sorgusu ile ile en iyi eşleşen sonuçlar tarayıcıda gösterilir.
Web arama sorgusu, kullanıcının bilgi gereksinimlerini karşılamak için bir web arama motoruna girdiği bir sorudur. Sorguda girilen anahtar kelimeler için dizinde bulunan en alakalı sonuçlar bu aşamada kullanıcıya gösterilir. Ayrıca bu aşamada insanların arama alışkanlıklarının (yada insanların kendilerinin) analiz edilmesi için bilgi toplanır.
Web üzerinde bulunan siteler için birçok veri toplandığı gibi insanların yaptığı sorgular için de bilgiler toplanır. Bu aşama da yine birçok ticari sır mevcuttur çünkü; insanların web de neyi, ne zaman, nasıl, nereden, kaç defa aradığı sorularının cevapları ciddi kazanç anlamına gelmektedir.
İşleyişi en çok merak edilen aşama sunmadır. Merak edilen sonuçların neye göre sıralandığıdır. Ancak sunma aşamasında sonuçların neye göre sıralandığı tam olarak bilinmez. Sadece Google için 200′ ün üzerinde kriter olduğu söylenmektedir. Bazıları bilinsede bu kriterlerin kendi aralarındaki değerleri konusu muğlaktır.
Bu videoda Google yetkilisi Matt Cutts Google aramanın nasıl çalıştığını açıklamış. Bu arama motorları nasıl çalışır sorusuna da yanıt olabilir. En azından sektör lideri Google’ ın nasıl çalıştığını anlamanıza yardımcı olacaktır. İzlemenizi tavsiye ederim.
Arama motorları tarihçesi 1990 lardan günümüze gelen bir süre içindedir. Arama motoru yazılımları adına bu sürede oldukça gelişme kaydilse de halen oldukça ilgi ve yatırım çeken bir yazılım geliştirme alanı olarak önemlerini korumaktadırlar.
Sonuç olarak; arama motorlarının çalışma yöntemi basit görünse de arka planda öğrenmede olduğu gibi karmaşık bir mekanizma işlemektedir ve aşamaların detayları tam olarak bilinmez. Çünkü sonuçları sunma aşamasında sonuçların hangi kriterlere göre sıralandığı, ilişkilendirmeleri neye göre yaptıkları gibi detaylar kimse tarafından tam olarak bilinmemektedir.
Ayrıca sonuçlar canlı değildir. Yani siz arama yaptığınızda o anda web de olan kaynaklar değil arama motorunun kendi dizini aranır. Bu sebeple dizinin güncel olması oldukça önem kazanır. Özellikle haber kaynakları ve önemli siteler botlar tarafından sıkça ziyaret edilir.
Değerli olanı ilk sunan olmak daha doğrusu ilk olabilmek siteler için önemli olduğu kadar arama motorları içinde önemlidir. Nihayetinde sonuçların kalitesi kendi kalitelerini etkiler. Bu manada siteler ile sıkı ilişkileri mevcuttur. Arama motorları ve sitelerin ilişkisi ise arama motoru optimizasyonu olarak bilinen alanın konusudur.