Bildiğiniz gibi arama motorları Robot yazılımlar yardımıyla net üzerinde iz sürerek buldukları tüm kayıtları bir veritabanına kaydederler. (Cache) Daha sonra kendi siteleri üzerinden arama yapıldığında bu veriler doğrultusunda sonuçlar gösterirler. (Ör. Google, Yahoo, MSN, AOL vb.)



İşte tam bu noktada eğer siz bir site sahibi olarak bilgilerin bir başkası tarafından kaydedilmesini istemezseniz ne olur?



Yukarıda örneklerini vermiş olduğum tüm arama motorları bu soruya tek bir cevap veriyorlar. "İnternet kullanıcılarının da erişebileceği herşeyi bizimde yapmaya hakkımız var."



Aslında teoride haklı gibi gözükselerde yazılım yada tasarım aşamasında eğer sitenizde bir bölümü açık bıraktıyasınız, bir klasöre ana sayfa tanımlamadıysanız, test aşamasında kolaylık olsun diye bıraktığınız yönetici linkleri duruyorsa veya günün birinde siteniz bir sebepten dolayı çalışmıyor ve hata veriyorsa,bunu da arama motoru listesine kaydettiğinde firmanızın daha sonra tüm aramalarda kullanıcılara bu çalışmayan sayfanın gösterilmesi ciddi bir prestij kaybına ve ticari anlamda da zarar etmenize neden olmaz mı?



İşte zor soru buydu? Arama motorları mühendisleri yine bir ara formülle çözüm üretmeye çalışsalarda(robots.txt vb.), yaklaşık 8milyar site listesinde trilyonlarca dosyanın kontrol edilebilmesi imkansız gibi gözüküyor. Bir seferde tüm bilgileri toplasanız bile ciddi bir senkronizasyon uygulaması yapmak zorundalar. Çünkü bu 8 milyar sitenin hemen hemen her saat içeriği değişiyor.



Arama motorları 'nın teoride meşru gözüken (linkleri takip et, listeye kaydet) uygulaması yasal zaaflarını da yanında getiriyor.

Net deki yaşamın reel hayatımızdaki etkileri her geçen gün çok daha ciddi farkedilir oluyor. Örnek vermek gerekirse bir firmadan ürün ya da hizmet alacaksınız, bir ön inceleme yapmak için arama motorlarından firma ismini yazıp aradınız. Ama karşınıza koskocaman bir hata mesajı geliyor. Siz bir daha bu firmaya ciddi bir gözle bakabilir misiniz? Oysa tüm kabahat arama motorunun. Sitenin o anki orjini çalışıyor olsa bile siz arama yapıp geldiğinizde göreceğiniz arama listesindeki veribankasındaki kayıtdır.



Arama motorlarında sitenizin hangi sayfalarının listelendiğine bakmak için aşağıdaki örnek gibi arama yapabilirsiniz.

örnek:

Google , Yahoo, MSN, AOL 'da  arama kutusuna:

site:siteminismi.com



yazıp arayabilirsiniz.

gelecek olan sonuçlar  diğer internet kullanıcılarının da siteniz ile ilgili görecekleri bilgi sayfaları olacaktır.