Arama motorlarinin ; website crawl (yakalama) icin kullandiklari "SPIDER" programlari kendilerine has ayri ayri ozellikleri oldugu gibi, ORTAK ozellikleri vardir. Bu ortak anlastiklari ozellikler , web sitelerinin ayni zamanda olmazsa olmazlari arasindadir. Tum sayfalarin INDEX 'lenmesi geciktiren en onemli faktorler arasindadir. Googlebot , Yahoobot ve MSNbot gibi buyuk arama motorlarinin ortak kullandiklari kriterler icinde yer alan, crawl ve index icin Spider dosyasi ve Site haritasidir. Ve bunlarida websitenizin sayfalarinin tıklamayla cagrildigi yerde olmamasi zorunlu kurallardandir. Websitenizin yapisi bu cok onemli KURAL nedeniyle sizin olusturacaginiz bir dosya icinden; ORNEK= "root" icinden acilacak sekilde olmalidir. Dis kisimda olusturacaginiz ,uzantili bir INDEX dosyanız olacak ve ilk acilacak sayfanizda bunun icinden yonlendirilmis olmalidir.Tum spider programlarinin aradigi ; Spider Dosyasi ve site haritasi , kendi sayfalarinizlarla ayni yerde olmamalidir. Bu sistemlerin ,web sitenizde olmamasi, hatali yaptirdiginiz eski META TAG html diziminin , sipiderlerin hafizasindan silinme islemini imkansiz hale getirir.Ayni zamanda yenisininde tanitimini bu yolla , bu isleri bilen profesyonel tarafindan yapilmamasi websitenizin 60 gun sonra goruldugu, tekrar incelendigi filtrelendigi bilinirse, habersiz degisikliten dolayi 90 gun de BLOCK cezasi ile birlikte 150 gun websiteniz hicbiryerde yayinlanmaz.Web sitenizin istedigimiz sartlari tasimasi, tamamen KURAL'lar geregi olup, bu hale getirip, bilahare bize basvurmaniz gerektiginden , bizim yapmamizi icin normal ucretimize EXTRA web tamiri ucretimizi ilave etmeniz gerekir.