زماني که يک سايت روي اينترنت قرار مي گيرد فقط افرادي مي توانند به آن دسترسي داشته باشند که آدرس سايت يا همان نام دامنه را بدانند. قبل از بوجود آمدن موتورهاي جستجوگر و لينکستانها اين مسئله بسيار عادي بود اما با پيدايش آنها عمده بينندگان سايتها از اين طريق از سايت هدف بازديد مي کنند به عنوان مثال براي يک سايت معمولي در بدترين حالت گوگل در حدود روزانه 50 نفر بازديد کننده ارسال مي کند.

موتورهاي جستجو از يک نرم افزار به نام ربات يا خزنده استفاده مي کنند به عنوان مثال ربات يا خزنده گوگل "GoogleBot" نام دارد. اين رباتها با دنبال کردن پيوندها سايتهاي مختلف را بازديد مي کنند و اطلاعات مورد نظر خود را دريافت کرده و به سرور اصلي ارسال مي کنند. سرور يا سرورهاي اصلي با ذخيره سازي و پردازش آنها بانک اطلاعاتي مورد نظر خود را ايجاد مي کنند. محتواي اين بانکهاي اطلاعاتي در ميان موتورهاي جستجوي مختلف متفاوت است اما همه آنها الگوريتمي دارند که براساس اطلاعات دريافتي از رباتهاي خود و داده هاي پردازش شده به هر صفحه نسبت به يک کلمه خاص – که به "کلمات کليدي" مشهورند – امتياز ميدهد. اين امتياز نمايانگر مقدار نزديکي محتواي سايت به کلمه کليدي است. بر همين اساس زماني که فردي به دنبال يک موضوع خاص مي گردد موتورهاي جستجو به بانک اطلاعاتي خود مراجعه کرده و به ترتيب نزديکترين سايتها از لحاظ نزديکي محتواي سايت به کلمه يا کلمات کليدي استفاده شده را به وي پيشنهاد مي دهند.

از آنجا که هر موتور جستجوگر الگوريتم "وبکاوي" مخصوص به خود را دارد بنابر اين امتياز يک صفحه نسبت به يک کلمه کليدي ممکن است در موتورهاي جستجوي مختلف متفاوت باشد. البته اکثر اين الگوريتمها از يکسري اصول اوليه و ايتدايي مشترک استفاده مي کنند.

از آنجا که پايه همه اين تصميم گيري ها بر اساس هوش مصنوعي و رباتهاي جستجوگر است در بسياري از مواقع زماني که مديران سايتها (صاحبان سايتها) نسبت به قوانين موتورهاي جستجو بي تفاوت باشند و سعي در سازگاري سايتهاي خود با موتورهاي جستجوي بزرگ نکنند، رباتها اطلاعات ناقص يا اشتباهي را مخابره مي کنند و سايت امتيازي پايين تر از آنچه که شايسته است مي گيرد و اين يعني رتبه پايين تر، بازديد کننده کمتر و نهايتا بي استفاده ماندن سايت.

شعار نيست اگر بگوييم سايتي که با موتورهاي جستجو سازگار نباشد و حداقل در صفحات يک تا پنج از چند جستجوگر مهم دنيا ظاهر نشود بودن يا نبودن آن تفاوتي ندارد. هيچکس براي جستجوي يک مورد خاص به صفحات بعد از پنجم يعني به طور معمول نتايج با رتبه کمتر از پنجاهم رجوع نمي کند و معمولا جواب در همان صفحه اول و دوم است.