در مثال بالا ، روباتهای جستجوگر گوگل به صفحه "A" رسیده اند و لینکهای داخلی به صفحات "B" و "E" را می بینند. هرچند صفحات مهم C و D هم ممکن است در سایت باشد ، روبات هیچ راهی برای رسیدن به آنها ندارد - یا حتی نمیداند که آنها وجود دارند - چرا که هیچ لینک مستقیمی ، قابل جداسازی به این صفحات اشاره نمی کند. تا جایی که به گوگل مربوط میشود این صفحات اساسا وجود ندارند - محتوای عالی ، هدفمند سازی ، کلمات کلیدی خوب و بازاریابی هوشمند ، در صورتی که روباتها نمی توانند در وهله اول به این صفحات برسند ، هیچ تغییری ایجاد نمی کنند.
ساختار بهینه برای یک وب سایت شبیه به یک هرم می باشد. جایی که بالاترین نقطه در بالا ، صفحه اصلی وبسایت است :
این ساختار دارای حداقل تعداد لینک هایی است که بین صفحه اصلی و هر صفحه داده شده امکان پذیر است. این موضوع از ین جهت مفید است که اجازه می دهد تا قدرت رتبه بندی در موتورهای جستجو در کل سایت جریان یابد ، بنابراین پتانسیل رتبه بندی را برای هر صفحه افزایش می دهد. این ساختار در بسیاری از وب سایت های با عملکرد بالا (مانند Amazon.com) که در قالب سیستم های شاخه و زیر شاخه ای هستند رایج است.
اما این روش چگونه انجام می شود؟ بهترین راه برای انجام این کار با لینک های داخلی و ساختارهای URL مجزا است. به عنوان مثال ، به طور داخلی به یک صفحه در http://www.example.com/mammals... با anchor text "گربه" لینک دارند. در زیر فرمت یک لینک داخلی که به درستی فرمت شده است آمده است. تصور کنید این لینک در دامنه jonwye.com است.
در تصویر بالا ، تگ "a" نشانگر شروع لینک است. تگ های لینک می توانند شامل تصاویر ، متن یا چیزهای دیگر باشد که همه آنها قابلیت کلیک روی صفحه را فراهم می کند و کاربران میتوانند به صفحه دیگری حرکت کنند.
در واقع هایپرلینک ها مفهوم اصلی اینترنت هستند. محل ارجاع لینک به مرورگر و موتورهای جستجو میگوید که لینک به کجا اشاره می کند . در این مثال ، به آدرس http://www.jonwye.com ارجاع شده است.
به بخش قابل دیدن لینک برای بازدید کنندگان در دنیای موتورهای جستجو "anchor text" میگویند. anchor text به توصیف صفحه ای که به آن لینک شده میپردازد. در این مثال ، صفحه نشان داده شده در مورد کمربندهای سفارشی ساخته شده توسط یک مرد به نام جان وای است و متن لنگر لینک هم "کمربند سفارشی طراحی جان وای" است. تگ لینک را میبندد ، بنابراین المان های دیگر در صفحه لینک مربوط به آنها را نخواهند داشت.
این پایه ترین فرم یک لینک و برای موتورهای جستجو بسیار قابل فهم است. روبات موتور جستجو می داند که باید این لینک را به نمودار لینک موتور وب اضافه کند ، از آن برای محاسبه متغیرهای مستقل پرس و جو (مانند MihanService) استفاده کند و آن را برای محتویات صفحات مرجع فهرست می کند.
در زیر برخی از دلایل معمول که ممکن است صفحاتی قابل دسترسی نباشند و بنابراین ممکن است ایندکس نشوند آمده است :
لینک های قابل دسترس فقط از طریق جستجو داخلی
روباتها برای جستجو به منظور پیداکردن محتوا تلاش نخواهند کرد و بر این اساس تخمین زده می شود که میلیون ها صفحه در پشت دیوارهای درگاه های جستجوی داخلی کاملا غیرقابل دسترسی پنهان شده اند.
rel="nofollow" می توانید به صورت زیر استفاده شود :
<a href="/" rel="nofollow">nofollow this link</a>
در این مثال ، با اضافه کردن ویژگی rel = "nofollow" به تگ لینک ، وب مستر به موتورهای جستجو می گوید که نمی خواهند این لینک را به عنوان یک لینک طبیعی یا "تایید شده توسط سایت" تفسیر کنند. Nofollow به عنوان یک روش برای کمک به متوقف کردن نظر خودکار در وبلاگ ، Guest Book ( که اجازه ثبت نظر هرکس را به بازدیدکننده میدهد) و لینکهای اسپم استفاده میشود ، اما با گذشت زمان به شیوه ای برای فهماندن به موتورها برای کم کردن ارزش هر لینکی که به صورت عادی رد میشود تبدیل شده است. لینک های دارای برچسب با nofollow توسط هر یک از موتورها به صورت متفاوتی تفسیر می شوند.