خانه » سئو » Robots.txt چیست و چه اهمیتی دارد
robots.txt

Robots.txt چیست و چه اهمیتی دارد

فایل robots.txt در تمامی سایت  ها استفاده میشود.وظیفه این فایل این است که به موتور جست وجو میگویند کدام قسمت های هاست شما را و در واقع چه فایلهایی از سایت شما را میتواند ایندکس کند.وقتی اسپایدر های موتور جست و جو وارد سایت شما میشوند باید بدانند چه قسمتهایی را میتوانند ببینند و چه قسمتهایی برای آنها ممنوع است که این  تنظیمات در قابل robots.txt ذخیره میشود و در قسمت روت root هاست شما قرار میگیرد. فایل robots.txt دارای اهمیت فراوانی است اما زیاد مورد توجه قرار نمیگیرد زیرا کاربران از اهمیت آن بی اطلاع هستند. این  فایل بخشی از  معماری سایت محسوب میشود. یک اشتباه کوچک در این فایل باعث میشود سایت شما توسط موتور جست و جو ایندکس نشود یا ناقص ایندکس شود.برای اطلاعات بیشتر در مورد این  فایل به این لینک مراجعه کنید :http://en.wikipedia.org/wiki/Robots_exclusion_standard
فایل robots.txt در پوشه اصلی هاست شما یعنی Public_html وجود دارد که اگر آن را با یک ویرایشگر متنی باز کنید چند خط کد ساده میبینید که چند پوشه از سایت شما در آن قرار دارد و اینکه چه اسپایدر هایی  اجازه دارند سایت شما را مرور کنند.
robots.txt
قالب بندی کلی فایل robots.txt
خواندید که این فایل در قسمت روت هاست شما قرار دارد یعنی با تایپ sample.com/robots.txt باید بتوانید محتویات آن را ببینید. اگر در پوشه دیگری آن  را ساخته اید میتواند کپی کنید و در محل درست قرار دهید.

نمونه کد موجود در این  فایل :

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /junk/

این کد به موتور جست و جو میگوید که نمیتواند پوشه های /cgi-bin/ و /tmp/و /junk/ را جست و جو کند. چون ممکن است فایلهای شخصی یا چیزی درآن وجود داشته باشد که نخواهید کسی از آن مطلع شود.

از نمونه کدهای زیر میتوانید در فایل robots.txt خود استفاده  کنید فقط کافیست آن را به این فایل اضافه کنید و آن  را ذخیره کنید

مثال 1 : اجازه ایندکس شدن تمامی فایل ها

User-agent: *

Disallow:

مثال2 : جلوگیری از ایندکس شدن تمامی فایل ها

User-agent: *

Disallow: /

مثال 3: جلوگیری از ایندکس شدن یک پوشه خاص

User-agent: *

Disallow: /folder/

مثال 4: جلوگیری از ایندکس شدن یک پوشه خاص توسط اسپایدر گوگل طوری که فقط یک فایل از این  پوشه قابل ایندکس باشد

User-agent: Googlebot

Disallow: /folder1/

Allow: /folder1/myfile.html

مثال 5: اجازه دسترسی فقط برای یک اسپایدر خاص

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

چرا باید از فایل robots.txt استفاده کنیم:

  • با کمک این فایل میتوانیم جلوی دسترسی موتور های جست و جو به بخشهای خصوصی سایت خود را بگیریم
  • ممکن است پوشه های در سایت شما وجود داشته باشد که نسخه چاپی مقالات سایت شما در آن وجود داشته باشد که شما میتوانید از ایندکس شدن آن پوشه جلوگیری کنید زیرا اگر آن پوشه نیز ایندکس شود مطالب شما دوبار در موتور  جست و جو ثبت میشوند که به عنوان مطالب کپی شده  محسوب میشود
  • با کمک این فایل اطمینان حاصل میکنید که موتور های جست و جو بخشهای اصلی و مورد نیاز سایت شما را ایندکس میکنند

اگر از سیستم مدیریت محتوی ووردپرس استفاده میکنید بهتر است پوشه admin را از  ایندکس شدن مخفی کنید زیرا در آن پوشه چیزی برای موتور جست و جو وجود ندارد. فقط کد زیر را اضافه کنید:

User-agent: *
Disallow: /wp-admin/

حال که از اهمیت این فایل مطلع شدید. سعی کنید از آن حتما استفاده کنید و طوری آن را پیکربندی کنید که موتور های جست و جو به بهترین روش مطالب سایت شما را ایندکس کنند.

فایل robots.txt در تمامی سایت  ها استفاده میشود.وظیفه این فایل این است که به موتور جست وجو میگویند کدام قسمت های هاست شما را و در واقع چه فایلهایی از سایت شما را میتواند ایندکس کند.وقتی اسپایدر های موتور جست و جو وارد سایت شما میشوند باید بدانند چه قسمتهایی…

نگاه کاربران

User Rating: Be the first one !

درباره ی رضا فلکی مقدم

رضا فلکی مقدم
من رضا هستم با 10 سال سابقه عملی در زمینه های طراحی سایت , سئو , شبکه های اجتماعی و اینترنت مارکتینگ. سعی میکنم جدیدترین مطالب رو تقدیم شما کنم.

همچنین ببینید

بهینه سازی تصاویر برای سئو

آموزش بهینه سازی تصاویر برای سئو

تصاویر یکی از مهمترین بخشهایی هستند که در تمامی سایت ها وجود دارند و بدون ...

خرید لینک

خرید لینک و تاثیر منفی آن در سئو

خرید لینک به عنوان آسان ترین راهی که میتواند به سایت شما کمک کند به ...

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *


*

Shares