فایل روبوتکست robots.txt یک فایل با پسوند txt و در پوشه اصلی وب سایت قرار میگیرد . وظیفه آن، مدیریت دسترسی ربات های گوگل یا سایر ربات ها به محتویات سایت از قبیل لینکها و فایل های مختلف است.
محتویات داخل فایل robots.txt
شما میتوانید سایت مپ خود را با استفاده از افزونه یواست سئو ایجاد و در فایل robots.txt قرار دهید.
درکل محتویات فایل robots.txt به این صورت می باشد:
User-agent: googlebot (نام رسمی ربات را مینویسیم یا قرار دادن * که میشودهمه ربات ها)
allow:/blog/seo (اجازه میدهد این لینک ایندکس شود)
disallow:/blog/news (جلوگیری از ایندکس شدن محتویات این لینک)
disallow:*.pdf$ (جلوگیری از ایندکس شدن فایل های pdf )
sitemap: (سایت مپ خود را در این قسمت قرار دهید)
لیست ربات ها یا خزنده های معروف وب
googlebot در واقع همان رباط گوگل است. در اینجا لیست برخی دیگر از ربات ها را می بینید. لیست کامل .
Bingbot | ربات بینگ |
Slurp | ربات یاهو |
| googlebot | ربات گوگل |
DuckDuckBot | ربات داک داک (یک موتور جستجو) |
Baiduspider | ربات موتور جستجو چینی |
YandexBot | ربات یاندکس |
facebot | ربات فیس بوک |
| googlebot-mobile | ربات گوگل موبایل |
| googlebot-image | ربات گوگل تصاویر |
Applebot | ربات اپل |
| Googlebot-Video | ربات گوگل ویدئو |
مطالب مرتبط
نویسنده مطلب
رسول قجاوند
سلام دوست عزیز،وردپرس به من شانس داشتن یه زندگی بهتر و آینده روشنتر داده،با یادگرفتن وردپرس و سئو تونستم زندگی بهتری داشته باشم و تصمیم گرفتم دیگران هم این را تجربه کنند، خوشحالم که خط‌اول را برای یادگرفتن انتخاب کردی. نظر یادتون نره !
رسول قجاوند
سلام دوست عزیز،وردپرس به من شانس داشتن یه زندگی بهتر و آینده روشنتر داده،با یادگرفتن وردپرس و سئو تونستم زندگی بهتری داشته باشم و تصمیم گرفتم دیگران هم این را تجربه کنند، خوشحالم که خط‌اول را برای یادگرفتن انتخاب کردی. نظر یادتون نره !
هیچ کامنتی ثبت نشده، اولین کامنت باشید !
0913-509-7727
برای طراحی سایت و سئو مشاوره بگیرید.
فهرست مطلب :
- دسته بندی مطالب
- سئو
- تولید محتوا
- دیجیتال مارکتینگ
- طراحی وب سایت
- خدمات ما
- سئو وبسایت
- طراحی وب سایت
- انجمن سئو
