صفحه محصولات من چرا ایندکس نمیشه؟
دیروز یکی از مشتریهام با اضطراب برام نوشت: «صفحه محصولات من چرا ایندکس نمیشه؟!»
وقتی وارد سرچ کنسول شدم، دیدم بله… فایل robots.txt کل پوشه /products/ رو بلاک کرده بود!
درحالیکه اصلاً خبر نداشت همچین فایلی وجود داره، چه برسه به اینکه غلط تنظیمش کرده باشه.
این اشتباه کوچیک، باعث شده بود ماهها ترافیک ارگانیک از دست بره. تو این وبلاگ میخوام بهت بگم چطور از این اتفاقات در سئو و بهینهسازی سایت جلوگیری کنی!
حالا فایل Robots.txt چیست؟
Robots.txt یه فایل متنی سادهست که تو ریشه هاست سایتت قرار میگیره و وظیفهش اینه که به خزندههای موتور جستجو مثل گوگل بگه کدوم قسمت از سایت رو بخزن و کدوم قسمتها رو نباید ایندکس کنن.
🔍 منبع: Google Search Central – About Robots.txt
نحوه عملکرد فایل Robots.txt
وقتی خزندهای مثل Googlebot وارد سایت میشه، اول از همه دنبال فایل robots.txt میگرده. اگر اونجا چیزی پیدا کنه، طبق اون پیش میره. مثلاً اگه بنویسی:
User-agent: *
Disallow: /private/
یعنی به همه رباتها بگو: «لطفاً بخش خصوصی رو نخز!» بهطبع رباتها سعی بر احترام بهدرخواست ما دارن اما ممکن است در یکسری موارد از درخواست ما سرپیچی کنند.
🛠 ابزارهای لازم برای بررسی و ساخت فایل Robots.txt
فایل robots.txt کجا قرار میگیرد؟
در دایرکتوری ریشه سایت (Root Directory). یعنی اگر سایتت example.com هست، فایل باید در مسیر زیر باشه:
https://example.com/robots.txt
✅مراحل گامبهگام تنظیم فایل Robots.txt از طریق هاست
1.ساخت فایل robots.txt
با Notepad یا هر ادیتور متنی دیگه، فایل متنی ایجاد کن. فرمتش همیشه باید .txt باشه.
2.تنظیم دستورات اصلی
قررار دادن فایل robots.txt در هاست
فایل robots.txt باید در دایرکتوری ریشه (Root) سایت قرار بگیرد تا رباتهای موتور جستجو هنگام ورود به دامنه شما (مثلاً https://siteazma.com/robots.txt) بتوانند آن را پیدا کنند. برای این کار کافی است وارد هاست (cPanel یا DirectAdmin) شوید، از بخش File Manager پوشهی public_html (یا پوشهای که سایت اصلی روی آن نصب است) را باز کنید و فایل robots.txt را در همانجا آپلود یا ایجاد کنید. اگر فایل وجود نداشت میتوانید یک فایل متنی ساده بسازید، محتوای دستورات لازم را داخل آن قرار دهید و ذخیره کنید. دقت کنید که نام فایل دقیقاً باید robots.txt باشد و در پوشههای داخلی یا سابدامینها قرار نگیرد.
ساخت فایل robots.txt در رنک مث یا یواست
اگر دسترسی به هاست برایتان سخت است یا نمیخواهید مستقیم فایل بسازید، میتوانید از پلاگینهای سئو مثل Yoast SEO یا Rank Math استفاده کنید. این افزونهها بخشی به نام File Editor یا Robots.txt Editor دارند که از داخل پیشخوان وردپرس به شما امکان میدهد فایل robots.txt ایجاد، ویرایش یا حتی بازنویسی کنید. به این ترتیب بدون نیاز به ورود به هاست، میتوانید دستورات موردنظر (مثل اجازه یا جلوگیری از ایندکس پوشهها) را اضافه کنید و همان لحظه نتیجه را با وارد کردن آدرس yourdomain.com/robots.txt مشاهده کنید.
تست فایل robots.txt
📊 جدول: تفاوت اقدامات درست و اشتباه در تنظیم robots.txt
محتوای تجربهمحور:
یهبار در پروژه سئو سایت فروشگاهی با وردپرس، فایل robots.txt به صورت خودکار با افزونهای ساخته شده بود که کل مسیر /cart/ و /checkout/ رو بلاک کرده بود. خب کاربر حق داشت از خریدار نشدن تعجب کنه! بعد از اصلاح فایل، در کمتر از ۷۲ ساعت آمار فروش برگشت سر جای خودش.
📎 نمونه دستورات کاربردی برای وردپرس:
نحوه صحت سنجی فایل Robots.txt با سرچ کنسول
برای بررسی و تأیید فایل robots.txt در سرچ کنسول، کافیست از داشبورد اصلی سایتتون وارد بخش Settings (تنظیمات) شوید. در این بخش، گزینهای به نام robots.txt Tester یا بخشی با عنوان “robots.txt file” را خواهید دید که میتونید با کلیک روی آن، فایل فعلی سایتتون رو مشاهده کنید. اینجا دقیقاً همونجاست که میتونید بررسی کنید آیا دستورات شما (مثل Disallow, Allow یا مسیرهای خاص) بهدرستی نوشته شدن یا نه. اگه فایلتون خالی بود یا خطایی دیدید، میتونه نشوندهنده این باشه که گوگل دسترسی لازم برای کراول برخی صفحات نداره. حتماً با دقت دستورات رو مرور کنید تا از بروز خطاهای جدی در ایندکس شدن صفحات سایت جلوگیری کنید.
چرا تنظیم robots.txt برای سئو مهمه؟
🗣️ به قول Google Search Central:
“Improper use of the robots.txt file can block Googlebot from important pages and negatively affect your site’s presence in Search.”
استفاده نادرست از فایل robots.txt میتونه جلوی دسترسی گوگل به صفحات مهم رو بگیره و روی حضور سایت در نتایج جستجو تأثیر منفی بذاره.
سوال مهم: آیا میشه با robots.txt جلوی ایندکس صفحه رو گرفت؟
✅ خیر! برای جلوگیری از ایندکس، باید از تگ <meta name=”robots” content=”noindex”> استفاده کنید.
فایل robots.txt فقط جلوی خزیدن (crawl) رو میگیره نه ایندکس!
کِی به متخصص نیاز داریم؟
مهمه بدونی این فایل ساده، میتونه کل ترافیک ارگانیکت رو نابود کنه. پس اگه مطمئن نیستی چه صفحاتی باید ایندکس شن یا نه، حتماً با یه متخصص سئو مشورت کن. تنظیم اشتباه یعنی “خراب کردن با دست خودت”.
برای داشتن فایل این وبلاگ و دسترسی به نکات تجربی از طریق پست لینکدین اقدام بفرمایید.
اگر نیاز به مشاوره رایگان دارید همین حالا با ما در ارتباط باشید
09200743885
تیم سایت از ما، همراه شما در مسیر موفقیت
ما در تیم سایت از ما با ارائه خدمات کامل سئو و بهینهسازی در کنار شما هستیم. فرقی نمیکند که سایت شما تازه طراحی شده یا از قبل وجود داشته باشد؛ ما میتوانیم با آنالیز دقیق و مشاوره حرفهای، بهترین استراتژی را برای رشد کسبوکار شما ارائه دهیم.
چرا سایت از ما؟
- تیم متخصص و با تجربه.
- خدمات حرفهای مشاوره سئو.
- بهینهسازی تکنیکال، محتوا و لینکسازی داخلی.
- ارائه گزارشهای شفاف و دقیق.
برای شروع، کافی است همین حالا با ما تماس بگیرید و اولین قدم را برای موفقیت آنلاین خود بردارید.
