اگر از همراهان همیشگی پرشین تولز هستید، حتماً مقاله قبلی در مورد آموزش گوگل سرچ کنسول را خوانده‌اید! در این مقاله هم قصد داریم به بررسی ادامه این بحث بپردازیم تا بتوانید با استفاده از این ابزار و بهینه‌سازی سایت با استفاده از آن، سئوی سایت خود را بهبود ببخشید و ترافیک ورودی سایت خود را افزایش دهید.
دلیل ایندکس نشدن سایت در گوگل
خطای ۴۰۴
این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور ۴۰۴ مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.
خطای ۴۰۴ hard
این خطا یکی از پیچیده ترین و در عین حال ساده ترین ارورهایی است که می توان با آن رو به رو شد. خطای ۴۰۴ زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.
رفع خطای hard 404
به منظور رفع این خطا باید به طریق زیر عمل کنید:
در گام اول باید اطمینان حاصل کنید که صفحه مورد نظر را از طریق سیستم مدیریت محتوا منتشر کرده اید. محتوا نباید از این قسمت حذف شده باشد همچنین بررسی کنید در حالت پیشنویس قرار نگرفته باشد.
سپس لازم است که مطمئن شوید که URL مربوطه صحیح است و مشکلی ندارد.
در گام بعد باید بررسی کنید که این ارور در حالت www نشان داده می شود یا اینکه زمانی که بدون www جستجو می شود، مشاهده می شود. همچنین این موضوع را برای نسخه https یا نسخه http لینک مورد نظر نیز امتحان نمایید.
اگر می خواهید صفحه به صورت ریدایرکت نشان داده شود باید اطمینان حاصل کنید که لینک مورد نظر به یک صفحه مرتبط مناسب ریدایرکت ۳۰۱ داده می شود.
در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.
خطای soft 404
خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری از دست رفته باشد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام ۴۰۴ رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.
رفع خطای soft 404
به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:
- اگر صفحه ای از بین رفته است و هیچ ترافیک یا لینک مهمی را دریافت نمی کند، اجازه دهید ارور ۴۰۴ یا ۴۱۰ نمایش داده شود. البته باید اطمینان حاصل کنید که پاسخی که ارور ۴۰۴ یا ۴۱۰ ارائه می شود و کد ۲۰۰ نشان داده نمی شود.
- صفحات قدیمی را با استفاده از ریدایرکت ۳۰۱ به صفحات مرتبط در سایت خود redirect کنید.
- توجه داشته باشید تعداد زیادی از این صفحات مرده را به صفحه اصلی خود ریدایرکت نکنید. این صفحات یا باید خطای ۴۰۴ را نشان دهند یا اینکه به یک صفحه مرتبط مناسب ریدایرکت شوند.
- می توانید یک صفحه اختصاصی برای خود طراحی کنید تا در چنین مواقعی نمایش داده شود.
اگر صفحات شما زنده هستند اما خطای ۴۰۴ را نشان داده می شود، باید اقدامات زیر را داشته باشید:
- اطمینان حاصل کنید که محتوای کافی در صفحه مورد نظر وجود داشته باشد. چرا که در برخی از موارد صفحاتی که محتوایی ندارند یا محتوای آنها کم است، خطای soft 404 ارائه می دهند.
- همچنین باید مطمئن شوید که در حین نشان دادن کد ۲۰۰، صفحه به صورت ۴۰۴ نشان داده نمی شود.
شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای ۴۰۴ گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.
خطای Access denied
زمانی با خطای Access denied رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:
- کاربران برای اینکه بتوانند URL سایتتان را مشاهده نمایند، باید ابتدا در سایت ثبت نام کنند. به همین دلیل ربات گوگل نیز نمی تواند به آن دسترسی پیدا کند.
- از طریق فایل txt دسترسی گوگل به یک URL، فولدر یا کل سایت بلاک شده است.
- سرویس ارائه دهنده میزبانی وب، دسترسی ربات گوگل به وب سایتتان را بلاک کرده است یا سرور نیاز دارد که کاربران توسط پروکسی اعتبار خود را تایید کنند.
مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.
رفع خطای Access denied
به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:
- صفحاتی که می خواهید گوگل آنها را crawl کند را از حالت نیاز به ثبت نام خارج کنید.
- فایل txt را بررسی کنید تا اطمینان حاصل کنید که صفحات مورد نظرتان در لیست بلاک آن قرار نگرفته اند.
- با استفاده از URL inspection می‌توانید بررسی کنید که آیا موتور جستجو گوگل می‌تواند وب‌سایت خود را نمایش دهد یاخیر!
مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.
خطای Not followed
نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام کنید.
رفع خطای Not followed
گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:
- JavaScript
- Cookies
- Session IDs
- Frames
- DHTML
- Flash
اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:
- زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
- در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
- URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.
خطاهای dns و server
در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.
در مقاله بعدی به بررسی ادامه این بحث می‌پردازیم.
