مشکل دیر ایندکس شدن مطالب سایت در گوگل
یکی از مشکلات مشترک اغلب سایت های تازه تأسیس یا سایت هایی که به روز رسانیهای مداوم و روزانه ندارند، مشکل دیر ایندکس شدن مطالب سایت است. در این ارتباط بارها از سوی کاربران سوال هایی پرسیده شده است و همچنین اساتید با تجربه نظرات خود را در ارتباط با راهکارهای اصولی ایندکس شدن سریعتر مطالب در گوگل منتشر کردهاند اما همچنان برای بسیاری از وبمستران، نقطه ابهام در این ارتباط وجود دارد. از این رو در این آموزش با ذکر علت وقوع این اتفاق یک راهکار مناسب به شما ارائه خواهیم کرد.
علت دیر ایندکس شدن مطالب سایت
قطعاً نمیتوان علت واحد و مشخصی را برای تمام سایتهای اینترنتی که با این مشکل مواجه هستند معرفی کرد اما بطور کلی تجربه نشان داده است موتور جستجوگر گوگل به سایتهایی علاقمند است که برنامه منظمی در انتشار مطالب تازه دارند. نخستین راهکاری که معمولاً برای حل این مشکل پیشنهاد میشود، انتشار منظم مطالب جدید با زمان بندی روتین بر روی سایت است.
علت این امر چیست؟ ظاهراً گوگل در الگوریتمهای خود به سیکل و دوره زمانی به روز رسانی سایت اهمیت داده است. بدین صورت که اگر شما به مدت چند هفته هر روز مثلاً در ساعت ۵ بعد از ظهر یک مطلب منتشر کنید و فعالیت خزندههای گوگل را با کمک آمارگیرها تحت نظر داشته باشید، به وضوح مشاهده خواهید کرد که رفته رفته در ساعت ۵ بعد از ظهر تعداد کرولرهای موجود بر روی سایت شما بسیار بیشتر از ساعتهای دیگر طول روز خواهد بود.
گوگل خزندههای خود را برای یافتن و ایندکس کردن مطلب جدیدی که در آن روز قرار است منتشر شود به سایت شما ارسال خواهد کرد. در نتیجه با داشتن یک برنامه زمانی مرتب برای انتشار مداوم مطالب جدید بر روی سایت خود، به آسانی میتوانید بدون نیاز به هیچ ترفند یا فعالیت خاصی، سرعت ایندکس شدن مطالب جدید سایت خود را ارتقا بخشید.
اما این راهکار به درد سایتهایی میخورد که امکان انتشار مطالب جدید فراوان به صورت روزانه بر روی سایت خود دارند. سایتهای تازه تأسیس و نیز سایتهایی که عملاً امکان انتشار مطلب به صورت روزانه را ندارند باید به دنبال راهکار دیگری باشند که در ادامه توضیح خواهیم داد.
اما از آنجا که قرار بر این شد که در این آموزش به دلایل وقوع این مشکل نیز بپردازیم، به یکی دیگر از دلایل این اتفاق اشاره میکنیم. آنچه که به وضوح در یک تجربه عملی راه اندازی سایت جدید درک خواهید کرد آن است که گوگل حداقل تا چند ماه اول از عمر یک وب سایت، بهای زیادی به آن سایت نمیدهد.
یکی از دلایل این اتفاق، تأثیر الگوریتم سندباکس بر روی سایتهای تازه تأسیس است. الگوریتم سندباکس یک الگوریتم تأیید نشده از سوی کمپانی گوگل است که مانع از ارزش یافتن سایتهای تازه تأسیس میشود. در واقع گوگل به سایتهای تازه تأسیس اعتماد ندارد که دلایل خوبی هم در پس این عدم اعتماد نهفته است.
به عنوان مثال، همانطور که قبلاً در یکی دیگر از آموزشهای دی بی اس تم به نقل قول از مت کاتز اشاره کردیم، درصد بسیار زیادی از سایتهای تازه تأسیس در همان ماههای اول فعالیت خود از بین میروند و اگر قرار باشد لینکهای مرده این سایتها در نتایج نخست جستجوها قرار گیرد، اعتبار موتور جستجوگر گوگل در نشان دادن نتایج نامعتبر به کاربرانش خدشه دار خواهد شد.
علت دوم این اتفاق “تقلب” است. سئوکارهای کلاه سیاه با ثبت دامنههای متعدد و انتقال ارزش از آدرسهای اینترنتی با ارزش به دامنههای جدید، ارزش یک سایت تازه تأسیس را ارتقاء داده و با قیمت بالایی به دیگران می فروشند. گوگل برای جلوگیری از بروز چنین سوء استفادههایی از الگوریتم تأیید نشده سندباکس استفاده کرده است.
آخرین دلیلی که در این آموزش به آن اشاره می کنیم، بی ارزش بودن سایت تازه تأسیس از نقطه نظر دریافت لینک و بک لینک از دیگر سایتهای اینترنتی است. در دنیای وب “دریافت لینک” یعنی “ارزش و اعتبار” و سایتهای تازه تأسیس معمولاً از این نظر اعتبار چندانی ندارند. همچنین کرولرها به صورت لینک به لینک دنیای وب را پویش میکنند و با افزایش لینکهای دریافتی، طبیعتاً آمار ورود کرولرهای گوگل به سایت افزایش خواهد یافت و در نتیجه مطالب جدید سایت شما زودتر توسط آنها پیدا شده و سریعتر ایندکس خواهند شد.
راهکار مشکل دیر ایندکس شده مطالب سایت
علت انتشار این آموزش بر روی آموزشگاه دی بی اس تم، معرفی روشی است که میخواهیم شما را با آن آشنا سازیم تا بتوانید به سرعت و در کمتر از یک دقیقه مطالب جدید سایت خود را به گوگل معرفی کرده تا ایندکس شوند. برای انجام این کار ما از ابزار Fetch as Google گوگل وبمستر تولز (سرچ کنسول) استفاده مینماییم.
ابتدا وارد اکانت گوگل وبمستر تولز سایت خود شوید. اگر هنوز سایت خود را در گوگل به ثبت نرساندهاید، باید یک حساب جیمیل داشته باشید و به آدرس https://www.google.com/webmasters بروید و پس از لاگین با جیمیل خود، سایتتان را در این جعبه ابزار قدرتمند گوگل به ثبت برسانید.
پس از ورود به حساب کاربری خود، از منوی آبشاری سمت چپ، زیرمنوهای سربرگ Crawl را باز کرده و بر روی منوی Fetch as Google کلیک کنید. Fetch به معنی واکشی یا کشیدن و آوردن است. این ابزار خزندههای گوگل را به آدرسی که شما تعیین میکنید می آورد تا آن صفحه از سایت شما رو تحلیل کنند.
بسیار دقت کنید در صفحه باز شده باید متن پیوند آدرس مطلب جدید سایت خود را از اسلش / بعد از آدرس دامنه کپی کنید و در کادر فتچ درج کنید. به قسمت انتخاب شده عکس زیر دقت کنید تا متوجه شوید چه بخشی از لینک را باید کپی کنید.
به عنوان مثال اگر آدرس مطلب جدید سایت شما به صورت dbstheme.com/POST است، شما باید فقط POST را کپی کنید نه POST/ چرا که خود کادر فتچ، اسلش را دارد و کپی دوباره / باعث خراب شدن لینکی که میخواهید خزنده به آن بفرستید خواهد شد. به عکس زیر دقت کنید:
سپس بر روی دکمه قرمز رنگ Fetch and Render کلیک کنید. تا اینجا شما آدرس مطلب جدید سایت خود را به گوگل دادهاید و از گوگل درخواست کردهاید تا به آن صفحه بیاید و آن صفحه را تحلیل و بررسی نماید. انجام عملیات تحلیل صفحه چند لحظهای طول خواهد کشید و در این مدت پیغام Pending به شما نمایش داده خواهد شد.
پس از انجام پردازش توسط گوگل اگر آدرس را درست ثبت کرده باشید و مشکلی وجود نداشته باشد، پیغام Pending جای خود را به دکمه Submit to index به معنی “درخواست ایندکس” خواهد داد.
در نهایت بر روی دکمه Submit to index کلیک کنید. یک پنجره پیغام باز شده و از شما میخواهد در یک کادر مربع کلیک کنید تا تیک بخورد که در آن نوشته شده I’m not a robot به معنی من ربات نیستم (برای تشخیص کاربر انسانی از ربات). سپس گزینه Crawl only this URL به معنی فقط همین صفحه را پویش کن را تیک بزنید و بر روی دکمه Go کلیک کنید. گوگل در همان لحظه آن صفحه از سایت شما (به عنوان مثال مطلب جدید سایتتان) را در دیتابیس خود ثبت کرده و ایندکس مینماید.
حال، پیغام انجام موفقیت آمیز مراحل را مشاهده خواهید کرد.
تبریک! به همین سادگی شما توانستید تازهترین مطلب سایت خود را به گوگل معرفی کرده و به سرعت آن را در دیتابیس گوگل ایندکس نمایید. با این روش در مدت زمان بسیار کوتاهی میتوانید تازهترین نوشتههای سایت خود را ایندکس نمایید.
پینگ چیست؟
پینگ (ping) کردن موتورهای جستجوگر در دنیای وب بدین معنی است که به موتورهای جستجوگر اطلاع دهیم که مطلب جدیدی بر روی سایت منتشر کردهایم و از آنها تقاضا کنیم تا خزندههای خود را به سایت ما ارسال کرده و آن مطلب را ایندکس نمایند.
در این آموزش با استفاده از ابزار Fetch as Google به شما نشان دادیم چگونه صفحات جدید سایت خود را در دیتابیس گوگل به ثبت برسانید اما اگر میخواهید سایر موتورهای جستجوگر را نیز از انتشار مطالب جدید سایت خود مطلع کنید و یا آنکه یک مطلب قدیمی را ویرایش و به روز رسانی کردهاید و حال میخواهید گوگل خزندههای خود را به آن صفحه ارسال کند و ویرایشات شما را بررسی کرده و دیتابیسش را به روز کند، بهتر است از روش پینگ کردن استفاده کنید.
انجام این کار بسیار ساده است. سایتهای بسیار خوبی نظیر pingomatic.com و googleping.com و غیره، به شما اجازه میدهند تا آدرس یک صفحه از سایت خود را درج کنید و تیک موتورهای جستجوگری که میخواهید پینک کنید را زده و در نهایت بر روی دکمه ارسال پینگ کلیک کنید.
با انجام این کار، موتورهای جستجوگری که پینگ کردهاید اعلانی دریافت مینمایند بر این مبنا که شما درخواست دادهاید یکی از صفحات سایتتان را بررسی نمایند. در نتیجه تعداد زیادی خزنده از سوی تمام مورتورهای جستجوگر به آدرسی که تعیین کردهاید ارسال شده و آن صفحه توسط آنها مورد بررسی قرار خواهد گرفت.
نکته حائز اهمیت آن است که انجام عمل پینگ به هیچ وجه تضمین کننده ایندکس شدن مطالب جدید سایت شما در موتورهای جستجوگر یا به روز شدن دیتابیس آنها با توجه به تغییرات و ویرایشات مطالب قدیمی نیست. با آنکه تقریباً تمام موتورهای جستجوگری که پینگ میکنید به سوی سایت شما خزنده ارسال خواهند کرد، اما ممکن است هیچ اتفاقی نیفتد و مطلب جدید سایت شما ایندکس نشود. تنها روشی که میتوان در آن به ایندکس شدن مطلب جدید سایت اطمینان داشت، ابزار Fetch as Google گوگل وبمستر تولز است.
kamel bod va matlab man index shod mamnon
سلام
واقعا که توضیحاتتون عالی بود .
.سپاسگذار، موفقیت هایتان روزافزون.در پناه خدا باشید.
سلام
من کلا اهل نظر مساعد دادن نیستم ولی عالی بود سایتتون و کانالتون رو دنبال میکنم
لایک
عالی بود …. .
در آخر فقط عالی بود :)
مفید بود استفاده کردم، ممنونم
سلام خیلی خیلی خیلی استفاده کردم
نهایت تشکر و قدردانی از شما همکاران عزیز و گرامی را دارم
همیشه در اوج و سرافرازی باشید
ارادتمند
قم – آسوده
عالی بود
با سلام و درود. بنده مطالب سایت شما را مطالعه کردم و لذت بردم. تشکر میکنم بابت محتوای نو و دسته اول شما.
ممنون…خسته نباشید
سلام. ممنون خیلی عالی و آموزنده بود.
سلام من برای اولین بار کاری که گفتید رو انجام دادم و به خوبی برای چند بار عمل کرد ولی فرداش در صفحه ارور ها با ارور Google couldn’t access your site because of a DNS error. مواجه شدم و لینک جدید رو هم که خواستم فنچ کنم به جای پیغام complete با پیغام Partial مواجه شدم ممنوم می شم کمکم کنید
سلام
مشکلی وجود نداره. فقط اون پیغامی که گوگل مبنی بر خطای DNS های دامنه سایت تون بهتون نشون داده رو پیگیری و برطرف کنید.
سلام ممنون از توضیحات خوبتون
اگه هر روز برای چند تا مطلب از fetch برای ایندکس شدن استفاده کنیم برای سایت مشکلی پیش نمیاد؟ یعنی امکان داره سایت پنالتی بشه چون همش از این ابزار استفاده میشه؟
سلام
خیر مشکلی پیش نمیاد. این ابزار رو گوگل در اختیار شما قرار داده و استفاده درست ازش مشکل ساز نمیشه.
با سلام و تشکر برای این مطلب.
من مراحل رو طی کردم اما در آخر به جای پیام Submit to index پیام Redirected نشون می داد.
الان چه کاری باید انجام داد؟؟
سلام
حتماً آدرسی که برای فتچ تقاضا میدید به آدرس دیگه ای ریدایرکت میشه که این پیغام رو می بینید.
حتماً باید آدرسی که سایت روی اون باز میشه رو تقاضا کنید.
یه مشکل
اول کار که کلیک کردم رو این گزینه ها صفحه مربوطه ظاهر شد – من ربات نیستم رو کلیک کردم و تیک سبزش نمایان شد – گزینه Crawl only this URL رو هم انتخاب کردم و وقتی روی گزینه GO کلیک میکردم اتفاقی نمیوفتاد – صفحه رو رفرش کردم الان :
من رو گزینه های زیر کلیک میکنم اتفاقی نمیوفته – چرا؟
http://s8.picofile.com/file/8278193400/Capt%D8%B5ure.PNG
سلام
درخواست ایندکس شما ثبت شده و مشکلی نیست.
احتمالاً اینترنت تون یک لحظه کند شده و مرورگرتون کار نکرده ولی درخواست تون درست ثبت شده. باید همین پیغام Indexing requested رو ببینید.
دمتون گرم – آموزش خوبی بود – برا نسخه موبایلش هم باید Fetch as Google رو انجام بدیم؟ چون شما در مطلب طبق عکس ها فقط نسخه دسکتاب رو انجام دادید.
سلام
خیر نیازی نیست.
فتچ در واقع برای سنجش دسترسی گوگل به یک صفحه از سایته ولی ما کاربری دیگه ای هم داریم ازش می کشیم. هدف ما در اینجا صرفاً ایندکس کردن مطالب جدید سایت هست ولی اگر بخواید با هدف دیگه ای از فتچ استفاده کنید، می تونید ببینید گوگل نسخه ریسپانسیو شده قالب سایت تون رو هم به خوبی می بینیه یا خیر!
ولی برای ایندکس، صرفاً یکبار درخواست فتچ روی نسخه دسکتاپ کفایت میکنه.
سلام.ممنون از راهنماییتون.
من چندین مطلب رو مطابق دستور العمل فتچ کردم و همه چیز درسته.ولی بعد از گذشت ۲ روزهنوز روی گزینه indexing request مونده.
تمام مطالب برای خودم هست و از جایی کپی نشده.باید صبر کنم یا مشکلی هست به نظرتون؟در ضمن روی دامنه بلاگفا مطلب میذارم.
سلام
درسته باید همین پیغام Indexing requested رو مشاهده کنید. یعنی شما درخواست ایندکس رو ارسال کردید و بعدش دیگه کاری نیاز نیست انجام بشه. کار تمومه.
اگر مطلبی که فتچ کردید ایندکس نمیشه حتماً مشکلی در کار هست و باید دنبال علت بگردید. مثلاً ممکنه سایت تون توسط گوگل تحریم شده باشه یا یک ربات مطالب تون رو زودتر از خودتون ایندکس میکنه یا غیره.
آرزوی موفقیت.
سلام دوست عزیز
مشکلی برای سایت من پیش اومده که تماس گرفتم گفتن همینجا تو کامنتها بذارم …
من یه سایت فروشگاهی دارم که کاراش رو بیشتر خودم انجام میدم و سایت من بر اساس اپن کارت هست
دیروز کد گوگل آنالایز رو بعد از ثبت نام گذاشتن تو بخش مربوطه تو مدیریت و سایت رو به گوگل مپ معرفی کردم برای ایندکس شدن
حالا از دیروز بخش مدیریت من وارد نمیشه وارور زیر رو میده :
Notice: Undefined index: g-recaptcha-response in /home/passagei/public_html/vqmod/vqcache/vq2-admin_controller_common_login.php on line 120
میتونید کمکی کنید تا مشکل حل بشه؟
قبل ذکر هست که عرض کنم تو جیمیل بنده هم بخش ایندکس ارور میده وظاهرا میگه آدرس کشور که برای مکان سایت نوشتم همخوانی نداره
شاید بدلیل این باشه که با فیلتر شکن مجبور شدم وارد بشم چون ظاهرا صفحه مربوط به ثبت نام سایت درگول مپ برای ایندکس کردن سایت بصورت معمول باز نمیشه
ممنون میشم راهنماییهاتون رو به ایمیل من بفرستید
سلام
مشکل به احتمال زیاد مربوط به کش سایت شما باشه. کش رو به صورت دستی از روی هاست پاک کنید مشکل احتمالاً برطرف میشه.
با سلام و ممنون از سایتتون من از فتچ قبلا هم استفاده کردم اما مشکلی که جدیدا برام پیش اومده اینکه یک مطلب رو به درستی فتچ کردم اما بعد گذشتن یک روز فعلا ایندکس نشده میدونید مشکل میتونه از چی باشه ؟
فایل رباتم هم درسته
سلام و وقت بخیر
ممکنه گوگل اون مطلب از سایت شما رو قابل ایندکس ندونه. به عنوان مثال، گوگل صفحاتی رو که کپی شده بدونه، تا جای ممکن ایندکس نمیکنه.
شما باید علت ایندکس نشدن اون صفحه از سایت تون رو پیدا کنید.
ممکن هست با یک اکانت کاربری webmasters چند تا سایت رو fetch کرد ؟
سلام
بله. این ابزار برای هر سایت مجزا هست و توی یک اکانت میتونید تعداد زیادی سایت ویرفای کرده باشید.
با سلام و احترام
واقعا مطلب مفیدی بود و خواهش میکنم که این مطلب را همچنان در سایت خود حفظ کنید تا بلکه دیگران هم براحتی بتوانند به آن دسترسی داشته باشند و از آن استفاده کنند
با تشکر
سلام دوست عزیز اول تشکر میکنم که انقدر مختصر و مفید و در عین حال کاملا قابل فهم توضیح دادید
فقط کاش میگفتید وقتی گزینه همه صفحات و بزنیم نتیجه چی هستش ممنون و خدا نگه دار
سلام و وقت بخیر
گزینه تمام صفحات باعث میشه گوگل تمام صفحاتی که لینکشون در صفحه مورد نظر ما هست رو ری کرول کنه و از اونجایی که خیلی از لینک های توی صفحه مربوط به مطالب مشابه، ایندکس، شاخه ها و غیره هست، و در اون صفحات هیچ تغییری ایجاد نکردیم که لازم باشه گوگل اونها رو ری کرول کنه، در نتیجه یک کار اضافی و بی فایده هست.
این گزینه زمانی به کار میاد که ما تغییری در تمام صفحات سایت مون داده باشیم. مثلاً ساختار لینک ها رو دستکاری کرده باشیم یا به نوعی محتویات نمایش داده شده داخل صفحات رو ویرایش کرده باشیم و غیره. و بخوایم که گوگل کل سایت مون رو ری کرول کنه.
در اون شرایط، صفحه “نقشه سایت” رو در ابزار Fetch as Google ثبت می کنیم و تیک می زنیم تمام لینک های داخل این صفحه رو ری کرول کل و گوگل هم کل لینک های داخل نقشه سایت رو ری کرول (پویش مجدد) میکنه.
آرزوی موفقیت
سلام خسته نباشید از شما و سایت خوبتون تشکر میکنم بابت همچین مطلب مفید و بارزشتون
فقط یه سوال داشتم چون بعضی از سایت ها در مورد ایندکس کردن دستی میگن که فقط تا ۵۰۰ لینک رو میشه دستی ایندکس کرد و ایا این حرف درسته یا محدودیت خاصی نداره
با تشکر
سلام و سپاس
سابق بر این گوگل اعلام کرده بود که از این ابزار فقط ۵۰۰ بار میشه در هر ماه استفاده کرد. دقت کنید “در هر ماه” و نه برای همیشه. و بعید میدونم سایتی وجود داشته باشه که تعداد بیشتری مطلب جدید نسبت به این تعداد در هر ماه منتشر کنه.
آرزوی موفقیت
سلام، ممنون بابت ترفند مفید
اما تا کی باید این کارو کرد (Fetch) چون قانونا سایت های بزرگ همچین کاری رو ادامه نخواهند داد.
سلام
تا هر زمان که سایت تون انقدر بزرگ شد که گوگل ده ها خزنده آنلاین روی سایت تون نگه داشت تا به محض انتشار مطلب جدید ایندکسش کنه.
فراموش نکنید این ترفند هم برای سایت های کوچک مناسبه و هم سایت هایی که قابلیت انتشار مداوم مطالب جدید رو ندارن که به حالت مورد نظر شما برسن.
آرزوی موفقیت
سللام. مطلب مفیدی بود. ایندکس گوگل earnbuxptc.mihanblog.com چند هست. ممنون
کامنت گذاشتنم، بسیار نادره، ولی این ترفند واسه منی که دقیقا دنبال یه همچنین چیزی میگشتم، اینقدر بهم چسبید که مجبورم کرد کامنت بذارم و بگم دمتون گرم خدایی.
مرسی واقعا عالی بود.
من نمیتونم از fetch as google استفاده کنیم!!
نمیدونم اصلا کجا برم!چیکار کنم!
کمکم کنید ممنون میشم
سلام
ابتدا باید سایت تون رو در وبمستر تولز به آدرس google.com/webmasters/tools ثبت و تأیید هویت کنید. سپس گوگل پیشخوانی رو برای مدیریت برخی امکانات در اختیارتون قرار میده.
در همون پیشخوان از منوی سمت چپ، مطابق توضیحات موجود در آموزش می تونید فتچ از گوگل رو پیدا و استفاده کنید.
ازشما به خاطر این آموزش بسیار سپاسگزارم
من یک مبتدی در زمینه طراحی سایت هستم وبرای سایتم (msfiles.ir) از این آموزش استفاده کردم.
موفق باشید
سلام. چرا برای من قسمت crwal نمی آید؟
سلام
مطمئن بشید سایت تون رو در گوگل وبمستر تولز ثبت کردید و بعد زمانی که به داشبورد سرچ کنسول وارد شدید، روی نام یا تصویر سایت تون کلیک کنید تا در صفحه ای که باز میشه به این منو دسترسی داشته باشید.
سلام،
ممنون که این مطلب رو کار کردین.
خیلی از ما ایرانیا متاسفانه عادت کردیم اطلاعات خودمون رو از دیگران مخفی کنیم تا نکنه یه وقت کسی از ما جلو بزنه!
و خیلی کم پیش میاد کسی مطلبی رو کامل توضیح بده.
اصولا زیاد اهل کامنت گذاشتن نیستم ولی مقاله ای که کار کرده بودین من رو مجبور کرد تا ازتون بابت این مطلب تشکر کنم.
موفق باشید.
سلام بهزار عزیز
از لطف شما سپاسگزارم
اگر مایل بودید مشترک کانال تلگرام سایت باشید خبر انتشار تازه ترین آموزش ها رو در کانال منتشر می کنیم. در حال نگراش یک دوره آموزشی جدید هستیم.
ممنون از مطلب مفیدتون
ممنون مثل همیشه مفید و آموزنده