تحسين الزحف إلى موقعك

تحسين الزحف إلى موقعك من محرك بحث جوجل بواسطة برنامج Googlebot والذي يقوم بأرشفة موقعك وجميع صفحاته الداخلية والمقالات إلى فهرس جوجل ,

فقبل أن يظهر موقعك في نتائج البحث يجب أولاً أن يقوم Googlebot بالزحف إليه وفهرسته .

أهمية تحسين الزحف إلى موقعك

و ترجع أهمية زحف جوجل في إذا كنت تريد إضافة جميع صفحات موقعك إلى فهرس جوجل ,

لذلك يتعين عليك توجيه Googlebot بشكل صحيح إلى موقع الويب الخاص بك حتى يتمكن من العثور على جميع المحتويات المهمة وعالية الجودة والزحف إليها ,

و يعتبر تحسين الزحف إلى موقعك أحد العوامل المهمة في تحسين محركات البحث

وخاصة في المواقع الكبيرة التي تحتوي على العديد من الصفحات الفرعية كالمتاجر الالكترونية ,

نظرًا للعدد الكبير من عناوين URL فهناك خطر يتمثل في أن جوجل يقضي الكثير من الوقت في مناطق غير ذات صلة بهذه المواقع ,

وحينها يتوقف عن الزحف وبالتالي لا يمكنه العثور على الصفحات المهمة ,

ولا داعي للقلق من مواقع الويب الصغيرة أوالمتوسطة التي تحتوي على بضعة مئات من عناوين URL ,

فيمكن لجوجل بسهولة التقاط جميع الصفحات الفرعية بها وتضمينها في فهرسه .

ميزانية الزحف – crawl budget

نشرت جوجل مقالة مفصلة حول موضوع ميزانية الزحف على مدونة Webmaster Central الخاصة بها ,

فيما يلي تلخيص لأهم الجوانب :

بشكل أساسي يتضمن مصطلح “ميزانية الزحف” مفهومين وهما : معدل الزحف و طلب الزحف

معدل الزحف

و يشير معدل الزحف إلى عدد الاتصالات المتوازية المتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى موقع الويب الخاص بك ,

يعتمد ذلك على مدى سرعة استجابة الخادم لديك وما إذا كانت هناك أخطاء فنية .

طلب الزحف

يصف طلب الزحف مدى أهمية موقع الويب الخاص بك بالنسبة لجوجل ويعتمد على شعبية موقعك ,

على سبيل المثال : إذا كان موقعك يحتوي على عدد قليل من الروابط الخلفية أو محتوى قديم فيكون أقل اهتماما من قبل جوجل .

العوامل التي تؤثر سلبًا على ميزانية الزحف

يمكن أن يتأثر الزحف إلى موقعك الإلكتروني وفهرسته سلبًا بعدة عوامل ومنها :

التنقل الأوجه

غالبًا ما يستخدم هذا النوع من التنقل في المتاجر عبر الإنترنت ,

إنها تمكن المستخدمين من تحديد النتائج على صفحة فئة المنتج بناءً على معايير مثل اللون أو الحجم.

لهذا الغرض تتم إضافة معلمات URL إلى عنوان URL ذي الصلة .

معرّفات الجلسات في عناوين URL

يجب عدم استخدام معرّفات الجلسات بعد الآن لأنها تنشئ عددًا هائلاً من عناوين URL لنفس المحتوى .

محتوى مكرر

إذا كانت الصفحات المتعددة تحتوي على نفس المحتوى فيجب على جوجل الزحف إلى العديد من عناوين URL دون العثور على أي محتوى جديد ,

وبالتالي يتم إهدار الموارد التي يمكن استخدامها للمحتوى ذي الصلة والفريد على صفحات أخرى ,

حاول تجنب حشو الكلمات الرئيسية في صفحات موقعك حتى لا تنال عقوبة جوجل وحظر موقعك في البحث .

صفحات الأخطاء البرمجية

هذه هي الصفحات التي يمكن استردادها ( صفحة الخطأ 404 ) ولكنها لا توفر المحتوى الذي تريده ,

يعرض الخادم رمز الحالة 200 لكن لا يمكنه الوصول إلى محتوى الصفحة الفعلي .

الصفحات التي تم اختراقها

تريد Google دائمًا أن تقدم لمستخدميها أفضل النتائج الممكنة ,

أما الصفحات التي تم التلاعب بها ليست بالتأكيد واحدة منهم ,

لذلك إذا اكتشف جوجل مثل هذه الصفحات على موقع الويب الخاص بك فإنه يتوقف عن الزحف .

مساحات لانهائية

يمكن أن تظهر مساحات لا نهائية مثل التقويم فيحتوي على رابط “الشهر المقبل” على موقعك حيث يمكن لجوجل متابعة هذا الرابط وتحديثه إلى الأبد .

المحتوى الضعيف أو الغير مرغوب فيه

لا تريد جوجل تضمين مثل هذه الصفحات في فهرسها وبالتالي يتوقف عن الزحف عند ظهور هذا المحتوى على موقعك .

سلاسل إعادة التوجيه

إذا قمت بتعيين رابط إلى صفحة تعيد التوجيه إلى صفحة أخرى يتعين على Googlebot استدعاء عدة عناوين URL حتى تصل إلى المحتوى الفعلي ,

لا تتبع جوجل عمليات إعادة التوجيه على الفور ولكنها تتعامل معها كصفحات فردية مما يهدر ميزانية الزحف .

كاش بوستر – Cache Buster

في بعض الأحيان يكون للموارد مثل ملفات CSS أسماء مثل style.css?1234534

يتم إنشاء المعلمة التي تمت إضافتها بعلامة الاستفهام ديناميكيًا في كل مرة يتم فيها استدعاء الملف لمنع تخزين الملف مؤقتًا بواسطة متصفحات الويب ,

ومع ذلك يؤدي هذا أيضًا إلى عثور جوجل على عدد كبير من عناوين URL هذه واستعادتها بشكل فردي .

عمليات إعادة التوجيه المفقودة

إذا كانت عمليات إعادة التوجيه العامة لـ www وكذلك https وغيرهم لم يتم إعدادهما بشكل صحيح ,

سيؤدي ذلك إلى مضاعفة عدد عناوين URL التي يمكن الزحف إليها ,

على سبيل المثال ، ستكون الصفحة www.example.com متاحة ضمن أربعة عناوين URL إذا لم تتم تهيئة إعادة التوجيه :

http://www.example.com

https://www.example.com

http://example.com

https://example.com

ترقيم صفحات ضعيف

إذا لم يكن لديك أرقام صفحات بموقعك للتنقل بين المقالات و لا يوجد سوى أزرار للنقر للخلف وللأمام ,

يتعين على جوجل استرداد عدد كبير من الصفحات لالتقاط ترقيم الصفحات بالكامل ,

لذلك يجب عليك استخدام أرقام الصفحات .

كيفية زيادة ميزانية الزحف واستخدامها بكفاءة لتحسينالزحف إلى موقعك

عادةً ما يكون لتحسين ميزانية الزحف هدفين وهما زيادة ميزانية الزحف الإجمالية المتاحة و استخدام ميزانية الزحف الحالية بطريقة أكثر كفاءة ,

فما هي كيفية زيادة ميزانية الزحف الخاصة بك ؟

• تحسين وقت استجابة الخادم وسرعة الصفحة :

إذا كان الخادم الخاص بك يستجيب بسرعة لطلبات الصفحة فيمكن لبرنامج Googlebot استخدام اتصالات متعددة في وقت واحد للزحف إلى موقعك ,

يؤدي هذا إلى زيادة معدل الزحف وبالتالي إجمالي ميزانية الزحف المتاحة ,

و يعد تحسين سرعة الصفحة لموقع الويب الخاص بك مقياسًا أساسيًا على أي حال ,

حيث تعد سرعة الصفحة عاملاً مهمًا في الترتيب .

• تقليل أخطاء الخادم :

تأكد من خلو البنية الأساسية التقنية من الأخطاء حتى يتمكن جوجل من استرداد أكبر عدد ممكن من عناوين URL من خادم الويب الخاص بك ,

تأكد أيضًا من أن جميع الصفحات على موقع الويب الخاص بك تعرض رمز الحالة 200 (موافق) أو 301 (إعادة توجيه دائمة) .

• زيادة الطلب على الزحف :

لجعل جوجل تزور موقع الويب الخاص بك قدر الإمكان تحتاج إلى بناء روابط خلفية قوية ,

حيث أن الروابط الخلفية تجعل موقعك موصى به من قبل مواقع أخرى ويهتم جوجل بذلك ,

يزور برنامج Googlebot الصفحات التي تحتوي على عدد كبير من الروابط الخلفية ,

كما ان زيادة تفاعل المستخدم مع المحتوى الخاص بك بالإضافة إلى الوقت الذي يقضيه الزوار على موقعك يحسن زحف جوجل ,

وبالمثل يُظهر المستوى العالي من المشاركة الاجتماعية إلى أن موقعك يقدم محتوى يستحق المشاركة ,

بالإضافة إلى ذلك لابد من نشر محتوى جديد بشكل منتظم لجعل جوجل تزور موقعك .

كيفية استخدام ميزانية الزحف بشكل أكثر كفاءة لتحسين الزحف إلى موقعك

على الرغم من أنه يمكنك زيادة ميزانية الزحف الخاصة بك إلى حد ما ,

إلا أنه من المهم بنفس القدر استخدام ميزانية الزحف الحالية الخاصة بك بطريقة أكثر كفاءة من خلال الاستراتيجيات التالية :

• استبعاد المحتوى غير ذي الصلة من الزحف :

يجب استبعاد جميع الصفحات من الزحف التي لا صلة لها بمحركات البحث باستخدام ملف robots.txt مثل صفحات تسجيل الدخول ونماذج الاتصال وما شابه .

• استخدام nofollow :

استخدام nofollow للروابط الداخلية يجعل برنامج Googlebot بعيدًا عن تلك الصفحات لانها غير ذات صلة .

• تجنب معلمات URL :

يجب تجنب معلمات URL دائمًا و إذا لم يكن ذلك ممكنًا فيمكنك استبعادها في حسابك على مشرفي مواقع جوجل .

• بنية الموقع المسطحة :

لا يزور Googlebot صفحات موقعك الموجودة في مكان بعيد في التسلسل الهرمي لموقعك باستخدام بنية الموقع المسطحة .

• تحسين الارتباط الداخلي :

تستخدم روبوتات محرك البحث الروابط الداخلية للتنقل عبر صفحات موقعك الداخلية لذلك يمكنك استخدامها لتوجيه برامج الزحف إلى صفحات معينة .

• خريطة موقع XML :

استخدم ملف Sitemap بتنسيق XML لمساعدة جوجل في الحصول على نظرة عامة على موقعك و لتسريع عملية الزحف .

• لا تقم بتعيين روابط على عمليات إعادة التوجيه :

لا يتبع Googlebot عمليات إعادة التوجيه على الفور ولكن خطوة بخطوة حيث يقوم بتخزين عنوان URL هذا وزيارته لاحقًا .

• تجنب سلاسل إعادة التوجيه :

تزيد سلاسل إعادة التوجيه من عدد عناوين URL التي يجب طلبها من الخادم وبالتالي تهدر ميزانية الزحف فلابد من إعادة التوجيه مباشرةً إلى عنوان URL المقصود .

• تحقق من المحتوى الخاص بك بانتظام :

إذا كان موقعك يحتوي على الكثير من الصفحات الفرعية فيجب عليك مراجعة المحتوى الخاص بك بانتظام ودمجه أو حذفه عند الحاجة .

وهذه كل ما يتعلق بعملية تحسين الزحف إلى موقعك ولابد من أخذها في الاعتبار اذا اردت تصدر نتائج البحث .

• ويمكنك قراءة مقال نصائح تحسين الموقع داخليا لمحركات البحث  ستساعدك كثيرا في تحسين الزحف الى موقعك
• وايضا قراء مقال تسريع فهرسة موقعك وحل مشكلة تغطية الفهرس وتابع المزيد على موقعنا

اخيرا لاتنسا الاشتراك في احد باقات خدمات السيو لدى شركة عرب اوبتميز .

ولاتنسى زيارة صفحات الشركة على السوشيال ميديا : فيسبوك – تويتر – انستجرام لمتابعة جديد عروض سيو .