בקצרה:
- בודקים קודם את Search Console: דוח הדפים מראה אילו עמודים לא נכנסו לאינדקס ולמה.
- רוב הבעיות נופלות לאחת משלוש קבוצות: סריקה, אינדוקס או דירוג. הטיפול שונה בכל אחת.
- חסימה ב-robots.txt, תג noindex או הגדרת "מנע ממנועי חיפוש" יכולים להעלים אתר שלם.
- עמוד שנסרק ולא נוסף לאינדקס הוא בדרך כלל עמוד דל או כפול, לא תקלה טכנית.
- עמוד שבאינדקס אבל לא מופיע בחיפוש צריך עבודת תוכן, לא תיקון טכני.
קודם כל: באיזה שלב זה נתקע?
כדי להופיע בחיפוש, עמוד צריך לעבור שלושה שלבים: Google מגיעה אליו וסורקת אותו, מוסיפה אותו לאינדקס, ומדרגת אותו מול עמודים אחרים. כל אחת מ-9 הסיבות במדריך הזה עוצרת את העמוד באחד מהשלבים.
הבדיקה הראשונה לוקחת דקה: מחפשים ב-Google את הכתובת המלאה של העמוד, או משתמשים בכלי "בדיקת כתובת URL" ב-Search Console. אם הכלי אומר שהעמוד באינדקס, הבעיה היא דירוג. אם לא, הכלי מראה גם את הסיבה.
| שלב | מה רואים | איפה בודקים |
|---|---|---|
| סריקה | Google לא מגיעה לעמוד, או נחסמת | בדיקת כתובת URL, robots.txt, דוח הדפים |
| אינדוקס | העמוד נסרק אבל לא נוסף לאינדקס | דוח הדפים, הטבלה "למה דפים לא נוספו לאינדקס" |
| דירוג | העמוד באינדקס אבל לא מופיע בחיפושים שחשובים לכם | דוח הביצועים: הופעות ומיקום ממוצע לפי שאילתה |
בעיות סריקה
1. האתר חסום לסריקה
הסיבה הנפוצה ביותר לאתר שנעלם כולו. בוורדפרס יש תיבה בשם "מנע ממנועי חיפוש לאנדקס אתר זה", שמסמנים בזמן הבנייה ושוכחים להסיר. היא מוסיפה תג noindex לכל האתר. גם שורה כמו Disallow: / בקובץ robots.txt חוסמת את כל האתר.
איך בודקים: פותחים את /robots.txt בדפדפן, ובודקים בהגדרות הקריאה של וורדפרס שהתיבה לא מסומנת. ב-Search Console, בדיקת כתובת URL מראה אם הסריקה מותרת.
2. חומת אבטחה חוסמת את Google
שירותי אבטחה כמו Cloudflare או תוסף אבטחה בשרת יכולים לחסום את הסורק של Google, למשל בגלל הגבלת קצב או חסימה לפי מדינה. מבחוץ האתר נראה תקין, אבל Google מקבלת שגיאה.
איך בודקים: בבדיקת כתובת URL לוחצים "בדיקה של כתובת אתר פעילה". אם מתקבלת שגיאת שרת או "הגישה נחסמה", בודקים את חוקי האבטחה ואת יומני השרת.
3. העמוד לא מקושר מאף מקום
Google מגלה עמודים דרך קישורים ומפות אתר. עמוד שאין אליו קישור מהתפריט, מעמוד אחר או ממפת האתר, נקרא "עמוד יתום", ו-Google עשויה לא להגיע אליו בכלל.
איך בודקים: מוודאים שהעמוד מופיע במפת האתר שנשלחה ל-Search Console, ושיש אליו לפחות קישור אחד מעמוד אחר באתר.
בעיות אינדוקס
דוח הדפים ב-Search Console מחלק את העמודים לשתי קבוצות: עמודים שנוספו לאינדקס ועמודים שלא. מתחת לגרף יש טבלה עם הסיבה לכל קבוצה. חלק מהסיבות תקינות לגמרי, וחלק דורשות טיפול.
4. תג noindex על עמודים חשובים
תג noindex אומר ל-Google לא להוסיף את העמוד לאינדקס. הוא מתאים לעמודי תודה, תוצאות חיפוש פנימי או עמודי מבחן. כשהוא מופיע על עמוד שירות, העמוד לא יופיע בגוגל אף פעם.
איך בודקים: בדוח הדפים, תחת "הדף לא נוסף לאינדקס בגלל התג noindex". עוברים על הרשימה ומוודאים שאין בה עמודים שצריכים להופיע. בתוסף ה-SEO (למשל Rank Math או Yoast) בודקים את הגדרת ה-Robots של העמוד.
5. Google סרקה, אבל החליטה לא להוסיף לאינדקס
הסטטוס "נסרק – לא נכלל באינדקס כרגע" (Crawled – currently not indexed) הוא בדרך כלל לא תקלה טכנית. Google קראה את העמוד והחליטה שהוא לא מוסיף מספיק: מעט תוכן, תוכן דומה לעמודים אחרים באתר, או עמוד שאין סיבה להציג אותו בחיפוש.
מה עושים: מרחיבים את העמוד עם מידע שימושי, מאחדים עמודים דומים לעמוד אחד חזק, ומקשרים אליו מעמודים אחרים באתר.
6. עמודים כפולים וכתובת קנונית
כשיש כמה כתובות עם אותו תוכן, למשל עם ובלי www, עם פרמטרים או בגרסת הדפסה, Google בוחרת אחת מהן להציג. לפעמים היא בוחרת כתובת אחרת ממה שרציתם.
איך בודקים: בדוח הדפים, תחת הסטטוסים שמתחילים ב-"עותק משוכפל". מוסיפים תג canonical שמצביע לכתובת הרצויה, ומפנים כתובות כפולות בהפניה 301.
7. שגיאות 404 והפניות שבורות אחרי שינוי באתר
אחרי בנייה מחדש או שינוי מבנה, כתובות ישנות שהיו בגוגל מחזירות 404. התנועה שלהן נעלמת, ו-Google מורידה אותן מהאינדקס.
איך בודקים: בדוח הדפים, תחת "לא נמצא (404)" ו-"404 רך". לכל כתובת ישנה שיש לה תחליף, מגדירים הפניה 301 לעמוד המתאים. כך עשינו באתר שלנו, ופירטנו את זה במדריך קידום אתרים אורגני.
בעיות דירוג
8. העמוד באינדקס, אבל לא עונה על החיפוש
עמוד שירות שכתוב בכלליות, בלי מחירים, בלי אזור שירות ובלי תשובות לשאלות של הלקוח, מפסיד לעמודים שעונים על כל אלה. Google מדרגת עמודים, לא אתרים, ולכן כל שירות חשוב צריך עמוד משלו.
איך בודקים: בדוח הביצועים מסננים לפי העמוד ובודקים לאילו שאילתות הוא מופיע ובאיזה מיקום ממוצע. עמוד במיקום 8-20 הוא בדרך כלל נקודת ההתחלה הטובה ביותר לשיפור.
9. פעולה ידנית או אתר חדש מאוד
פעולה ידנית היא עונש ש-Google מטילה על אתר שמפר את מדיניות הספאם, למשל בגלל קניית קישורים. זה נדיר, אבל כשזה קורה התנועה צונחת בבת אחת. מנגד, אתר חדש לגמרי פשוט צריך זמן עד ש-Google סורקת אותו ומבינה על מה הוא.
איך בודקים: ב-Search Console, תחת "אבטחה ופעולות ידניות". אם אין שם הודעה, הבעיה היא לא עונש.
מה עושים עכשיו
- פותחים את Search Console ובודקים את דוח הדפים: כמה עמודים לא באינדקס, ומאילו סיבות.
- מריצים בדיקת כתובת URL על עמוד השירות החשוב ביותר.
- בודקים את robots.txt ואת הגדרת "מנע ממנועי חיפוש" בוורדפרס.
- שולחים מפת אתר, אם עוד לא נשלחה.
- לעמודים שבאינדקס אבל לא מופיעים, בודקים בדוח הביצועים לאילו שאילתות הם קרובים לעמוד הראשון.
אם אחרי הבדיקות האלה הסיבה עדיין לא ברורה, בדיקת אתר מקצועית חוסכת בדרך כלל חודשים של ניסוי וטעייה.
שאלות נפוצות
כמה זמן לוקח לאתר חדש להופיע בגוגל?
בדרך כלל כמה ימים עד כמה שבועות מרגע שהאתר פתוח לסריקה ויש אליו קישורים או מפת אתר. שליחת מפת אתר ובקשת סריקה ב-Search Console מקצרות את הזמן, אבל לא מבטיחות אינדוקס.
האתר מופיע כשאני מחפש את השם שלו, אבל לא כשאני מחפש את השירות. למה?
זה סימן שהאתר באינדקס, והבעיה היא דירוג. עמוד השירות צריך לענות על החיפוש טוב יותר מהעמודים שמעליו. מה זה כולל פירטנו במדריך קידום אתרים אורגני.
האם בקשת סריקה ב-Search Console מכניסה את העמוד לאינדקס?
לא. היא מכניסה את העמוד לתור הסריקה. Google עדיין מחליטה אם להוסיף אותו, לפי איכות העמוד והאם הוא שונה מעמודים אחרים באתר.
האם אתר בלי הרבה עמודים יכול להופיע בגוגל?
כן. גם אתר של חמישה עמודים יכול לדרג, אם כל עמוד עונה טוב על החיפוש שלו. מספר העמודים לא קובע איכות, ו-Google מזהירה מעמודים שנוצרו רק כדי לתפוס שאילתות.
האתר נעלם מגוגל פתאום. מה בודקים קודם?
שלושה דברים: האם מישהו שינה הגדרה שחוסמת סריקה (למשל תיבת "מנע ממנועי חיפוש" בוורדפרס), האם יש הודעה על פעולה ידנית ב-Search Console, והאם האתר עבר לכתובת חדשה בלי הפניות.
מקורות: Page indexing report, Search Console Help · How Search works, Google Search Central · Block Search indexing with noindex, Google Search Central.
לא מצאתם את הסיבה?
בבדיקת אתר אנחנו סורקים את האתר כמו ש-Google סורקת אותו, עוברים על Search Console, ומראים בדיוק אילו עמודים לא נכנסים לאינדקס ולמה. בסוף מקבלים רשימת תיקונים לפי סדר עדיפויות.