GOOGLEBOT คือ โปรแกรมอัตโนมัติของ Google ที่มีหน้าที่หน้าที่หลักๆ ก็คือการเข้าไป Crawling และทำสำเนาข้อมูลหน้าเพจ ของเว็บไซต์หรือบล็อกต่างๆ เพื่อใช้ในการทำดัชนี (Index) โดยจะไต่ไปตามลิงค์ต่างๆ ที่มีอยู่ในหน้าเพจหรือเว็บไซต์ การทำงานของ Googlebot นั้นจะทำการบันทึกข้อมูลต่างๆ ที่ได้รับจากหน้าเพจเข้าสู่ฐานข้อมูลของ Google Server เพื่อใช้ในการประมวลผลและจัดอันดับตามความเหมาะสม ที่ระบบของ Google สร้างขึ้นมาโดยเฉพาะ นอกจากนี้การ รเข้ามาตรวจสอบข้อมูลใหม่ๆ อีกเรื่อยๆ เพื่อทำการบันทึกข้อมูลที่อาจมีการเปลี่ยนแปลงในหน้า เพจเก่าที่เคยบันทึกไป แล้วด้วยเช่นกัน นั่นก็แสดงว่าถ้าเราอัพเดทข้อมูลเว็บเราบ่อยๆบอทมันจะเข้ามาเว็บเราบ่อยตาม ไปด้วย

Google Bot หรือ Google Spider นั้นมีด้วยกัน 2 ชนิดหลักๆดังนี้

Deepbot = ทำงานเพียงเดือนละครั้งเท่านั้น

Freshbot = ทำงานทุกวันตลอด 24 ชั่วโมงเพื่อเราจะได้เข้าใจกลไกการทำของเขาได้มากยิ่งขึ้นเราลองมาดูคำอธิบายน้อยๆกันข้างล่างครับ

Deepbot

Deepbot เป็น Spider ตัวหนึ่งของ Google ที่มีนิสัยชอบไปไหนมาไหนไกลๆ เป็นนักค้นหาครับเจ้านี้และขยันมากๆ ครับจะค้นทุกอย่างที่ใครต่อใครไม่เคยรู้เจ้า Spider ตัวนี้จะรู้หมดครับ และหาเจอทุกอย่างที่มีอยู่ในโลกออนไลน์ (อันนี้แหละที่แม้แต่ในระบบที่ล็อกอินก็ยังเข้าไปบันทึกได้) เพราะเดินทางไปเรื่อยๆ และก็จะค้นๆๆๆ แม้แต่เว็บที่ไม่เคยมีการโปรโมทเลยเขาก็หาพบ เจ๋งมากๆ ตัวนี้แต่ด้วยเหตุที่เจาะทะลุทะลวง และ เดินทางไกลๆ นี่เองทำให้ Deepbot สามารถทำงานได้ เพียงเดือนละครั้งเท่านั้นครับ

Freshbot

Freshbot จะทำหน้าที่ในการไล่ตรวจข้อมูลเก่าๆ และข้อมูลใหม่ๆ ที่มีการนำเสนอบ่อยๆ เช่นบล็อกต่างๆ รวมไปถึงไปตรวจเว็บที่ Deepbot เคยไปเก็บบันทึกมาอย่างมากมายด้วย ทั้งนี้ Freshbot จะทำหน้าที่ในการตรวจสอบข้อมูลใหม่ๆ ที่เกิดขึ้นในแต่ละวันและขยันมากๆ ครับในแต่ละวันนั้น Freshbot จะเข้าไปตรวจหน้าเพจต่างๆ ทั้งเก่าและใหม่หลายๆ ครั้ง ยิ่งเว็บไหนหรือบล็อกไหนอัพเดทบ่อยๆ ยิ่งไปบ่อยครับนั่นเลยทำให้ได้รับข้อมูลอะไรต่างๆ ที่ใหม่และสดอยู่เสมอนั่นเอง

รู้จักกับ Googlebot สำหรับ Mobile

เพื่อความเข้าใจตรงกัน ก่อนอื่นเราจะต้องรู้ว่าในการ index หน้าเว็บต่างๆ Google จะทำผ่านสิ่งที่เรียกว่า Googlebot ซึ่งมันก็คือหุ่นยนต์ที่มีหน้าที่เก็บข้อมูลจากหน้าเว็บ โดยเจ้าหุ่นยนต์ที่ว่านี้จะอาศัยลิ้งค์ต่างๆ ที่อยู่ในหน้าเว็บนั้นๆ ในการเดินทางต่อไปยังหน้าเว็บอื่นๆ ครับ

Googlebot นั้นจะมีอยู่หลายตัวด้วยกันนะครับ ผมขอแบ่งแบบหยาบๆ เลยก็จะมีแบบที่ Google เอาไว้ index หน้าเว็บทั่วไป กับแบบที่เอาไว้ index หน้าเว็บสำหรับ mobile device ครับ ซึ่งสิ่งที่ต่างกันระหว่าง 2 แบบนี้ก็คือ user-agent นั่นเอง

สำหรับเว็บที่เป็นแบบ Responsive แล้ว user-agent จะไม่มีผลอะไรครับ เพราะมันจะสนแต่ขนาดของ viewport เท่านั้น แต่สำหรับเว็บที่ใช้วิธีดัก user-agent เพื่อเอาไว้แยกการแสดงผลสำหรับเวอร์ชั่น mobile นั้น สิ่งที่ Googlebot แบบ mobile ได้ไปก็จะเป็นเว็บในเวอร์ชั่น mobile ครับ

สาเหตุที่ Goole ต้องปรับ Algorithm

Google มองว่า algorithm ที่ใช้อยู่เดิมนั้นยังไม่ค่อยเหมาะกับการค้นหาด้วย mobile device ครับ สมมติเราค้นหาร้านอาหารเพื่อทานมื้อกลางวันด้วยมือถือ เราอาจพบว่าผลลัพธ์ที่ได้มานั้นตรงกับคีย์เวิร์ดที่เราค้นหาไปก็จริง แต่พอกดเข้าเว็บไปแล้ว กลับต้องมาหงุดหงิดกับตัวหนังสือที่มีขนาดเล็กเกินไป แถมยังโหลดช้าเอามากๆ เนื่องจากเว็บนั้นไม่ได้คำนึงถึง mobile users เลย

ด้วยเหตุนี้เอง Google จึงจำเป็นต้องปรับ algorithm ครั้งใหญ่ โดยจุดประสงค์นั้นก็เพื่อให้ mobile users ได้รับความพึงพอใจสูงสุดในการค้นหานั่นเองครับ ซึ่งนิยามของความพึงพอใจนั้นก็มีอยู่หลายแง่ด้วยกัน แต่หลักๆ เลยก็จะเป็นการออกแบบที่ทำให้ใช้งานได้ง่ายใน mobile device และ ความเร็วในการโหลดนั่นเองครับ

* ขอบคุณบทความจาก aiyellowth.com