เกี่ยวกับ Crawler สำหรับเนื้อหา

Crawler หรือที่เรียกว่าสไปเดอร์หรือบอต เป็นซอฟต์แวร์ที่ Google ใช้เพื่อประมวลผลและจัดทำดัชนีเนื้อหาของหน้าเว็บ Crawler สำหรับเนื้อหาจะไปยังเว็บไซต์ของคุณเพื่อพิจารณาเนื้อหาและนำเสนอโฆษณาที่เกี่ยวข้อง

สิ่งสำคัญที่ควรทราบเกี่ยวกับ Crawler สำหรับเนื้อหา

• รายงานของ Crawler มีการอัปเดตทุกสัปดาห์
  การ Crawl ทํางานโดยอัตโนมัติ เราจึงไม่สามารถดำเนินการตามคำขอให้ทำการ Crawl บ่อยขึ้นได้
• Crawler สำหรับเนื้อหาแตกต่างจาก Crawler ของ Google
  Crawler 2 ชนิดนี้แยกต่างหากกัน แต่ใช้แคชร่วมกัน วิธีนี้เป็นการหลีกเลี่ยงไม่ให้ Crawler ทั้งสองเรียกใช้หน้าเว็บเดียวกัน ซึ่งจะช่วยให้คุณประหยัดแบนด์วิดท์ได้ ในทำนองเดียวกัน Crawler ของ Search Console ก็เป็นอีกโปรแกรมที่แยกออกไปต่างหาก
• การแก้ปัญหา Crawler สำหรับเนื้อหาจะไม่แก้ปัญหาการ Crawl ของ Google
  การแก้ไขปัญหาที่แสดงในหน้าการอนุญาต Crawler จะไม่ส่งผลต่ออันดับในผลการค้นหาของ Google
  หมายเหตุ: ดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดอันดับเว็บไซต์ใน Google ได้ที่บทความการทำให้เว็บไซต์ปรากฏในผลการค้นหาของ Google
• Crawler จัดทำดัชนีตาม URL
  ตัวอย่างเช่น Crawler จะเข้าถึง "site.com" และ "site.com" แยกกัน แต่จะไม่นับ "site.com" และ "site.com/#anchor" แยกกัน
• Crawler จะไม่เข้าถึงหน้าเว็บหรือไดเรกทอรีที่ไฟล์ robots.txt ไม่อนุญาต
  Crawler ของทั้ง Google และ AdMob Mediapartners จะอ้างอิงตามไฟล์ robots.txt ของคุณ หากไฟล์ robots.txt ห้ามไม่ให้มีการเข้าถึงหน้าเว็บบางหน้าหรือไดเรกทอรีบางรายการ ระบบจะไม่ทำการ Crawl หน้าเว็บหรือไดเรกทอรีนั้น
  หมายเหตุ: หากแสดงโฆษณาในหน้าเว็บที่มีการป้องกันด้วย robots.txt ซึ่งมีบรรทัด User-agent: * Crawler สำหรับเนื้อหาจะยังคงทำการ Crawl หน้าเว็บเหล่านี้ หากต้องการป้องกันไม่ให้ Crawler เข้าถึงหน้าเว็บ คุณต้องระบุ User-agent: Mediapartners-Google ในไฟล์ robots.txt

  ดูข้อมูลเพิ่มเติมเกี่ยวกับการอนุญาตให้ Crawler เข้าถึงหน้าเว็บ
• Crawler จะพยายามเข้าถึง URL เฉพาะเมื่อมีการติดตั้งแท็กโฆษณาของเรา
  เฉพาะหน้าเว็บที่แสดงโฆษณา Google สามารถส่งคำขอมายังระบบของเราและได้รับการรวบรวมข้อมูล
• Crawler จะพยายามเข้าถึงหน้าเว็บที่เปลี่ยนเส้นทาง
  เมื่อคุณมี "หน้าเว็บเดิม" ที่เปลี่ยนเส้นทางไปยังหน้าเว็บใหม่ Crawler ต้องเข้าถึงหน้าเว็บเดิมเพื่อพิจารณาว่ามีการเปลี่ยนเส้นทางหรือไม่ ดังนั้นการไปยังหน้าเดิมของ Crawler จะปรากฏในบันทึกการเข้าถึง
• คุณไม่สามารถควบคุมความถี่ที่ Crawler จะจัดทำดัชนีเนื้อหาในเว็บไซต์ได้
  ขณะนี้บ็อตของเราทำการ Crawl โดยอัตโนมัติ หากคุณทำการเปลี่ยนแปลงในหน้าเว็บ การเปลี่ยนแปลงนั้นอาจใช้เวลา 1-2 สัปดาห์จึงจะแสดงในดัชนี