A Google Robotjai


A Google feltérképező robotjai (felhasználói ügynökök)

További információ arról, hogy a Google melyik robotokat használja az internet feltérképezésére

A „feltérképező robot” általános kifejezés minden olyan programra (pl. robot vagy „spider”), amely automatikusan fedezi fel és térképezi fel a webhelyeket úgy, hogy követi az egyik weboldalról a másikra vezető linkeket. A Google fő feltérképező robotja a Googlebot. Ez a táblázat felsorolja a Google gyakori feltérképező robotjainak adatait, amelyeket a hivatkozási naplókban láthat, valamint a megnevezésük módját a robots.txt fájlban, a robotsmetacímkéket és az X-Robots-Tag HTTP-házirendeket.

Az alábbi táblázatban láthatók a Google különböző termékei és szolgáltatásai által használt feltérképező robotok:

  • Felhasználóiügynök-tokent használjon a robots.txt User-agent: sorában, ha webhelye feltérképezési szabályaiban általános feltérképezőtípust szeretne jelölni. Egyes feltérképező robotokhoz több token is tartozhat, ahogyan ez a táblázatban is látható. A szabályok érvényesítéséhez elég csak egy tokent használnia. A lista nem teljes, de tartalmazza a legtöbb olyan feltérképező robotot, amellyel webhelyén találkozhat.
  • teljes felhasználóiügynök-karakterlánc a feltérképező robot teljes leírása, amely a kérésekben és a webes naplókban is megjelenik.
Feltérképező robot Felhasználóiügynök-token (terméktoken) Teljes felhasználóiügynök-karakterlánc
APIs-Google APIs-Google APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense Mediapartners-Google Mediapartners-Google
AdsBot Mobile Web Android

(Az androidos eszközön megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google-Mobile Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web

(Az iPhone-on megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google-Mobile Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot

(Az asztali számítógépen megjelenő weboldal hirdetésminőségét ellenőrzi)

AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0
Googlebot (asztali számítógép) Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36vagy (ritkán használt):
  • Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot (okostelefon) Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense Mediapartners-Google (Különböző típusú mobileszközök) (compatible; Mediapartners-Google/2.1+http://www.google.com/bot.html)
Mobile Apps Android

(Az androidos alkalmazásokban lévő oldalak hirdetésminőségét ellenőrzi. Az AdsBot-Google robotok szabályait követi.)

AdsBot-Google-Mobile-Apps AdsBot-Google-Mobile-Apps
Feedfetcher FeedFetcher-Google

Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read Aloud Google-Read-Aloud

Nem veszi figyelembe a robots.txt szabályait – itt megtudhatja, hogy miért

  • Jelenlegi ügynök:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • Korábbi ügynök (elavult):
    google-speakr

Felhasználói ügynökök a robots.txt fájlban

Ha több felhasználói ügynök is felismerhető a robots.txt fájlban, akkor a Google a legpontosabbat fogja követni. Amennyiben azt szeretné, hogy a Google minden robotja feltérképezhesse oldalait, akkor egyáltalán nincs szüksége robots.txt fájlra.

Ha engedélyezni vagy tiltani szeretné a hozzáférést a Google minden robotja számára tartalma valamely részéhez, akkor a Googlebotot kell megadnia felhasználói ügynökként. Ha például azt szeretné, hogy minden oldala megjelenjen a Google Keresésben, és AdSense-hirdetéseket szeretne megjeleníteni oldalain, akkor nincs szüksége robots.txt fájlra. Ugyanígy, amennyiben egyes oldalakat teljes mértékben le szeretne tiltani a Google-on való megjelenéstől, akkor a Googlebot felhasználói ügynök tiltásával letiltja a Google többi felhasználói ügynökét is.

Ha pedig finomabb irányítást szeretne, pontosabb feltételeket is megadhat. Tegyük fel például, hogy az összes oldalát meg szeretné jeleníteni a Google-keresésben, ám nem szeretné, ha a robotok feltérképeznék személyes mappájában lévő képeit is. Ebben az esetben a robots.txt használatával a következőképpen tilthatja le a Googlebot-image user-agent számára a /personal mappában található fájlok feltérképezését (miközben engedélyezi a Googlebot számára az összes fájl feltérképezését):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Másik példaként tegyük fel, hogy szeretne hirdetéseket megjeleníteni minden oldalán, de nem szeretné, ha az oldalak megjelennének a Google Keresés találatai között. Ekkor tiltania kell a Googlebot hozzáférését, azonban engedélyeznie kell a hozzáférést a Mediapartners-Google számára:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Felhasználói ügynökök a robots metacímkékben

Egyes oldalak több robots metacímke használatával adnak meg utasításokat a különböző feltérképező robotok részére, például a következőképpen:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Jelen esetben a Google összegzi a negatív utasításokat, és a Googlebot követi mind a noindex, mind a nofollow utasítást. További információ arról, hogy a Google hogyan térképezi fel és indexeli webhelyét.

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés /  Módosítás )

Google kép

Hozzászólhat a Google felhasználói fiók használatával. Kilépés /  Módosítás )

Twitter kép

Hozzászólhat a Twitter felhasználói fiók használatával. Kilépés /  Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés /  Módosítás )

Kapcsolódás: %s