A „feltérképező robot” általános kifejezés minden olyan programra (pl. robot vagy „spider”), amely automatikusan fedezi fel és térképezi fel a webhelyeket úgy, hogy követi az egyik weboldalról a másikra vezető linkeket. A Google fő feltérképező robotja a Googlebot. Ez a táblázat felsorolja a Google gyakori feltérképező robotjainak adatait, amelyeket a hivatkozási naplókban láthat, valamint a megnevezésük módját a robots.txt fájlban, a robotsmetacímkéket és az X-Robots-Tag HTTP-házirendeket.

Az alábbi táblázatban láthatók a Google különböző termékei és szolgáltatásai által használt feltérképező robotok:

• Felhasználóiügynök-tokent használjon a robots.txt User-agent: sorában, ha webhelye feltérképezési szabályaiban általános feltérképezőtípust szeretne jelölni. Egyes feltérképező robotokhoz több token is tartozhat, ahogyan ez a táblázatban is látható. A szabályok érvényesítéséhez elég csak egy tokent használnia. A lista nem teljes, de tartalmazza a legtöbb olyan feltérképező robotot, amellyel webhelyén találkozhat.
• A teljes felhasználóiügynök-karakterlánc a feltérképező robot teljes leírása, amely a kérésekben és a webes naplókban is megjelenik.

Felhasználói ügynökök a robots.txt fájlban

Ha több felhasználói ügynök is felismerhető a robots.txt fájlban, akkor a Google a legpontosabbat fogja követni. Amennyiben azt szeretné, hogy a Google minden robotja feltérképezhesse oldalait, akkor egyáltalán nincs szüksége robots.txt fájlra.

Ha engedélyezni vagy tiltani szeretné a hozzáférést a Google minden robotja számára tartalma valamely részéhez, akkor a Googlebotot kell megadnia felhasználói ügynökként. Ha például azt szeretné, hogy minden oldala megjelenjen a Google Keresésben, és AdSense-hirdetéseket szeretne megjeleníteni oldalain, akkor nincs szüksége robots.txt fájlra. Ugyanígy, amennyiben egyes oldalakat teljes mértékben le szeretne tiltani a Google-on való megjelenéstől, akkor a Googlebot felhasználói ügynök tiltásával letiltja a Google többi felhasználói ügynökét is.

Ha pedig finomabb irányítást szeretne, pontosabb feltételeket is megadhat. Tegyük fel például, hogy az összes oldalát meg szeretné jeleníteni a Google-keresésben, ám nem szeretné, ha a robotok feltérképeznék személyes mappájában lévő képeit is. Ebben az esetben a robots.txt használatával a következőképpen tilthatja le a Googlebot-image user-agent számára a /personal mappában található fájlok feltérképezését (miközben engedélyezi a Googlebot számára az összes fájl feltérképezését):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Másik példaként tegyük fel, hogy szeretne hirdetéseket megjeleníteni minden oldalán, de nem szeretné, ha az oldalak megjelennének a Google Keresés találatai között. Ekkor tiltania kell a Googlebot hozzáférését, azonban engedélyeznie kell a hozzáférést a Mediapartners-Google számára:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Felhasználói ügynökök a robots metacímkékben

Egyes oldalak több robots metacímke használatával adnak meg utasításokat a különböző feltérképező robotok részére, például a következőképpen:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

Jelen esetben a Google összegzi a negatív utasításokat, és a Googlebot követi mind a noindex, mind a nofollow utasítást. További információ arról, hogy a Google hogyan térképezi fel és indexeli webhelyét.