Hier een officiele Google blog met daarin meer informatie over het beinvloeden van de manier van indexeren van Google, maar ook andere zoekmachines. Door middel van een tekstbestand, robots.txt, kan de toegang van zoekmachines op uw website worden bepaald. Ook met meta tags is het een en ander in te stellen. Meer informatie over dit onderwerp is ook te vinden op de site van W3C: http://www.w3.org/TR/html4/appendix/notes.html#h-B.4.1.1 .