Robots.txt

Een tekstbestand op een website dat instructies bevat voor webcrawlers en zoekmachines, zoals welke pagina’s moeten worden gecrawld of geïndexeerd en welke moeten worden genegeerd.