Robots.txt

31. mája 2023 - by hello@teapot.sk

Textový súbor prístupný v koreňovom adresári webu, ktorý hovorí botom (crawlerom), ktoré oblasti webu by mal ignorovať, na akom odkaze sa nachádza sitemapa a iné.