Estä

Mitä ”Salli /” tarkoittaa roboteissa.txt -tiedosto?
Salli pääsy kaikille paitsi yhdelle indeksointirobotille. Tarpeeton robotti ei saa indeksoida sivustoa, kaikki muut robotit voivat. User-agent: Unnece...
Robotit.txt Disallow -komento
Disallow: /-osa tarkoittaa, että se koskee koko verkkosivustoasi. Käytännössä tämä kertoo kaikille roboteille ja indeksointiroboteille, että he eivät ...