Hvala Dragana, to mi cak i vise odgovara, da ga ne bi zaustavio skroz...
Evo sad sam gledao svoj robots.txt koji vec postoji. U njemu se nalaze vec folderi koje da ne prate botovi.
Code:
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
.
.
.
E sad sam ispod stavio:
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
Jel utice ovaj zadnji dio na prethodno?