ljudi imam jos jedno pitanje pa cu iskoristiti istu temu. Postavio sam ogranicenje od laznih botova koji nece postovati robots.txt, ali desava se da neki ljudi ne mogu da pristupe sajtu, dobijaju Forbiddenn gresku, pa pretpostavljam da je zbog toga. Spisak tih laznih botova sam nasao negde na netu i on je:
Citat:
SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "Alexibot" bad_bot
SetEnvIfNoCase User-Agent "asterias" bad_bot
SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot
SetEnvIfNoCase User-Agent "Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "BlackWidow" bad_bot
SetEnvIfNoCase User-Agent "BlowFish" bad_bot
SetEnvIfNoCase User-Agent "BotALot" bad_bot
SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot
SetEnvIfNoCase User-Agent "CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "cosmos" bad_bot
SetEnvIfNoCase User-Agent "Crescent" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "DISCo" bad_bot
SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "Download\\" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EirGrabber" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "Express\\" bad_bot
SetEnvIfNoCase User-Agent "ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot
SetEnvIfNoCase User-Agent "FlashGet" bad_bot
SetEnvIfNoCase User-Agent "Foobot" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetWeb!" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "Googlebot-Image" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "GrabNet" bad_bot
SetEnvIfNoCase User-Agent "Grafula" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "hloader" bad_bot
SetEnvIfNoCase User-Agent "HMView" bad_bot
SetEnvIfNoCase User-Agent "httplib" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "humanlinks" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "Image\\" bad_bot
SetEnvIfNoCase User-Agent "Indy\\" bad_bot
SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "InterGET" bad_bot
SetEnvIfNoCase User-Agent "Internet\\" bad_bot
SetEnvIfNoCase User-Agent "JennyBot" bad_bot
SetEnvIfNoCase User-Agent "JetCar" bad_bot
SetEnvIfNoCase User-Agent "JOC\\" bad_bot
SetEnvIfNoCase User-Agent "Kenjin.Spider" bad_bot
SetEnvIfNoCase User-Agent "Keyword.Density" bad_bot
SetEnvIfNoCase User-Agent "larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechFTP" bad_bot
SetEnvIfNoCase User-Agent "LexiBot" bad_bot
SetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_bot
SetEnvIfNoCase User-Agent "LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "Mass\\" bad_bot
SetEnvIfNoCase User-Agent "Mata.Hari" bad_bot
SetEnvIfNoCase User-Agent "Microsoft.URL" bad_bot
SetEnvIfNoCase User-Agent "MIDown\\" bad_bot
SetEnvIfNoCase User-Agent "MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "Mister.PiX" bad_bot
SetEnvIfNoCase User-Agent "Mister\\" bad_bot
SetEnvIfNoCase User-Agent "moget" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/2" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_bot
SetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_bot
SetEnvIfNoCase User-Agent "Navroad" bad_bot
SetEnvIfNoCase User-Agent "NearSite" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "NetSpider" bad_bot
SetEnvIfNoCase User-Agent "Net\\" bad_bot
SetEnvIfNoCase User-Agent "NetZIP" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NPBot" bad_bot
SetEnvIfNoCase User-Agent "Octopus" bad_bot
SetEnvIfNoCase User-Agent "Offline.Explorer" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "PageGrabber" bad_bot
SetEnvIfNoCase User-Agent "Papa\\" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "pcBrowser" bad_bot
SetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_bot
SetEnvIfNoCase User-Agent "ReGet" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "RMA" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SlySearch" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "SpankBot" bad_bot
SetEnvIfNoCase User-Agent "spanner" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "Surfbot" bad_bot
SetEnvIfNoCase User-Agent "suzuran" bad_bot
SetEnvIfNoCase User-Agent "Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "tAkeOut" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "The.Intraformant" bad_bot
SetEnvIfNoCase User-Agent "TheNomad" bad_bot
SetEnvIfNoCase User-Agent "TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "Titan" bad_bot
SetEnvIfNoCase User-Agent "TJvMultiHttpGrabber" bad_bot
SetEnvIfNoCase User-Agent "Component" bad_bot
SetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "True_Robot" bad_bot
SetEnvIfNoCase User-Agent "turingos" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_bot
SetEnvIfNoCase User-Agent "URLy.Warning" bad_bot
SetEnvIfNoCase User-Agent "VCI" bad_bot
SetEnvIfNoCase User-Agent "VoidEYE" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_bot
SetEnvIfNoCase User-Agent "WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "WebFetch" bad_bot
SetEnvIfNoCase User-Agent "WebGo\\" bad_bot
SetEnvIfNoCase User-Agent "Web.Image.Collector" bad_bot
SetEnvIfNoCase User-Agent "WebLeacher" bad_bot
SetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "WebSauger" bad_bot
SetEnvIfNoCase User-Agent "Website.Quester" bad_bot
SetEnvIfNoCase User-Agent "Webster.Pro" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebWhacker" bad_bot
SetEnvIfNoCase User-Agent "WebZip" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Widow" bad_bot
SetEnvIfNoCase User-Agent "[Ww]eb[Bb]andit" bad_bot
SetEnvIfNoCase User-Agent "WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon\\" bad_bot
SetEnvIfNoCase User-Agent "Xenu's" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
Da li je moguce da je kod tih ljudi postavljen User-Agent da bude neki od ovih botova pa zbog toga ne mogu da pristupe sajtu?
Osim toga imam zabranu hotlinking-a za slike i flash animacije za sve koji ne dolaze sa mog domena, to ne bi trebalo da pravi problem jer tu nigde ne navodim php fajlove...