Bots, Robots

Internet Robots (ofwel Bots) zijn software programma’s die automatisch het internet afstruinen op zoek naar bepaalde informatie. De Informatie (ook wel data genoemd) die deze robots vinden wordt gebruikt om bijvoorbeeld je pagina op internet te indexeren (zoals Google) maar ook om bijvoorbeeld gevonden e-mailadressen of afbeeldingen (al dan niet legaal) door te verkopen.

Wat zoekt een Robot

Links op een pagina.
E-mailadressen op een pagina.
Persoonlijke gegevens.
Afbeeldingen.
etc.

Eigenlijk dus alles wat op je website staat.

Bekende Robots

Google.
Bing van Microsoft).
Yahoo.
Baidu.
Ask.
AOL Search.
DuckDuckGo.
Maar ook: Yandex, WebCrawler, Search, Dogpile, Startpage Ixquick, Excite, Info.com, Lycos, Metaspider.

Meer info op: IsiMedia.nl.

Belangrijk

Het is daarom erg belangrijk om je te realiseren wat je op je website zet. Immers alles wat een Robot vindt zal hij ergens gaan vastleggen waar jij er niet meer bij kunt. ook worden afbeeldingen automatisch door andere robots weer gekopieerd. Je loopt met verwijderverzoeken dus elke keer achter de feiten aan. Er zijn voldoende voorbeelden van afbeeldings eigenaren die het niet is gelukt om (pikante) afbeeldingen van internet af te krijgen.

Tip

Een belangrijke tip kan zijn om alleen op internet (waar dan ook) iets te zetten, wat je voor altijd op internet zou willen laten staan. Indien je dus iets tijdelijk op internet zou willen zetten en niet zeker weet of je dit later ook op internet zou willen laten staan, zet het er dan niet op. Of zet inloggegevens of een wachtwoord op een artikel. Je webmaster kan dat voor je regelen.

Hoe Robots voorkomen

Met het GerHelpt Google webmaster account kan de webmaster afbeeldingen uit de Index van Google Zoeken verwijderen. Maar bij andere Robots zoals Bing en Yahoo is je webmaster afhankelijk van de volgende mogelijkheden:

Je webmaster kan op je website een robot.txt bestand zetten waarin wordt aangegeven welke robots je website mogen bezoeken. Echter als bepaalde robots worden geweigerd zal je website minder snel op internet verschijnen en ontvang je dus minder bezoekers.