HelderBot

HelderBot

Wat HelderBot doet

HelderBot is de bot van Helder die websites inleest voor de kennisbank van Helder chat. Een webshop of bedrijf zet zijn eigen website als bron in Helder. HelderBot leest dan de pagina’s uit de sitemap en zet de tekst in de kennisbank van die werkruimte, zodat de chat vragen kan beantwoorden met wat er op de site staat.

Alleen sites van de eigenaar zelf

HelderBot leest een website alleen in als de eigenaar heeft laten zien dat de site van hem is: het Helder-script met zijn eigen sleutel staat op de homepage, of er staat een DNS-record helder-verificatie=… op het domein. Zonder dat bewijs haalt HelderBot geen pagina’s op.

Hoe HelderBot zich gedraagt

• User-agent: HelderBot/1.0 (+https://helderhq.com/helderbot).
• Volgt robots.txt, met een eigen groep User-agent: HelderBot of anders *.
• Leest alleen de URL’s uit de sitemap. Volgt geen links.
• Hooguit één verzoek per seconde en hooguit 500 pagina’s per website, één keer per week of als de eigenaar op “Nu bijwerken” klikt.
• Alleen openbare pagina’s via https. Geen inlog, geen formulieren.
• Slaat pagina’s over met noindex in de meta-tag robots of helderbot.

HelderBot tegenhouden

Zet in je robots.txt:

User-agent: HelderBot
Disallow: /

Heb je een vraag over HelderBot, of leest hij een site die niet van de werkruimte is? Mail naar support@helderhq.com.