Un trafic important provenant de mauvais robots, le crawling de vos sites peut causer des problèmes tels qu'une charge de serveur élevée et un serveur instable. Vous devriez utiliser mod_security sur les serveurs cPanel qui devraient faire le travail, mais si vous voulez bloquer des bots spécifiques globalement, au niveau d'apache, alors la solution ci-dessous est pour vous. Cette syntaxe est pour la version 2.4 d'Apache.
Sur les serveurs cPanel, vous ne pouvez pas simplement modifier le fichier httpd.conf, il sera réécrit. Vous pouvez l'éditer facilement par le biais de whm. Il suffit de vous connecter à votre cpanel -> Apache Configuration -> Include Editor -> allez à "Pre Main Include" -> sélectionnez votre version d'apache (ou toutes les versions) -> puis insérez le code ci-dessous et cliquez sur Update et ensuite redémarrez apache.
Dans la section Répertoire, vous devez indiquer le chemin d'accès à l'endroit où se trouvent les sites web. Sur les serveurs cpanel, il s'agit de /home par défaut.
Voici mon exemple :
<Directory "/home">
SetEnvIfNoCase User-Agent "MJ12bot" bad_bots
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bots
SetEnvIfNoCase User-Agent "SemrushBot" bad_bots
SetEnvIfNoCase User-Agent "Baiduspider" bad_bots
<RequireAll>
Require all granted
Require not env bad_bots
</RequireAll>
</Directory>