Gestion du robots.txt
Le produit expose un controller permettant de générer dynamiquement le fichier robots.txt.
Ce fichier est initialisé à l'aide du fichier webapp-contrib/src/main/resources/default-robots.txt
Le contenu de ce fichier peut être surchargé en projet par environnement depuis le storage.
Il suffit de créer un fichier robots.txt avec le contenu souhaité dans le dossier conf du storage
Par ailleurs, chaque extension (y compris le projet) peut ajouter un contenu spécifique dans le robots.txt généré.
Il suffit pour cela que l'extension expose un fichier robots-xxx.txt à la racine des ressources (src/main/resources) où xxx est l'identifiant de votre extension (ou du projet).
L'ordre de construction du robots.txt généré est le suivant:
- Le fichier default-robots.txt du produit ou le fichier conf/robots.txt du storage en cas de surcharge
- Les fichiers robots-xxx.txt des extensions
- Les références aux fichiers sitemap.