Robots.txt и карта сайта для UMI CMS

После создания сайта или во время оптимизации важно прописать в файле robots.txt директории которые можно или которые нельзя индексировать поисковикам. Так же следует в UMICMS подключить SSL сертификат для https и настроить его работу в CMS.

в robots.txt можно убрать лишние User-Agent, оставить только общий который со User-Agent: *.

#Удаляем: 
User-Agent: * Yandex 
...
#Удаляем: 
User-Agent: * Google 
...

Добавляем следующие строки в robots.txt:

User-Agent: *
Disallow: /?*
Disallow: */?*
Disallow: /user*
Disallow: /emarket*
Disallow: /webforms*
%disallow_umi_pages%

Crawl-delay: %crawl_delay%
Host: https://домен
Sitemap: https://домен/sitemap.xml

В карте сайта делать практически ничего не надо, иногда нужно вручную обновлять карту сайта.