# Robots V1.7

User-agent: *

#Bloqueo del crawling de ciertos directorios y del buscador
Disallow: /cgi-bin/
Disallow: /apps/
Disallow: /admin/
Disallow: /carga/
Disallow: /carga_crontab/
Disallow: /firmas/
Disallow: /includes/
Disallow: /newsletters/
Disallow: /plugins/
Disallow: /usuaris/
Disallow: /varios_mkt/
Disallow: /brand_day/
Disallow: /webservice/
Disallow: /*?tipo=buscador*
Disallow: /*&tipo=buscador*

#Permitiendo recursos del directorio includes
Allow: /includes/ajax_like.php
Allow: /includes/ajax_registres.php
Allow: /includes/ajax_eventos.php
Allow: /includes/ajax_canales_venda.php

#Permitiendo recursos del directorio usuaris
Allow: /usuaris/*/fotos/

# Permitiendo recursos de JS y CSS
Allow: /*.js|
Allow: /*.css|
Allow: /js/*.js|
Disallow: /js/obfuscator.js
Allow: /css/*.css|

# Permitiendo páginas importantes
Allow: /usuaris/libros_contenido/arxius/1/32_1_Lalineadeltiempodelanovela.doc

#Sitemap
Sitemap: https://www.planetadelibros.com/sitemap.xml

User-agent: Twitterbot
Disallow: /
Allow: /usuaris/

User-agent: BLEXBot
User-agent: Cliqzbot
User-agent: MojeekBot
User-agent: musobot
User-agent: linkdexbot
User-agent: Seznambot
User-agent: MJ12bot
User-agent: EveryoneSocialBot
User-agent: GnowitNewsbot
User-agent: Leikibot
User-agent: OutclicksBot
User-agent: sudorlybot
User-agent: woobot
User-agent: linkdexbot
User-agent: epicbot
User-agent: Tweetmemebot
User-agent: obot
User-agent: yoozbot
User-agent: MSN-bot
Disallow: /