Problema con Robots.txt in un aggiornamento

È stata rilasciata da poco una patch di sicurezza, la patch tuttavia, va a sostituire un file che non dovrebbe. Il file incriminato è proprio robots.txt.

Il contenuto del nuovo file è:

User-Agent: *
Disallow: /startTopic/
Disallow: /discover/unread/
Disallow: /markallread/
Disallow: /*?do=add
Disallow: /*?sortby=
Disallow: /*?tab=comments
Disallow: /*?do=findComment
Disallow: /*?do=getLastComment
Disallow: /staff/
Disallow: /online/
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /*?type=gallery
Disallow: /search/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /login/
Disallow: /*?do=getNewComment
Disallow: /*?do=
Disallow: /*?advancedSearchForm=
Disallow: /tags/
Disallow: /sqlforum/
Disallow: /forum2.php*
Disallow: /forum1.php*
Disallow: /static/
Disallow: /user/
Disallow: /message.php*
Disallow: /proxy.php*
Disallow: /viewbbcode.php*
Disallow: /configuration.php*
Disallow: /google/
Disallow: /*?filter=
Disallow: /?ct=*
Disallow: /profile/*
Disallow: /gallery/*

Sostanzialmente quello indicato in questo file sono i percorsi che vieta agli user-agent di scansionare andando però a vitare un po' troppo... Questo rischia di rovinare l'indicizzazione del forum. Si consiglia quindi di verificare se il proprio file robots è stato sostituito dalla patch (se così fosse, sarebbe uguale a quello indicato sopra), nel caso, sostituitelo con:

User-Agent: *
Disallow: /startTopic/
Disallow: /discover/unread/
Disallow: /markallread/
Disallow: /*?do=add
Disallow: /*?sortby=
Disallow: /*?tab=comments
Disallow: /*?do=findComment
Disallow: /*?do=getLastComment
Disallow: /staff/
Disallow: /online/
Disallow: /discover/
Disallow: /leaderboard/
Disallow: /*?type=gallery
Disallow: /search/
Disallow: /register/
Disallow: /lostpassword/
Disallow: /login/
Disallow: /*?do=getNewComment
Disallow: /*?do=
Disallow: /*?advancedSearchForm=

Fonte