Problemi con il file robots.txt

[danielegenova]

Buonasera,

ho creato una sitemaps per far indicizzare il mio forum (erano settimane che non veniva indicizzato). Dopo meno di 24 ore Google lo ha visto.

A distanza di pochi giorni Google non lo rileva più. Il tools Web Master mi dice:

Nel corso delle ultime 24 ore, Googlebot ha rilevato 638 errori durante il tentativo di accedere al tuo file robots.txt. Per assicurarci di non aver eseguito la scansione di pagine elencate in tale file, abbiamo posticipato la nostra scansione. La percentuale complessiva di errori relativi al file robots.txt del tuo sito è del 87.4%.

Il file robots.txt è quello di default.

Ho letto che si può anche non avere. Se lo rimuovo faccio giusto?

Grazie

[gianpiero]

meglio non averlo che con errori

comunque le info date col contagocce non possono aiutarci a capir il problema

se vuoi una opinione sarebbe almeno il caso di sapere com'è compilato e dove lo hai messo ( rispetto al forum e root )

[danielegenova]

meglio non averlo che con errori

comunque le info date col contagocce non possono aiutarci a capir il problema

se vuoi una opinione sarebbe almeno il caso di sapere com'è compilato e dove lo hai messo ( rispetto al forum e root )

Grazie della risposta.

Il file robots è quello di default:

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/cache/

Disallow: /forum/converge_local/

Disallow: /forum/hooks/

Disallow: /forum/ips_kernel/

Disallow: /forum/retail/

Disallow: /forum/public/style_captcha/

Disallow: /forum/index.php?app=core&module=task

Disallow: /forum/index.php?app=forums&module=moderate&section=moderate

Disallow: /forum/index.php?app=forums&module=extras&section=forward

Disallow: /forum/index.php?app=members&module=messaging

Disallow: /forum/index.php?app=members&module=chat

Disallow: /forum/index.php?app=members&module=search

Disallow: /forum/index.php?app=members&module=search&do=active

Disallow: /forum/index.php?&unlockUserAgent=1

Disallow: /forum/*app=core&module=global&section=reputation

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=core&module=usercp

Disallow: /forum/*app=members&module=messaging

Disallow: /forum/*&p=

Disallow: /forum/*&pid=

Disallow: /forum/*&hl=

Disallow: /forum/*&start=

Disallow: /forum/*view__getnewpost$

Disallow: /forum/*view__getlastpost$

Disallow: /forum/*view__old$

Disallow: /forum/*view__new$

Disallow: /forum/*view__getfirst$

Disallow: /forum/*view__getprevious$

Disallow: /forum/*view__getnext$

Disallow: /forum/*view__getlast$

Disallow: /forum/*&view=getnewpost$

Disallow: /forum/*&view=getlastpost$

Disallow: /forum/*&view=old$

Disallow: /forum/*&view=new$

Disallow: /forum/*&view=getfirst$

Disallow: /forum/*&view=getprevious$

Disallow: /forum/*&view=getnext$

Disallow: /forum/*&view=getlast$

Disallow: /forum/*?s=

Disallow: /forum/*&s=

Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies

Disallow: /forum/index.php?app=forums&module=extras&section=rating

Disallow: /forum/index.php?app=forums&module=forums&section=markasread

Disallow: /forum/*&do=who

Disallow: /forum/*&section=dname

Messo nella cartella forum

Nel frattempo ho visto che il file non era robots.txt ma robot.txt

Può essere quello il motivo?

In ogni caso ho sottoposto a Google di riesaminarlo...

[gianpiero]

togli il robots.txt che hai in root ( quello di wordpress )

metti il robots.txt unico per tutto il sito nella root al posto di quello

prima aggiusta i percorsi esempio:

Disallow: /forum/admin/

deve descrivere esattamente dove sia la cartella admin rispetto alla root

e tutte le altre, esempio:

Disallow: path/to/cartella/pippo/forum/admin/

togli

# HOW TO USE THIS FILE:
# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

la prima riga deve essere

User-agent: *

[Max]

il nome corretto del file è robots.txt e leggi bene le ultime righe dice, l'ultima in particolare dice che devi eliminare le prime voci lasciando come prima riga "User agent", in pratica devi eliminare queste:

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line

#

# NOTES:

# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them

#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------

[Max]

e se per esempio nel file robots.txt si lasciasse solo questo?

User-agent: *

Disallow:

cosa comporterebbe?

[gianpiero]

e se per esempio nel file robots.txt si lasciasse solo questo?

User-agent: *

Disallow:

cosa comporterebbe?

finiamo il discorso di Daniele prima, non facciamo sempre come il prezzemolo

[BomAle]

per saperne di più ti posso dire che da questo esempio

User-agent: hackerbot
Robot-version: 2.0
Request-rate: 1/30m # un documento ogni 30 minuti
Allow: *index.html # concedere alle pagine di indice
Disallow: * # ma niente altro

puoi davvero fare di tutto basta usare le 5 direttive disponibili!... ci sono inoltre moltissimi siti per la generazione di robots.txt

Per il Request-rate ora credo si usi Crawl-delay

Modificato 6 Dicembre 2012 da Skillman_92

[Max]

qui spiega molto bene il concetto del file robots.txt

http://www.asortofcode.com/robots-txt-e-google-webmaster-tools/

[danielegenova]

Grazie! Siete gentilissimi!

Vi aggiorno prima di ciò che è accaduto:

1) ho rinominato il file robot.txt in robots.txt

2) in webmaster tools sotto "visualizza come google" gli ho ridato il link del forum

Questa mattina il forum è stato indicizzato.

Mi consigliate di fare le modifiche segnalate qui sopra?

Grazie

[najaru]

in che cartella è il tuo forum? in root o in una cartella chiamata "forum"?

[gianpiero]

stai mescolando 2 cose diverse, legate tra loro ma con intenti diversi e opposti

• robots dice a Google cosa NON indicizzare
  
• la sitemap dice invece QUALI url comprendere nei risultati di ricerca
  

Ora se il sito è pippo.it ed il forum è in pippo.it/forum

il robots.txt deve essere messo in pippo.it

La sitemap che hai creato non è dinamica, ma creata una tantum e statica giusto ?

Va bene per siti quasi immobili, non per un forum

Quindi metti IPSEO oppure upgrade alla nuova versione della board.

Parere personale ? Metti IP.SEO, però è parere personale ....

[danielegenova]

stai mescolando 2 cose diverse, legate tra loro ma con intenti diversi e opposti

• robots dice a Google cosa NON indicizzare
  
• la sitemap dice invece QUALI url comprendere nei risultati di ricerca
  

Questo era chiaro ma volevo essere completo nell'esposizione e comprendere più variabili possibili.

Ora se il sito è pippo.it ed il forum è in pippo.it/forum

il robots.txt deve essere messo in pippo.it

Ottimo, grazie!

La sitemap che hai creato non è dinamica, ma creata una tantum e statica giusto ?

Esatto! L'ho creata perchè Google non mi considerava...

Va bene per siti quasi immobili, non per un forum

Quindi metti IPSEO oppure upgrade alla nuova versione della board.

Parere personale ? Metti IP.SEO, però è parere personale ....

Volevo upgradare ma essendo un novello di iPboard sto attendendo. Installare IP.SEO mi "dubbia" un po' perchè non so se va disinstallato prima di upgradare e cosa può comportare la sua presenza nell'aggionamento alla 3.4

in che cartella è il tuo forum? in root o in una cartella chiamata "forum"?

Nella cartella forum

[najaru]

gianpiero ti ha già risposto in modo preciso, scusate non avevo visto

[gianpiero]

Volevo upgradare ma essendo un novello di iPboard sto attendendo. Installare IP.SEO mi "dubbia" un po' perchè non so se va disinstallato prima di upgradare e cosa può comportare la sua presenza nell'aggionamento alla 3.4

puoi mettere IP.SEO tranquillamente, stai un attimo a farlo e quando farai l'upgrade non avrai problemi ( da quel che ho letto )

se hai una v. 3.3.4 puoi lasciarla come sta per un po' di mesi

[danielegenova]

puoi mettere IP.SEO tranquillamente, stai un attimo a farlo e quando farai l'upgrade non avrai problemi ( da quel che ho letto )

se hai una v. 3.3.4 puoi lasciarla come sta per un po' di mesi

Approfitto ancora della vostra gentilezza: una guida per l'installazione di "app"?

[gianpiero]

qui per esempio per IP.SEO un mio intervento, che dovrebbe aiutare

http://www.invisioni...seo/#entry24166

Modificato 7 Dicembre 2012 da gianpiero

[danielegenova]

qui per esempio per IP.SEO un mio intervento, che dovrebbe aiutare

http://www.invisioni...seo/#entry24166

Non si va a sovrascrivere files, giusto?

[gianpiero]

Non si va a sovrascrivere files, giusto?

no,

trascinando la cartella admin su quella esistente i files nuovi contenuti vanno a finire nel percorso corretto

trascinando la cartella admin in root del forum i files nuovi in essa contenuti vanno a finire nel percorso corretto

Modificato 8 Dicembre 2012 da gianpiero

[danielegenova]

Grazie