Mmm...ma se è tutto disallow, non vengo indicizzato allora O_O

Haku leggi qui, spiega molto bene il concetto file robots.txt: http://www.asortofcode.com/robots-txt-e-google-webmaster-tools/

Stavo leggendo proprio quell'argomento, ma non mi trovo su una cosa:

 

Con questo comando si specifica che tutti gli spider (User-agent: *) devono indicizzare l’intero sito (“Disallow: ” che equivale a “Allow= /” dove / indica tutto il contenuto della root).

 

Qui dice così, e poco prima:

 

I comandi che possiamo dare ai bot sono Allow (permette l’indicizzazione) e Disallow (impedisce l’indicizzazione), ma dato che di default gli spider analizzano ogni cosa, disallow è  il più utilizzato tra i due.

 

Quindi, mi pongo se non sia meglio o più giusto inserire Allow...

 

Poi:

 

Indicizzare l’intero sito:

1

Disallow:

 

Inserendo uno slash ( / ) dopo Disallow si esclude l’intero sito dall’analisi dei crawler:

1

Disallow: /

 

Per evitare l’indicizzazione di una cartella e del suo contenuto bisogna indicarne il percorso:

1

Disallow: /documenti/

 

Sono molto confuso...

IL FILE ROBOTS.TXT SERVE AD IMPEDIRE CHE GOOGLE ED ALTRI MOTORI PERDANO TEMPO SU INDIRIZZI INUTILI.

L'INDICIZZAZIONE è UNA CONSEGUENZA, NON IL FINE DEL FILE ROBOTS.TXT

 

I CRAWLERS SONO CAPACI DI PESCARE QUALSIASI INDIRIZZO. A NOI INTERESSANO GLI INDIRIZZI DELLE PAGINE CHE HANNO I NOSTRI CONTENUTI.

 

Esempio: a cosa serve che GOOGLE vada a ravanare nei moduli, nelle pagine dell'admin, nei temi, nella cache, nei plugins, oppure in indirizzi tipo :

 

 

"""http://www.invisionita.it/forum/index.php?app=core&module=global&section=navigation&inapp=core"""

 

Google deve vedere le pagine del sito ed i files con contenuti, non gli elementi del software.

Ho visto che gli upload per wordpress sono su allow...che dici, aggiungo?

...

 

Allow non serve a niente, a patto che non sia una eccezione:

 

esempio, se faccio disallow di una intera cartella ( topolinia) , ma nel contempo voglio che un unico file in essa contenuto ( pippo.html)  sia visto, allora farò:

 

Allow: /topolinia/pippo.html

Disallow: /topolinia/

Modificato 17 Dicembre 201213 anni da gianpiero

Credo di aver afferrato il concetto =)

Se ora quello che ho fatto è giusto, vediamo un pò se cambia qualcosa ^^

sinceramente la frequentazione del sito non può dipendere dal robots

Hai solo ottimizzato la frequentazione/visita dei crawlers, ma i tuoi post e forums sono già indicizzati su Google

ok Giampiero, però io per esempio che ho il file robots.txt configurato così:

User-agent: *

Disallow:

Sitemap: http://www.mioforum.it/forum/sitemap.xml

è sbagliato?

ma e' cosi' difficile usare il robot standard di ipb?

ma e' cosi' difficile usare il robot standard di ipb?

---

difatti, se non si individuano esigenze particolari va benissimo.

 

@MAX, non so cosa sia l'esempio di robots riportato, ma il tuo sito è un mix max di applicazioni installate perciò mi astengo

haku ma puoi dirmi solo questa cosa: quanto traffico giornaliero ti viene garantito dall'hosting?? tipo il traffico mensile può essere 50000MB ... credo che questa risorsa ti restringa il numero di visite... anche io ho avuto netsons ed era uno dei motivi per cui ho cambiato hoster!!

non può essere assolutamente illimitato... perciò fammi sapere il responso del ticket!!

ma e' cosi' difficile usare il robot standard di ipb?

ho rimesso il file standard, adesso vediamo se cambia qualcosa.

haku ma puoi dirmi solo questa cosa: quanto traffico giornaliero ti viene garantito dall'hosting?? tipo il traffico mensile può essere 50000MB ... credo che questa risorsa ti restringa il numero di visite... anche io ho avuto netsons ed era uno dei motivi per cui ho cambiato hoster!!

non può essere assolutamente illimitato... perciò fammi sapere il responso del ticket!!

 

Da come puoi vedere: http://www.netsons.com/hosting.php

Tutti i piani hosting non hanno limiti...ma comunque, con phpBB ricevevo molte ma molte più visite...

cerca nelle mail un url vecchissimo, cliccaci sopra e vedi se ti porta al topic giusto

Intendi mail di qualche topic di risposta di quando avevo piattaforma phpBB?

yes

Trovarne una ç_ç

Ci provo e faccio sapere ^^

Se hai cpanel nella sidebar riesci a monitorare i consumi, controllare le risorse come banda, stato del server ecc.. in genere è la banda che potrebbe limitarti le visite... non ne sono sicuro ma ti consiglio subito di parlarne con il tuo hoster. Che.caratteristiche ha il server che ti ospita? Uptime,

scusate O.T. cosa intendi dire con cpanel nella sidebar?' il cpanel non è quello di hostinplaza?? come si fa a metterlo nella sidebar?? 

cosa vuoi monitorare?

la banda che potrebbe limitare le visite!!!

di sicuro non nel tuo caso vai tranquillo