[IPB3] Robots.txt

[pistacchio]

A quanto pare dalla 3.1 in poi verrà generato automaticamente un robot che risolve questo problema:

dal blog ufficilale:

De-emphasize unimportant pages

IP.Board 3.1 will now issue a meta robots tag with the value "noindex" for some common non-content pages. Examples include the login page, the register page, and the lost password request page. The purpose of the tag is to suggest to the search engine not to index the page at all. Every IP.Board installation on the internet will have effectively the same login, registration and lost password pages, and these pages have no valuable content that search engine spiders want to index anyways. By de-emphasizing unimportant pages, more emphasis is placed on the content-heavy pages we want search engine spiders to spend their time on.

[pistacchio]

Per IPB3.0, se volessi rimuovere dall'indicizzazione di google le pagine degli utenti, basta scrivere nel robot questo:

User-agent: *
Disallow: /forum/user/

?

[pistacchio]

Nessuno mi toglie questo dubbio?

[cionfs]

Si ti basta mettere quello. Se vuoi "una mano" puoi usare questo script http://www.mcanerin.com/en/search-engine/robots-txt.asp

Ti aiuterà a generare meglio il tutto e in modo automatico (così è sicuro che è tutto ok).

[najaru]

GRAZIE sempre molto gentile.

io avrei risposto di si, ma onde evitare di dire stupidaggini......

[pistacchio]

Grazie per le risposte.

Il mio dubbio era sorto dal fatto che la directory "/user/" in realtà non esiste, ma è opera del rewrite per rendere seo-friendly le URLs.

Esiste una lista di voci consigliate da inserire nel robot per la IPB3 ?

[Domenico Amato]

Esiste una lista di voci consigliate da inserire nel robot per la IPB3 ?

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

[najaru]

comunque il file robot dovrebbe già essere incluso nell'installazione della 3

[pistacchio]

Hai ragione, non lo avevo visto!

Gli sviluppatori hanno annunciato che con la 3.1 ci saranno miglioramenti proprio sul robots. Probabilmente questa lista verrà arricchita.

[pistacchio]

Ho visto che google indicizza anche le pagine "chi ha risposto a questa discussione", che hanno questa struttura:

dominio.it/forum/index.php?app=forums&module=extras&section=stats&do=who&t=xxxx

con xxxx che corrisponde all'ID della discussione.

Credo sia abbastanza inutile come contenuto da far indicizzare. Cosa bisogna aggiungere al robots per escluderlo?

[pistacchio]

Parlo di queste pagine, che google indicizza ma sono inutili:

http://www.invisioni...ts&do=who&t=150

In pratica corrisponde alla pagina che compare quando clicchi sul numero delle risposte di una discussione.

[ZioRip]

ecco, un'altra cosa che non so... io sono gnoranto...

Ho una lista di cartelle disallow: /roba mia che ho aggiunto al sito

Ma a che serve mettere il disallow?

Il fatto che non lo vedano i robot non lo indicizza su google (o gli altri motori di ricerca), ma poi fa qualcos'altro?

[najaru]

si, diciamo che impedisce l'accesso agli spider, quindi il contenuto non viene indicizzato.

[ZioRip]

Interessante, grazie

Non vado oltre perchè finisco ot... magari riprendo l'argomento in altra sezione

[najaru]

fai cosa vuoi non ti preoccupare, al limite sposto io. L'OT non è un problema

[ZioRip]

Ok, allora approfitto

La domanda successiva era: ma allora, se io volessi che qualcuno non potesse accedere a quelle cartelle tramite http?

[haldo]

Ok, allora approfitto

La domanda successiva era: ma allora, se io volessi che qualcuno non potesse accedere a quelle cartelle tramite http?

ciao mi è sembrato di capire che sei sotto ARUBA, io me ne sono andato per disperazione, comunque se sei sotto aruba segui questa guida

http://vademecum.aruba.it/start/linux/htaccess.asp

invece se hai un server dedicato o virtuale basta usare ul file .htaccess nella cartella che vuoi far accedere tramite password, qui una rapida e pratica guida

http://www.schiaccianoci.net/2006/01/25/apache2-come-proteggere-una-cartella-con-password/

ciao

[najaru]

comunque l'accesso alle cartelle in generale si gestisce tramite i permessi settati via ftp.

777 è l'accesso totale.

644 dovrebbe essere un accesso bloccato.

[ZioRip]

Grazie

Francamente, dopo averne provati tanti, sono tornato ad Aruba per la disperazione.... Ne parlano tutti così male, eppure io non ho mai avuto problemi.

Mi promettono spazio e traffico illimitato e, avendo un podcast con circa 40000 abbonati, posso dire che ho spazio e traffico illimitati, mentre altri mi hanno sollevato la questione delle connessioni.. troppe connessioni contemporaneamente... e dico io... è un sito, non sto condividendo spazio e traffico illimitati con una persona...

Non sono al 100% soddisfatto di aruba (sono su macchina condivisa.. me ne stavo dimenticando), ma devo dire che tra tutti quelli che ho provato è sicuramente il meno peggio

[najaru]

Attenzione che su aruba lo spazio non è illimitato. Più cresce lo spazio occupato e più ti diminuiscono la banda e il sito rallenta.

In più come puoi vedere dal tuo acp, hai 64M di memory limit mentre IPB ne richiederebbe 128 minimi

comunque aruba non è male, peccato il dover comprare i database separatamente

[ZioRip]

Suggerimenti per un servizio Hosting (non server dedicato... già mi costa abbastanza così il sito) con spazio illimitato (ho veramente tanta tanta tanta roba) e traffico illimitato che soddisfi i requisiti di IP.Board?

Dall'ultimo aggiornamento (martedi scorso) mi sembrava che il test dicesse che tutti i requisiti erano soddisfatti...

[najaru]

Seguo più siti che hanno aruba linux, e non ci sono grossi problemi. Puoi anche stare li finchè non ti scade.....

Il 64M è quasi sicuro, controlla nei dati php. Support - PHP INFO

[haldo]

Per ben valutare serve sapere

dimensioni del sito

banda mese che usi

visitatori unici

pagine generate

questi ultimi due valori per valutare possibili entrate da adsense (io con solo adsense mi ci pago il server dedicato)

budget a disposizione.

Io sono stato per anni su aruba, ma poi diventava sempre piu lento, ogni tanto mi sparivano dei file di grosse dimensioni, il db mysql era il principale problema lentissimo e si corrompeva quasi ogni settimana.

Ora sono su un server dedicato e faccio come mi pare sia per spazio che per banda.... sto pensando di affittare un po di spazio visto che uso non piu del 20% di ram e non piu del 10% di processore!!! ma non è una cosa che farò adesso...al momento sono troppo impegnato a completare bene la migrazione, poi si vedrà.

ciao

[najaru]

Forse me l'avevi già detto, sei sempre su aruba col dedicato o da un altra parte?

Io non ho mai usato un dedicato, è difficile da usare?

[ZioRip]

Credo che il sito, escluso il superfluo, sia superiore ai 10 gb (ma questo è un valore in continua crescita per via dei video corsi in HD che cerco disperatamente di vendere).

La banda non saprei come calcolarla, se non dalle statistiche di IP.Downloads

Per tutto il resto, non avendo segreti, posso anche farti accedere alle stitiche di analytics....

Budget?... sono sotto..... il minimo indispensabile.

Come dicevo prima, sarei estremamente felice di trovare qualcuno che sappia gestire bene la cosa (e dividere la torta) perchè credo che il sito abbia un certo potenziale, ma io non so fare il webmaster e vorrei non farlo più.

[najaru]

Per quella cosa ti mando MP.

Per i 10 giga mi sa che fra un po ti bloccano il sito........ l'ho gia sentito che è successo ad altri utenti....