Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Detalhes da questão

Descrição

User-agent: Mediapartners-Google
Disallow:

User-agent: Mediapartners-Google*
Disallow:

pedxz escreveu:Olá @Lobs,

Vou esclarecer com o Admineiro se é possível remover essas linhas, aguarde


Atenciosamente,
pedxz.

RafaelS. escreveu:Boa noite @Lobs,

Primeiramente devo esclarecer que os técnicos são raramente contactados de imediato, exceto quando estamos na presença de um problema generalizado (que pode afetar a globalidade dos fóruns). Creio que seja por esse motivo que o Moderadeiro tenha encaminhado o problema para mim antes de tudo.

Quanto ao seu "problema" e não querendo parecer rude, estamos perante um equivoco. Na verdade há uma grande diferença entre as linhas que são apresentadas no endereço URL que anexou (suporte AdSense) e as linhas que se encontram no robots.txt do seu fórum.

No suporte AdSense encontramos a seguinte linha: Disallow: /.

Já no arquivo robots.txt do seu fórum encontramos a linha: Disallow:

No primeiro caso estamos interditando o acesso dos rastreadores da Google pelo símbolo /.

Já no seu caso, a linha Disallow : não é seguida de qualquer valor, o que significa que todos os robôs estão autorizados a rastrear o seu fórum.

Não vejo qual seria o interesse da empresa em prejudicar o consumidor, seja de que forma for. O bloqueio dos tais rastreadores só acontece quando o fundador mantém o fórum privado (não acessível a visitantes) e visivelmente esse não é seu caso. Portanto se o fórum não é indexado/referenciado, é por escolha do Fundador (de mantê-lo privado) e não de Forumeiros.

Caso a sua métrica CTR - como você mesmo referiu - esteja sendo afetada, você deve procurar por outras causas, pois lhe garanto que nada têm a ver com o ficheiro robots.txt.

Espero ter sido esclarecedor quanto à sua questão e mantenho-me à sua disposição para quaisquer dúvidas adicionais relacionadas.

Atenciosamente,
RafaelS.

RafaelS. escreveu:

Olá novamente @Lobs,

Como é evidente não estou por dentro dos detalhes técnicos quanto à presença das linhas mencionadas. Pode ser uma questão de conveniência, explicitude, exatidão ou qualquer outro motivo.

O que lhe posso garantir é que o acesso dos robôs não está sendo negado uma vez que não temos nenhum parâmetro, condição ou critério após o Disallow : .

Neste caso especifico, a presença dessas linhas equivale à ausência das mesmas, nada muda.

Quanto ao exemplo que eu dei, foi num modo geral e não me referia especificamente ao seu caso em concreto. Apenas me limitei a mencionar um dos casos em que os robôs da Google (e não Google Adsense!!)  poderiam ter o acesso restringindo, o que resultaria em um impacto negativo na indexação do fórum no motor de busca em questão. Se o acesso do robô da Google Adsense também é afetado pela situação do fórum privado, isso é algo que já não posso responder com toda a certeza, mas pessoalmente creio que sim. Nada que uma pequena simulação não possa revelar.

Para ser completo e não deixar lugar a mais dúvidas, o robô ao qual nos referimos neste tópico é o rastreador Google Adsense, que querendo ou não, representa uma proposta e serviço diferente do rastreador do Google. Além de eles partilharem alguma da informação presente no fórum eles se diferenciam pela forma como usam essa informação. Enquanto o GoogleBot é responsável pela indexação do site, o Mediapartners-Google procura apresentar anúncios que sejam relevantes para os utilizadores do fórum.

Seja como for, o seu fórum não está sendo afetado por qualquer restrição. No fim das contas, creio que isso seja o mais importante para si, mesmo estranhando a presença das ditas linhas.

Espero ter sido esclarecedor mais uma vez e lamento qualquer confusão que a minha última mensagem possa-lhe ter causado.

Mantenho-me ao dispor para quaisquer outras dúvidas.
Atenciosamente,
RafaelS.