Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Ver o tópico anterior Ver o tópico seguinte Ir em baixo

Atendido / Resolvido Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por Lobs em 13.10.20 15:09

Detalhes da questão


Endereço do fórum: https://www.forumnsanimes.com/
Versão do fórum: AwesomeBB

Descrição


https://www.forumnsanimes.com/robots.txt

Preciso que essas duas linhas sejam removidas do meu fórum:

User-agent: Mediapartners-Google
Disallow:

User-agent: Mediapartners-Google*
Disallow:

Sou usuário PREMIUM da forumeiros há bastante tempo, e esse código está me prejudicando muito, pois está proibindo o rastreador de minha plataforma de anúncios de exibir os mesmos de forma consonante com o conteúdo da página.

Minha métrica de CTR está provavelmente prejudicada por conta disso, o que pode ser conferido como um problema nessa página, que orienta a fazer exatamente o que estou solicitando: https://support.google.com/adsense/answer/10532

Eu pago caro para a forumeiros pelos benefícios PREMIUM há um bom tempo e sou parceiro de vocês há anos, sendo um dos maiores fóruns do idioma, certamente o mais movimentado do gênero animes. Como Webmaster há mais de 7 anos, sei que os técnicos da forumeiros tem perfeito e pleno acesso ao arquivo robots.txt do meu fórum.

Sendo assim, não se vislumbra nenhum motivo para recusar essa justa e razoável solicitação e manter, sem motivo, essas linhas que prejudicam um parceiro fiel de longo prazo.

Agradeço imensamente pela atenção, desde já.

Lobs
Lobs

Lobs
Nível 7

Masculino
Inscrito dia : 02/06/2013
Mensagens : 81
Pontos Ativos : 129

http://nsanimes.forumeiro.net/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por pedxz em 13.10.20 15:39

Olá @Lobs,

Vou esclarecer com o Admineiro se é possível remover essas linhas, aguarde ☺


Atenciosamente,
pedxz.


Boas-vindas ao Fórum dos Fóruns!
Leia as regras do Fórum dos Fóruns e as regras do setor de suporte.
Antes de criar um tópico, verifique se sua questão já não foi respondida.
Se sua questão foi resolvida, marque-a editando a sua primeira postagem.
Pedxz - Moderadeiro
pedxz

pedxz
Moderadeiro
Moderadeiro

Outro / Não divulgar
Inscrito dia : 13/01/2017
Mensagens : 5369
Pontos Ativos : 6330

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por Lobs em 13.10.20 22:38

@pedxz escreveu:Olá @Lobs,

Vou esclarecer com o Admineiro se é possível remover essas linhas, aguarde ☺


Atenciosamente,
pedxz.

Boa noite, @pedxz

Eu presumo que é provável que apenas os técnicos tenham essa opção. Mas aguardarei.

Grato pela diligência.
Lobs

Lobs
Nível 7

Masculino
Inscrito dia : 02/06/2013
Mensagens : 81
Pontos Ativos : 129

http://nsanimes.forumeiro.net/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por RafaelS. em 13.10.20 23:47

Boa noite @Lobs,

Primeiramente devo esclarecer que os técnicos são raramente contactados de imediato, exceto quando estamos na presença de um problema generalizado (que pode afetar a globalidade dos fóruns). Creio que seja por esse motivo que o Moderadeiro tenha encaminhado o problema para mim antes de tudo.

Quanto ao seu "problema" e não querendo parecer rude, estamos perante um equivoco. Na verdade há uma grande diferença entre as linhas que são apresentadas no endereço URL que anexou (suporte AdSense) e as linhas que se encontram no robots.txt do seu fórum.

No suporte AdSense encontramos a seguinte linha: Disallow: /.

Já no arquivo robots.txt do seu fórum encontramos a linha: Disallow:

No primeiro caso estamos interditando o acesso dos rastreadores da Google pelo símbolo /.

Já no seu caso, a linha Disallow : não é seguida de qualquer valor, o que significa que todos os robôs estão autorizados a rastrear o seu fórum.

Não vejo qual seria o interesse da empresa em prejudicar o consumidor, seja de que forma for. O bloqueio dos tais rastreadores só acontece quando o fundador mantém o fórum privado (não acessível a visitantes) e visivelmente esse não é seu caso. Portanto se o fórum não é indexado/referenciado, é por escolha do Fundador (de mantê-lo privado) e não de Forumeiros.

Caso a sua métrica CTR - como você mesmo referiu - esteja sendo afetada, você deve procurar por outras causas, pois lhe garanto que em nada tem a ver com o ficheiro robots.txt.

Espero ter sido esclarecedor quanto à sua questão e mantenho-me à sua disposição para quaisquer dúvidas adicionais relacionadas.

Atenciosamente,
RafaelS. King


Eu sou o RafaelS.,
Eu aconselho-lhe ler os seguintes tópicos:

Admineiros Para evitar ser punido é importante que leia  o regulamento geral do Fórum dos fóruns.
Admineiros Antes de criar o seu pedido de suporte certifique-se de ler o regulamento da seção de suporte.
Admineiros Quando for criar o seu tópico tente ser o mais específico possível, para que nós possámos entender!

"O importante não é vencer todos os dias, mas lutar sempre."
Rastreadores Google/Adsense e configuração do ficheiro robots.txt 1163
RafaelS.

RafaelS.
Admineiro
Admineiro

Masculino
Inscrito dia : 26/04/2014
Mensagens : 5373
Pontos Ativos : 6217

http://techmais.forumeiros.com/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por Lobs em 14.10.20 0:22

@RafaelS. escreveu:Boa noite @Lobs,

Primeiramente devo esclarecer que os técnicos são raramente contactados de imediato, exceto quando estamos na presença de um problema generalizado (que pode afetar a globalidade dos fóruns). Creio que seja por esse motivo que o Moderadeiro tenha encaminhado o problema para mim antes de tudo.

Quanto ao seu "problema" e não querendo parecer rude, estamos perante um equivoco. Na verdade há uma grande diferença entre as linhas que são apresentadas no endereço URL que anexou (suporte AdSense) e as linhas que se encontram no robots.txt do seu fórum.

No suporte AdSense encontramos a seguinte linha: Disallow: /.

Já no arquivo robots.txt do seu fórum encontramos a linha: Disallow:

No primeiro caso estamos interditando o acesso dos rastreadores da Google pelo símbolo /.

Já no seu caso, a linha Disallow : não é seguida de qualquer valor, o que significa que todos os robôs estão autorizados a rastrear o seu fórum.

Não vejo qual seria o interesse da empresa em prejudicar o consumidor, seja de que forma for. O bloqueio dos tais rastreadores só acontece quando o fundador mantém o fórum privado (não acessível a visitantes) e visivelmente esse não é seu caso. Portanto se o fórum não é indexado/referenciado, é por escolha do Fundador (de mantê-lo privado) e não de Forumeiros.

Caso a sua métrica CTR - como você mesmo referiu - esteja sendo afetada, você deve procurar por outras causas, pois lhe garanto que nada têm a ver com o ficheiro robots.txt.

Espero ter sido esclarecedor quanto à sua questão e mantenho-me à sua disposição para quaisquer dúvidas adicionais relacionadas.

Atenciosamente,
RafaelS. King

Boa noite, @RafaelS.

Primeiramente, agradeço pela sua resposta. Você parece estar certo sobre o assunto, cheguei a pensar nessa possibilidade. É evidente a diferença representada pelo símbolo /. Contudo, nesse caso, não faz sentido algum a existência dessa linha, uma vez que os robôs estão autorizados a rastrear o fórum de qualquer jeito. Sendo assim, qual a função desempenhada pela linha supracitada? Não faz muito sentido.

Além disso, me causou estranheza o trecho do seu post cuja retórica é: "O bloqueio dos tais rastreadores só acontece quando o fundador mantém o fórum privado (não acessível a visitantes) e visivelmente esse não é seu caso. Portanto se o fórum não é indexado/referenciado, é por escolha do Fundador (de mantê-lo privado) e não de Forumeiros", dado que o robô Mediapartners-Google indexa o conteúdo do site tão somente para efeitos de escolha do anúncio que será mostrado na página específica. Sendo assim, ele é diferente do Googlebot, que é o robô cuja função é indexar e referenciar os sítios para fins de construção do índice utilizado pelo mecanismo de pesquisas do Google.

Não é do interesse de ninguém que prejuízos sejam produzidos ou permaneçam vigentes. Solicito, então, que confirme as informações fornecidas por si, levando tudo isso em consideração.

Desejo-te uma ótima noite.

Atenciosamente,
Lobs.
Lobs

Lobs
Nível 7

Masculino
Inscrito dia : 02/06/2013
Mensagens : 81
Pontos Ativos : 129

http://nsanimes.forumeiro.net/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por RafaelS. em 14.10.20 1:00

Olá novamente @Lobs,

Como é evidente não estou por dentro dos detalhes técnicos quanto à presença das linhas mencionadas. Pode ser uma questão de conveniência, explicitude, exatidão ou qualquer outro motivo.

O que lhe posso garantir é que o acesso dos robôs não está sendo negado uma vez que não temos nenhum parâmetro, condição ou critério após o Disallow : .

Neste caso especifico, a presença dessas linhas equivale à ausência das mesmas, nada muda.

Quanto ao exemplo que eu dei, foi num modo geral e não me referia especificamente ao seu caso em concreto. Apenas me limitei a mencionar um dos casos em que os robôs da Google (e não Google Adsense!!)  poderiam ter o acesso restringindo, o que resultaria em um impacto negativo na indexação do fórum no motor de busca em questão. Se o acesso do robô da Google Adsense também é afetado pela situação do fórum privado, isso é algo que já não posso responder com toda a certeza, mas pessoalmente creio que sim. Nada que uma pequena simulação não possa revelar.

Para ser completo e não deixar lugar a mais dúvidas, o robô ao qual nos referimos neste tópico é o rastreador Google Adsense, que querendo ou não, representa uma proposta e serviço diferente do rastreador do Google. Além de eles partilharem alguma da informação presente no fórum eles se diferenciam pela forma como usam essa informação. Enquanto o GoogleBot é responsável pela indexação do site, o Mediapartners-Google procura apresentar anúncios que sejam relevantes para os utilizadores do fórum.

Seja como for, o seu fórum não está sendo afetado por qualquer restrição. No fim das contas, creio que isso seja o mais importante para si, mesmo estranhando a presença das ditas linhas.

Espero ter sido esclarecedor mais uma vez e lamento qualquer confusão que a minha última mensagem possa-lhe ter causado.

Mantenho-me ao dispor para quaisquer outras dúvidas.
Atenciosamente,
RafaelS. King


Eu sou o RafaelS.,
Eu aconselho-lhe ler os seguintes tópicos:

Admineiros Para evitar ser punido é importante que leia  o regulamento geral do Fórum dos fóruns.
Admineiros Antes de criar o seu pedido de suporte certifique-se de ler o regulamento da seção de suporte.
Admineiros Quando for criar o seu tópico tente ser o mais específico possível, para que nós possámos entender!

"O importante não é vencer todos os dias, mas lutar sempre."
Rastreadores Google/Adsense e configuração do ficheiro robots.txt 1163
RafaelS.

RafaelS.
Admineiro
Admineiro

Masculino
Inscrito dia : 26/04/2014
Mensagens : 5373
Pontos Ativos : 6217

http://techmais.forumeiros.com/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por Lobs em 14.10.20 14:03

@RafaelS. escreveu:
Olá novamente @Lobs,

Como é evidente não estou por dentro dos detalhes técnicos quanto à presença das linhas mencionadas. Pode ser uma questão de conveniência, explicitude, exatidão ou qualquer outro motivo.

O que lhe posso garantir é que o acesso dos robôs não está sendo negado uma vez que não temos nenhum parâmetro, condição ou critério após o Disallow : .

Neste caso especifico, a presença dessas linhas equivale à ausência das mesmas, nada muda.

Quanto ao exemplo que eu dei, foi num modo geral e não me referia especificamente ao seu caso em concreto. Apenas me limitei a mencionar um dos casos em que os robôs da Google (e não Google Adsense!!)  poderiam ter o acesso restringindo, o que resultaria em um impacto negativo na indexação do fórum no motor de busca em questão. Se o acesso do robô da Google Adsense também é afetado pela situação do fórum privado, isso é algo que já não posso responder com toda a certeza, mas pessoalmente creio que sim. Nada que uma pequena simulação não possa revelar.

Para ser completo e não deixar lugar a mais dúvidas, o robô ao qual nos referimos neste tópico é o rastreador Google Adsense, que querendo ou não, representa uma proposta e serviço diferente do rastreador do Google. Além de eles partilharem alguma da informação presente no fórum eles se diferenciam pela forma como usam essa informação. Enquanto o GoogleBot é responsável pela indexação do site, o Mediapartners-Google procura apresentar anúncios que sejam relevantes para os utilizadores do fórum.

Seja como for, o seu fórum não está sendo afetado por qualquer restrição. No fim das contas, creio que isso seja o mais importante para si, mesmo estranhando a presença das ditas linhas.

Espero ter sido esclarecedor mais uma vez e lamento qualquer confusão que a minha última mensagem possa-lhe ter causado.

Mantenho-me ao dispor para quaisquer outras dúvidas.
Atenciosamente,
RafaelS. King

Bom dia, @RafaelS.

Sendo assim, não vislumbro mais quaisquer problemas no arquivo robots.txt. Agradeço novamente pelo seu bom atendimento e diligência.

Atenciosamente,
Lobs.
Lobs

Lobs
Nível 7

Masculino
Inscrito dia : 02/06/2013
Mensagens : 81
Pontos Ativos : 129

http://nsanimes.forumeiro.net/

Atendido / Resolvido Re: Rastreadores Google/Adsense e configuração do ficheiro robots.txt

Mensagem por RafaelS. em 14.10.20 15:10

Ora essa, sempre ao dispor! Feliz

Tópico resolvido


Movido para "Questões resolvidas".


Eu sou o RafaelS.,
Eu aconselho-lhe ler os seguintes tópicos:

Admineiros Para evitar ser punido é importante que leia  o regulamento geral do Fórum dos fóruns.
Admineiros Antes de criar o seu pedido de suporte certifique-se de ler o regulamento da seção de suporte.
Admineiros Quando for criar o seu tópico tente ser o mais específico possível, para que nós possámos entender!

"O importante não é vencer todos os dias, mas lutar sempre."
Rastreadores Google/Adsense e configuração do ficheiro robots.txt 1163
RafaelS.

RafaelS.
Admineiro
Admineiro

Masculino
Inscrito dia : 26/04/2014
Mensagens : 5373
Pontos Ativos : 6217

http://techmais.forumeiros.com/

Ver o tópico anterior Ver o tópico seguinte Voltar ao Topo


Permissão deste fórum:
Você não pode responder aos tópicos neste fórum