top of page
Foto do escritorJosé Alexandre F. Diniz F

Todos os modelos estão errados, mas alguns são úteis...E que bom que seja assim!

Atualizado: 4 de mai. de 2020

Todos os pesquisadores que trabalham com modelos matemáticos, nas mais diferentes áreas da Ciência, sempre ouvem essa frase do estatístico inglês George Box (1919-2013), que apareceu pela primeira vez em um artigo publicado em 1976 no Journal of the American Statistical Association. No contexto da epidemia da COVID-19, ela passou a ter um “status” quase que de “mote”...Digo isso porque centenas, ou mesmo milhares, de grupos de pesquisa e pesquisadores de diferentes áreas estão individualmente analisando dados e criando modelos para avaliar a expansão da pandemia em suas cidades ou estados, em todo o mundo, tentando ajudar amostrar aos tomadores de decisão e à sociedade em geral as estratégias que podem mitigar os efeitos nefastos da nova virose. Há uma demanda crescente por transparência na definição dos parâmetros usados nessas análises e nos modelos “em si”, de modo que seja possível verificar como as projeções estão sendo feitas!


Como mencionei em uma postagem anterior, comigo não foi diferente. Por uma série de contingências, me vi repentinamente envolvido em um grupo de trabalho da UFG organizado para auxiliar o Governo do Estado de Goiás a tomar as decisões em relação à expansão da epidemia (agradeço ao meu colega Paulo R. Scalco, da Faculdade de Administração, Contabilidade e Economia – FACE - da UFG, e atualmente trabalhando na Secretaria da Economia do Estado de Goiás pelo convite inicial para participar do grupo de trabalho, que me deu toda a oportunidade que descrevo a seguir). Nesse contexto, terminei desenvolvendo muito rapidamente um “modelo baseado em indivíduos” (um IBM, que usamos muito em Ecologia e Biologia Evolutiva) para implementar um modelo epidemiológico de compartimentos da classe “SIR” (de Suscetíveis, Infectados e Recuperados). Na realidade o modelo que implementei na plataforma R é mais complexo, pois envolve “sub-compartimentos” de hospitalização e internação em UTIs, além de mortalidade.


Esses modelos da classe SIR têm sido muito discutidos na comunidade entre os biólogos e profissionais de saúde, pois são de fato o ponto de partida para os modelos preditivos utilizados em epidemiologia. Em geral eles são implementados por meio de sistemas de equações diferenciais, que se tornam muito complexos caso haja interesse em desenvolver modelos que incorporem mais parâmetros, compartimentos ou cenários mais “realistas” no tempo ou no espaço geográfico. Então, decidi usar a nossa estratégia de IBMs e criar um algoritmo que simulasse a progressão da doença em cada indivíduo, desde a fase de transmissão, passando pela incubação, aparecimento de sintomas. A partir dai pensamos em uma probabilidade dos sintomas se agravarem e o indivíduo precisar de internação em um hospital. O indivíduo poderia passar alguns dias no hospital e se recuperar, mas se os sintomas continuassem avançando e o quadro de saúde piorando, haveria necessidade de internação em UTI e utilização de respiradouros, etc...Eventualmente, o indivíduo poderia ser recuperar, mas em alguns casos ele poderia ir a óbito. Enfim, todas as etapas que todos nós temos visto, infelizmente, nos noticiários e na mídia todos os dias! Cada uma dessas etapas, na simulação, é regulada por distribuições de probabilidade, de modo que podemos ir acompanhando a trajetória de muitos indivíduos em uma população e criar cenários sobre como o vírus poderia continuar a se difundir na população. Nesse sentido, um dos parâmetros mais importantes e mais comentados é o chamado R0, que é o número médio de pessoas que serão infectados a partir de uma pessoa já infectada, em condições "ideais" de transmissão, como uma alta densidade populacional.


Depois de mostrar ao grupo de trabalho da UFG uma primeira versão do script do R funcionando, passei a colaborar intensamente com a Dra. Cristiana M. Toscano, do Instituto de Patologia Tropical e Saúde Pública (IPTSP) da UFG, pois é preciso pensar em cada um dos parâmetros do algoritmo rapidamente descrito acima em um contexto médico e clínico. Não foi tão fácil estabelecer parâmetros para todas essas etapas, principalmente considerando que tudo que se sabia (principalmente há 30 ou 40 dias atrás) era de outros países, da dificuldade em definir parâmetros para "casos" ou para "infectados". Pior do que isso, não sabíamos como a pandemia iria avançar por aqui. De qualquer modo, conseguimos fazer uma aproximação inicial que consideramos razoável (apesar de acharmos que havia uma sobre-estimativa por causa de alguns parâmetros) e criamos 3 cenários de projeção para o futuro com base na variação do R0 a partir do momento que a epidemia alcançou o “status” de transmissão comunitária em Goiás (convenciona-se pensar que isso ocorre quando chega-se a 50 casos, o que aconteceu em 26/03). Pensamos que o R0 poderia ser um pouco menor do que a média que encontramos em geral na literatura (aproximadamente 2,74), pois o Estado de Goiás implementou muito cedo medidas de isolamento social (a partir da semana do dia 16/03). Pensamos em um “cenário base” no qual as medidas de isolamento implementadas poderiam ter diminuído o R0 para 1,6 (voltamos a esse número depois...), e a epidemia prosseguiria a uma velocidade inicial menor. Chamamos essa trajetória constante do R0 de “cenário verde”. Mas pensamos também que a transmissão poderia aumentar gradualmente se as pessoas não respeitassem as medidas de isolamento e não acreditassem que a pandemia era “real” (por que seria???). Implementamos esse aumento no número médio de transmissão colocando na simulação, em cada tempo, um novo R0 que, na realidade, seria um número realizado, ou efetivo, de transmissões, o RE, a cada tempo t (por isso às vezes usa-se também Rt para denominar esse número de transmissões). Esse seria o “cenário vermelho”. Pensamos, por outro lado, que as medidas poderiam ter um efeito mais forte do que pensamos, conscientizando as pessoas, e imaginamos que o RE poderia, na verdade, ir diminuindo gradualmente para um valor menor do que 1,0 no futuro, e pensamos que isso poderia ocorrer dentro de uns 90 dias (lembrando que quando o RE é menor do que 1,0 a epidemia tende a desaparecer e entra na fase de declínio).


Para minha surpresa, nos foi solicitado pelos gestores das secretarias de Saúde e da Economia que os resultados das nossas projeções, utilizando os cenários descritos acima, fossem apresentados ao Governador Ronaldo Caiado, que iria ratificar com base em algo “científico” as medidas de isolamento, isso já nos primeiros dias de abril! Houve uma coletiva de imprensa e os cenários e resultados para curto e longo prazo (final de abril e final de junho) foram apresentados e justificaram a manutenção das medidas previamente implementadas.


As projeções que fizemos encontram-se sintetizadas na Figura abaixo. Só para resumir, vamos olhar o número de óbitos que nosso modelo gerou para o final de abril. No cenário vermelho, pensamos que teríamos, no Estado de Goiás, entre 224 e 315 óbitos (o intervalo de confiança em nível de 95%). Os outros cenários eram menos assustadores, mas ainda assim previmos entre 132 e 222 mortes para o cenário verde e entre 120 e 186 mortes no nosso cenário azul, mais otimista.


Em uma escala de tempo maior, mostramos claramente o “achatamento da curva” tão falado recentemente, mostrando que a nossa ideia de que o isolamento reduzindo o R0 de 2,74 para 1,6 - que hipotetizamos que já teria ocorrido - teria um bom efeito; se conseguíssemos reduzir ainda mais o isolamento (no cenário azul), seria ainda muito melhor! Ótimo então, fazia todo o sentido...


Chegamos agora nessa última semana ao final de abril. Basta olhar em qualquer um dos muitos "websites" que disponibilizam diariamente as estatísticas de casos e mortes da COVID-19 para perceber que nós erramos miseravelmente em nossas previsões! Temos 29 óbitos confirmados quando escrevo hoje (em 01/05) e mesmo considerando as possíveis subnotificações, estamos MUITO abaixo do melhor cenário que projetamos (em termos de número de óbitos, estamos bem abaixo do intervalo de confiança de 95% do cenário mais otimista!). Nesse caso, que bom...Mas precisamos entender o que aconteceu e, nesse sentido, a frase de George Box se encaixa como uma luva! Um alento realmente...Todos os modelos estão errados, obviamente isso vale para o nosso caso. Mas foi útil? Ai a resposta é SIM.


Coloco esse “SIM” no sentido de que está ficando cada vez mais claro que a manutenção do isolamento social é bastante eficaz para diminuir a velocidade de expansão da pandemia, em todo o mundo. Assim, quero acreditar que a comparação entre os cenários extremos foi importante para nortear a decisão do Governo de manter as medidas aqui no Estado. O cenário vermelho (e mesmo o cenário verde...) funcionaram no sentido de criar contra-factuais, ou seja, se o isolamento não fosse mantido ou não reduzisse a transmissão, o que aconteceria? É preciso entender que modelos não são "bolas de cristal", e que a Ciência não trabalha de forma "mágica" fazendo previsões. O principal objetivo dos modelos, nesse contexto da pandemia, é contrastar cenários! E uma das razões para isso é exatamente que, ao apresentar cenários alternativos, a própria percepção destes faz com que o futuro se torne diferente...Daí a dificuldade de previsão em modelos sociológicos (e epidemiológicos, nesse caso)! Para aqueles mais interessados, vejam o excelente artigo recente de N. P. Jewells na JAMA) sobre esse assunto.


Mas como saber que esse contrafactual é válido, ou faz minimamente algum sentido? Precisamos encontrar uma situação parecida no qual as medidas de isolamento não existiram, ou tiveram um efeito menor? Talvez não seja o melhor contrafactual, mas podemos pensar em comparar Goiás com uma situação extrema no Brasil, como por exemplo a que temos hoje no Estado do Amazonas. Na verdade, Goiás e Amazonas chegaram ao número considerado como “transmissão comunitária” (50 casos) em tempos bem próximos, dois ou três dias de diferença (Goiás em 28/03 e Amazonas em 25/03, aproximadamente, apesar das diferenças potenciais em casos testados, notificações etc). Os dois Estados possuem grande parte da população concentrada na capital, que têm tamanhos semelhantes, e o Amazonas deve possuir menor densidade e mobilidade entre os municípios (por outro lado, Goiás possui mais contato com a enorme população do DF; mas note-se que o DF foi a primeira unidade do Brasil a decretar as medidas de isolamento, na verdade uma semana antes de Goiás). Entretanto, muito rapidamente as séries de número de casos do Amazonas e de Goiás divergiram... Hoje o Estado do Amazonas se encontra em uma situação crítica, com mais de 300 mortes (pelos registros oficiais) e um sistema de saúde em colapso, uma situação não muito diferente da prevista em nosso cenário vermelho, ou verde). As series de isolamento social mostradas por telefonia da Inloco são um pouco diferentes, com Goiás apresentando sempre maior isolamento (mesmo hoje, o Amazonas tem menos isolamento do que Goiás, apesar da situação, como demonstrado na Figura abaixo, com dados de 29/04). As medidas de isolamento do Governo Estadual no Amazonas aparentemente foram menos abrangentes do que as de Goiás e decretadas pelo menos 10 dias depois...Claro que há certamente outros fatores que explicam o maior crescimento no Amazonas, incluindo o clima e talvez a maior ligação de Manaus com centros internacionais. Mas, em princípio, o mais importante parece mesmo ter sido a baixa adesão da população local e regional às medidas do Governo.




Então, Goiás passou a ser um dos Estados do Brasil com menor crescimento da pandemia. Mas ainda assim é preciso considerar que estamos bem abaixo do previsto mesmo pelo nosso cenário mais otimista...Onde estaria o problema com esse cenário? Na verdade, o problema é que começamos a pensar que, no final de março (N=50 casos, transmissão comunitária), o R0 seria de 1,6, e que no cenário otimista esse número (o RE) cairia lentamente para um valor ligeiramente abaixo de 1,0 em 90 dias! Mas trabalhos recentes mostram que o efeito das medidas de isolamento é MUITO maior do que se imaginava. Por exemplo, em São Paulo foi estimada uma queda do RE de 2,0 para 1,1 em 15 ou 20 dias! Então, na realidade quando o Governador anunciava os cenários que pensamos no início de abril, quase 15 dias depois da implementação inicial das medidas de isolamento, na realidade o RE em Goiás já estaria, segundo essas análises feitas para São Paulo, próximo a 1,1 ou 1,2!


Então, a partir desses novos dados, poderíamos pensar em um novo cenário para o RE no qual, a partir de meados de março, as medidas de isolamento teriam um efeito bem maior, caindo para 1,1 em 15 dias e depois caindo lentamente para valores menores em seguida. Sob esse cenário otimista, reanalisamos os dados com um modelo agora melhor parameterizado e calibrado com alguns dados observados (de mortalidade), contando ainda com alguns parâmetros adicionais que regulam melhor a velocidade de progressão da doença da transmissão até a hospitalização (e eventual morte). Fizemos então novas previsões para final de maio e esses resultados foram publicados no Diário Oficial do Estado, no Anexo I do “Relatório de Assessoramento Estratégico” elaborado por uma equipe da UFG, Instituto Mauro Borges, Secretaria de Estado da Economia, Secretaria de Desenvolvimento Econômico e Inovação, Secretaria de Saúde, anexado ao Decreto Nº 9.653, de 19 de abril de 2020 do Estado de Goiás. Esse decreto flexibiliza algumas das medidas de isolamento implementadas em março.


Nessas novas análises, o cenário azul já parte de algo nesse sentido e começamos com o RE = 1,44 (definido a partir dos dados de telefonia celular e da série de casos para Goiás) e caímos gradualmente até final de maio para valores um pouco menores do que 1,0 (ou seja, o efeito do decreto se manteria de forma “inercial”, mesmo com a flexibilização).


Sob esse cenário mais otimista, cujos resultados podem ser visualizados abaixo (em termos das curvas de numero de infectados, hospitalizados, em estado crítico na UTI e óbitos), o Estado de Goiás acumularia algo como entre 120 – 160 mortes até o final de maio (vejam que anteriormente estávamos projetando esse número para final de abril). No pico, seriam necessários algo como 100 leitos de UTI para atender os casos mais críticos, o que ocorreria mais ou menos no final de maio (e os casos começariam a diminuir a partir daí).



Mas é importante notar que temos também, no relatório publicado, um contrafactual. Nesse novo contexto pós-isolamento, a idéia foi que as pessoas entenderiam que a flexibilização indicaria que não há mais problemas com a pandemia e não iriam mais respeitar o isolamento e distanciamento. Assim, o RE voltaria gradualmente aos níveis apenas um pouco menores do que os da fase “pré-decreto”. Com isso, a transmissão aumentaria, criando uma expansão da pandemia e, novamente, um colapso no sistema de saúde em curto-médio prazo e um grande aumento de mortalidade (seriam mais de 400 óbitos no final de maio, e muitos mais nos meses seguintes).


O decaimento no RE que usamos no modelo publicado como anexo no decreto ainda é um pouco mais lento do que o registrado em São Paulo. Agora já temos evidências empíricas de que o decaimento, pelo menos na cidade de Goiânia, pode ser realmente similar ao de São Paulo (mas ainda há uma série de dúvidas em relação à subnotificação e número relativamente pequeno de testes e confirmações). Em princípio, são boas notícias, claro! Mas precisamos resistir fortemente à tentação de achar que está tudo resolvido.


Só para deixar claro, rodei novamente nosso modelo com cenários nos quais a transmissão decai realmente como ocorreu em São Paulo (e provavelmente em Goiás), a partir de 20 de março. A ideia é que, após a decaimento, o RE se estabiliza por um período curto de tempo em valores baixos mas, a partir da flexibilização em meados de abril, a transmissão poderia aumentar novamente e podemos criar várias situações de “retorno”. Essas situações estão indicados na figura abaixo com diferentes cores, desde o vermelho (o RE voltando para 1,6) até um cenário também otimista, similar ao do decreto, com o contágio se mantendo em níveis mais baixos ou mesmo continuando a decair até 1,0.


Essas trajetórios do contágio podem ser observadas no detalhe no canto superior esquerdo da figura abaixo. Nessa figura vemos principalmente o número acumulado de óbitos para cada um dos cenários. Os resultados não são muito diferentes dos que apresentamos no relatorio anexo ao Decreto Estadual de 19 de abril. Podemos observar novamente que, no cenário azul, a mortalidade continuaria na faixa de 150 óbitos no final de maio, indo até o cenário vermelho com mais de 400 óbitos no mesmo período. Considerando a capacidade instalada no Estado, em princípio apenas nos cenários azul e talvez o verde haveria condições adequadas de atendimento pelo sistema de saúde...Mas isso em curto prazo! Isso precisa ser ainda melhor avaliado...



Pensando estatisticamente, o aumento da mobilidade (ou seja, diminuição dos índices de isolamento social) a partir da flexibilização pode levar a um aumento do RE e, consequentemente, aumentar a epidemia, atrapalhando tudo o que foi conseguido até agora com as medidas de isolamento. Algumas pessoas falam em uma "segunda onda", mas no caso de Goiás seria difícil perceber essas ondas, que irão (se for o caso dos cenários mais "agressivos") se sobrepor (e notem que não há mesmo uma interrupção nas curvas acima).


Entretanto, apesar das curvas acima serem claras em termos dos efeitos do RE, acho que vai ser mais difícil “traduzir” essas curvas de mortalidade e crescimento da pandemia a partir dos dados de monitoramento do isolamento social por telefonia. Vamos pensar um pouco sobre isso. Por um lado, o aumento da mobilidade a partir da flexibilização pode levar realmente a um aumento do RE e, consequentemente, aumentar a transmissão e acelerar o aumento das hospitalizações e das mortes. Isso colocaria a perder tudo o que foi conseguido até agora, a duras penas, pelas medidas de isolamento de meados de março. Entretanto, quero crer que, por outro lado, a maior parte da população está esclarecida quanto aos perigos da pandemia. Sendo assim, talvez mesmo com o aumento da mobilidade pelo início da flexibilização haja uma compensação, um “tamponamento” da transmissão em nível individual e talvez a epidemia realmente decline. Mas não sabemos ainda se isso vai acontecer, precisamos manter a vigilância, pois a situação agora se torna mais complicada em termos de previsões!


Aqui vale ressaltar um ponto importante: se estamos dizendo hoje que, no cenário azul, a transmissão pode ter diminuído pelo isolamento ao longo do mês de abril, porque ainda estamos vendo um aumento - até mais acelerado - no número de casos e de óbitos em Goiás? Primeiro, só conseguimos avaliar realmente esse declínio no RE com um tempo de umas duas semanas no passado (digamos, hoje conseguimos avaliar a situação em meados de abril...), por causa dos atrasos na divulgação dos casos confirmados. Então, nossas análises otimistas referem-se, de fato, ao padrão estimado de transmissão em meados de abril. Isso faz sentido porque, em segundo lugar, sabemos que a progressão da doença, desde a transmissão, passando pelo início dos sintomas e indo até uma eventual hospitalização, é muito lenta. Os casos de óbito ou mesmo internação com sintomas graves que vemos hoje se infectaram vários dias atrás...Então, vamos ter uma ideia melhor do padrão de crescimento da pandemia após a flexibilização apenas nas próximas duas semanas! Pode ser que, neste momento, as coisas já tenham piorado e as duas "ondas" já estejam sobrepostas, e não sabemos e não percebemos ainda...Mas espero que não!


De qualquer modo, temos agora um novo modelo, bem mais completo, que foi desenvolvido pelo meu amigo e colega Thiago Rangel e que leva em consideração a estrutura etária da população e permite avaliar a dinâmica da pandemia nos diferentes municípios do Estado, em um contexto espacial explícito (Goiás se torna então uma “metapopulação”). Esse modelo já está bem calibrado com a situação que observamos no Estado de Goiás e esperamos que, com ele, possamos fazer previsões mais realistas e poder construir cenários que permitam responder uma série de questões mais específicas, especialmente no sentido de estratégias ótimas de flexibilização das medidas de isolamento social nos próximos meses (que vamos discutir em uma próxima postagem).


Concluindo, por tudo que mostrei aqui, está claro que as medidas de isolamento social funcionam SIM, ao contrário do que tem colocado o Presidente da República, na sua total falta de compreensão da dinâmica da pandemia (e de qualquer assunto mais complexo, na realidade...). Entender muitas das questões colocadas acima pode ser difícil, pois exige uma grande abstração, às vezes por razões aparentemente simples (por exemplo, o que estamos observado no “mundo real” agora aconteceu duas semanas atrás, em termos de infecção). Ao mesmo tempo, os números são às vezes abstratos e apresentados como taxas, ou falando em velocidade de crescimento, ou subnotificações. Para muitas pessoas é difícil entender o crescimento exponencial e mesmo percentagens simples (quando o Presidente Bolsonaro fala que 70% da população brasileira vai ser mesmo infectada, está claro que ele não entende do que está falando e muito menos é capaz de abstrair o desastre decorrente de uma infecção dessas proporções...). É preciso um grande esforço de comunicação para que as pessoas entendam a dimensão do problema e sejam, assim, capazes de colaborar com a sua solução!


Só para ficar registrado e finalizar as análises, resolvi então adicionar às análises dos cenários "pós-flexibilização" que mostrei acima o primeiro contrafactual lá do final de março, com o modelo atualizado, pensando: "e se não tivéssemos implementado as medidas de isolamento/distanciamento a partir de meados de março?", ou seja, e se tivéssemos mantido um RE de 2,2 desde o início? Voltamos aos cerca de 500 mortos que poderíamos ter em Goiás hoje, contrastando fortemente com o número observado de 30 mortes! Para o final de maio, esses números chegariam a valores assustadoramente altos (por volta de 10,000 mortes!!!). Então, nesse sentido, as medidas de isolamento/distanciamento que adotamos em Goiás já salvaram, hoje, pelo menos 500 vidas, e muitas mais nos próximas meses (dependendo de como continuarmos a nos comportar!!!!)



Alguns podem achar estranho esses valores absurdos da ordem de 10,000 mortes para Goiás, pois esse está mais próximo do numero total do Brasil hoje, certo? Voltamos ao problema da compreensão dos grandes números e da abstração necessária para enxergar o crescimento exponencial! Mas é isso mesmo, estamos pensando nesse cenário contrafactual que não houve nenhuma medida de isolamento e a pandemia se espalhou de modo que cada pessoa infectada, durante 3 meses, contaminou mais duas novas pessoas por dia (na realidade, um prazo um pouco maior em dias, pois as contaminações não ocorrem todas juntas; mas de qualquer modo concentram-se na fase pré-sintomática, nos 3 - 5 primeiros dias). Nesse sentido vocês nem precisam de um modelo complexo, simplesmente façam as contas rapidamente, brinquem no Excel ou outra planilha qualquer para ir aumentando os infectados, e depois usem valores, mesmo que baixos, de mortalidade por infectado (0,1%, ou seja, 1/1000; a estimativa do CDC do Imperial College é de fato de 0.68%...). Vocês vão ver que faz sentido, os números são absurdos mesmo...!


Então, temos hoje quase 7000 mortes oficialmente registradas pela COVID-19 no Brasil GRAÇAS AO ISOLAMENTO SOCIAL QUE ESTÁ SENDO POSSÍVEL FAZER!!!!! Vimos o efeito mais específico disso em Goiás...Os números previstos inicialmente pelo CDC do Imperial College (em março), que chegavam a mais de 1 milhão de mortes e assustaram a todos - e que muitos acharam, ou esperaram, que fossem irrealistas - mostravam justamente esse cenário contrafactual...Claro que Bolsonaro não é capaz de fazer essas contas ou entender os contra-factuais (ou, se conseguir fazer as contas, que Deus o perdoe!!!!).

Então, apesar de todas as dificuldades e problemas de validação para definir a trajetória da epidemia em diferentes regiões, com a sociedade se comportando de forma imprevisível (e às vezes, infelizmente, de modo irracional...), gradualmente os diferentes modelos começam a convergir em suas previsões. Mas é importante termos clareza de que as coisas ainda estão muito incertas e é possível que a situação se complique nas próximas semanas (aqui em Goiás) e em outros locais do país (para além da situação já calamitosa em algumas das nossas grandes cidades). Isso vai ocorrer principalmente se muitas pessoas não entenderem o significado da flexibilização e acharem que o perigo já passou. Mas, como disse o Thiago Rangel recentemente, o futuro não está escrito! Na verdade, qual trajetória da figura acima nós vamos seguir, como sociedade, depende muito do comportamento de cada um! No caso das projeções da COVID-19, especialmente daquelas mais pessimistas, vamos esperar que George Box continue com a razão: que todos os modelos estejam errados!


3.760 visualizações0 comentário

Posts recentes

Ver tudo

Inscreva-se para receber as novas postagens por e-mail!

  • White Facebook Icon
  • White Twitter Icon
  • Branco Ícone Google+
bottom of page