Open-access Validação do modelo lógico da assistência integral às crianças com síndrome congênita da Zika

Validation of the logical model of comprehensive care for children with congenital Zika syndrome

Validación del modelo lógico de atención integral a niños con síndrome congénito del Zika

Resumo:

O objetivo deste estudo foi elaborar e validar o modelo lógico dos componentes da assistência integral às crianças com síndrome congênita da Zika (SCZ) no Município do Rio de Janeiro, Brasil. Foram desenvolvidas três etapas: (1) busca na literatura científica e em documentos oficiais para elaboração do modelo lógico; (2) aperfeiçoamento do modelo incorporando as sugestões de especialistas nas áreas de saúde da criança, da pessoa com deficiência, avaliação em saúde e Rede de Atenção à Saúde (RAS); e (3) validação do modelo lógico por meio do método de consenso de Delphi em duas fases: avaliação da pertinência e da relevância dos itens do modelo através do percentual de concordância (PC), do coeficiente alfa de Cronbach, mediana e valor interquartil. O modelo lógico contém todos os componentes necessários para o acolhimento e acompanhamento dos casos de SCZ, desde a concepção até o terceiro ano de vida. Foram classificados como pertinentes 136 itens do modelo (fase 1: PC 96-97% e 0,76-0,93; fase 2: PC 98% e 0,88-0,97), 98% muito relevantes e 2% relevantes. A elaboração e validação do modelo lógico possibilitou a representação gráfica dos componentes necessários para assistência integral à saúde das crianças com SCZ, bem como a organização dos fluxos assistenciais, com os elementos necessários para auxiliar a gestão local no planejamento, estruturação e avaliação da RAS. Apesar das características singulares da cidade, este modelo revela-se passível de aplicação em outras localidades com fatores contextuais semelhantes aos observados no Rio de Janeiro.

Palavras-chave:
Infecção por Zika Vírus; Avaliação em Saúde; Saúde Materno-Infantil; Modelos de Assistência à Saúde; Assistência Integral à Saúde

Abstract:

This study aimed to develop and validate a logical model of the components of comprehensive care for children with congenital Zika syndrome (CZS) in the municipality of Rio de Janeiro, Brazil, in three stages: (1) search in the scientific literature and official documents to elaborate the logical model, (2) improvement of the model by incorporating the suggestions of specialists in child health, people with disabilities, health evaluation, and health care network, and (3) validation of the logical model by the Delphi consensus in two phases: evaluation of the relevance of the model items by the percentage of agreement (PA), Cronbach’s alpha coefficient, medians, and interquartile values. The logical model contains all the necessary components to admit and follow up CZS cases from conception to the third year of life. A total of 136 items of the model were classified as relevant (phase 1: PA 96-97% and 0.76-0.93; phase 2: PA 98% and 0.88-0.97), 98% very relevant and 2% relevant. The elaboration and validation of the logical model could graphically represent the components necessary for comprehensive health care for children with CZS and organize care flows with the necessary elements to assist local management in planning, structuring, and evaluating the health care network. Despite the unique characteristics of the municipality, this model may serve other locations with contextual factors resembling those in Rio de Janeiro.

Keywords:
Zika Virus Infection; Health Evaluation; Maternal and Child Health; Healthcare Models; Comprehensive Health Care

Resumen:

El objetivo de este estudio fue desarrollar y validar el modelo lógico de los componentes de la atención integral para niños con síndrome congénito del Zika (SCZ) en la ciudad de Rio de Janeiro, Brasil. Se desarrollaron tres etapas: (1) búsqueda en la literatura científica y en documentos oficiales para elaborar el modelo lógico; (2) mejora del modelo con la inclusión de las sugerencias de especialistas en las áreas de salud infantil, personas con discapacidad, evaluación de la salud y red asistencial; y (3) validación del modelo lógico mediante el método de consenso Delphi en dos fases: evaluación de la relevancia y pertinencia de los ítems del modelo mediante el porcentaje de concordancia (PC), el coeficiente alfa de Cronbach, la mediana y el valor intercuartílico. El modelo lógico contiene todos los componentes necesarios para la recepción y seguimiento de los casos de SCZ, desde la concepción hasta el tercer año de vida. Se clasificaron 136 ítems del modelo como relevantes (fase 1: PC 96-97% y 0,76-0,93; fase 2: PC 98% y 0,88-0,97), 98% muy relevante y 2% relevante. La elaboración y validación del modelo lógico permitió la representación gráfica de los componentes necesarios para la atención integral en salud de niños con SCZ, así como la organización de flujos de atención, con los elementos necesarios para asistir a la gestión local en la planificación, estructuración y evaluación de la red de atención en salud. A pesar de las características únicas de la ciudad, este modelo demuestra ser aplicable en otras ubicaciones con factores contextuales similares a los observados en Rio de Janeiro.

Palabras-clave:
Infección por el Virus Zika; Evaluación en Salud; Salud Materno-Infantil; Modelos de Atención de Salud; Atención Integral de Salud

Introdução

A síndrome congênita da Zika (SCZ) 1 possui sinais e sintomas semelhantes aos encontrados em outras infecções congênitas, descritas pelo acrônimo STORCH (sífilis, toxoplasmose, rubéola, citomegalovírus, herpes simples) 2. Elas estão associadas a danos físicos e mentais, quadro que demanda o cuidado integral e especializado com suporte assistencial e social 3.

No Brasil, entre 2015 e 2020, foram notificados 19.622 casos suspeitos de SCZ e 3.563 confirmados. Entre as crianças com SCZ, apenas 52% (1.847) foram acompanhadas na atenção primária à saúde (APS) e 49% (1.746), em atendimento especializado, sugerindo a existência de barreiras de acesso a serviços de saúde 4. Diversos fatores podem constituir entraves para o adequado cuidado e acompanhamento das crianças com SCZ, muitos deles comuns àqueles vivenciados por pessoas com deficiência e necessidades especiais, tais como: a demora no diagnóstico; a necessidade de diferentes especialistas; a dependência do paciente em um contexto familiar de vulnerabilidade social; a comunicação insuficiente entre os serviços especializados, resultando em assistência fragmentada; ausência de estruturação de uma rede de referência e contrarreferência; falhas no sistema de regulação, ocasionando alto tempo de espera para consultas e exames; assistência em locais distantes da residência, com percursos longos para unidades de saúde, gerando maior custo e gasto de tempo; desconhecimento do fluxo de atendimento nos serviços especializados; e equívocos no processo de encaminhamento pelos profissionais de saúde 5,6,7,8,9,10,11.

A assistência adequada às crianças com SCZ envolve desde procedimentos com menor densidade tecnológica na APS até o atendimento em hospitais especializados, o que pressupõe a organização da Rede de Atenção à Saúde (RAS) como capaz de fornecer cuidado integral 12. Portanto, é essencial conhecer e avaliar o plano de cuidados às crianças com SCZ 13, assim como os fluxos assistenciais definidos entre os níveis de atenção 14,15.

A avaliação do cuidado às crianças com SCZ pode ser feita por meio de um modelo lógico, que representa visualmente o funcionamento do programa, suas causas e resultados esperados. Esse esquema integra o raciocínio avaliativo ao design estrutural, mostrando a relação entre causas imediatas, distais e os objetivos da intervenção 16,17,18,19,20,21,22. Ele pode permitir aos gestores e avaliadores uma visão mais clara sobre a racionalidade da construção do tratamento 23.

Estudos avaliativos anteriores evidenciaram a necessidade de uma ferramenta para avaliar a RAS integrando diferentes áreas do conhecimento. Pesquisas apontaram deficiências na estrutura e nas ações da atenção pré-natal, na Rede de Cuidados à Pessoa com Deficiência, na resposta à emergência da microcefalia associada ao Zika vírus (ZIKV) e na APS, destacando falhas na coordenação, integralidade e monitoramento dos serviços e orientação familiar e comunitária 24,25,26,27. Portanto, na ausência de um modelo lógico que possa ser base para futuros estudos avaliativos da RAS em relação às crianças com SCZ e que possibilite a sistematização de uma rede de cuidados com longitudinalidade e integralidade para casos tão complexos como os dessas crianças, este estudo tem por objetivo apresentar o desenvolvimento e validação do modelo lógico dos componentes da assistência integral às crianças com SCZ na RAS da cidade do Rio de Janeiro, Brasil.

Métodos

Trata-se de um estudo de desenvolvimento e validação do modelo lógico da RAS de crianças com SCZ. O modelo lógico foi desenvolvido e validado em três etapas entre 2019 e 2020: (1) definição do problema e do contexto e elaboração do modelo lógico; (2) aperfeiçoamento do modelo lógico; e (3) validação do modelo lógico 16,18,28,29,30,31.

Primeira etapa: definição do problema e do contexto e elaboração do modelo lógico

Inicialmente, foi realizada busca por documentos oficiais nos sites do Ministério da Saúde brasileiro e da Organização Mundial da Saúde (OMS) sobre Zika, Zika em gestantes e SCZ, além de políticas sobre atenção integral à saúde da mulher, da criança e da pessoa com deficiência. Também foram procuradas referências bibliográficas sobre protocolos e diretrizes para o manejo clínico na Biblioteca Virtual em Saúde utilizando a chave de busca: (tw:(Zika)) AND ((tw:(protocolo*)) OR (tw:(diretriz*))) AND ((tw:(criança*)) OR (tw:(Gesta*))). O recorte temporal foi entre 2014 e fevereiro de 2020. Foram encontrados 260 documentos; destes, 12 foram selecionados para análise qualitativa, e os demais foram excluídos por não tratarem de gestantes com infecção suspeita/confirmada pelo ZIKV ou crianças com SCZ 32,33,34,35,36,37,38.

A partir dessas referências normativas, foi elaborado um modelo lógico inicial, incluindo os componentes e subcomponentes da RAS necessários para o cuidado integral às crianças com SCZ, do nascimento até o 3º ano de vida. A faixa etária escolhida foi baseada nos protocolos nacionais 39.

Segunda etapa: aperfeiçoamento do modelo lógico

Foram convidados especialistas considerando pelo menos um dos seguintes critérios: (1) atuação nas áreas de ensino, pesquisa e/ou extensão; (2) conhecimento sobre os temas: “Rede de Atenção à Saúde”, “cuidado integral à saúde das crianças” e/ou “cuidado integral à pessoa com deficiência”; (3) especialista da área de avaliação de serviços/programas de saúde.

Foram realizadas duas rodadas para sugestões e ajustes, feitas por e-mail e por videoconferência individualmente com cada especialista. O objetivo foi avaliar a abordagem teórica e normativa da assistência e do fluxo assistencial às crianças com SCZ à luz do conhecimento atual e de acordo com a prática nos serviços de saúde.

Na primeira rodada, foi enviado o modelo lógico com questionário contendo perguntas abertas para verificar a conformidade. Na segunda, após a inclusão das alterações sugeridas, foi enviado modelo para aprovação e prosseguimento para a etapa seguinte.

Terceira etapa: validação do modelo lógico

Foi utilizado o método Delphi, por meio da técnica de consenso, para validação do modelo lógico, visando garantir a sua validade de conteúdo. O método tem como princípios: iteração, feedback controlado, resposta estatística do grupo, interação estruturada e anonimato ou “quase anonimato” 40.

Amostra e seleção dos participantes

Foi utilizada amostra de conveniência, composta por 20 especialistas (pesquisadores, gestores ou profissionais de saúde) com reconhecida experiência nas áreas de atenção à saúde da criança, das pessoas com deficiência e da avaliação de sistemas, programas e serviços de saúde. Eles foram selecionados por indicação de integrantes do grupo técnico que atuam no cuidado às crianças com síndromes congênitas no Estado do Rio de Janeiro.

A validação do modelo incluiu a avaliação, em dois momentos distintos, da pertinência e da relevância dos itens, tendo sido elaborado um questionário específico para cada momento (questionários 1 e 2). Foi enviado e-mail convite para os 20 especialistas contendo o Termo de Consentimento Livre e Esclarecido, o modelo lógico a ser avaliado, as orientações do preenchimento, o resumo sobre avaliação do modelo e o questionário 1 para a avaliação da pertinência. Ele foi dividido em cinco partes: (1) identificação do participante, (2) avaliação da estrutura, (3) processo, (4) produto, e (5) resultado a curto e médio prazo e impacto; com questões dicotômicas (“É pertinente?” e “Não é pertinente?”) para cada item e uma pergunta aberta para o registro de recomendações em cada componente.

Após análise das respostas e inclusão dos ajustes, foi encaminhado o questionário 2 para os profissionais que haviam respondido o primeiro, visando à avaliação da relevância dos itens do modelo. Cada item poderia ser avaliado como “muito relevante”, “relevante” e “pouco relevante”, com atribuição dos seguintes pesos: muito relevante = 3, relevante = 2 e pouco relevante = 1 41,42.

O prazo para o envio da resposta foi de 15 dias a partir da data do envio de cada questionário. Para aumentar a taxa de resposta, foram enviados e-mails antes do prazo, na data de expiração e outros três e-mails após o prazo estabelecido quando necessário.

Análise de dados

Para análise do consenso na avaliação da pertinência, foi utilizado o percentual de concordância simples por item, por elementos do modelo lógico (estrutura, atividade, produto e resultado) e do modelo completo. O percentual de concordância simples entre avaliadores foi medido com variação entre 0 e 1, sendo: sem concordância (entre 0 e 0,3); fraca (entre 0,31 e 0,5); moderada (entre 0,51 e 0,7); forte (entre 0,71 e 0,9); muito forte (entre 0,91 e 1) 43. Foram considerados concordantes os itens com valores classificados como fortes, ou seja, maiores que 70% 42,44,45.

Para análise do consenso na avaliação da relevância, foram utilizadas as seguintes métricas: a mediana, o intervalo interquartil e a concordância entre avaliadores. Com relação à mediana e ao intervalo interquartil, o valor de cada item do modelo foi estabelecido seguindo os critérios: quando o valor do intervalo interquartil foi igual a zero, o valor do item era igual à mediana; quando o valor do intervalo interquartil foi 0,5, o valor do item era igual ao valor com maior percentual de resposta; quando o valor do intervalo interquartil foi 0,75 e os valores apresentaram empate no percentual de resposta, o grupo de pesquisa definiu o nível de relevância com base na literatura 43,46,47.

Já para análise da consistência interna foi verificada a confiabilidade entre examinadores através do coeficiente alfa de Cronbach, cujos valores variam entre 0 e 1. Para valores entre 0 e 0,2, a consistência é pequena; entre 0,21 e 0,4, razoável; entre 0,41 a 0,6, moderada; entre 0,61 e 0,8, substancial; e entre 0,81 e 1, quase perfeita 44,45. Após consenso e valoração dos elementos, o modelo lógico final foi encaminhado para os participantes para aprovação. Foram utilizados os softwares Microsoft Excel 365 (https://products.office.com/) e SPSS 20.0 (https://www.ibm.com/).

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz (CAAE: 94162218.5.0000.5240).

Resultados

Primeira etapa: definição do problema e do contexto e construção do modelo lógico

O modelo lógico inicial continha os elementos estrutura, processo e resultado, incluindo quatro componentes relacionados aos níveis de atenção à saúde no Brasil, oito subcomponentes, sete itens relativos à estrutura, 38 ao processo e 16 ao resultado (Material Suplementar - Figuras S1, S2, S3 e S4; https://cadernos.ensp.fiocruz.br/static//arquivo/suppl-e00051924_4462.pdf).

Segunda etapa: aperfeiçoamento do modelo lógico

Participaram desta etapa três especialistas, todas atuando na área de pesquisa, com experiência na RAS: uma na área de conhecimento materno-infantil; uma na área materno-infantil e na avaliação de serviços/programas de saúde; e uma na área de saúde integral à pessoa com deficiência.

Quanto à estrutura, o modelo foi adaptado ao proposto pelo Centro de Controle e Prevenção de Doenças dos Estados Unidos 22, contendo os elementos: estrutura, atividades/processo, produto, resultado (curto e médio prazo) e impacto, incluindo os aspectos contextuais segundo modelo tipo 2, descrito por Mills et al. 48. Foram adicionados ao modelo dois componentes e dois subcomponentes. Quanto aos itens, permaneceram três itens relativos à estrutura, adaptados a cada subcomponente, 37 relacionados ao processo, 34 ao produto, 31 aos resultados (curto 29, médio prazo 1 e relativo ao impacto 1).

Terceira etapa: validação do modelo lógico

Avaliação da pertinência dos itens do modelo lógico

Dos 20 especialistas convidados, sete (35%) responderam aos questionários enviados. Todos os respondentes são profissionais da área da saúde, sendo cinco do sexo feminino. Todos apresentavam pós-graduação stricto sensu (um, pós-doutorado; três, doutorado; e três, mestrado), com atuação nas áreas de gestão (n = 3), pesquisa (n = 3) e assistência (n = 1). Um respondente apresentava até cinco anos de atuação; os demais, mais de 15 anos.

A maioria (86%) dos itens do modelo lógico teve 100% de concordância. O percentual de concordância do modelo lógico e dos componentes variou entre 95 e 98%. O coeficiente alfa de Cronbach foi considerado “quase perfeito” para o modelo completo e para os itens que compõem a estrutura e o produto. Para os itens que compõem o processo e o resultado, o coeficiente foi “substancial” (Material Suplementar - Tabela S1; https://cadernos.ensp.fiocruz.br/static//arquivo/suppl-e00051924_4462.pdf). Como o percentual de concordância e o coeficiente alfa de Cronbach demonstraram concordância congruente, foram mantidos todos os itens do modelo lógico.

Avaliação da relevância dos itens do modelo lógico

Dos sete especialistas que participaram da avaliação da pertinência, seis responderam ao questionário para avaliação da relevância. Entre os 136 itens do modelo lógico, 134 foram considerados “muito relevantes” e dois “relevantes”. O percentual de concordância simples teve resultado entre 83 e 100% em 112 itens, 67% em 19 itens e 50% em cinco itens. A mediana variou entre 2,5 e 3 e o intervalo interquartil variou entre 0 e 0,75. O nível de concordância entre os avaliadores foi considerado “muito forte” em 128 itens do modelo lógico e “forte” em oito itens. O alfa de Cronbach foi considerado “quase perfeito” para todo o modelo e para todos os componentes que o compõem (Material Suplementar - Tabela S1; https://cadernos.ensp.fiocruz.br/static//arquivo/suppl-e00051924_4462.pdf).

O modelo lógico dos componentes para assistência integral às crianças com SCZ

O modelo lógico final contém 136 itens, sendo 33 relativos à estrutura, 38 ao processo, 33 ao produto e 32 aos resultados (Quadros 1, 2, 3, 4 e 5). O componente “Atenção primária à saúde” (Quadros 1 e 2) contém 40% (54) dos itens que compõem o modelo lógico; o componente “Atenção secundária à saúde” (ASS) (Quadro 3), 18% (25); e o componente “Atenção hospitalar” (Quadro 4), 27% (37). Todos os itens da APS, da ASS e da Atenção hospitalar foram considerados “muito relevantes”.

O componente “Central municipal de regulação” (Quadro 5) constituiu 4% (6) dos itens do modelo, sendo um item considerado “relevante” e os demais “muito relevantes”. O componente “Vigilância em saúde” (Quadro 5) contribuiu com 11% (14) dos itens do modelo, sendo dois considerados “relevantes” e os demais “muito relevantes”.

Quadro 1
Modelo lógico validado dos componentes da assistência às crianças com síndrome congênita da Zika (SCZ) na atenção primária à saúde (APS). Equipes da Estratégia Saúde da Família (ESF) e da APS, residentes do Município do Rio de Janeiro, Brasil, 2020.
Quadro 2
Modelo lógico validado dos componentes da assistência às crianças com síndrome congênita da Zika (SCZ) na atenção primária à saúde (APS). Núcleo de Apoio à Saúde da Família (NASF) e rede de apoio diagnóstico laboratorial, residentes do Município do Rio de Janeiro, Brasil, 2020.
Quadro 3
Modelo lógico validado dos componentes da assistência às crianças com síndrome congênita da Zika (SCZ) na atenção primária à saúde (APS). Atenção secundária à saúde (ASS), residentes do Município do Rio de Janeiro, Brasil, 2020.
Quadro 4
Modelo lógico validado dos componentes da assistência às crianças com síndrome congênita da Zika (SCZ) na atenção primária à saúde (APS). Atenção hospitalar, residentes do Município do Rio de Janeiro, Brasil, 2020.
Quadro 5
Modelo lógico validado dos componentes da assistência às crianças com síndrome congênita da Zika (SCZ) na atenção primária à saúde (APS). Central municipal de regulação e Vigilância em saúde, residentes do Município do Rio de Janeiro, Brasil, 2020.

Para caracterizar como os componentes do modelo lógico da assistência à saúde da criança com SCZ se articulam, foi elaborada figura que apresenta graficamente o fluxo de gestantes e crianças nos diversos pontos da RAS (Material Suplementar - Figura S5; https://cadernos.ensp.fiocruz.br/static//arquivo/suppl-e00051924_4462.pdf).

Discussão

Foi elaborado e validado o modelo lógico da assistência integral às crianças com SCZ utilizando metodologia robusta à luz do referencial teórico e análise contextual dos especialistas. Todos os itens foram considerados pertinentes e avaliados como “relevantes” ou “muito relevantes”. Modelos similares não foram identificados na literatura, e o modelo desenvolvido tem o potencial de ser utilizado para o planejamento, monitoramento e avaliação da assistência às crianças com SCZ.

A SCZ é uma doença nova que pode acometer diversos sistemas, levando à necessidade de elaboração de um plano singular de cuidado, demandando visitas frequentes aos serviços de saúde 1,8,39,49,50. Estudos indicam graves atrasos no desenvolvimento de crianças com SCZ, exigindo assistência básica e especializada 51,52. Além disso, são apontadas fragilidades para o acesso das crianças em diferentes pontos da RAS, como descontinuidade do cuidado, inexistência de integração e qualificação profissional inadequada, além da ineficiência do sistema de regulação 53. Portanto, faz-se necessária a estruturação adequada da RAS, com disponibilidade de unidades de saúde em todos os níveis de complexidade, apoio diagnóstico, protocolos clínicos definidos e fluxos assistenciais adequados.

Apesar dos pressupostos do Sistema Único de Saúde (SUS), são identificadas barreiras no acesso tanto a unidades de saúde quanto a insumos e medicamentos importantes para o tratamento das crianças com SCZ e outras morbidades 54. Estudos apontam fragilidades para o acompanhamento de gestantes, dada a cobertura insuficiente de pré-natal, e para o acesso à rede de apoio diagnóstico, bem como para o acompanhamento de crianças com SCZ, vista pela falta de cobertura de atendimento especializado. A organização da RAS, integrada à rede de apoio social, como descrita no modelo lógico, pode contribuir para a mitigação do efeito da SCZ nas famílias, tais como: dificuldade de acesso a serviços de saúde, perda de rendimentos, aumento das despesas e redução da qualidade de vida, além dos gastos pelo Estado com saúde e apoio social 27,50,54,55,56.

A integração da RAS soma-se a esforços na implementação de políticas para o estabelecimento de direitos, não só das crianças com SCZ como também daquelas com deficiência. Nesse sentido, o plano Viver Sem Limite, iniciativa do Governo Federal, pretende promover ações, como o fornecimento de dispositivos e equipamentos que garantam mais dignidade às pessoas com deficiência 57.

A organização, monitoramento e avaliação da rede assistencial é complexa e os modelos lógicos podem auxiliar nessas etapas. Neste estudo, foi elaborado um modelo lógico de fácil entendimento, que objetiva subsidiar a gestão no delineamento e gerenciamento dos fluxos assistenciais direcionados às crianças com SCZ, desde o planejamento estratégico dos recursos e atividades até o monitoramento e avaliação de todas as dimensões do modelo 18,58.

A maioria dos itens do modelo lógico desenvolvido está relacionada ao componente “Atenção primária à saúde”, demonstrando sua importância como porta de entrada preferencial do SUS, coordenadora do cuidado e ordenadora da RAS 59. O cuidado ofertado à criança na APS deve ser iniciado com a assistência pré-natal adequada, orientação às gestantes, diagnóstico da infecção e de possíveis anomalias congênitas e articulação com os demais pontos da rede, especialmente da atenção hospitalar, visando ao parto planejado para melhor assistência ao recém-nato 39.

O acompanhamento puericultural oportuno é essencial para o diagnóstico precoce de alterações no desenvolvimento, estimulação precoce e integração com a rede de cuidados e proteção social. No entanto, falhas na coordenação, longitudinalidade, integralidade e orientação da APS já foram apontadas, dificultando a elaboração de um plano de cuidados eficiente e reforçando a necessidade de um modelo lógico para aprimorar a assistência 27.

As maternidades devem estar preparadas para acolher gestantes, planejar a via de nascimento e oferecer assistência adequada ao recém-nascido, incluindo insumos para casos graves. É essencial contar com profissionais capacitados para estimulação precoce, cuidados especializados, apoio diagnóstico e alta hospitalar planejada, com encaminhamento para a APS e unidades de reabilitação 36,39,60. Tanto o componente “Atenção primária à saúde” quanto o componente “Atenção hospitalar” mostram a importância da rede de atenção à SCZ estar articulada às redes e políticas de atenção à criança e à mulher. Estudos mostram falhas na assistência pré-natal e ao parto no país, com desfechos perinatais não compatíveis com sua cobertura quase universal, sugerindo problemas na qualidade dessa assistência. A rede de atenção às crianças com SCZ está inserida nessa rede mais ampla de cuidado à saúde da mulher e da criança, sendo o seu funcionamento essencial para o cuidado adequado das crianças com a síndrome.

O componente “Atenção secundária à saúde” foi o terceiro com maior número de itens no modelo, percebendo-se fundamental para o acompanhamento de crianças com SCZ. Sua importância reside na necessidade de um plano de cuidados integrado com a APS, garantindo acesso a exames diagnósticos por imagem, tratamentos especializados, reabilitação e estimulação precoce 36,39,61.

A rede de atenção deve estar estruturada não apenas para a detecção e o tratamento oportuno de crianças com SCZ, mas também para o monitoramento e a identificação precoce de alterações no neurodesenvolvimento em crianças expostas ao ZIKV durante a gestação, mesmo quando assintomáticas ao nascer. O acompanhamento de crianças assintomáticas por dois anos identificou atrasos na cognição, linguagem e desempenho motor 62,63. No entanto, outro estudo apontou que a maioria das crianças expostas ao ZIKV na gestação apresentava desenvolvimento clínico normal, ressaltando a importância de uma avaliação criteriosa e individualizada 64.

O sistema de regulação de vagas deve organizar a demanda de forma equitativa, transparente e com segurança, com classificação de risco para o acesso igualitário das crianças à rede de acordo com suas necessidades em saúde 65. O componente “Central municipal de regulação” no modelo é essencial para o fluxo formal de encaminhamento das crianças na rede, embora tenha menos itens. Estudo prévio apontou que a maior parte do apoio prestado às famílias era orientação médica e, embora tenham sido estabelecidas redes de apoio informais, é importante uma rede estruturada, com serviços de saúde e sociais disponíveis para atender às necessidades das crianças 50.

O componente “Vigilância em saúde” é transversal a todos os pontos da RAS. Sua atuação mais conhecida é a notificação dos casos de infecção pelo ZIKV e a SCZ, com o monitoramento do perfil epidemiológico 66. Entretanto, um sistema de vigilância em saúde deveria incluir o desenvolvimento de uma cadeia de ações para acompanhamento das gestantes e crianças, incluindo a análise da situação de saúde e o adequado funcionamento do sistema de vigilância em saúde com a integração com as equipes de promoção de saúde, prevenção e tratamento 67.

Como pontos fortes do nosso estudo, destacamos a extensa revisão da literatura e a incorporação de diferentes áreas de conhecimento; a construção participativa do modelo lógico com profissionais de diferentes áreas de atuação complementares; a validação em duas etapas metodológicas, com avaliação da pertinência e relevância; e a análise estatística através do alfa de Cronbach, que tornaram o modelo mais robusto 18,29,30,59,68.

A elaboração e validação do modelo lógico consideraram o contexto do Rio de Janeiro, marcado por desigualdades regionais em renda, estrutura urbana e acesso à saúde. Também foram incluídos fatores ambientais e conjunturais que favorecem a propagação do mosquito vetor e a alta incidência de arboviroses 51,69,70,71,72.

Este estudo teve como principal limitação o baixo percentual (35%) de retorno dos participantes selecionados, o que pode ser decorrente do período de realização - durante a pandemia da COVID-19. Reconhecemos que essa baixa taxa de resposta pode afetar a generalização dos resultados, o que esperamos que tenha sido mitigado pela grande experiência dos profissionais que participaram da validação do modelo em suas atuações nas RAS do SUS e nos temas da avaliação em saúde, da atenção à saúde da criança, e da atenção à pessoa com deficiência, contemplando as áreas de assistência, gestão e pesquisa.

Conclusão

A construção e validação do modelo lógico dos componentes assistenciais para o cuidado integral às crianças com SCZ no Município do Rio de Janeiro possibilitou a representação gráfica dos componentes necessários para assistência, bem como a organização dos fluxos assistenciais. Esse modelo pode ser utilizado pelos gestores não só para a estruturação da RAS, mas também como uma ferramenta para o monitoramento e a avaliação do cuidado ofertado às crianças com SCZ em todos os níveis da RAS. Ressaltamos que esse é um modelo inicial e que pode ser empregado e adaptado em outros locais com contextos semelhantes, ou seja, de alta densidade demográfica, estruturação urbana precária, recursos físicos e financeiros disponíveis e alta incidência de arbovirose 73. Para sua utilização em contextos muito diferentes, seria desejável um novo processo de validação, adaptando o que está expresso na literatura e nas políticas de saúde do país à realidade do território local.

Referências

  • 1 Freitas DA, Souza-Santos R, Carvalho LMA, Barros WB, Neves LM, Brasil P, et al. Congenital Zika syndrome: a systematic review. PLoS One 2020; 15:e0242367.
  • 2 Nahmias AJ, Walls KW, Stewart JA, Herrmann KL, Flynt Jr. WJ. The ToRCH complex-perinatal infections associated with toxoplasma and rubella, cytomegol- and herpes simplex viruses. Pediatr Res 1971; 5:405-6.
  • 3 Cofré F, Delpiano L, Labraña Y, Reyes A, Sandoval A, Izquierdo G. Síndrome de TORCH: enfoque racional del diagnóstico y tratamiento pre y post natal. Recomendaciones del Comité Consultivo de Infecciones Neonatales Sociedad Chilena de Infectología, 2016. Rev Chil Obstet Ginecol 2017; 82:171-211.
  • 4 Ministério da Saúde. Boletim Epidemiológico 2020; (47). http://plataforma.saude.gov.br/anomalias-congenitas/boletim-epidemiologico-SVS-47-2020.pdf
    » http://plataforma.saude.gov.br/anomalias-congenitas/boletim-epidemiologico-SVS-47-2020.pdf
  • 5 Neves ET, Okido ACC, Buboltz FL, Santos RP, Lima RAG. Accessibility of children with special health needs to the health care network. Rev Bras Enferm 2019; 72:65-71.
  • 6 Silva MF, Moreira MCN. Dilemas na regulação do acesso à atenção especializada de crianças com condições crônicas complexas de saúde. Ciênc Saúde Colet 2021; 26:2215-24.
  • 7 Freitas DA, Wakimoto MD, Dias S, Souza-Santos R. High-risk areas for congenital Zika syndrome in Rio de Janeiro: spatial cluster detection. Trop Med Infect Dis 2024; 9:105.
  • 8 Albuquerque MSV, Lyra TM, Melo APL, Valongueiro SA, Araújo TVB, Pimentel C, et al. Access to healthcare for children with congenital Zika syndrome in Brazil: perspectives of mothers and health professionals. Health Policy Plan 2019; 34:499-507.
  • 9 Barros SMM, Monteiro PAL, Neves MB, Maciel GTS. Fortalecendo a rede de apoio de mães no contexto da síndrome congênita do vírus Zika: relatos de uma intervenção psicossocial e sistêmica. Nova Perspect Sist 2017; 26:38-59.
  • 10 Duarte JS, Santos LOF, Sette GCS, Santos TFC, Alves FAP, Coriolano-Marinus MWL, et al. Necessidades de crianças com síndrome congênita pelo Zika vírus no contexto domiciliar. Cad Saúde Colet (Rio J.) 2019; 27:249-56.
  • 11 Mendes AG, Campos DS, Silva LB, Moreira MEL, Arruda LO. Enfrentando uma nova realidade a partir da síndrome congênita do vírus zika: a perspectiva das famílias. Ciênc Saúde Colet 2020; 25:3785-94.
  • 12 Kessler M, Lima SBS, Weiller TH, Lopes LFD, Ferraz L, Thumé E, et al. Longitudinality in primary health care: a comparison between care models. Rev Bras Enferm 2018; 71:1063-71.
  • 13 Santos KH, Marques D, Souza ÂC. Children and adolescents with cerebral palsy: analysis of care longetudinality. Texto Contexto Enferm (Online) 2017; 26:e00530016.
  • 14 Galvão JR, Almeida PF, Santos AM, Bousquat A. Percursos e obstáculos na Rede de Atenção à Saúde: trajetórias assistenciais de mulheres em região de saúde do Nordeste brasileiro. Cad Saúde Pública 2019; 35:e00004119.
  • 15 Oliveira RAD, Duarte CMR, Pavão ALB, Viacava F. Barreiras de acesso aos serviços em cinco Regiões de Saúde do Brasil: percepção de gestores e profissionais do Sistema Único de Saúde. Cad Saúde Pública 2019; 35:e00120718.
  • 16 Hartz Z. Modelizar as intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 61-74.
  • 17 Chatterji M. Causal inferences on the effectiveness of complex social programs: navigating assumptions, sources of complexity and evaluation design challenges. Eval Program Plann 2016; 59:128-40.
  • 18 Ebenso B, Manzano A, Uzochukwu B, Etiaba E, Huss R, Ensor T, et al. Dealing with context in logic model development: reflections from a realist evaluation of a community health worker programme in Nigeria. Eval Program Plann 2019; 73:97-110.
  • 19 Gargani J. What can practitioners learn from theorists' logic models? Eval Program Plann 2013; 38:81-8.
  • 20 Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso dos modelos teóricos na avaliação em saúde: aspectos conceituais e operac-ionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação em programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 2005. p. 41-63.
  • 21 Bucher JA. Using the logic model for planning and evaluation: examples for new users. Home Health Care Manag Pract 2009; 22:325-33.
  • 22 Centers for Disease Control and Prevention. Framework for program evaluation in public health. MMWR Recomm Rep 1999; 48:1-40.
  • 23 Bezerra LCA, Cazarin G, Alves C. Modelagem de programas: da teoria a operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 65-78.
  • 24 Luz LA, Aquino R, Medina MG. Avaliação da qualidade da atenção pré-natal no Brasil. Saúde Debate 2018; 42:111-26.
  • 25 Ribeiro KSQS, Saldanha JHS, Zanela ÂK, Ferrari FP, Freitas GKF, Barroso RB, et al. Avaliação da implantação da Rede de Cuidados à Pessoa com Deficiência no Sistema Único de Saúde: um estudo de casos múltiplos. Cad Saúde Pública 2023; 39:e00186122.
  • 26 Aguiar LR, Frias PG, Quinino LRM, Miranda-Filho DB. Avaliação da implantação da resposta à emergência de saúde pública de microcefalia no Estado de Pernambuco, Brasil. Cad Saúde Pública 2021; 37:e00271020.
  • 27 Coêlho BP, Miranda GMD, Silva MCNA, Torres TCO, Oliveira TF. Primary care in the context of the Zika epidemic and congenital Zika syndrome in the state of Pernambuco, Brazil: context, bond and care. Ciênc Saúde Colet 2022; 27:861-70.
  • 28 Gugiu PC, Rodríguez-Campos L. Semi-structured interview protocol for constructing logic models. Eval Program Plann 2007; 30:339-50.
  • 29 Sousa SRA, Shoemaker SJ, do Nascimento MMG, Costa MS, Ramalho de Oliveira D. Development and validation of a logic model for comprehensive medication management services. Int J Pharm Pract 2018; 26:250-7.
  • 30 Vitorino SAS, Cruz MM, Barros DC. Modeling of food and nutrition surveillance in primary health care. Rev Nutr 2017; 30:109-26.
  • 31 Wu H, Shen J, Jones J, Gao X, Zheng Y, Krenn HY. Using logic model and visualization to conduct portfolio evaluation. Eval Program Plann 2019; 74:69-75.
  • 32 Ministério da Saúde. Política Nacional de Saúde da Pessoa com Deficiência. http://bvsms.saude.gov.br/bvs/publicacoes/politica_nacional_pessoa_com_deficiencia.pdf (acessado em 15/Fev/2020).
    » http://bvsms.saude.gov.br/bvs/publicacoes/politica_nacional_pessoa_com_deficiencia.pdf
  • 33 Ministério da Saúde. Portaria nº 793, de 24 de abril de 2012. Institui a Rede de Cuidados à Pessoa com Deficiência no âmbito do Sistema Único de Saúde. Diário Oficial da União 2012; 25 abr.
  • 34 Ministério da Saúde. Implantação das Redes de Atenção à Saúde e outras estratégias da SAS. http://bvsms.saude.gov.br/bvs/publicacoes/implantacao_redes_atencao_saude_sas.pdf (acessado em 11/Set/2017).
    » http://bvsms.saude.gov.br/bvs/publicacoes/implantacao_redes_atencao_saude_sas.pdf
  • 35 Ministério da Saúde. Portaria nº 1.130, de 5 de agosto de 2015. Institui a Política Nacional de Atenção Integral à Saúde da Criança (PNAISC) no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2015; 6 ago.
  • 36 Ministério da Saúde. Diretrizes de estimulação precoce: crianças de zero a 3 anos com atraso no desenvolvimento neuropsicomotor decorrente de microcefalia. Brasília: Ministério da Saúde; 2016.
  • 37 Ministério da Saúde. Saúde da pessoa com deficiência: diretrizes, políticas e ações. https://saude.gov.br/saude-de-a-z/saude-da-pessoa-com-deficiencia (acessado em 15/Fev/2020).
    » https://saude.gov.br/saude-de-a-z/saude-da-pessoa-com-deficiencia
  • 38 Secretaria de Estado de Saúde do Rio de Janeiro. Plano de execução da estratégia de fortalecimento das ações de cuidado das crianças suspeitas ou confirmadas por SCZ e STORCH do estado do Rio de Janeiro. http://www.cib.rj.gov.br/arquivos-para-baixar/boletins-cib/2259-plano-scz-storch-final-20-06-2018/file.html (acessado em 15/Fev/2020).
    » http://www.cib.rj.gov.br/arquivos-para-baixar/boletins-cib/2259-plano-scz-storch-final-20-06-2018/file.html
  • 39 Ministério da Saúde. Orientações integradas de vigilância e atenção à saúde no âmbito da Emergência de Saúde Pública de Importância Nacional. http://portalarquivos.saude.gov.br/images/pdf/2016/dezembro/12/orientacoes-integradas-vigilancia-atencao.pdf (acessado em 19/Nov/2017).
    » http://portalarquivos.saude.gov.br/images/pdf/2016/dezembro/12/orientacoes-integradas-vigilancia-atencao.pdf
  • 40 Keeney S, Hasson F, McKenna HP. A critical review of the Delphi technique as a research methodology for nursing. Int J Nurs Stud 2001; 38:195-200.
  • 41 Felisberto E, Carvalho EF, Maggi RS, Samico I. Avaliação do processo de implantação da estratégia da Atenção Integrada às Doenças Prevalentes da Infância no Programa Saúde da Família, no Estado de Pernambuco, Brasil. Cad Saúde Pública 2002; 18:1737-45.
  • 42 Freitas DA, Souza-Santos R, Wakimoto MD. Avaliação dos serviços de atenção primária à saúde do município do Rio de Janeiro para assistência a pacientes com suspeita de dengue. An Inst Hig Med Trop (Lisb) 2019; 18:83-95.
  • 43 LeBreton JM, Senter JL. Answers to 20 questions about interrater reliability and interrater agreement. Organ Res Methods 2008; 11:815-52.
  • 44 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-74.
  • 45 Souza AC, Alexandre NMC, Guirardello EB. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol Serv Saúde 2017; 26:649-59.
  • 46 Bajpai S, Bajpai R, Chaturvedi HK. Evaluation of inter-rater agreement and inter-rater reliability for observational data: an overview of concepts and methods. J Indian Acad Appl Psychol 2015; 41:20-7.
  • 47 Gwet KL. Handbook of inter-rater reliability: the definitive guide to measuring the extent of agreement among raters. 4ª Ed. https://www.agreestat.com/books/default.html (acessado em 22/Jul/2020).
    » https://www.agreestat.com/books/default.html
  • 48 Mills T, Lawton R, Sheard L. Advancing complexity science in healthcare research: the logic of logic models. BMC Med Res Methodol 2019; 19:55.
  • 49 de Siqueira IC, de Almeida BL, Lage MLC, Serra L, Carvalho A, de Lima MM, et al. Perinatal characteristics and longer-term outcomes in Brazilian children with confirmed or suspected congenital Zika infection: ZIKAction Paediatric Registry. Dialogues Health 2023; 2:100104.
  • 50 Duttine A, Smythe T, Ribiero Calheiro de Sá M, Ferrite S, Zuurmond M, Moreira ME, et al. Congenital Zika syndrome: assessing the need for a family support programme in Brazil. Int J Environ Res Public Health 2020; 17:3559.
  • 51 Aguilar Ticona JP, Nery N, Doss-Gollin S, Gambrah C, Lessa M, Rastely-Júnior V, et al. Heterogeneous development of children with congenital Zika syndrome-associated microcephaly. PLoS One 2021; 16:e0256444.
  • 52 Hamanaka T, Ribeiro CTM, Pone S, Gomes SC, Nielsen-Saines K, Brickley EB, et al. Longitudinal follow-up of gross motor function in children with congenital Zika virus syndrome from a cohort in Rio de Janeiro, Brazil. Viruses 2022; 14:1173.
  • 53 Andrade GKS, Marcon SS, Batiston AP, Neves ET, Vieira VCL, Sá JS, et al. Rede de atenção à saúde de crianças com Zika vírus na perspectiva de profissionais. Rev Gaúcha Enferm 2023; 44:e20230043.
  • 54 Oliveira FA, Silva AM, Hora SS, Oliveira SA, Silva Junior AG, Cardoso CAA. Healthcare for children with congenital Zika syndrome: analysis of access to social rights. Ciênc Saúde Colet 2022; 27:3679-88.
  • 55 Melo APL, Lyra TM, Barbosa JMV, Araújo TVB. Congenital Zika syndrome and family impacts: an integrative review. Ciênc Saúde Colet 2023; 28:1425-41.
  • 56 Peiter PC, Pereira RS, Nunes Moreira MC, Nascimento M, Tavares MFL, Franco VC, et al. Zika epidemic and microcephaly in Brazil: challenges for access to health care and promotion in three epidemic areas. PLoS One 2020; 15:e0235010.
  • 57 Secretaria Nacional dos Direitos da Pessoa com Deficiência, Ministério dos Direitos Humanos e da Cidadania. Novo Viver sem Limite. Plano Nacional dos Direitos da Pessoa com Deficiência. https://novoviversemlimite.mdh.gov.br/painel-das-acoes (acessado em 18/Fev/2025).
    » https://novoviversemlimite.mdh.gov.br/painel-das-acoes
  • 58 Ho SH, Chae YM. Validation of performance indicators for evaluation of workplace health promotion. Am J Health Promot 2015; 29:402-9.
  • 59 Mendes EV. A construção social da atenção primária à saúde. Brasília: Conselho Nacional de Secretários de Saúde; 2015.
  • 60 World Health Organization. WHO recommendations on maternal and newborn care for a positive postnatal experience: web annexes. Genebra: World Health Organization; 2022.
  • 61 World Health Organization. WHO toolkit for the care and support of people affected by complications associated with Zika virus. Genebra: World Health Organization; 2017.
  • 62 Peçanha PM, Gomes Junior SC, Pone SM, Pone MVS, Vasconcelos Z, Zin A, et al. Neurodevelopment of children exposed intra-uterus by Zika virus: a case series. PLoS One 2020; 15:e0229434.
  • 63 Tiene SF, Cranston JS, Nielsen-Saines K, Kerin T, Fuller T, Vasconcelos Z, et al. Early predictors of poor neurologic outcomes in a prospective cohort of infants with antenatal exposure to Zika virus. Pediatr Infect Dis J 2022; 41:255-62.
  • 64 Brasil P, Vasconcelos Z, Kerin T, Gabaglia CR, Ribeiro IP, Bonaldo MC, et al. Zika virus vertical transmission in children with confirmed antenatal exposure. Nat Commun 2020; 11:3510.
  • 65 Mendes EV. A modelagem das redes de atenção à saúde. Belo Horizonte: Secretaria de Estado de Saúde de Minas Gerais; 2006.
  • 66 Ministério da Saúde. Portaria GM/MS nº 217, de 1º de março de 2023. Altera o Anexo 1 do Anexo V à Portaria de Consolidação GM/MS nº 4, de 28 de setembro de 2017, para substituir o agravo "Acidente de trabalho: grave, fatal e em crianças e adolescentes" por "Acidente de Trabalho" na Lista Nacional de Notificação Compulsória de doenças, agravos e eventos em de saúde pública, nos serviços de saúde públicos e privados em todo o território nacional. Diário Oficial da União 2023; 2 mar.
  • 67 Ministério da Saúde. Síndrome congênita associada à infecção pelo vírus Zika: situação epidemiológica, ações desenvolvidas e desafios. https://portalarquivos2.saude.gov.br/images/pdf/2019/dezembro/05/be-sindrome-congenita-vfinal.pdf (acessado em 15/Fev/2020).
    » https://portalarquivos2.saude.gov.br/images/pdf/2019/dezembro/05/be-sindrome-congenita-vfinal.pdf
  • 68 Vitorino SAS, Cruz MM, Barros DC. Validação do modelo lógico teórico da vigilância alimentar e nutricional na atenção primária em saúde. Cad Saúde Pública 2017; 33:e00014217.
  • 69 Freitas LP, Cruz OG, Lowe R, Carvalho MS. Space-time dynamics of a triple epidemic: dengue, chikungunya and Zika clusters in the city of Rio de Janeiro. Proc Biol Sci 2019; 286:20191867.
  • 70 Carvalho FR, Medeiros T, Vianna RAO, Douglass-Jaimes G, Nunes PCG, Quintans MDS, et al. Simultaneous circulation of arboviruses and other congenital infections in pregnant women in Rio de Janeiro, Brazil. Acta Trop 2019; 192:49-54.
  • 71 Melo EA, Mendonça MHM, Teixeira M. A crise econômica e a atenção primária à saúde no SUS da cidade do Rio de Janeiro, Brasil. Ciênc Saúde Colet 2019; 24:4593-8.
  • 72 Costa NR, Silva IM, Lima PT, Silva TS, Costa ICM, Figueiredo IVO. A implantação em larga escala da Estratégia de Saúde da Família na cidade do Rio de Janeiro, Brasil: evidências e desafios. Ciênc Saúde Colet 2021; 26:2075-82.
  • 73 Brasil P, Calvet GA, Siqueira AM, Wakimoto M, de Sequeira PC, Nobre A, et al. Zika virus outbreak in Rio de Janeiro, Brazil: clinical characterization, epidemiological and virological aspects. PLoS Negl Trop Dis 2016; 10:e0004636.
  • 74 Ministério da Saúde. Portaria nº 4.279, de 30 de dezembro de 2010. Estabelece diretrizes para a organização da Rede de Atenção à Saúde no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2010; 31 dez.

Datas de Publicação

  • Publicação nesta coleção
    04 Jul 2025
  • Data do Fascículo
    2025

Histórico

  • Recebido
    11 Jun 2024
  • Revisado
    12 Mar 2025
  • Aceito
    04 Abr 2025
location_on
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rua Leopoldo Bulhões, 1480 , 21041-210 Rio de Janeiro RJ Brazil, Tel.:+55 21 2598-2511, Fax: +55 21 2598-2737 / +55 21 2598-2514 - Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br
rss_feed Acompañe los números de esta revista en su lector de RSS
Ir para arriba Notificar error