Percepção da transparência no ensino superior: um olhar além dos aspectos legais

Transparency perception in higher education: an analysis beyond legal aspects

Resumos

O objetivo principal do estudo é o de avaliar como as partes interessadas de uma Instituição de Ensino Superior (IES) percebem, para além dos aspectos legais, as práticas de transparência que nela estão sendo aplicadas, considerando as características das informações divulgadas, bem como da transparência em si. Também são avaliadas as percepções dos usuários dos canais de atendimento ao cidadão, como e-sic e ouvidoria, quanto às características das informações e da resposta recebidas. Uma metodologia de avaliação (índices) dessas três dimensões de percepção (informações, transparência da instituição e resposta recebida) é desenvolvida e testada com 1070 stakeholders da IES, por meio da aplicação de um questionário estruturado, validado por especialistas. Os resultados para o Índice de Percepção da Informação indicam que a instituição apresenta informações adequadas e o Índice de Percepção da Transparência permitiu a classificação da instituição no nível bom. Quanto à percepção das respostas recebidas, uma parcela dos usuários não obteve a resposta esperada (solicitação atendida no prazo), mas, no geral, a maioria percebe a resposta recebida como adequada. Conclui-se que, de maneira geral, a IES investigada tem uma boa avaliação da transparência por parte de seus stakeholders. O instrumento e a metodologia desenvolvidos neste estudo podem ser aplicados em diferentes instituições para a avaliação da transparência.

Palavras-chave:
Informação; Percepção; Avaliação

The main objective of the study is to evaluate how the stakeholders of a Higher Education Institution (HEI) perceive, in addition to the legal aspects, the transparency practices that are being applied by the institution, considering the characteristics of the information disclosed, as well as the transparency itself. The perception of users of citizen service channels such as e-sic and ombudsman regarding the characteristics of the information and response received are also evaluated. A methodology (index) for assessing these three dimensions of perception (information, institution transparency and response received) is developed and tested with 1070 HEI stakeholders, by applying a structured questionnaire validated by experts. The results for the Information Perception Index indicate that the institution has adequate information and the Transparency Perception Index allowed the institution to be rated at a good level. Regarding the perception of the responses received, a portion of users did not get the expected response (request met on time), but in general, most perceive the response received as adequate. It is concluded that, in general, the investigated HEI has a good evaluation of transparency by its stakeholders. The instrument and methodology developed in this study can be applied in different institutions for transparency assessment.

Keywords:
Information; Perception; Evaluation

1 Introdução

A transparência das instituições públicas é um dos mecanismos basais para possibilitar-lhes credibilidade e qualidade de gestão (RELLY, 2012). O conceito de transparência tem evoluído nos últimos anos, da simples divulgação de dados para uma cobrança de atitudes proativas dos agentes que representam o Estado, ao fornecer informações com qualidade e quantidade, que estimulem a democracia (MATIAS-PEREIRA, 2010). Nesse sentido, refere-se à medida que uma instituição revela informações sobre seus processos decisórios, procedimentos, funcionamento e desempenho. Em termos gerais, pode estar associada a um conjunto de práticas organizacionais que facilitam a boa governança (CHRISTENSEN; CHENEY, 2015).

Ações legais têm sido aplicadas pelo Estado Brasileiro desde a Constituição Federal de 1988 (BRASIL, 1988), garantindo a transparência e o acesso à informação pública como direitos do cidadão. Mais recentemente houve avanços significativos na busca pela transparência, destacando-se a Lei Complementar n. 101 (Lei de Responsabilidade Fiscal, LRF- BRASIL, 2000), a Lei Complementar n. 131 (BRASIL, 2009), a Lei n. 12.527 (Lei de Acesso à Informação, LAI - BRASIL, 2011), e o Decreto n. 8.777 (BRASIL, 2016), reforçando a publicidade como princípio imprescindível para uma nova administração pública, além de difundir canais de participação dos cidadãos nos processos decisórios das ações governamentais.

A promoção de uma administração pública transparente leva em consideração aspectos como a natureza das informações fornecidas pela instituição, a forma como as partes interessadas percebem essa informação, e a facilidade em que o público a entende (CHRISTENSEN; CORNELISSEN, 2015). As instituições devem estar dispostas a fornecer informações aos seus stakeholders, usuários, agentes públicos e cidadãos (KANAANE; FIEL FILHO; FERREIRA, 2010) para serem consideradas transparentes (KUNDELIENE; LEITONIENE, 2015). Ao usufruírem o direito de acesso à informação, os interessados podem legitimar o controle social, fiscalizar as instituições públicas, cobrar racionalização na condução das políticas públicas, ou seja, participar ativamente do processo de construção e ampliação da transparência. Compete às instituições públicas identificar aquilo que é mais demandado pela sociedade e disponibilizar proativamente na internet e/ou outros meios, a fim de facilitar que os stakeholders encontrem essa informação evitando custos para ambas as partes (ZORZAL; RODRIGUES, 2016).

A sociedade quer saber o que o Estado está fazendo, como está gastando as receitas arrecadadas e como está abordando maneiras de melhorar os interesses públicos que afetam direta e indiretamente a vida de todos (NEWBOLD et al., 2015). Além disso, é recomendado que a administração pública seja orientada a verificar o atendimento às necessidades dos stakeholders, ou seja, deve avaliar a percepção sobre os diferentes aspectos de transparência, com intuito de validar as expectativas das partes interessadas (SPINA; GIRALDI; OLIVEIRA, 2013).

Dentre as instituições públicas, as de ensino superior (IES) são consideradas comunidades excepcionais, dado o papel formador de cidadania, tendo em vista que a sociedade espera que preparem seus profissionais para problematizar a realidade social, econômica e cultural, mantendo as características que a distinguem como academia (FERNÁNDEZ; SÁNCHEZ, 2012). Tendo em vista o papel de geradoras de consciência política e cidadã, mais do que garantir o atendimento das normas legais, as iniciativas de transparência nas IES constituem uma política de gestão responsável, que favorece o exercício da cidadania pela população.

A ideia que se defende aqui é a de que ao promover a percepção e a busca pela transparência dentre os seus stakeholders¹, a IES, ao atuar como formadora de opinião, tende a incentivar o cidadão a perseguir esta ação em outros órgãos e instituições públicos, exigindo a prática da transparência pelo Estado. Acredita-se, assim, na construção de uma sociedade mais democrática, com cidadãos participativos e capazes de compreender e utilizar a informação que lhes é acessível (HOLZNER; HOLZNER, 2006). Nesse sentido, Platt Neto, Coelho e da Cruz (2011) destacam que tal atitude estimulada no ambiente acadêmico poderá servir de estímulo aos estudantes, professores e demais servidores, contribuindo no hábito de solicitar esclarecimentos às entidades governamentais.

É sob esta lógica que se concentra esta investigação, a qual tem como problema de pesquisa a seguinte indagação: “Qual a percepção dos diferentes stakeholders de uma IES sobre as suas práticas de transparência?”. Para tanto, o objetivo principal do estudo é o de avaliar como as partes interessadas de uma IES percebem, para além dos aspectos legais, as práticas de transparência que estão sendo aplicadas nessa instituição, considerando as características das informações divulgadas, bem como da transparência em si. Outra análise desta investigação refere-se à percepção dos usuários dos sistemas de atendimento ao cidadão, como o e-sic e ouvidoria, por exemplo. Buscou-se compreender, junto àqueles que já utilizaram estes canais, como percebem a informação e a resposta recebidas. Uma metodologia de avaliação dessas três dimensões de percepção (informações, transparência da instituição e resposta recebida) é desenvolvida e testada com 1070 stakeholders de uma IES, por meio da aplicação de um questionário estruturado.

É perceptível a importância da transparência nas IES; entretanto, apesar de existirem pesquisas sobre transparência pública neste contexto, são raras as que tratam do tema na percepção das partes interessadas. Pessôa et al. (2018), ao analisarem os sites de 59 universidades federais, identificaram um grau médio de divulgação (66,32%) das informações. Mais recentemente, Melo (2019) avaliou os sítios eletrônicos das 20 maiores universidades federais brasileiras indicando, de modo geral, baixo desempenho (pouca transparência) nas dimensões de transparência ativa, a partir da verificação de informações pouco completas ou compreensíveis. Esses resultados indicam a necessidade de se avaliar, na percepção das partes interessadas, como percebem as práticas de transparência exercidas pelas IES, a fim de possibilitar o desenvolvimento de estratégias que qualifiquem a prestação deste serviço aos cidadãos. Esta é a relevância prática deste estudo, que pode subsidiar a gestão institucional no desenvolvimento de uma melhor estrutura, que possibilite atingir um degrau maior de eficiência na transparência.

Ademais, entende-se que a avaliação da transparência pelos stakeholders de uma IES deve ser incluída como ferramenta de avaliação institucional, tendo em vista que mais do que uma ação de cunho legal e obrigatório, o fornecimento claro, preciso, acessível e qualificado das informações deve fazer parte da política institucional. Por fim, cabe destacar que, teoricamente, a metodologia de avaliação da transparência desta investigação se diferencia por ser precursora na sua proposta, tendo em vista que até o momento, dada pesquisa realizada no Portal de Periódicos da Capes², não foram encontrados trabalhos com temática e metodologia semelhantes.

2 Método

2.1 Amostra

Os instrumentos foram aplicados presencialmente nos meses de outubro e novembro de 2018, em uma instituição federal de ensino do Rio Grande do Sul. A instituição conta com um total de 4068 stakeholders (docentes, discentes e Técnicos Administrativos em Educação). Assim, para um erro amostral de 3%, com 95% de confiança e uma população finita, tem-se uma amostra mínima de 847. Ao final do período de coleta obtiveram-se 1070 respondentes.

2.2 Instrumento

O questionário foi construído com as questões de perfil, avaliação da informação divulgada ativamente pela IES, percepção da transparência e percepção da resposta recebida. Na parte inicial, estão listadas as questões referentes ao perfil dos respondentes o qual é representado pelas variáveis: sexo, idade, estado civil, ano de ingresso/posse na IES e maior nível de escolaridade.

O segundo bloco refere-se à percepção de transparência quanto às informações divulgadas pela IES e está dividido em duas seções: Na primeira, tem-se uma escala quantitativa de onze pontos (0 a 10). Quanto maior for a avaliação, melhor será a percepção dos stakeholders em relação às informações divulgadas. A segunda seção está estruturada com dezenove questões, referente à percepção da transparência da IES. A escala é do tipo likert de seis pontos (1- Discordo totalmente, 2- Discordo em parte, 3- Indiferente, 4- Concordo em parte, 5- Concordo totalmente, 6- Não estou apto a responder). Quanto maior for o nível de concordância com as afirmações, melhor será a percepção da transparência da IES.

No terceiro bloco, foram expostas as questões referentes à percepção da resposta recebida. Este bloco foi respondido apenas por aqueles que já apresentaram denúncias, reclamações ou solicitações no Sistema Eletrônico do Serviço de Informações ao Cidadão (e-Sic) ou na ouvidoria da instituição. No primeiro conjunto estão listadas oito questões referentes à percepção da informação recebida. A escala teve como alternativa de resposta 5 opções (1- Discordo totalmente, 2 - Discordo em partes, 3 - Indiferente, 4 - Concordo em parte, 5 - Concordo totalmente). Quanto maior for o nível de concordância com as afirmações, melhor será a percepção do stakeholder em relação à resposta recebida. O segundo conjunto, de doze questões, busca avaliar a satisfação dos stakeholders em relação à resposta recebida, com escala de onze pontos (0 a 10). Quanto maior for o nível da avaliação das afirmações, melhor será a satisfação em relação à resposta recebida.

Para a construção dos itens do questionário, realizou-se amplo levantamento da literatura nacional e internacional sobre transparência, analisando dezenas de trabalhos publicados desde o ano de 2003. Após a elaboração das questões, o instrumento passou pelas etapas de avaliação de especialistas e pré-teste. Realizou-se esse processo, com intuito de verificar se a semântica e os questionamentos estavam coerentes com o contexto social, bem como se as perguntas estavam realmente questionando o que se pretendia investigar. A avaliação por especialistas foi realizada por três profissionais conhecedores da área de pesquisa.

2.3 Técnicas de análise

Foram adotadas como técnicas principais a estatística descritiva, a análise fatorial exploratória e, por fim, proposta uma metodologia de estimação do Índice de Percepção da Informação, do Índice de Percepção da Transparência, e do Índice de Percepção da Resposta Recebida.

Na etapa inicial utilizou-se a estatística descritiva para a apresentação do perfil dos entrevistados e de suas percepções. A Análise Fatorial Exploratória (AFE) foi utilizada como técnica principal para definir os fatores determinantes da percepção dos diferentes stakeholders em relação à transparência da IES. A fim de verificar se a análise fatorial é apropriada para a amostra, foram aplicados o teste de esfericidade de Barlett e o teste de Kaiser-Meyer-Olkin (KMO). Para a permanência das variáveis na análise fatorial utilizou-se o critério das comunalidades, uma medida da proporção da variância explicada pelos fatores extraídos (FIELD, 2009), sendo que valores iguais ou menores que 0,5 indicam que a análise fatorial é insatisfatória para a explicação da correlação de cada par de variáveis consideradas no estudo (LATIF, 1994). Para estimação das cargas fatoriais utilizou-se o método dos componentes principais e para extração dos fatores foram utilizados os critérios dos autovalores maiores que 1,0 e porcentagem da variância explicada, e como técnica de rotação utilizou-se a rotação Varimax normalizada.

Para avaliar o nível de confiabilidade dos fatores gerados através da análise fatorial, usou-se o Alpha de Cronbach, o qual verifica a consistência interna entre os múltiplos indicadores de um fator, reportando-se à extensão na qual um mesmo instrumento de medida reproduz resultados coerentes a partir de diversas mensurações (HAIR et al., 2009). Segundo a literatura, para que o fator tenha resultados aceitáveis é indicado que seja maior que 0,6, indicando a consistência interna dos fatores (MALHOTRA, 2011).

Visando possibilitar uma visão geral da percepção de transparência optou-se por construir uma metodologia detalhada de análise para cada dimensão (avaliação das informações, da transparência da instituição e da resposta recebida), discutida na seção 3.1, tendo em vista a necessidade da análise de resultados preliminares para a sua compreensão e aplicabilidade.

Ressalta-se que projeto foi avaliado pelo Comitê de Ética em Pesquisa com Seres Humanos (CEP) e aprovado sob o número 98394718.1.00005346. Somente após o cumprimento de todos os trâmites e aprovação do projeto, foi dado início ao processo de coleta dos dados.

3 Análise dos resultados

Foram aplicados 1070 instrumentos dos quais, 86,3% eram discentes, 9,8% técnicos administrativos em educação e 3,9% docentes. As demais variáveis de perfil estão apresentadas na Tabela 1.

Tabela 1
Perfil dos stakeholders segundo as variáveis: sexo, idade, estado civil, ano de posse/ingresso, área de formação e nível de escolaridade

Variáveis	Alternativas	Frequência	Percentual*
Sexo	Masculino	513	47,90%
	Feminino	559	52,10%
Idade	Até 20 anos	533	51,50%
	Entre 21 e 30 anos	267	25,80%
	Entre 31 e 50 anos	210	20,30%
	Entre 51 e 65 anos	23	2,20%
	Acima de 65 anos	2	0,20%
Estado Civil	Solteiro	801	74,80%
	Casado	144	13,40%
	Viúvo	3	0,30%
	Separado (a) /Desquitado(a)/Divorciado(a)	19	1,80%
	União Estável	104	9,70%
Renda	Não possuo renda própria	449	41,90%
	Até R$ 1.175,15	157	14,70%
	Entre R$1.175,16 e R$2.350,30	201	18,80%
	Entre R$2.350,31 e R$3.525,45	89	8,30%
	Entre R$3.525,46 e R$5.875,75	85	7,90%
	Entre R$5.875,76 e R$11.751,50	65	6,10%
	Entre R$11.751,51 e R$17.627,25	19	1,80%
	Mais de R$17.627,25	6	0,60%
Nível de Escolaridade	Ensino Médio	5	0,50%
	Curso Técnico	732	68,70%
	Graduação	185	17,40%
	Especialização	79	7,40%
	Mestrado	37	3,50%
	Doutorado	28	2,60%

• Fonte: Elaborada pelas autoras (2019).
• *Os percentuais considerados correspondem ao percentual válido de respondentes. Caso algum respondente não tenha respondido, o percentual é automaticamente ajustado ao total.

A maioria é do sexo feminino, solteira e com idade até 20 anos. Quanto à renda própria, nota-se que 18,8% recebem entre R$ 1.175,16 e R$ 2.350,30, e apenas um oitavo ganham mais de R$ 17.627,25. Além disso, uma parcela expressiva da amostra (41,9%) não possui renda própria, justificada principalmente pelos discentes que ainda são dependentes financeiros de seus pais e/ou familiares. No que tange a escolaridade, a maioria possui curso técnico (68,7%), seguido dos intitulados de graduação (17,4%), e apenas 2,6% possuem doutorado.

Com o intuito de avaliar a percepção dos stakeholders em relação às informações divulgadas pela instituição, foram atribuídas notas entre 0 e 10 para doze dimensões das informações divulgadas pela instituição. Os resultados por dimensão são apresentados na Tabela 2.

Tabela 2
Percepção dos stakeholders quanto às informações divulgadas da IES

	0	1	2	3	4	5	6	7	8	9	10
Resultados apresentados em termos percentuais (%)
Não confiáveis	1,8	1,4	1,1	0,7	0,7	6,6	3,7	9,2	15,9	18,5	40,5	Confiáveis
Imprecisas	1,2	1,5	1,7	2,5	3,1	11,1	8,5	15,7	18,0	17,7	18,9	Precisas
Incompletas	1,2	1,4	3,5	3,0	3,6	11,2	8,6	16,0	20,4	14,0	17,1	Completas
Incompreensíveis	1,6	1,9	2,7	3,2	3,5	9,2	6,9	14,2	17,8	16,3	22,7	Compreensíveis
Irrelevantes	2,4	2,4	2,2	2,0	3,1	12,8	6,4	13,3	17,1	14,7	23,6	Relevantes
Desatualizadas	1,5	2,0	2,2	2,4	3,4	9,6	7,0	14,1	17,1	16,2	24,6	Atualizadas
Difíceis	1,9	2,8	2,4	3,0	4,0	11,1	8,8	14,8	16,4	15,7	19,1	Fáceis
Inacessíveis	1,5	2,1	2,0	3,2	3,6	8,7	6,7	11,5	15,8	16,0	27,0	Acessíveis
Inúteis	2,8	1,9	2,5	2,7	2,3	8,3	7,2	12,7	16,6	17,0	26,0	Úteis
Complexas	1,9	2,2	2,3	3,1	5,5	11,4	9,4	14,4	17,1	13,9	18,9	Simples
Desinformativas	2,0	2,1	1,8	0,9	2,5	8,2	7,3	10,0	19,5	15,9	29,9	Informativas
Desorganizadas	3,2	2,9	3,5	2,7	5,0	10,1	6,9	12,6	17,0	15,4	20,7	Organizadas

• Fonte: Elaborada pelas autoras (2019).

Na Tabela 2 constata-se que a maior parte dos stakeholders atribuiu nota oito ou superior para onze das doze dimensões analisadas. Destaca-se a dimensão (1) confiabilidade, em que 40,9% atribuíram nota dez e 74,9% nota superior a oito. Por outro lado, simplicidade foi a dimensão com menor percentual (49,9%) de entrevistados com notas altas.

Na sequência, para identificar as dimensões da transparência institucional foi aplicada uma análise fatorial exploratória. Para atender ao parâmetro da comunalidade superior a 0,50, foram retiradas da análise fatorial as seguintes variáveis: é fácil obter qualquer documento que você queira da IES; a IES mantém algumas informações em segredo; as informações divulgadas pela IES são suficientes para demostrar a aplicação dos recursos públicos; os pedidos dos cidadãos por informações da IES atrapalham o trabalho dos servidores públicos; a transparência impacta diretamente na responsabilidade pelo uso de recursos financeiros da IES; a transparência da IES contribui para combater a corrupção; e o acesso público às informações da IES contribui para o bom funcionamento da instituição. A medida KMO apresentou o valor de 0,865 e o teste de esfericidade de Bartlett (valor de 4.891 <0,000) indicando a fatorabilidade dos dados. Após estas alterações, o modelo apresentou-se adequado, e indicou a composição de três fatores, sendo os resultados finais apresentados na Tabela 3.

Tabela 3
Variáveis finais em cada um dos fatores formados pela AFE para a dimensão transparência institucional, respectivas cargas fatoriais, variância explicada e Alpha de Cronbach

Variável	Carga fatorial	Variância	Alpha de Cronbach
Fator: Impactos da transparência (IT)
A transparência da IES* contribui para aumentar a responsabilidade social.	0,814	26,52%	0,854
A transparência das ações da IES é importante na comunicação com a sociedade.	0,813
A transparência da IES fortalece as políticas de ensino, pesquisa, pós-graduação e extensão.	0,780
A transparência da IES influência positivamente a missão, visão e valores da instituição.	0,742
A transparência das ações da IES impacta na organização da instituição.	0,699
Fator: Nível de transparência (NT)
Os Concursos Públicos da IES são transparentes.	0,761	24,21%	0,817
Os programas de mobilidade estudantil da IES são transparentes.	0,757
Os Processos Seletivos Discentes da IES são transparentes.	0,743
A distribuição de cargos de direção, função da IES são transparentes.	0,688
Os critérios de distribuição de recursos da assistência estudantil são transparentes.	0,683
Fator: Participação Social (PS)
Os cidadãos sabem tudo o que a IES faz.	0,851	12,69%	0,656
Todo cidadão tem acesso completo às informações sobre a IES.	0,825

• Fonte: Elaborada pelas autoras (2019).
• * Para a aplicação do instrumento, sugere-se substituir a sigla IES pela sigla da instituição que estará realizando o estudo.

Destaca-se que todos os fatores apresentam cargas fatoriais satisfatórias, já que de acordo com Hair et al. (2009) as cargas fatoriais superiores a 0,30 são significativas. Em conjunto os três fatores explicam 63,4% da variância. Os três fatores também apresentam confiabilidade satisfatória, conforme o Alpha de Crombach.

A percepção de transparência está representada em três fatores: Impactos da transparência (IT), nível de transparência (NT) e participação social (PS). O primeiro fator, avalia os impactos da transparência na responsabilidade social, na comunicação com a sociedade, nas políticas de ensino, pesquisa, pós-graduação e extensão, na missão, visão e valores da instituição e na sua organização. Nesse sentido, considerando o elemento informacional, conforme destaque da Controladoria Geral da União (CGU, 2013), a comunicação com a sociedade torna-se central à gestão de uma instituição pública, para que transpareçam suas ações, sendo uma das premissas da LAI a manutenção ativa da comunicação e o atendimento ao cidadão.

O fator nível de transparência indica a percepção dos entrevistados quanto à transparência de diversos instrumentos organizacionais como os concursos públicos, os programas de mobilidade estudantil, os processos seletivos discentes, a distribuição de cargos de direção e a distribuição de recursos. Indo ao encontro da composição deste fator, Saraite-Sariene, Rodríguez e Rosario (2018) ressaltam a importância da divulgação de informações referentes à organização da IES, considerando àquelas referentes à distribuição dos cargos de gestão, as políticas e regulamentos da universidade (programas de mobilidade estudantil, por exemplo), a publicação de processos seletivos, concursos e licitações, e o gerenciamento dos recursos (sejam eles públicos ou não).

O fator participação social é formado pelas questões que representam o acesso e o conhecimento dos cidadãos das ações e informações da instituição. Tal dimensão está associada a ideia de que uma política de transparência eficiente aproxima o Estado da sociedade e amplia o acesso dos cidadãos às informações. Saraite-Sariene, Rodríguez e Rosario (2018) destacam a importância e a necessidade de as IES possibilitarem acesso fácil e intensivo à informação e, ao fazê-lo, adotem canais que garantam uma comunicação eficiente e eficaz.

Finalmente para uma avaliação detalhada da percepção de transparência no contexto exclusivo dos 71 stakeholders que fizeram denúncias, reclamações ou solicitações no e-Sic ou na ouvidoria foram analisadas questões sobre o atendimento do pedido de informações, a satisfação em relação a resposta recebida e o nível de satisfação com a resposta recebida. A Tabela 4 apresenta a frequência da classificação da resposta recebida.

Variáveis Frequência Percentual 25. Em relação a sua solicitação Não recebi resposta. 8 11,3% Recebi a resposta no prazo estabelecido. 48 67,6% Recebi a resposta da IES após o prazo. 5 7,0% Recebi apenas uma justificativa, porém a informação solicitada não foi atendida. 9 12,7% Recebi a resposta somente após ter apresentado recurso na IES. 1 1,4% Fonte: Elaborada pelas autoras (2019).

Variáveis		Frequência	Percentual
25. Em relação a sua solicitação	Não recebi resposta.	8	11,3%
	Recebi a resposta no prazo estabelecido.	48	67,6%
	Recebi a resposta da IES após o prazo.	5	7,0%
	Recebi apenas uma justificativa, porém a informação solicitada não foi atendida.	9	12,7%
	Recebi a resposta somente após ter apresentado recurso na IES.	1	1,4%

• Fonte: Elaborada pelas autoras (2019).

É perceptível que uma grande parte dos stakeholders recebeu a resposta no prazo estabelecido (67,6%). Entretanto 25,4% indicaram não ter recebido resposta ou que receberam apenas uma justificativa ou só obtiveram resposta após apresentar recurso, ou seja, em torno de um quarto dos entrevistados não receberam a resposta que esperavam ou não receberam resposta na primeira tentativa. Portanto, em termos de transparência passiva, aquela em que o entrevistado vai em busca da informação, a instituição ainda não apresenta uma resposta satisfatória para uma parcela significativa de demandas. Em seguida buscou-se analisar a percepção quanto à resposta recebida (Tabela 5).

Tabela 5
Percepção dos entrevistados que utilizaram e-sic ou ouvidoria para realizar uma reclamação, denúncia, solicitação quanto à informação recebida

Variáveis	Média	Desvio Padrão
A informação atendeu às minhas necessidades.	3,85	1,20
A informação foi suficiente.	3,80	1,28
A informação foi completa.	3,76	1,27
A informação foi facilmente acessada.	3,73	1,21
A informação foi pontual.	3,71	1,32
A informação foi acreditável.	3,77	1,22
A informação incluiu todos dados solicitados.	3,63	1,33
A informação foi fácil de ser compreendida.	3,86	1,13

• Fonte: Elaborada pelas autoras (2019).

Observa-se que todas as questões apresentaram médias entre 3,6 e 3,9 indicando que os indivíduos concordam em parte com as afirmações. Considerando-se que a escala varia de um (discordo totalmente) a cinco (concordo totalmente), a instituição pode ainda trabalhar para a melhoria da informação fornecida aos indivíduos que demandam informações. Finalmente para identificar qual a percepção deste grupo para a informação recebida considerou-se as mesmas doze dimensões da percepção da informação, mas neste caso aplicada a resposta recebida (Tabela 6).

Tabela 6
Satisfação dos stakeholders quanto à resposta recebida

	0	1	2	3	4	5	6	7	8	9	10
Resultados apresentados em termos percentuais (%)
Não confiável	4,1	1,4	2,7	1,4	1,4	16,4	9,6	8,2	16,4	13,7	24,7	Confiável
Imprecisa	5,6	4,2	2,8	1,4	2,8	13,9	4,2	12,5	11,1	18,1	23,6	Precisa
Incompleta	4,2	2,8	2,8	2,8	4,2	5,6	14,1	9,9	11,3	16,9	25,4	Completa
Incompreensível	2,8	2,8	2,8	1,4	7,0	4,2	11,3	14,1	18,3	14,1	21,1	Compreensível
Irrelevante	5,7	2,9	2,9	4,3	4,3	11,4	2,9	17,1	11,4	8,6	28,6	Relevante
Desatualizada	2,8	4,2	2,8	2,8	0,0	11,1	2,8	16,7	9,7	15,3	31,9	Atualizada
Difícil	2,8	1,4	1,4	5,6	5,6	8,3	5,6	11,1	20,8	12,5	25,0	Fácil
Inacessível	4,3	1,4	2,9	1,4	2,9	11,4	5,7	17,1	11,4	14,3	27,0	Acessível
Inútil	2,8	5,6	4,2	0,0	1,4	4,2	6,9	19,4	12,5	9,7	33,3	Útil
Complexa	4,2	2,8	2,8	0,0	0,0	6,9	9,7	12,5	13,9	18,1	29,1	Simples
Desinformativa	4,2	4,2	2,8	1,4	5,6	9,7	5,6	8,3	13,9	13,9	30,6	Informativa
Desorganizada	5,6	2,8	1,4	1,4	5,6	12,5	4,2	0,1	9,7	12,5	33,3	Organizada

• Fonte: Elaborada pela autora (2019).

Observa-se pela Tabela 6 que para todas as dimensões pesquisadas a maioria dos entrevistados atribuiu nota igual ou superior a oito, o que indica uma adequada avaliação das informações recebidas.

3.1 Metodologias para a estimação do Índice de Percepção dos Respondentes

Foram desenvolvidos, a partir das questões do questionário proposto, três índices de percepção dos respondentes: o Índice de Percepção das Informações (IPI), o Índice de Percepção da Transparência (IPT), e o Índice de Percepção da Resposta Recebida (IPRR), sendo cada um deles descrito na sequência e analisados para os dados desta investigação.

3.1.1 Índice de Percepção das Informações

Para a avaliação das informações divulgadas, propõe-se a construção do Índice de Percepção das Informações (IPI), o qual representa a resposta média dos entrevistados às doze dimensões das informações divulgadas (1 a 12). Matematicamente, tem-se:

${IPI}_j=\frac{\sum _{k=1}^n{RI}_{K,j}}{n}$

(1)

onde IPI_j é o índice de percepção da informação do entrevistado j, RI_k,j é a resposta do entrevistado j à dimensão k, e n é o número de dimensões que o entrevistado j respondeu, podendo variar de zero a doze. Nos casos em que o entrevistado não respondeu a nenhuma das dimensões, o indicador não deve ser computado.

A partir do IPI_j de cada entrevistado pode-se também computar o Índice de Percepção da Informação da Instituição, segundo a equação:

${IPI}_i=\frac{{\sum }_{j=1}^m{IPI}_j}{m}$

(2)

onde IPI_i é o Índice de Percepção da Informação da instituição (i), m é o número de entrevistados. Tanto o IPI_j quanto o IPI_i podem assumir valores entre zero e dez, sendo que quanto mais próximo de dez melhor a percepção dos stakeholders quanto às informações divulgadas pela instituição.

A partir da coleta dos dados desta investigação, apresenta-se na Figura 1 a distribuição de frequência do Índice de Percepção das Informações dos entrevistados (IPI_j ). Quanto ao Índice de Percepção da Informação 43.5% dos entrevistados atribuíram uma nota igual ou superior a oito e apenas 10,9% possuem nota inferior a cinco. Assim, conclui-se que a maior parte dos entrevistados percebe as informações da instituição com adequadas, pois suas notas encontram-se mais próximas das dimensões positivas da informação.

Figura 1
Distribuição de frequência do índice de percepção da informação (IPI) por entrevistado

A partir do IPI de cada entrevistado obteve-se o Índice de Percepção da Informação da instituição, conforme equação 2. O IPI_i apresentou o valor de 7,40 indicando que a instituição apresenta, na média das dimensões, informações adequadas. Portanto, sendo as nuances das informações parte da transparência organizacional (HOLLAND et al., 2018), a instituição, na visão dos stakeholders, vem adotando estratégias informacionais adequadas, mas que ainda podem ser aprimoradas.

3.1.2 Índice de Percepção da Transparência

Para o cômputo do Índice de Percepção da Transparência, utilizou-se o resultado da análise fatorial exploratória tanto para a definição das dimensões quanto para a definição dos pesos das questões, os quais foram obtidos pela divisão da carga fatorial da questão pela soma de todas cargas fatoriais das questões formadoras da dimensão. A transformação em pesos mantém a escala num intervalo de um a cinco e permite que se considere a importância de cada item na formação da dimensão.

Primeiramente obtém-se os indicadores de cada uma das três dimensões da transparência: Impacto na Transparência (IT), Nível de Transparência (NT) e Participação Social (PS) para cada entrevistado j, as quais são computadas pelas seguintes equações:

${IT}_j=\mathrm{0,212}x{Q13}_j+\mathrm{0,211}x{Q14}_j+\mathrm{0,203}x{Q15}_j+\mathrm{0,193}x{Q16}_j+\mathrm{0,182}x{Q17}_j$

(3)

${NT}_j=\mathrm{0,210}x{Q18}_j+\mathrm{0,208}x{Q19}_j+\mathrm{0,205}x{Q20}_j+\mathrm{0,189}x{Q21}_j+\mathrm{0,188}x{Q22}_j$

(4)

${PS}_j=\mathrm{0,508}x{Q23}_j+\mathrm{0,492}x{Q24}_j$

(5)

onde IT_j é a percepção do Impacto na Transparência do entrevistado j; NT_j é a Percepção do Nível de Transparência do entrevistado j e PS_j é a Percepção de Participação Social do entrevistado j. As questões do instrumento (QK_j ) é a resposta do entrevistado j na questão k, às quais recebem os seguintes valores segundo a resposta marcada: 1-Discordo Totalmente; 2-Discordo; 3-Indiferente; 4-Concordo; 5-Concordo Totalmente.

Já as medidas para a instituição são obtidas a partir da média das respostas dos entrevistados. Por exemplo, para o construto Impacto na transparência (IT) tem-se:

${IT}_i=\frac{\sum _{j=1}^m{It}_j}{m}$

(6)

onde i é a instituição e m é o número de entrevistados j que responderam ao instrumento. Expressão semelhante é utilizada para computar os valores institucionais para NT_i e PS_i .

Finalmente, tem-se o Índice de Percepção da Transparência de cada entrevistado e da instituição, calculados conforme as seguintes equações:

${IPT}_j=\frac{{IT}_j+{NT}_j+{PS}_j}{3}$

(7)

${IPT}_i=\frac{{IT}_i+{NT}_i+{PS}_i}{3}$

(8)

onde IPT_j é o Índice de Percepção da Transparência do entrevistado j, IPT_i é o Índice de Percepção da Transparência da instituição (i), e demais variáveis conforme definidas anteriormente.

Os valores obtidos estarão numa escala de um a cinco, sendo que quanto mais próximo ao valor máximo melhor é a percepção de transparência. Assim, no Quadro 1 apresenta-se uma classificação da Percepção de Transparência segundo os valores obtidos para as expressões. Essa classificação pode ser utilizada tanto para a avaliação de um dos três construtos (Impactos na Transparência, Nível de Transparência e Participação Social) quanto para a avaliação do Índice de Percepção da Transparência da Instituição. As descrições representam a percepção esperada da maioria dos atores sociais classificados em cada categoria.

Essa metodologia permite que a instituição avalie a percepção de um ator social nas diferentes dimensões da transparência e também que tenha uma avaliação da transparência geral da instituição, a partir do momento que for possível compilar as respostas de um grupo de entrevistados.

Quadro 1
Classificação da percepção de transparência da instituição

Valor do IPTi	Classificação	Descrição
de 1,00 até 1,99	Muito ruim	Atores sociais responderam para a maioria das questões discordo totalmente ou discordo, indicando que a instituição, na visão dos atores sociais ainda está longe de atender suas demandas quanto à transparência, devendo, portanto, fazer uma reavaliação geral da sua política de transparência.
de 2,00 até 2,99	Ruim	Entre os atores sociais a maioria das respostas está entre discordo totalmente e indiferente, indicando que a transparência da instituição ainda precisa de ajustes significativos para atender às demandas desses atores. Neste caso recomenda-se uma revisão da política de transparência da instituição.
de 3,00 até 3,99	Boa	Em média, os atores sociais selecionaram respostas prioritariamente entre indiferente e concordo. Entende-se que a transparência da instituição ainda necessita de ajustes. Para melhor identificação dos pontos focais para ajustes, a instituição poderá avaliar a média das respostas em cada questão para identificação dos pontos de pior avaliação.
acima de 3,99	Excelente	Os atores sociais selecionaram concordo ou concordo totalmente para a grande maioria das questões. A instituição tem adotado práticas de transparência que atendem à demanda dos atores sociais. Possíveis melhorias pontuais podem ser identificadas avaliando as questões com menores médias ou maiores variações (desvio-padrão).

• IPTi - Índice de Percepção da Transparência da instituição
• Fonte: elaborado pelas autoras (2019).

Com a finalidade de analisar os três fatores obtidos nesta investigação, calculou-se os valores de cada dimensão para cada indivíduo conforme equações 3, 4 e 5. As estatísticas descritivas dos fatores são apresentadas na Tabela 7.

Tabela 7
Estatísticas descritivas dos fatores impactos da transparência, nível de transparência e participação social

Fatores	Média	Desvio padrão
Impactos da transparência	4,327	0,777
Nível de transparência	3,703	0,918
Participação social	2,793	1,099

• Fonte: Elaborada pelas autoras (2019).

Considerando que as escalas de percepção com a transparência podem variar de 1 (discordo totalmente) a 5 (concordo totalmente), notou-se que os stakeholders possuem uma percepção positiva dos impactos da transparência e do nível de transparência. Ainda, observa-se níveis intermediários de participação social, ou seja, valor próximo a três, indicando certa indiferença.

Para a obtenção de uma visão geral da Percepção da Transparência, obteve-se o IPTj de cada entrevistado, conforme equação 7. A Figura 2 apresenta a distribuição de frequência dos resultados.

Figura 2
Distribuição de frequência do índice de percepção da transparência (IPT) por entrevistado

De acordo com a Figura 2, percebe-se uma ligeira assimetria nas respostas localizadas a esquerda. Dos stakeholders, 33,7% atribuiu nota igual ou superior a quatro, demonstrando uma percepção positiva quanto à transparência da instituição. Entretanto, quase um quarto (24,6%) dos entrevistados apresentaram IPT_j igual ou inferior a três, ou seja, apresentam, em média, discordância ou indiferença quanto aos diversos parâmetros de transparência da instituição. O IPT_i , calculado segundo a equação 8, é de 3,55, o qual, conforme o Quadro 1, é classificado como bom, ou seja, os stakeholders percebem a transparência institucional como adequada para a maioria das questões, mas ainda são necessários ajustes. Neste caso, a instituição deve avaliar detalhadamente quais as questões com os níveis mais altos de discordância e indiferença, as quais estarão principalmente nos fatores piores avaliados, ou seja, participação social e nível de transparência.

3.1.3 Índice de Percepção da Resposta Recebida

O Índice de Percepção da Resposta Recebida (IPRR) é calculado de maneira semelhante á utilizada para o IPI_i , utilizando como base as questões (34 a 45) apresentadas na Tabela 6. Na Figura 3 apresenta-se a distribuição de frequência para os resultados individuais deste índice.

Figura 3
Distribuição de frequência do índice de percepção da resposta recebida (IPRR) por entrevistado

Grande parte da amostra (44%) apresentou IPRR igual ou maior a oito, indicando uma percepção média adequada para as dimensões da resposta recebida. Apenas 8% dos entrevistados atribuiu nota igual ou inferior a três. O IPRR_i apresentou valor 7,16, indicando que a instituição está fornecendo respostas que são consideradas adequadas, mas que ainda podem ser aprimoradas. Observa-se que uma parcela dos entrevistados se declara indiferente (nota 5) para algumas dimensões como confiabilidade, precisão, organização, relevância, acessibilidade e organização da informação, sendo, portanto, essas dimensões merecedoras de maior atenção por parte da instituição.

4 Considerações finais

Ao longo dos últimos anos tem crescido o interesse pelo tema da transparência. Entretanto, grande parte das pesquisas busca a construção de indicadores, sob o prisma legal-institucional, para avaliar em que grau as instituições atendem aos aspectos legais da transparência, impostos principalmente pela LAI. Este artigo avaliou a transparência a partir de um prisma diferente: a percepção do indivíduo. Ao invés de construir um indicador objetivo, baseado no cumprimento de normas pela instituição, busca-se entender como os usuários (stakeholders) percebem a transparência da instituição. Para isso, a transparência foi avaliada em duas grandes dimensões: a qualidade da informação e a transparência percebida. Além disso, avaliou-se a percepção de transparência no uso/acesso cotidiano das informações e nas situações de transparência passiva, ou seja, quando o usuário utiliza um sistema (e-sic, ouvidoria, etc) para solicitar informações.

Os resultados mostraram que a IES investigada, de maneira geral, tem uma boa avaliação da transparência por parte de seus stakeholders. O Índice de Percepção da Informação indica que a instituição apresenta, na média das dimensões, informações adequadas e o Índice de Percepção da Transparência permitiu a classificação da instituição no nível bom, ou seja, está no caminho certo, mas ainda tem alguns pontos a serem melhorados, especialmente nas dimensões de nível da transparência e participação social. Quanto à percepção das respostas recebidas, uma parcela dos usuários não obteve a resposta esperada (solicitação atendida no prazo), mas, no geral, a maioria dos solicitantes percebe a resposta recebida como adequada.

Entende-se que a metodologia apresentada nesse estudo, em especial a construção do Índice de Percepção da Informação (IPI) e do Índice de Percepção da Transparência (IPT) pode ser aplicada em diferentes instituições públicas e privadas para a avaliação da transparência. As questões elaboradas para a avaliação da resposta recebida também podem ser implementadas pelas instituições para uma avaliação contínua do atendimento das solicitações. Entende-se que as instituições que pretendem alcançar a excelência em transparência devem ir além dos aspectos legais incorporando sistemas de avaliação e controle da transparência, que avaliem também a percepção dos stakeholders.

Pesquisas futuras podem avançar na construção e validação de medidas de avaliação da percepção de transparência. Validações e adaptações para outros tipos de organizações são também um caminho promissor.

Referências

• BRASIL. Constituição Federal de 1988. Promulgada em 5 de outubro de 1988. Brasília, 1988. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm Acesso em: 6 nov. 2019.
  » http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
• BRASIL. Decreto nº 8777, de 11 de maio de 2016 Institui A Política de Dados Abertos do Poder Executivo Federal.. Brasília, DF, 2016. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/decreto/d8777.htm Acesso em: 1 jul. 2019.
  » http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2016/decreto/d8777.htm
• BRASIL. Lei Complementar nº 101, de 4 de maio de 2000. Estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. 2000. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm Acesso em: 17 out. 2019.
  » http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm
• BRASIL. Lei Complementar nº 131, de 27 de maio 2009. Acrescenta dispositivos à Lei Complementar nº 101, de 4 de maio de 2000. 2009. Brasília, DF. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp131.htm Acesso em: 1 jul. 2019.
  » http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp131.htm
• BRASIL. Lei nº 12.527, de 18 de novembro de 2011. Regula o acesso a informações previsto no inciso XXXIII do art. 5º, no inciso II do § 3º do art. 37 e no § 2º do art. 216 da Constituição Federal; altera a Lei nº 8.112, de 11 de dezembro de 1990; revoga a Lei nº 11.111, de 5 de maio de 2005, e dispositivos da Lei nº 8.159, de 8 de janeiro de 1991; e dá outras providências Brasília, DF, 2011 Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm Acesso em: 1 jul. 2019.
  » http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm
• CHRISTENSEN, Lars Thoger; CHENEY, George. Peering into transparency: challenging ideals, proxies, and organizational practices. Communication Theory, Oxford, v. 25, n. 1, p. 70-90, 2015.
• CHRISTENSEN, Lars Thorger; CORNELISSEN, Joep. Organizational transparency as myth and metaphor. European Journal of Social Theory, Hampshire, v. 18, n. 2, p. 132-149, 2015.
• CONTROLADORIA GERAL DA UNIÃO [CGU]. Manual da Lei de Acesso à Informação para Estados e Municípios. Brasília: 2013. Disponível em: Disponível em: https://www.cgu.gov.br/Publicacoes/transparencia-publica/brasil-transparente/arquivos/manual_lai_estadosmunicipios.pdf Acesso em: 7 jul. 2019.
  » https://www.cgu.gov.br/Publicacoes/transparencia-publica/brasil-transparente/arquivos/manual_lai_estadosmunicipios.pdf
• FERNÁNDEZ, María de Jesús Calderíus; SÁNCHEZ, Noemí Martínez. Consideraciones del proceso de formación ciudadana del estudiante universitario. La singularidad de su dinámica desde la actividad sociopolítica. Didasc@lia: Didáctica y Educación, Las Tunas, v. 3, n. 3, p. 139-158, jul./set. 2012.
• FIELD, Andy. Descobrindo a estatística usando o SPSS-2. Porto Alegre: Bookman, 2009.
• HAIR, Joseph F. et al. Fundamentos de métodos de pesquisa em administração. Porto Alegre: Bookman , 2009.
• HOLLAND, Derrick et al. Transparency tested: The influence of message features on public perceptions of organizational transparency. Public Relations Review, Lubbock, v. 2, n. 44, p. 256-264, 2018.
• HOLZNER, Burkart; HOLZNER, Leslie. Transparency in global change: the vanguard of the open society. Pittsburgh: University of Pittsburgh Press, 2006.
• KANAANE, Roberto; FIEL FILHO, Alécio; FERREIRA, Maria das Graças. Gestão pública estratégica e a visão do futuro. São Paulo: Atlas, 2010.
• KUNDELIENE, Kristina; LEITONIENE, Sviesa. Business information transparency: causes and evaluation possibilities. Procedia Social and behavioral sciences, Kaunas, v. 213, p. 340-344, 2015.
• LATIF, Sumaia Abdei. A análise fatorial auxiliando a resolução de um problema real de pesquisa de marketing. Caderno de Pesquisas em Administração, São Paulo, n. 2, p. 20, 1994.
• MALHOTRA, Naresh K. Pesquisa de marketing: uma orientação aplicada. 6. ed. Porto Alegre: Bookman , 2011.
• MATIAS-PEREIRA, José. A governança corporativa aplicada no setor público brasileiro. Administração Pública e Gestão Social, Viçosa, v. 2, n. 1, p. 109-134, 2010.
• MELO, Douglas Arrais. Transparência da informação pública: uma avaliação de sítios eletrônicos de universidades federais brasileiras. Dissertação (Mestrado em Administração Pública em Rede Nacional) - Universidade Federal de Goiás, Goiânia, 2019.
• NEWBOLD, Tim et al. Global effects of land use on local terrestrial biodiversity. Nature, London, v. 520, n. 7545, p. 45-50, abr. 2015.
• PESSÔA, Iury da Silva et al. Determinantes da transparência das universidades federais brasileiras: Uma Análise Empírica no ano de 2013. Revista de Gestão e Contabilidade da UFPI, Floriano, v. 5, n. 2, p. 97-114, 2018.
• PLATT NETO, Orion Augusto; COELHO, Mary Cristine; DA CRUZ, Flávio. A Informação Contábil como Ferramenta de Auxílio no Exercício do Controle Social. Contabilidade Vista & Revista, Belo Horizonte, v. 22, n. 3, p. 163-184, 2011.
• RELLY, Jeannine E. Examining a model of vertical accountability: A cross-national study of the influence of information access on the control of corruption. Government Information Quarterly, Amsterdam, v. 29, n. 3, p. 335-345, 2012.
• SARAITE-SARIENE, Laura; RODRÍGUEZ, María del Mar Gálvez; ROSARIO, Arturo Haro. Exploring determining factors of web transparency in the world's top universities. Revista de Contabilidad, España, v. 21, n. 1, p. 63-72, 2018.
• SPINA, Daniele Thomazelli; GIRALDI, Janaina de Moura Engracia; OLIVEIRA, Marcio Mattos Borges. A influência das dimensões da qualidade de serviços na satisfação do cliente: um estudo em uma empresa do setor de controle de pragas. Revista de Gestão, São Paulo, v. 20, n. 1, p. 99-112, 2013.
• ZORZAL, Luzia; RODRIGUES, Georgete Medleg. Transparencia de la información de las universidades federales: estudio de los informes de gestión a la luz de los principios de governanza. Biblios: Journal of Librarianship and Information Science, Peru, n. 61, p. 1-18, 2016.

• 1
  O termo stakeholder é interpretado neste estudo como os participantes que demonstram interesse, convergente ou divergente em relação à instituição de ensino, considerando-se, neste caso, seus alunos, professores e técnicos administrativos.

• 2
  O Portal de Periódicos da Capes é uma biblioteca virtual que reúne e disponibiliza a instituições de ensino e pesquisa no Brasil o melhor da produção científica internacional. Ele conta atualmente com um acervo de mais de 45 mil periódicos com texto completo, 130 bases referenciais, 12 bases dedicadas exclusivamente a patentes, além de livros, enciclopédias e obras de referência, normas técnicas, estatísticas e conteúdo audiovisual (PERIÓDICOS CAPES, 2019).

Datas de Publicação

• Publicação nesta coleção
  10 Dez 2021
• Data do Fascículo
  Sep-Dec 2021

Histórico

• Recebido
  28 Nov 2019
• Aceito
  23 Maio 2021