Open-access Indicadores de sustentabilidade em processos de avaliação ambiental estratégica

Resumos

Os indicadores de sustentabilidade (IdS) são utilizados para demonstrar os efeitos que as intervenções humanas exercem sobre o meio ambiente. Em processos de Avaliação Ambiental Estratégica (AAE), seu emprego tem ocorrido de modo não uniforme e muitas vezes impreciso. Através da Análise de Conteúdo, a pesquisa buscou avaliar a utilização de IdS em vinte e oito relatórios de AAE (referentes a vinte e um países), investigando o enquadramento dos IdS ao triple bottom line e a outros parâmetros predefinidos. Apenas doze (42,8%) relatórios apresentam IdS. Destes, oito associam IdS a objetivos e metas, e nove descrevem a função dos indicadores na AAE, mas apenas quatro referem critérios de seleção e dois mostram a tendência futura dos IdS listados. Verificou-se a utilização de IdS mal formulados, com inadequada apresentação, e/ou indicadores que, em realidade, são objetivos ou metas. O emprego de IdS apresentou deficiências qualitativas e poderá não contribuir com a AAE ou levar a decisões equivocadas.

Avaliação Ambiental Estratégica; Indicador; Relatório Ambiental; Sustentabilidade


Indicadores de sostenibilidad (IdS) son utilizados para demostrar los efectos que las intervenciones humanas ejercen sobre el medio ambiente. En procesos de Evaluación Ambiental Estratégica (EAE), su empleo ha ocurrido de modo no uniforme y muchas veces impreciso. A través de Análisis de Contenido, la encuesta buscó evaluar la utilización de IdS en 28 informes de EAE (referentes a 21 países), investigando el encuadramiento de los IdS al triple bottom line y a otros parámetros predefinidos. Solo doce (42,8%) informes presentan IdS. De éstos, ocho asocian IdS a objetivos y metas, y nueve describen la función de los indicadores en la EAE, pero apenas cuatro refieren criterios de selección y dos muestran la tendencia futura de los IdS listados. Se verificó la utilización de IdS mal formulados, con inadecuada presentación, y/o indicadores que, en realidad, son objetivos o metas. El empleo de IdS presentó deficiencias cualitativas y podrá no contribuir con la EAE o llevar a decisiones equivocadas.

Evaluación Ambiental Estratégica; indicador; informe ambiental; sostenibilidad


Sustainability indicators (SI) are utilized to demonstrate the effects that human interventions have on the environment. In Strategic Environmental Assessment (SEA) processes, the use of SI has occurred in a desuniform and often inaccurate manner. Through Content Analysis, this research aimed to evaluate the utilization of SI in 28 SEA reports (related to 21 countries). It was investigated the framing of SI to the triple bottom line model and the level of observance to some predefined parameters. Only twelve reports (42.8%) present SI. In this subgroup, eight reports associate SI to goals and objectives and nine describe the function of the indicators in SEA, but only four reports describe the selection criteria of SI and two show the future trend of SI that are listed. It was observed the use of SI poorly designed, inadequately presented, and/or indicators that, in fact, are objectives or goals. The use of SI has serious quality deficiencies, and may not contribute to the SEA process or may lead to wrong decisions.

Environmental report; indicator; Strategic Environmental Assessment; sustainability


Indicadores de sustentabilidade em processos de avaliação ambiental estratégica

Antonio Waldimir Leopoldino da SilvaI; Paulo Maurício SeligII; Aran Bey Tcholakian MoralesIII

IEngenheiro Agrônomo, Mestre em Zootecnia, Professor do Campus Oeste da Universidade do Estado de Santa Catarina - UDESC; Doutorando do Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento da Universidade Federal de Santa Catarina - PPGEGC/UFSC. Endereço para correspondência: Rua João Pio Duarte Silva, 864, ap. 21, Bairro Córrego Grande, CEP 88.037-001, Florianópolis, SC. E-mail: antonio@udesc.br IIDoutor em Engenharia de Produção, Professor do PPGEGC/UFSC. Endereço para correspondência: Universidade Federal de Santa Catarina, Campus Universitário Reitor João David Ferreira Lima, Bairro Trindade, CEP 88.040-900, Florianópolis, SC. E-mail: pauloselig@gmail.com

IIIDoutor em Engenharia de Produção, Professor do PPGEGC/UFSC. Endereço para correspondência: Universidade Federal de Santa Catarina, Campus Universitário Reitor João David Ferreira Lima, Bairro Trindade, CEP 88.040-900, Florianópolis, SC. E-mail: aran@stela.org.br

RESUMO

Os indicadores de sustentabilidade (IdS) são utilizados para demonstrar os efeitos que as intervenções humanas exercem sobre o meio ambiente. Em processos de Avaliação Ambiental Estratégica (AAE), seu emprego tem ocorrido de modo não uniforme e muitas vezes impreciso. Através da Análise de Conteúdo, a pesquisa buscou avaliar a utilização de IdS em vinte e oito relatórios de AAE (referentes a vinte e um países), investigando o enquadramento dos IdS ao triple bottom line e a outros parâmetros predefinidos. Apenas doze (42,8%) relatórios apresentam IdS. Destes, oito associam IdS a objetivos e metas, e nove descrevem a função dos indicadores na AAE, mas apenas quatro referem critérios de seleção e dois mostram a tendência futura dos IdS listados. Verificou-se a utilização de IdS mal formulados, com inadequada apresentação, e/ou indicadores que, em realidade, são objetivos ou metas. O emprego de IdS apresentou deficiências qualitativas e poderá não contribuir com a AAE ou levar a decisões equivocadas.

Palavras-chave: Avaliação Ambiental Estratégica. Indicador. Relatório Ambiental. Sustentabilidade.

ABSTRACT

Sustainability indicators (SI) are utilized to demonstrate the effects that human interventions have on the environment. In Strategic Environmental Assessment (SEA) processes, the use of SI has occurred in a desuniform and often inaccurate manner. Through Content Analysis, this research aimed to evaluate the utilization of SI in 28 SEA reports (related to 21 countries). It was investigated the framing of SI to the triple bottom line model and the level of observance to some predefined parameters. Only twelve reports (42.8%) present SI. In this subgroup, eight reports associate SI to goals and objectives and nine describe the function of the indicators in SEA, but only four reports describe the selection criteria of SI and two show the future trend of SI that are listed. It was observed the use of SI poorly designed, inadequately presented, and/or indicators that, in fact, are objectives or goals. The use of SI has serious quality deficiencies, and may not contribute to the SEA process or may lead to wrong decisions.

Keywords: Environmental report; indicator; Strategic Environmental Assessment; sustainability.

RESUMEN

Indicadores de sostenibilidad (IdS) son utilizados para demostrar los efectos que las intervenciones humanas ejercen sobre el medio ambiente. En procesos de Evaluación Ambiental Estratégica (EAE), su empleo ha ocurrido de modo no uniforme y muchas veces impreciso. A través de Análisis de Contenido, la encuesta buscó evaluar la utilización de IdS en 28 informes de EAE (referentes a 21 países), investigando el encuadramiento de los IdS al triple bottom line y a otros parámetros predefinidos. Solo doce (42,8%) informes presentan IdS. De éstos, ocho asocian IdS a objetivos y metas, y nueve describen la función de los indicadores en la EAE, pero apenas cuatro refieren criterios de selección y dos muestran la tendencia futura de los IdS listados. Se verificó la utilización de IdS mal formulados, con inadecuada presentación, y/o indicadores que, en realidad, son objetivos o metas. El empleo de IdS presentó deficiencias cualitativas y podrá no contribuir con la EAE o llevar a decisiones equivocadas.

Palabras clave: Evaluación Ambiental Estratégica, indicador, informe ambiental, sostenibilidad.

Introdução

As avaliações ambientais - estudos que abordam as prováveis consequências ambientais e sociais das ações humanas (CASHMORE et al., 2008) - têm assumido crescente importância na sociedade contemporânea, sendo vistas como importantes mecanismos na busca e construção do desenvolvimento sustentável (DS). Um destes instrumentos é a Avaliação Ambiental Estratégica (AAE). Em uma das mais clássicas definições, Sadler e Verheem (1996, p.27) descrevem AAE como o "processo sistemático de avaliação das consequências ambientais de iniciativas propostas de política, plano ou programa, a fim de assegurar que elas sejam plenamente incluídas e apropriadamente tratadas no estágio adequado e mais antecipado da tomada de decisão, no mesmo nível que as considerações econômicas e sociais". Mais recentemente, Therivel (2010, p.3) afirma que a AAE constitui o "processo que visa integrar considerações ambientais e de sustentabilidade na tomada de decisão estratégica".

Assim, a AAE é, fundamentalmente, uma ferramenta voltada à sustentabilidade de territórios e populações, isto é, ao DS (PARTIDÁRIO, 2007; DALAL-CLAYTON; SADLER, 2008; THERIVEL, 2010). Ocorre, porém, que o DS "pode significar coisas muito diferentes para diferentes pessoas" (BELL; MORSE, 2003, p.7). Diante disso, Van Bellen (2006) destaca que, para alcançar o DS, é necessário que sua concepção seja transmitida de forma clara e compreensível para os vários atores da sociedade. É preciso, pois, torná-lo minimamente palpável, objetivo e mensurável. Um dos meios mais adotados para avaliar o DS é o emprego de indicadores (BELL; MORSE, 2003).

Os indicadores têm sido fartamente definidos pela literatura. Segundo a Agência Europeia do Ambiente, indicador é uma "medida, geralmente quantitativa, que pode ser usada para ilustrar e comunicar, de forma simples, fenômenos complexos, incluindo tendências e progresso ao longo do tempo" (EEA, 2005, p.7). Indicadores de sustentabilidade (IdS), por sua vez, representam "uma ferramenta absoluta de medição ambiental que, com base numa comparação entre o presente e a situação sustentável, mostra até que ponto os objetivos de sustentabilidade são cumpridos" (RAGAS et al., 1995, p.123). Para Van Bellen (2006), IdS atuam como meios de comunicação, consistindo em uma pedagógica ferramenta de explicação e explanação sobre o conceito de DS. "Se o processo de busca do desenvolvimento sustentável pressupõe proatividade, visão de longo prazo, participação da sociedade, acompanhamento de resultados, os indicadores se constituem numa carta de navegação na medida em que apontam a situação atual e o destino a ser alcançado e possibilitam a correção de rumos e mudanças de comportamento", afirmam Guimarães e Feichas (2009, p.317).

Considerando que a AAE é um processo voltado ao DS, e que os IdS são úteis para avaliar ou dimensionar o DS, sua associação é, ao mesmo tempo, lógica e necessária. Sobre isso, Donnelly et al. (2008) destacam que os IdS são o principal instrumento para demonstrar os impactos de políticas, planos e programas (PPP). A OECD (2006, p.124) defende que, na AAE, "um elemento central da avaliação é a definição de indicadores apropriados que reflitam os efeitos sustentáveis como resultado da implementação de PPP", enquanto, para Fischer (2007, p.39), "indicadores são amplamente usados em todas as situações de avaliação e em todos os estágios da AAE". Donnelly e O'Mahony (2011) ressaltam que a aplicação de IdS na AAE teria vantagens como a simplicidade, a evidenciação do monitoramento, a redução de custos, a maximização de recursos e a diminuição na carga de trabalho. Contudo, em função da pluralidade de tipos e métodos de AAE ("uma família de ferramentas", segundo Brown e Therivel, 2000, p.184), a utilização de IdS não constitui regra ou obrigatoriedade, e, quando ocorre, não é uniforme ou padronizada.

Ezequiel e Ramos (2011) observam que, enquanto alguns praticantes de AAE rapidamente compreenderam a importância dos IdS, outros a ignoram. Os autores ressaltam ainda que os IdS têm sido usados sem nenhuma consciência de seus pontos fortes, fraquezas e inconvenientes. Há que se considerar que os IdS são, em certa medida, elementos de julgamento, em especial quando da comparação entre opções ou alternativas apontadas pela AAE, vindo a exercer influência direta sobre a decisão. Portanto, o uso inadequado de IdS pode produzir informação enganosa, levando a um processo de AAE tendencioso ou limitado, e a erros na tomada de decisão (THERIVEL, 2010; DONNELLY; O'MAHONY, 2011). Todavia, em que pese sua importância, este é um tema pouco abordado pela literatura, clamando por novas reflexões (DONNELLY; O'MAHONY, 2011; EZEQUIEL; RAMOS, 2011).

A partir do contexto apresentado, este trabalho objetiva verificar, de forma exploratória, o emprego de IdS em processos de AAE conduzidos em diferentes países, por meio da análise dos relatórios ambientais e/ou finais gerados por tais processos. Na exposição, adota-se a seguinte ordenação de conteúdos: após esta seção introdutória, discorre-se sobre IdS, focando especialmente seu emprego em processos de AAE; a seguir, descreve-se a metodologia da pesquisa. Na sequência, apresenta-se os resultados da avaliação dos relatórios em termos de IdS. Por fim, são expostas as conclusões do estudo.

Indicadores de Sustentabilidade em processos de AAE

Os IdS desempenham inúmeros papéis ou funções em processos de AAE, como apontam os trabalhos de Therivel (2002), Donnelly et al. (2006a; 2006b; 2007; 2008), Fischer (2007), Donnelly e O'Mahony (2011), Ezequiel e Ramos (2011) e Garfi et al. (2011), podendo-se destacar:

a) Demonstrar as mudanças na qualidade ambiental resultantes da implementação de planos ou programas, ou seja, prever, demonstrar, avaliar e monitorar impactos (positivos ou negativos) sobre o meio ambiente, incluindo aspectos econômicos e sociais;

b) Controlar ou verificar o alcance de objetivos e metas a eles relacionados, de modo que Partidário (s.d., p.52) define indicador de AAE como uma "unidade de medida pela qual o alcance de uma meta pode ser monitorado";

c) Registrar as características e dados de base, ou "situação de referência", isto é, a situação do objeto em avaliação ao início desta (no chamado "momento zero"), a fim de contrastar com a condição verificada em momentos futuros;

d) Permitir a comparação entre os efeitos determinados por diferentes cenários ou alternativas de ação e desenvolvimento, propostos (as) pela AAE;

e) Reduzir o volume e a complexidade da informação que é repassada aos gestores, permitindo que a AAE possa exercer maior influência (efetividade) sobre a decisão final;

f) Melhorar e/ou simplificar a comunicação entre as várias partes interessadas, pois indicadores constituem elementos de fácil interpretação, levando a uma maior disseminação da informação; e

g) Instrumentalizar a etapa de monitoramento (seguimento ou follow-up), que transcorre após a tomada de decisão e que se destina a acompanhar e avaliar a consolidação do PPP.

Para operacionalizar o conceito de sustentabilidade em processos de AAE, o primeiro passo seria a definição de objetivos e metas claras, e a seleção de IdS correspondentes (SHEATE et al., 2001; NGUYEN; COOWANITWONG, 2011). Tais elementos mantém entre si uma relação de mútua influência e dependência, e seu desenvolvimento em estágios precoces do processo é vital para garantir a alta qualidade deste (DONNELLY et al., 2008). A cada receptor ambiental (DONNELLY et al., 2006b) potencialmente suscetível ao PPP devem ser fixados objetivos factíveis; para cada um destes, por sua vez, deve haver uma ou mais metas associadas (com a respectiva magnitude de avanço e o prazo para alcançá-la); e estas estarão relacionadas a um ou vários IdS devidamente compatíveis com os demais parâmetros. Fica evidenciado, portanto, que a definição de objetivos deve preceder a de metas, e a proposição destas é anterior à de IdS, em um processo interconectado.

Não obstante sua importância, o emprego de IdS em AAE não é uma prática compulsória e não há determinação, formal ou explícita, quanto ao seu uso. A Directive 2001/42/EC (que orienta a aplicação da AAE no âmbito dos países da União Europeia) sequer menciona o termo "indicador". Todavia, muitos trabalhos que seguem a Directive destacam a necessidade de utilizar IdS.

Definição de indicadores de sustentabilidade para AAE

Donnelly et al. (2006a) enfatizam que a escolha cuidadosa dos indicadores é central no processo de AAE. Entretanto, a dificuldade que reveste a seleção de IdS, seja pela natureza multidimensional dos efeitos sobre o ambiente, seja pela própria tarefa de coletar e medir dados, é reconhecida por esses autores (2006a; 2007). A escolha do conjunto de IdS que farão parte do estudo é uma operação-chave, que irá afetar o sucesso do trabalho como um todo. O emprego de listas pré-existentes de IdS é vantajosa por representar economia de tempo e recursos, mas refutada por sua inespecificidade à AAE (DONNELLY et al., 2006a, 2006b, 2007).

Ao fazerem referência a necessidade de desenvolver IdS específicos para o processo de AAE, Donnelly et al. (2007) destacam a impossibilidade de defini-los com base em um conjunto de critérios utilizados para selecionar indicadores para outros fins. Assim, concluem, os IdS devem ser escolhidos a partir de critérios que sejam também específicos para a AAE. Os autores frisam ainda a importância do conhecimento local e da participação de tantos stakeholders quanto possível no processo de construção de critérios, de forma que diferentes expertises e pontos de vista possam ser incorporados.

Como resultado de um workshop reunindo uma equipe multidisciplinar de especialistas, Donnelly et al. (2007) apresentam nove critérios a serem empregados na escolha de IdS para AAEs: (a) ser relevante ao plano; (b) ser politicamente relevante; (c) cobrir uma faixa de receptores ambientais; (d) apresentar tendências; (e) ser compreensível; (f) estar baseado em padrões técnicos e científicos; (g) priorizar questões-chave e emitir alarme precoce; (h) ser adaptável; (i) identificar conflitos. Em tese, para ser escolhido a integrar a AAE, o indicador deve atender a maior parte dos critérios. Entretanto, um indicador pode cumprir apenas o aspecto "ser relevante ao plano" e ser incluído, em função de sua importância e significado naquela condição em particular (DONNELLY et al., 2007).

Um aspecto de grande relevância é a quantidade e o tipo de IdS a serem empregados. Donnelly et al. (2006a) consideram recomendável manter o número de indicadores ao mínimo, através da identificação dos impactos mais relevantes do PPP em tela. No sentido de prevenir a escolha de indicadores supérfluos, é fundamental fixar-se nos receptores ambientais sujeitos a tais impactos, para então, por meio de critérios adequados, definir quais os indicadores são efetivamente hábeis e necessários para demonstrá-los, e, paralelamente, para mensurar o alcance de cada uma das metas que envolvem aqueles receptores ambientais (DONNELLY et al, 2006b). Portanto, para Ezequiel (2010), devem ser selecionados indicadores principais, especialmente centrados nas questões de maior importância, e em número que sejam fáceis de gerir no acompanhamento dos programas e na realização de análises. Esta autora ressalta ainda que os custos serão tanto mais elevados quanto mais indicadores forem utilizados, e que a relação entre os gastos (monetários ou de outros tipos de recursos) e a importância da informação não é linear, isto é, muitas vezes são empregados indicadores desnecessários, que apenas encarecem o processo.

Os IdS podem ser tanto quantitativos quanto qualitativos (EZEQUIEL, 2010; THERIVEL, 2010). Scott e Marsden (2003) explicam que os primeiros são mais úteis, uma vez que geram dados reais e tangíveis; no entanto, os indicadores qualitativos não devem ser desprezados, pois talvez sejam os únicos disponíveis e podem transmitir informações valiosas (DONNELLY et al., 2006a). Finnveden et al. (2003, p.116), enfocando a AAE, analisam a questão sob outra perspectiva:

Se a aplicação pretendida é a identificação de aspectos críticos, a fim de sugerir uma estratégia de mitigação, uma abordagem qualitativa é frequentemente suficiente. Qualitativamente, é quase sempre possível determinar se algo é "crítico" ou "significativo". No entanto, se o objetivo é apoiar uma escolha entre duas ou várias alternativas, os requisitos quantitativos normalmente aumentam. Isto porque se uma opção tem que ser feita entre dois aspectos importantes e críticos, a quantificação de quão graves são os aspectos críticos é muitas vezes necessária.

A especificidade ou não do IdS ao PPP e à respectiva AAE é um ponto que merece particular análise. Donnelly et al. (2006a; 2007) mencionam que alguns IdS são genéricos ou gerais, adequando-se a diferentes tipos e níveis de PPPs, mas há também aqueles de caráter específico, formulados para representar e avaliar características de um PPP em particular, e que não são, portanto, de uso comum ou frequente.

Outros aspectos relevantes a serem observados na seleção de indicadores, tais como o emprego de indicadores "substitutos", o período de validade de um IdS, e a sua necessária adequação à escala espacial e temporal da AAE, são analisados por Donnelly et al. (2006a; 2006b), João (2007) e Therivel (2010).

Avaliação da qualidade da AAE tendo por base o emprego de indicadores

Ainda que a AAE seja considerada mais um processo do que um produto ou documento (BROWN; THERIVEL, 2000; RETIEF, 2007b), a avaliação da qualidade do relatório resultante pode servir como um indicativo da qualidade do processo (BONDE; CHERP, 2000). "Uma verificação post-hoc [posterior] de um relatório de AAE pode indiretamente ajudar a testar se o processo de AAE que lhe dá base foi bem executado", destaca Therivel (2010, p.252). Retief (2007b) argumenta que a documentação da AAE deveria, no mínimo, fornecer uma base adequada para tomada de decisão, prestar informações ao público e auxiliar os tomadores de decisão a determinar se os requisitos legais estão sendo cumpridos. São pontos em que a participação dos IdS é essencial.

Considerando que, entre outros objetivos, a AAE busca identificar impactos ambientais atuais e continuados, sua efetividade é refletida na qualidade das ferramentas usadas para demonstrar esses impactos, quais sejam os objetivos, as metas e os IdS (DONNELLY et al., 2008). Segundo os autores, uma forma de determinar a qualidade de um relatório ambiental é verificar a maneira pela qual o impacto ambiental é demonstrado e o programa de monitoramento é delineado, ou seja, através da avaliação daquelas ferramentas. Bonde e Cherp (2000, p.101) entendem que o relatório de uma AAE de boa qualidade deve "propor um conjunto de critérios, padrões ou indicadores para avaliar o efeito das políticas do plano e suas alternativas".

Metodologia

O presente trabalho baseou-se em uma pesquisa documental realizada através da análise de vinte e oito relatórios de AAE disponíveis na rede mundial de computadores, cuja busca foi realizada entre novembro e dezembro de 2010. Os relatórios (Quadro 1) envolvem um total de vinte e um países, sendo vinte e seis relatórios de âmbito nacional, um de cunho binacional e um, multinacional. Para seleção dos relatórios que integrariam a análise, foram observados os seguintes critérios: (i) ter sido editado após 2001, ano em que foi lançada a Directive 2001/42/EC; (ii) estar integralmente disponível, seja no idioma português, inglês ou espanhol; (iii) constituir relatório final, isto é, elaborado após a realização de consulta pública, rejeitando-se documentos com a classificação draft report, consultation paper, scoping report, initial report, "versão para discussão pública", ou similar, ou, ainda, que apresentassem apenas o sumário executivo do trabalho; (iv) ser oriundo de país dotado de legislação nacional e/ou sujeito à regulamentação supranacional sobre AAE4; e (v) não ultrapassar o limite máximo de três relatórios por país. A amostra incluiu, ainda, três relatórios de processos de AAE que, embora oriundos de países que não atendem o item (iv), tem sido destacados pela literatura especializada5. O Apêndice 1 apresenta os endereços URL onde localizam-se os relatórios analisados.


Para a efetivação da pesquisa documental, empregou-se a técnica de análise de conteúdo (AC), definida por Bardin (2002, p.29) como um "conjunto de técnicas de análises das comunicações utilizando procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens". Para Krippendorff (2012, p.24), a AC é "uma técnica de pesquisa para fazer inferências replicáveis e válidas a partir de textos (ou outro material significativo) para os contextos de seu uso".

A AC foi efetuada através de um mecanismo de busca textual em arquivos de formato portable document format (pdf), utilizando-se, como constructo ou palavra-chave (unidade de análise), o termo "indicador" (para documentos em língua portuguesa ou espanhola) ou "indicator" (língua inglesa). Além disso, toda a extensão do relatório foi vistoriada (página por página), a fim de conhecer a estrutura geral do documento e capturar alguma menção do termo que o mecanismo de busca não houvesse sinalizado (em figuras, por exemplo).

Considerando que o termo "indicador" (e seus correspondentes, em outros idiomas) é universalmente reconhecido, adotado e empregado, não foi procedida busca por meio de expressões que ocasionalmente podem ser utilizadas com propósito similar ou sinonímia, tais como "parâmetro", "descritor", entre outros. O processo de AC focou a verificação detalhada do modo pelo qual o termo foi referenciado ao longo de cada relatório, avaliando-o dentro de diferentes categorias ou critérios de análise. Foram observados aspectos relativos ao emprego e à referência ou não a indicadores, e, de modo particular, a IdS, verificando seu enquadramento ao triple bottom line (Quadro 2). Além disso, os relatórios que apresentam IdS foram avaliados segundo parâmetros qualitativos mencionados no Quadro 3. A definição de tais parâmetros deu-se a partir de critérios utilizados em trabalhos similares (DONNELLY et al., 2008; EZEQUIEL, 2010), assim como da própria apreciação dos relatórios em avaliação. No seu conjunto, estes parâmetros possibilitam caracterizar a extensão e profundidade do emprego dos IdS e o grau de importância que estes assumem no contexto global do trabalho.



O emprego de indicadores de sustentabilidade em AAE

Uma síntese da análise dos relatórios de AAE é apresentada no Quadro 2. Dos vinte e oito relatórios em estudo, três sequer mencionam o termo "indicador"; quatro citam ou utilizam indicadores, porém não afetos à sustentabilidade e/ou à AAE; cinco fazem algum tipo de referência a IdS relacionados à AAE, mas não os empregam; e quatro não apresentam relação de IdS, mas indicam ou referem sua criação posterior. Apenas doze relatórios (42,8% do total) enumeram explicitamente os IdS propostos ou empregados na AAE, e, destes, dois relatórios não empregam as três dimensões da sustentabilidade (triple bottom line), enquanto outros dez o fazem. Ezequiel (2010), analisando 25 relatórios de AAE produzidos em Portugal, assinala que vinte e um continham IdS, perfazendo um índice de 84%, cerca de duas vezes superior ao verificado no presente trabalho. Deve-se considerar, no entanto, que a escola portuguesa de AAE tem tradição no emprego de indicadores, comprovada pelo fato de os três relatórios daquele País ora analisados estarem no grupo daqueles que atenderam plenamente este quesito. Fischer et al. (2010), por sua vez, constatou que os oito relatórios de AAE, oriundos da Áustria, República Tcheca, Alemanha, Holanda, Inglaterra e País de Gales, apresentavam IdS.

A análise geral do Quadro 3 permite verificar que cerca de dois terços dos relatórios (sete) não atenderam sequer a metade dos critérios elencados. Por outro lado, a AAE nº 23 cumpriu a quase totalidade dos quesitos.

Somente dois relatórios especificam a definição conceitual do termo "indicador", aspecto que, embora aparentemente restrito ao campo teórico, permite compreender o que tal constructo representa no âmbito ideológico do trabalho, o sentido em que ele é empregado e a adequação ou não de sua utilização. A descrição da função dos indicadores - elemento que complementa, checa e em parte substitui a definição conceitual - é apresentada por nove relatórios (75% do total). Ainda que a função dos indicadores seja abundantemente descrita na literatura, é relevante conhecer o propósito de seu emprego nas condições específicas da AAE em questão, ou seja, o papel que devem exercer naquele processo.

Sete relatórios mostram a localização dos IdS dentro do processo de AAE, sinalizando a etapa em que os mesmos foram selecionados e/ou definidos. Essa informação é substantiva na medida em que retrata a dinâmica processual e possibilita verificar as fases em que os IdS foram ou poderiam ter sido aplicados. Nesse sentido, oportuniza avaliar, por exemplo, se os IdS colaboraram na definição dos cenários (alternativas do/ao PPP) ou se foram propostos somente após concluída a cenarização.

Já os critérios utilizados na seleção dos indicadores estão explicitados em apenas quatro relatórios. A falta de exibição dos critérios no relatório não significa, necessariamente, que eles deixaram de ser utilizados no processo em si; entretanto, a sua divulgação revela o grau de pertinência dos IdS escolhidos, bem como ressalta a transparência científica da equipe executora. Donnelly et al. (2007) destacam que um conjunto de critérios pode reduzir o número de potenciais indicadores em uma AAE a uma lista adequada, assegurando que as questões ambientais mais pertinentes sejam consideradas. Ezequiel (2010) verificou que apenas um entre vinte e um relatórios de AAE (4,8%) continha critérios de seleção de indicadores, em um índice sensivelmente inferior ao aqui registrado (33,3%).

Ainda considerando a seleção de indicadores, outro ponto a referir é a associação com objetivos e metas ambientais. Oito relatórios (66,7% do total) cumprem este quesito, sendo que, destes, apenas um (AAE nº 03) contempla os três elementos de forma agregada. Em quatro relatórios, esta relação não está explicitada, ainda que possa ter existido. A falta de representação da associação leva a crer que a definição dos IdS ocorreu de forma desvinculada de objetivos e metas, o que acarreta notório decréscimo na efetividade de todo o processo. Os IdS que não são associados a estes elementos mostram-se desconexos e desajustados ao contexto da AAE, ainda que outros critérios de seleção tenham sido observados. Donnelly et al. (2008) apontam que o maior problema verificado em relação a indicadores foi a falta de ligação destes com as metas, e/ou de ambos em relação aos objetivos.

Em um significativo número de relatórios (nove, ou 75%), os IdS são apresentados com base na classificação por receptor ambiental. Nos demais relatórios, os IdS são agrupados por outros critérios, em geral os objetivos aos quais estão relacionados. A distribuição por receptor ambiental facilita a visualização dos possíveis impactos que serão monitorados, sendo desejável, também, que os objetivos e metas recebam a mesma classificação. O Quadro 4 compara relatórios de AAE quanto à distribuição dos indicadores por receptor ambiental, registrando também o nome da categoria conforme adotado originalmente no documento. É possível observar que nestas AAEs os IdS empregados não contemplam a totalidade dos receptores, e em algumas a designação original da categoria difere muito da nomenclatura adotada na Directive 2001/42/EC, aqui tomada como padrão.


Retornando ao Quadro 3, observa-se que a totalidade dos relatórios analisados procedeu o emprego conjunto de IdS gerais e IdS específicos à respectiva situação. A desejável associação entre ambos permite identificar tanto impactos ambientais genéricos e inespecíficos, quanto impactos que são resultado peculiar da situação ou PPP em análise.

Em termos de número de indicadores empregados verificou-se que, nos doze relatórios analisados, o número variou entre catorze e cinquenta e sete (AAE nº 22 e 23, respectivamente). Em seu estudo, Ezequiel (2010) trabalhou com AAEs que continham 13 a 122 IdS (média: 52,4), sendo que em 71% daqueles casos foram identificados até 60 indicadores. Entre os relatórios analisados por Donnelly et al. (2008) houve uma tendência ao emprego de um número excessivo de indicadores, o que, afirmam, pode acarretar problemas em função dos recursos humanos e financeiros serem normalmente escassos.

A apresentação do valor de referência (base) dos indicadores foi verificada em poucos relatórios (quatro, ou 33,3%). Tal medida permite dimensionar quantitativamente e/ou qualitativamente a situação de referência, mostrando os "dados de partida" dos IdS, isto é, a descrição do contexto que está sendo analisado pela AAE. Permite, também, registrar padrões que serão posteriormente comparados com dados colhidos em diferentes estágios do PPP, possibilitando a avaliação dos impactos deste.

A periodicidade de coleta de dados (atualização) dos IdS e a menção da fonte ou órgão responsável por essa coleta são aspectos apontados, respectivamente, por cinco e seis relatórios. A ausência dessas informações dificulta o acompanhamento do processo, além de prejudicar a avaliação de sua efetividade, pois a atualização dos dados que compõem os indicadores é fundamental para o êxito da etapa de monitoramento e, como tal, da própria AAE. Donnelly et al. (2008) confirmam a pouca atenção dada às duas questões em análise, as quais também frequentemente não estavam contempladas nos relatórios que analisaram.

Os relatórios também foram avaliados quanto à existência ou não de sinalização do comportamento futuro dos indicadores. Este quesito refere-se à demonstração da provável variação quantitativa e/ou qualitativa no padrão dos IdS, causadas por (a) tendência natural de evolução do indicador, independente de qualquer ação; ou (b) efeito da aplicação do PPP, comparada à sua não aplicação; ou (c) efeito de possíveis cenários ou alternativas ("cenarização"). Apenas dois relatórios cumpriram o especificado. A ausência dessa informação impede uma visualização prévia dos efeitos potenciais - positivos e negativos - que a ação poderia determinar sobre os indicadores, impossibilitando a antecipação de tendências, elemento valioso na tomada de decisão.

Donnelly et al. (2007, p.169) recomendam que "o indicador deve ser simples e claro". Entretanto, a análise minuciosa dos relatórios aponta a ocorrência de IdS mal formulados ou descritos, com equívocos de teor e/ou na forma de apresentação. Um exemplo é o emprego de "indicadores" que, em realidade, são metas ou objetivos (Quadro 5), problema que, face à primariedade da questão, pode ser classificado como muito grave. Alguns IdS são demasiadamente amplos e/ou subjetivos, como o indicador "paisagem" (AAE nº 18, categoria "dados ambientais") e o indicador "transparência, participação, responsabilidade, eficácia, coerência" (AAE nº 22, categoria "governança"). Outra inadequação ocorre no uso de IdS equivalentes e que se sombreiam mutuamente, o que foi verificado na AAE nº 21 em relação aos indicadores "qualidade da água", "classificação quanto à qualidade química da água" e "classificação quanto à qualidade bacteriológica da água". Cabe destacar, ainda, a questionável classificação de alguns IdS, caso, por exemplo, dos indicadores "uso do solo" e "áreas de agricultura extensiva", alocados na categoria "ar" (AAE nº 21).


Concordando com Ezequiel (2010), constata-se que nem sempre o termo indicador é aplicado de forma adequada e criteriosa, servindo muitas vezes para, indevidamente, designar variados tipos de informação quantitativa e/ou estatística. Desta forma, a finalidade do uso do termo, ou o sentido a ele atribuído, não raro diferem entre relatórios, quando não entre diferentes partes do mesmo documento. Ainda que as equipes de elaboração de AAE sejam livres e soberanas para estabelecer seus métodos e critérios, é recomendável, senão indispensável, que haja um mínimo de consenso no que se refere a terminologia empregada.

Os resultados apresentados confirmam a grande diversidade existente entre relatórios de AAE, tanto na forma quanto no conteúdo (RETIEF, 2007b). Donnelly et al. (2008), avaliando relatórios da Inglaterra, Irlanda, País de Gales e Malta quanto ao emprego de IdS, classificou um relatório como "excelente", um como "bom", quatro como "adequados" e um como "inadequado", mostrando que, na maior parte dos casos, houve problemas nesse aspecto. Ao analisar dez relatórios canadenses, Noble (2009) observou que o critério "identificação de indicadores ou objetivos para iniciativas estratégicas ou atividades relacionadas ou subseqüentes" foi atendido plenamente por quatro relatórios, atendido parcialmente por outros quatro e não atendido pelos dois restantes. Fischer (2010), trabalhando com 117 relatórios de AAE da Inglaterra, verificou problemas na apresentação dos dados ambientais de base, como também no emprego destes para avaliar as opções ou alternativas do PPP, aspectos nos quais os IdS atuam fortemente. Zhou e Sheate (2011) enumeram várias inconsistências quanto à utilização de IdS em dois relatórios chineses, quesito no qual mereceram o mais baixo dos seis níveis de avaliação.

A AAE é, ainda, um conceito em construção, do qual muitos pesquisadores têm ressaltado e valorizado a sua peculiar flexibilidade, a ponto de Verheem e Tonk (2000) a definirem através da célebre expressão "one concept, multiple forms". Retief (2007a) considera, entretanto, que na prática alguns entendem "flexível e adaptável" como sinônimo de "vago e confuso". Diante disso, Gunn e Noble (2011, p.157) julgam que a AAE "sofre uma certa crise de identidade - tanto em conceito quanto em metodologia", o que a faz ser a ferramenta menos entendida da família do impacto ambiental (NOBLE, 2009). Este autor afirma que, no Canadá, a AAE é caracterizada por um pluralismo metodológico e institucional, ou seja, abrange uma gama de modelos e práticas que estão longe de mostrarem-se consolidadas, quer em âmbito ou em função, existindo, como consequência, uma considerável variabilidade nos resultados e expectativas. A clara não uniformidade aqui verificada quanto ao emprego de IdS corrobora essas afirmativas.

Conclusões

Nos estudos de AAE, os IdS, ainda que não indispensáveis, são considerados elementos de grande relevância, em particular quando devidamente associados a objetivos e metas ambientais. Deste modo, não só o uso, mas também a escolha dos IdS requer especial atenção, porquanto erros em qualquer uma destas etapas pode conduzir a conclusões equivocadas, com possibilidade de impacto danoso ao sistema em avaliação. A prospecção de relatórios vem sendo cada vez mais adotada como um método de avaliação da qualidade das AAEs, tendo os IdS como um critério qualitativo de notável importância.

A análise de vinte e oito relatórios de AAE, oriundos de vinte e um países, permitiu verificar que: (i) há uma grande diversidade - quer em forma ou em conteúdo - entre os relatórios; (ii) apenas 42,8% dos relatórios analisados enumeram os IdS propostos pela AAE; (iii) em três relatórios, o termo "indicador" sequer é mencionado; (iv) a análise dos relatórios que apresentam relação de IdS demonstrou a existência de deficiências qualitativas quanto à abordagem do tema, envolvendo aspectos como a ausência de definição conceitual do constructo indicador (verificada em 83% dos relatórios), de critérios de seleção dos IdS (67%), de apresentação de valor ou padrão de base (67%), de informação da periodicidade da coleta de dados de atualização (58%), da fonte ou responsável por tal coleta (50%) e da sinalização quanto ao provável comportamento futuro dos IdS (83%); e (v) em vários relatórios foram constatados problemas no tocante ao teor e formato de apresentação dos IdS, evidenciando-se itens mal formulados ou descritos, com alto grau de abstração e subjetividade, confundindo-se com metas ou objetivos. É imperioso destacar que os números aqui apresentados devem ser relativizados, isto é, vistos como indicativo de "uma expressiva proporção" e não na forma de um valor exato e absoluto. Em outras palavras, o mais importante não é "o quanto" estes percentuais representam em termos de grandeza numérica, mas sim "o que" significam do ponto de vista qualitativo, ao mostrar que a maior parte das AAEs apresentam falhas e deficiências quanto ao emprego de IdS.

Diante disso, e concordando com as observações da literatura, considera-se que os processos de AAE, de uma forma geral, devem merecer aprimoramentos no que tange à definição, apresentação e utilização de IdS, ou seja, é preciso evoluir tanto na perspectiva conceitual quanto operacional. A edição de um roteiro de "boas práticas" poderia ser muito útil nesse sentido.

Notas

Submetido em: 31/05/2012

Aceito em: 28/09/2012

Clique para ampliar

Referências bibliográficas

  • BARDIN, L. Análisis de contenido 3ª Ed. Madrid: Ediciones Akal, 2002.
  • BELL, S.; MORSE; S. Measuring sustainability: learning from doing. London: Earthscan, 2003. 189p.
  • BONDE, J.; CHERP, A. Quality review package for strategic environmental assessments of land-use plans. Impact Assessment and Project Appraisal, v.18, n.2, p.99-110, 2000.
  • BROWN, A.L.; THÉRIVEL, R. Principles to guide the development of strategic environmental assessment methodology. Impact Assessment and Project Appraisal, v.18, n.3, p.183-189, 2000.
  • CASHMORE, M.; BOND, A.; COBB, D. The role and functioning of environmental assessment: Theoretical reflections upon an empirical investigation of causation. Journal of Environmental Management, v.88, p.1233-1248, 2008.
  • DALAL-CLAYTON, B.; SADLER, B. Strategic Environmental Assessment: a sourcebook and reference guide to international experience. London: Earthscan, 2008. 470p.
  • DONNELLY, A.; JENNINGS, E.; MOONEY, P.; FINNAN, J.; LYNN, D.; JONES, M.; O'MAHONY, T.; THERIVEL, R.; BYRNE, G. Workshop approach to developing objectives, targets and indicators for use in SEA. Journal of Environmental Assessment Policy and Management, v.8, n.2, p.135-156, 2006a.
  • DONNELLY, A.; JONES, M.; O'MAHONY, T.; BYRNE, G. Decision-support framework for establishing objectives, targets and indicators for use in strategic environmental assessment. Impact Assessment and Project Appraisal, v.24, n.2, p.151-157, 2006b.
  • DONNELLY, A.; JONES, M.; O'MAHONY, T.; BYRNE, G. Selecting environmental indicator for use in strategic environmental assessment. Environmental Impact Assessment Review, v.27, p.161-175, 2007.
  • DONNELY, A.; O'MAHONY, T. Development and application of environmental indicators in SEA. In: SADLER, B.; ASCHEMANN, R.; DUSIK, J.; FISCHER, T.B.; PARTIDÁRIO, M.R.; VERHEEM, R. (Eds.). Handbook of Strategic Environmental Assessment London: Earthscan, 2011, p.337-355.
  • DONNELLY, A.; PRENDERGAST, T.; HANUSCH, M. Examining quality of environmental objectives, targets and indicators in environmental reports prepared for Strategic Environmental Assessment. Journal of Environmental Assessment Policy and Management, v.10, n.4, p.381-401, 2008.
  • DUSIK, J.; XIE, J. Strategic Environmental Assessment in East and Southeast Asia: a progress review and comparison of country systems and cases. Washington: The World Bank, 2009.
  • EEA - EUROPEAN ENVIRONMENTAL AGENCY. EEA core set of indicators: Guide. Luxembourg: Office for Official Publications of the European Communities, 2005. 38p. (EEA Technical Report nº 1/2005).
  • EZEQUIEL, A.S.R. Utilização de indicadores em Avaliação Ambiental Estratégica 143 f. Dissertação (Mestrado em Engenharia do Ambiente, perfil Ordenamento do Território e Impactes Ambientais) - Universidade Nova de Lisboa, Lisboa, 2010.
  • EZEQUIEL, S.; RAMOS, T.B. The state and role of indicators use in SEA. In: ANNUAL MEETING OF THE INTERNATIONAL ASSOCIATION FOR IMPACT ASSESSMENT, 31, Puebla, Mexico, 28/mai-04/jun./2011. IAIA 11 Conference Proceedings.. Puebla: IAIA, 2011.
  • FINNVEDEN, G.; NILSSON, M.; JOHANSSON, J.; PERSSON, Å.; MOBERG, Å.; CARLSSON, T. Strategic environmental assessment methodologies - applications within the energy sector. Environmental Impact Assessment Review, v.23, p.91-123, 2003.
  • FISCHER, T.B.; MATUZZI, M.; NOWACKI, J. The consideration of health in strategic environmental assessment (SEA). Environmental Impact Assessment Review, v.30, p.200-210, 2010.
  • FISCHER, T.B. Reviewing the quality of strategic environmental assessment reports for English spatial plan core strategies. Environmental Impact Assessment Review, v.30, p.62-69, 2010.
  • FISCHER, T.B. Theory and practice of Strategic Environmental Assessment: towards a more systematic approach. London: Earthscan, 2007. 186p.
  • GARFI, M.; FERRER-MARTÍ, L.; BONOLI, A.; TONDELLI, S. Multi-criteria analysis for improving strategic environmental assessment of water programmes. A case study in semi-arid region of Brazil. Journal of Environmental Management, v.92, p.665-675, 2011.
  • GUIMARÃES, R.P.; FEICHAS, S.A.Q. Desafios na construção de indicadores de sustentabilidade. Ambiente & Sociedade, v.12, n.2, p.307-323, 2009.
  • GUNN, J.; NOBLE, B.F. Conceptual and methodological challenges to integrating SEA and cumulative effects assessment. Environmental Impact Assessment Review, v.31, p.154-160, 2011.
  • HAYASHI, K.; SONG, Y.; AU, E.; DUSIK, J. SEA in the Asia Region. In: SADLER, B.; ASCHEMANN, R.; DUSIK, J.; FISCHER, T.B.; PARTIDÁRIO, M.R.; VERHEEM, R. (Eds.). Handbook of Strategic Environmental Assessment London: Earthscan, 2011, p.89-107.
  • JOÃO, E. A research agenda for data and scale issues in Strategic Environmental Assessment (SEA). Environmental Impact Assessment Review, v.27, p.479-491, 2007.
  • KRIPPENDORFF, K. Content analysis: an introduction to its methodology. 3ª Ed. Thousand Oaks: Sage Publications, 2012.
  • NGUYEN, D.L.; COOWANITWONG, N. Strategic environmental assessment application for sustainable transport-related air quality policies: a case study in Hanoi City, Vietnam. Environment, Development and Sustainability, v.13, n.3, p.565-585, 2011.
  • NOBLE, B.F. Promise and dismay: The stage of strategic environmental assessment systems and practices in Canada. Environmental Impact Assessment Review, v.29, p.66-75, 2009.
  • OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Applying Strategic Environmental Assessment: good practice guidance for development co-operation. Paris: OECD, 2006. 160p.
  • PARTIDÁRIO, M.R. Strategic Environmental Assessment Good Practices Guide: methodological guidance. Amadora: Portuguese Environment Agency, 2007.
  • PARTIDÁRIO, M.R. Strategic Environmental Assessment (SEA): current practices, future demands and capacity-building needs - Course Manual. Lisbon: IAIA, s.d. 71p.
  • RAGAS, A.M.J.; KNAPEN, M.J.; VAN DE HEUVEL, P.J.M.; EIJKENBOOM, R.G.F.T.M.; BUISE, C.L.; VAN DE LAAR, B.J. Towards a sustainability indicator for production systems. Journal of Cleaner Production, v.3, n.1-2, p.123-129, 1995.
  • RETIEF, F. A performance evaluation of strategic environmental assessment (SEA) processes within the South African context. Environmental Impact Assessment Review, v.27, p.84-100, 2007a.
  • RETIEF, F. A quality and effectiveness review protocol for Strategic Environmental Assessment (SEA) in developing countries. Journal of Environmental Assessment Policy and Management, v.9, n.4, p.443-471, 2007b.
  • SADLER, B.; VERHEEM, R. Strategic Environmental Assessment: status, challenges and future directions The Hague, Netherlands: Ministry of Housing, Spatial Planning and the Environment, 1996. (Report n.53).
  • SCOTT, P.; MARSDEN, P. Development of Strategic Environmental Assessment (SEA) methodologies for plans and programmes in Ireland: Synthesis report. Wexford: Environmental Protection Agency - EPA, 2003. 52p.
  • SHEATE, W.R.; DAAG, S.; RICHARDSON, J.; ASCHEMANN, R.; PALERM, J.; STEEN, U. SEA and integration of the environment into strategic decision-making V.1 (Main Report). London: ICON, 2001. 112p.
  • THERIVEL, R. SEA methodology in practice. In: THERIVEL, R.; PARTDÁRIO, M.R. (Eds.). The practice of Strategic Environmental Assessment London: Earthscan, 2002. p.30-44.
  • THERIVEL, R. Strategic Environmental Assessment in action 2ª Ed. London: Earthscan, 2010. 366p.
  • VAN BELLEN, H.M. Indicadores de sustentabilidade: uma análise comparativa. 2ª Ed. Rio de Janeiro: Editora FGV, 2006. 256p.
  • VERHEEM, R.A.A.; TONK, J.A.M.N. Strategic environmental assessment: one concept, multiple forms. Impact Assessment and Project Appraisal, v.18, n.3, p.177-182, 2000.
  • ZHOU, K.Y.; SHEATE, W.R. Case studies: Application of SEA in provincial level expressway infrastructure network planning in China: Current existing problems. Environmental Impact Assessment Review, v.31, p.521-537, 2011.
  • 4
    • África do Sul (
    National Environmental Management Amendment Act, 2004, de 14/07/2004, que alterou o
    National Environmental Management Act, 1998), Austrália (
    Environment Protection and Biodiversity Conservation Act 1999, de 16/07/1999), Canadá (
    The 1990 Cabinet Directive on the Environmental Assessment of Policy, Plan and Program Proposals), El Salvador (
    Ley de Medio Ambiente, de 02/03/1998), Peru (
    Decreto Legislativo N° 1078, de 28/06/2008), Tanzânia (
    The Environmental Management Act, 2004, de 11/11/2004), e Vietnã (
    Law on Environmental Protection - N° 52/2005/QH11, de 29/11/2005): países dotados de legislação própria que estabelece AAE;
    • Eslováquia, Hungria, Inglaterra, Irlanda, Irlanda do Norte, País de Gales, Portugal, Romênia e Suécia: países sujeitos à
    Directive 2001/42/EC;
    • Armênia, Geórgia e Ucrânia: países que subscreveram o
    Protocol on Strategic Environmental Assessment to the Convention on Environmental Impact Assessment in a Transboundary Context (Kiev, 21/05/2003).
  • 5
    Relatório/AAE nº 08 - China (DUSIK; CHIE, 2009, p.38; THERIVEL, 2010, p.7); Relatório/AAE nº 09 - China/Hong-Kong (HAYASHI et al., 2011, p.91; THERIVEL, 2010, p.7); e Relatório/AAE nº 13 - Ilhas Fiji (DALAL-CLAYTON; SADLER, 2007, p.301-302; DUSIK; CHIE, 2009, p.41; THERIVEL, 2010, p.7).
  • Datas de Publicação

    • Publicação nesta coleção
      17 Dez 2012
    • Data do Fascículo
      Dez 2012

    Histórico

    • Recebido
      31 Maio 2012
    • Aceito
      28 Set 2012
    location_on
    ANPPAS - Revista Ambiente e Sociedade Anppas / Revista Ambiente e Sociedade - São Paulo - SP - Brazil
    E-mail: revistaambienteesociedade@gmail.com
    rss_feed Acompanhe os números deste periódico no seu leitor de RSS
    Acessibilidade / Reportar erro