Funções estimáveis e hipóteses testáveis nos delineamentos ortogonais e parcialmente ortogonais com três fatores

Estimable functions and testable hypotheses in orthogonal and partially orthogonal designs with three factors

FUNÇÕES ESTIMÁVEIS E HIPÓTESES TESTÁVEIS NOS DELINEAMENTOS ORTOGONAIS E PARCIALMENTE ORTOGONAIS COM TRÊS FATORES

Denise Garcia de Santana^1,3*; Antonio Francisco Iemma2

¹Pós-Graduanda em Estatística e Experimentação Agronômica - USP/ESALQ.

²Depto. de Ciências Exatas - USP/ESALQ, C.P. 9 - CEP: 13418-900 - Piracicaba, SP.

³Bolsista PICDT-CAPES.

^*Autor correspondente <[e-mail]>

RESUMO: Em situações experimentais, não raro, o pesquisador depara-se com a impossibilidade de planejar experimentos balanceados. Um grave problema surge imediatamente, no tocante à interpretação das hipóteses testadas através dos sistemas estatísticos, principalmente quando há vários fatores envolvidos e se faz presente um alto grau de desbalanceamento. Diante disso, o objetivo deste trabalho foi o estudo das funções estimáveis e das hipóteses testáveis em delineamentos ortogonais e parcialmente ortogonais com três fatores, à luz do procedimento GLM do sistema estatístico SAS. Os efeitos principais para os quais o subespaço gerado é ortogonal a cada outro subespaço inerente aos demais fatores são estimáveis e, portanto, as hipóteses correspondentes são testáveis nos modelos sem interações. Na presença de interações, as funções estimáveis apresentam, além de parâmetros do próprio fator, parâmetros das interações nas quais o fator está presente. Para esses casos, independentemente do modelo conter ou não interações, as hipóteses sobre médias ponderadas (tipo I) são equivalentes às hipóteses sobre médias ponderadas ajustadas (tipo II) e, como conjunto completo é condição necessária para a ortogonalidade parcial ou plena, ocorre também a equivalência entre as hipóteses sobre médias não ponderadas ajustadas (tipos III e IV). A igualdade entre as hipóteses dos tipos I e II ocorre para todas as interações, nos delineamentos ortogonais, mas nos delineamentos parcialmente ortogonais, ocorre para as interações formadas pelos fatores que não forem ortogonais entre si. Nessas interações as funções estimáveis apresentam parâmetros da própria interação e parâmetros da interação tripla.

Palavras-chave: ortogonalidade, ortogonalidade parcial, estimabilidade

ESTIMABLE FUNCTIONS AND TESTABLE HYPOTHESES IN ORTHOGONAL AND PARTIALLY ORTHOGONAL DESIGNS WITH THREE FACTORS

ABSTRACT: In experimental situations, not rarely, the scientist faces the impossibility of planning balanced experiments. A serious problem arises immediately concerning the interpretation of the hypothesis tested with the statistical systems, mainly when a high unbalancing degree is present. Taking that into account, the objective of this work is focused on the study of the estimable functions and of the testable hypotheses in orthogonal and partially orthogonal designs with three factors. For the main effects, in which the generated subspace is individually orthogonal to the inherent subspaces to the other factors, are estimable and, therefore, the corresponding hypothesis is testable in models with no interactions. When interactions are present, the estimable functions present besides the parameters of the factor itself, parameters of the interactions in which the factor is present. In these cases, whether the model contains or not interactions, the hypotheses on weighted averages (type I) are equivalent to the hypothesis on proportional averages (type II) and, since the complete term is imperative for both full and partial orthogonalities, the equivalence between the hypotheses on non-proportional averages (types III and IV) also occurs. The equity between the hypotheses of the types I and II occurs in all interactions, in the orthogonal designs and, in the partially orthogonal designs, it also occurs in the interactions formed by the factors that were not orthogonal between themselves. In these interactions the estimable functions present parameters of the interaction itself, including parameters of the interactions of degree three.

Key words: orthogonality, parttial orthogonality, estimability

INTRODUÇÃO

A impossibilidade de planejar experimentos balanceados, que até poucas décadas gerava preocupação, do ponto de vista numérico e mesmo metodológico, com o advento dos bons sistemas estatísticos deixou de ser um problema grave. No entanto, persiste o problema da interpretação das hipóteses testadas através de tais sistemas, principalmente quando há vários fatores envolvidos e se faz presente um alto grau de desbalanceamento pois, em geral, as hipóteses sobre os efeitos principais de um dos fatores envolvem os efeitos principais de outros fatores, além dos efeitos das interações (Claustriaux & Iemma, 1999).

O estudo das hipóteses envolve o conhecimento das funções estimáveis, como definidas em Rao (1945), além de mecanismos práticos de obtenção dessas hipóteses. Dentre esses mecanismos encontram-se os quatro tipos de funções estimáveis incorporadas pelo Proc GLM (General Linear Model Procedure) do sistema estatístico SAS (Statistical Analysis System), (SAS Institute, 1990), que correspondem aos quatro tipos de hipóteses universalmente consagradas: as hipóteses do tipo I, descritas por funções de médias ponderadas não ajustadas; as do tipo II, descritas por funções de médias ponderadas ajustadas; as do tipo III, por funções de médias não ponderadas ajustadas e as do tipo IV, por funções de médias não ponderadas ajustadas, segundo a posição das caselas vazias (Iemma, 1991).

As hipóteses do tipo I para os efeitos principais, podem envolver parâmetros do outro fator quando, na presença de caselas vazias, ou mesmo em conjuntos completos não ortogonais de modelos sem interação, além de parâmetros da interação nos modelos com interação. Essa característica pode dificultar sobremaneira a interpretação dos resultados pelo pesquisador. As funções estimáveis do tipo II por serem ajustadas para outros fatores, podem testar hipóteses de maior interesse prático do pesquisador, quando não há caselas vazias. As funções estimáveis do tipo III são importantes no estudo de modelos com interações, mas quando o número de caselas vazias e o número de níveis do fator aumentam, elas podem ser complexas e mesmo fugir ao interesse prático da pesquisa (Mondardo, 1994).

Visando esclarecer tais situações este trabalho tem por objetivo o estudo das funções estimáveis e das hipóteses testáveis em delineamentos ortogonais e parcialmente ortogonais com três fatores, de modo a possibilitar uma orientação aos pesquisadores, quanto à testabilidade e quanto a forma das hipóteses de maior interesse em sua pesquisa, à luz do Proc SAS/GLM, tanto para os efeitos principais quanto para as interações.

MATERIAL E MÉTODOS

Material

Os exemplos utilizados para ilustrar as técnicas apresentadas nesse estudo, fazem parte do ensaio instalado com sementes de canafístula (Pelthophorum dubium Spreng), conduzido no Laboratório de Análise de Sementes da Escola Superior de Agricultura "Luiz de Queiroz" ¾ USP, com o objetivo de atender as necessidades metodológicas e didáticas da Tese de Doutoramento que deu razão a este artigo. O experimento constou de três fatores: temperatura (25 e 30^oC), substrato (rolo de papel e caixa "gerbox") e dormência (com e sem quebra de dormência), sendo que as freqüências de caselas foram determinadas em função do delineamento: ortogonal desbalanceado ou parcialmente ortogonal, com cada parcela composta por 50 sementes.

Métodos

O estudo dos delineamentos ortogonais com três fatores é uma extensão dos trabalhos de Iemma & Palm (1992), Iemma & Claustriaux (1997, 1998) e Claustriaux & Iemma (1999) sobre os delineamentos ortogonais com dois fatores, bem como da definição apresentada por Pearce (1953). Nesse artigo, o autor afirma que a ortogonalidade é garantida quando todos os pares de "classificações" são mutuamente ortogonais. Uma simplificação de tal definição implica que, independentemente do número de fatores do modelo, a ortogonalidade é obtida quando os fatores são ortogonais, dois a dois.

As idéias de Pearce (1953) associadas às de Azaïs (1994), de Iemma & Claustriaux (1997; 1998) e de Claustriaux & Iemma (1999) motivaram a seguinte definição:

Definição 1. Um delineamento com três fatores cruzados sem interações, caracterizado por: com i =1,..., a níveis do fator A; j =1,...,b níveis do fator B; k=1,..., c níveis do fator C e l =1,..., n_ijkobservações na casela (i; j; k), é dito ortogonal, se o subespaço gerado pelas colunas da submatriz de X referentes a cada fator, após o ajuste para m, é ortogonal a cada outro subespaço gerado pelas colunas das submatrizes de X referentes aos outros dois fatores, após o ajuste para m.

A matriz X do modelo linear apresenta, então, a seguinte partição:

onde: X_m é a submatriz de X referente à constante mX_a é a submatriz de X referente ao fator A; X_b é a submatriz de X referente ao fator B; X_g é a submatriz de X referente ao fator C.

Teorema 1. "Uma condição necessária e suficiente para que um delineamento com três fatores seja ortogonal é que as freqüências de caselas entre os fatores dois a dois sejam proporcionais" (Iemma & Santana, 2000).

Os autores mostram que a ortogonalidade induzida pelos subespaços dos fatores A e B, quando num modelo com três fatores o subespaço gerado por X_a após ajuste para X_m, é ortogonal ao subespaço gerado por X_b após ajuste para X_m, implica na proporcionalidade das freqüências de caselas, ou seja,

A prova da condição 1.1, decorre diretamente do fato de que os subespaços são ortogonais, se e somente se, o produto dos respectivos projetores ortogonais é nulo:

Dado que a expressão 1.2 pode ser escrita como:

Além disso, então, e, da mesma forma, Dada a idempotência de a expressão 1.3 pode ser posta na forma: resultando na seguinte condição de ortogonalidade:

onde:

e é a inversa generalizada de Moore-Penrose de X. Como então

As matrizes são de posto coluna completo e possuem inversa à esquerda, assim

Sendo e uma representação de cada termo de 1.5 pode ser obtida por:

que igualada à condição de ortogonalidade apresentada em 1.4 fornece:

Resolvendo-se algebricamente a expressão 1.6, obtém-se uma regra para a proporção entre as freqüências de caselas:

e, procedendo-se de modo análogo com os pares de fatores A e C e, B e C são obtidos:

Se as proporcionalidades de freqüências não ocorrem para todas as combinações de fatores dois a dois, mas ocorrem de tal modo que um dos fatores é ortogonal a cada outro fator, tem-se um delineamento parcialmente ortogonal como na definição 2.

Definição 2. Um delineamento com três fatores é dito parcialmente ortogonal, se o subespaço gerado pelas colunas da submatriz de X referentes a um dos fatores, após o ajuste para m é ortogonal a cada outro subespaço gerado pelas colunas das submatrizes de X referente aos outros dois fatores, após o ajuste para m.

Num delineamento parcialmente ortogonal com três fatores como na definição 2, três casos distintos podem ocorrer:

Caso 1. Apenas o subespaço gerado pelas colunas de X_a|m é ortogonal a cada outro subespaço gerado pelas colunas de X_b|m e X_g|m.

Em termos de freqüências de caselas, tem-se:

Caso 2. Apenas o subespaço gerado pelas colunas de X_b|m é ortogonal a cada outro subespaço gerado pelas colunas de X_a|m e X_g|m.

Em termos de freqüências de caselas, tem-se:

Caso 3. Apenas o subespaço gerado pelas colunas de X_g|m é ortogonal a cada outro subespaço gerado pelas colunas de X_a|m e Xb_|m.

Em termos de freqüências de caselas, tem-se:

Uma outra forma de verificar a ortogonalidade é a apresentada por Christensen (1987) para modelos com dois fatores (). Segundo o autor, a hipótese do tipo I é igual a hipótese do tipo II para qualquer fator do modelo, se e somente se e A igualdade ocorre para todo y, se e somente se

Sendo é suficiente mostrar que:

Condição suficiente: Se então,

Condição necessária: De fato, sabe-se que:

Assim, se for possível escrever verifica-se a condição necessária para se ter ortogonalidade.

RESULTADOS E DISCUSSÃO

A Tabela 1 apresenta os dados de um delineamento ortogonal desbalanceado que foi utilizado como exemplo de classificação de modelos com três fatores, no qual verificou-se, através das expressões 1.7, 1.8 e 1.9, que as freqüências entre os fatores dois a dois são proporcionais. Assim, o delineamento desbalanceado apresentado na Tabela 1 é ortogonal. Nesse contexto, as hipóteses sobre médias ponderadas (Tipo I) são iguais às hipóteses sobre médias ponderadas ajustadas (Tipo II), para todos os efeitos principais e interações. Como conjunto completo é condição necessária para a ortogonalidade, ocorre também a igualdade entre as hipóteses sobre médias não ponderadas (Tipo III e IV).

Modelo sem interações

No modelo sem interações, como descrito na definição 1, por conseqüência direta da ortogonalidade, as funções estimáveis para os efeitos principais envolvem apenas parâmetros relativos ao próprio fator. Esse resultado pode ser verificado a partir das informações fornecidas pelo sistema SAS e que se encontram transcritas de forma resumida nos itens a, b e c.

onde: corresponde a hipótese do tipo i para o fator A.

Algumas conseqüências da igualdade de hipóteses, em termos de somas de quadrados, são apresentadas na Tabela 2, mostrando que para o fator A as somas de quadrados associadas às hipóteses dos tipos I e II são iguais, ou seja: 12,0000. Para demonstrar tal igualdade, aplicou-se a prova apresentada por Christensen (1987) que se baseia na igualdade entre os projetores ortogonais de cada decomposição. Aqui, para um modelo com três fatores sem interações, a soma de quadrados de parâmetros, tem o seguinte projetor ortogonal: que corresponde ao projetor da matriz de delineamento X. Se o projetor P puder ser escrito como implica que o subespaço gerado por P' é igual ao subespaço gerado pelas colunas de X e, portanto, P' = P. Como então P' = P. Isso justifica a igualdade entre as decomposições, Como o projetor ajustado apenas para a constante m é igual ao projetor ajustado para todos o fatores simultaneamente, é esperado que a igualdade também ocorra quando o ajuste é feito para cada fator individualmente, assim o que implica na igualdade das seguintes decomposições: . Entretanto, para que o delineamento seja definido como ortogonal é preciso também que o subespaço gerado pelas colunas de e o subespaço gerado pelas colunas estejam individualmente contidos no subespaço gerado pelas colunas de X. Como, para exemplo da Tabela 1, e , então todas as decomposições da somas de quadrados para o fator B, são iguais, o mesmo acontecendo para o fator C Assim como para o fator A, a comprovação numérica da igualdade entre as somas de quadrados associadas às hipóteses dos tipos I e II para os fatores B e C pode ser obtida quando esses fatores são os primeiros declarados no modelo. Ainda na Tabela 2 verifica-se a igualdade entre as hipóteses dos tipos II e III para todos os efeitos principais, ou seja, 1088,8889; e

Uma das grandes implicações da ortogonalidade consiste no fato de que os delineamentos ortogonais, por construção, apresentam apenas uma partição ortogonal da soma de quadrados de parâmetros. Isso implica que a ordem de entrada dos fatores no modelo, deixa de ser importante, quando as somas de quadrados associadas às hipóteses dos tipos I e II são requeridas pelo pesquisador. Estes resultados que são característicos dos delineamentos ortogonais balanceados, contemplam hipóteses de grande interesse na pesquisa, e revelam a facilidade de interpretação das hipóteses quando os delineamentos são planejados de tal forma a gerar freqüências proporcionais.

Modelo com interações

Considerando o modelo com interações: para i= 1, ..., a níveis do fator A; j=1,...,b níveis do fator B, k = 1,...,c níveis do fator C e l=1,...,n_ijk observações de cada casela (i; j; k):

observa-se que a igualdade entre as hipóteses dos tipos I e II, é preservada para todos os efeitos principais e interações, à custa da ortogonalidade e entre os tipos III e IV pela ausência de caselas vazias. Contudo, os tipos II e III são diferentes para os efeitos principais e interações, a menos de casos particulares.

Nos modelos com interação, as funções estimáveis para os efeitos principais, envolvem além de parâmetros do próprio fator, parâmetros de interações nas quais o fator está presente. Para as interações, as funções estimáveis apresentam parâmetros da própria interação e parâmetros da interação de grau maior ao grau da interação em estudo. Os quatro tipos de funções estimáveis apenas para o fator A (itens a e b) e para a interação A*B (c e d) que foram transcritas dos resultados apresentados pelo Proc GLM do SAS estão apresentados na seqüência.

A igualdade entre as hipóteses dos tipos II e III, como verificado nos itens c e d não é esperada em conjuntos desbalanceados. Contudo, exceções podem ocorrer para algumas interações pois, apesar do desbalanceamento a hipótese do tipo II apresenta freqüências constantes. Assim, somente para essa interação, a hipótese sobre médias ponderadas eqüivale à hipótese sobre médias não ponderadas.

A Tabela 3 apresenta os resultados das somas de quadrados associadas aos quatro tipos de hipóteses fornecidas pelo SAS, quando o fator A e a interação A*B entre os efeitos principais e as interações, foram os primeiros a serem declarados. Ali pode ser visualiza a igualdade entre as somas de quadrados associadas as hipóteses dos tipos I e II para o fator A, e para a interação A*B, Outro resultado importante é a desigualdade entre as somas dos tipos II e III para todos os efeitos principais e interações, com exceção da interação A*B pois,

Se a ordem de entrada dos fatores e das interações são invertidas de forma que o fator B e, posteriormente, o fator C sejam declarados em primeiro lugar no modelo, verifica-se que Fato análogo pode ser observado para as interações A*C, com quando elas são declaradas, entre as interações, em primeiro lugar no modelo.

Delineamentos parcialmente ortogonais

A discussão da ortogonalidade parcial é feita, aqui, com base nos dados da Tabela 4 que, no estudo sobre a proporcionalidade das freqüências, mostra que apenas o fator A apresenta freqüências proporcionais aos demais fatores, conforme descrito no caso 1 do item material e métodos.

Modelo sem interações

O delineamento parcialmente ortogonal descrito na Tabela 4, apresenta igualdade entre as hipóteses dos tipos I e II apenas para o fator A, em função da ortogonalidade e, consequentemente, as funções estimáveis para o fator A não apresentam parâmetros dos outros fatores (item a). Como as freqüências de caselas entre os fatores B e C não são proporcionais, as hipóteses dos tipos I e II para o fator B e para o fator C são diferentes. A forma da função estimável do tipo I para o fator B revela, no item b, a presença de parâmetros do fator C, em conseqüência da não ortogonalidade entre os subespaços gerados pelas colunas da matriz X, do delineamento, relativas a esses dois fatores e, naturalmente, a ausência de parâmetros do fator A. De modo análogo para o fator C , item c, as funções estimáveis envolvem parâmetros do fator B e não envolvem parâmetros do fator A.

Algumas das conseqüências da ortogonalidade parcial sobre as somas de quadrados associadas ao exemplo da Tabela 4, são apresentadas na Tabela 5 que revela para o fator A a igualdade entre as somas de quadrados associadas às hipóteses dos tipos I e II, ou seja, Como o modelo não contém interações, ocorre para todos os efeitos principais a igualdade entre as somas de quadrados associadas às hipóteses dos tipos II e III, isto é,

Como as freqüências entre os fatores B e C não são proporcionais, a soma de quadrados associada à hipótese do tipo I para o fator B não é igual a soma de quadrados associada à hipótese do tipo II, ou seja, o mesmo ocorrendo para o fator C, com

Modelo com interações

Resultados ainda mais reveladores sobre a ortogonalidade parcial, ocorrem quando o modelo contém interações. A forma das funções estimáveis para os efeitos principais e para as interações, está condicionada à combinação ou às combinações entre os fatores que apresentaram freqüências de caselas proporcionais. Como no exemplo da Tabela 4 apenas o fator A apresenta freqüências proporcionais aos demais fatores, as funções estimáveis de A envolvem parâmetros do próprio fator e parâmetros das interações onde o fator está presente; interações A*B, A*C e A*B*C, como se observa no item a. Entretanto, agora, as funções estimáveis do tipo I para o fator B apresentam, além de parâmetros do próprio fator e do fator C, parâmetros de todas as interações. Da mesma forma ocorre para o fator C.

Entre as interações, a única que apresenta funções estimáveis do tipo I iguais as do tipo II é a interação B*C , justamente a interação formada pelos fatores que não apresentam freqüências proporcionais entre si (Santana & Iemma, 2000), apresentando parâmetros da própria interação e parâmetros da interação tripla, item b. Entretanto, as funções estimáveis do tipo I para as interações A*B e A*C só não apresentam parâmetros dos efeitos principais e da interação B*C.

A Tabela 6 mostra que, entre os efeitos principais, apenas o fator A apresenta somas de quadrados iguais paras as hipótese dos tipos I e II, ou seja, Fato análogo pode ser observado para a interação B*C, justamente a interação formada pelos fatores que não apresentaram freqüências proporcionais entre si, B*C. Assim, Para as demais interações, A*B e A*C conforme comentado anteriormente, tal igualdade não ocorre. Assim, como pode ser observado:

Planejamento

Na Tabela 7 estão ilustradas, a partir de diagramas que representam a ortogonalidade entre subespaços gerados pelas submatrizes de X referentes a cada fator, a igualdade entre hipóteses de delineamentos ortogonais, balanceados ou desbalanceados e, parcialmente ortogonais com até três fatores.

Com os diagramas, o pesquisador pode obter uma orientação para determinar qual ou quais combinações de fatores deverão apresentar freqüências proporcionais para que as hipóteses de seu interesse, tanto para efeitos principais quanto para interações, sejam testáveis.

Delineamentos ortogonais desbalanceados e parcialmente ortogonais devem ser planejados pois, em geral, dificilmente um desbalanceamento acidental gera freqüências proporcionais de caselas. Nesses casos, se o grau de desbalanceamento permitir, pode ser conveniente que algumas observações sejam retiradas aleatoriamente do conjunto de dados, de modo que se obtenha ortogonalidade, simplificando sobremaneira a forma das hipóteses e, até mesmo, tornando estimáveis hipóteses cujas funções de origem nem mesmo eram estimáveis.

Recebido em 13.12.00

• AZAÏS, J.M. Analyse de variance non-orthogonale: l´éxemple de SAS/GLM. Review of Statistic Applied, v.17, p. 27-41, 1994.
• CHRISTENSEN, R.A.  Plane answer to complex questions: the theory of linear models. New York :Spring-Verlag, 1987. 380p.
• CLAUSTRIAUX, J.j.;IEMMA, A.F.   A propos des qalificatif complet, orthogonal et équilibré en analyse de la variance. Notes de Statististique et d´Informatique, v.2, p.1-16, 1999.
• IEMMA, A.F.  Testes de hipóteses em modelos com amostras desequilibradas Gembloux: Faculté des Sciences Agronomiques, 1991. 101p.
• IEMMA, A.F.; CLAUSTRIAUX, J.J.   Une condition necéssaire et suffisante pour que l´analyse des resultats d´une expérience croisée soit orthogonale. Gembloux: Faculté des Sciences Agronomiques, 1997. 21p.
• IEMMA, A.F.; CLAUSTRIAUX, J.J.    Sobre os termos "completo", "ortogonal" e "balanceado" em análise de variância. Piracicaba: Escola Superior de Agricultura "Luiz de Queiroz", 1998. 36p.
• IEMMA, A.F.; PALM, R. Les inverses généralisées et leur application dans le modéle lineaire. Gembloux. Notes de Statististique et d´Informatique, v.1, p.1-25, 1992.
• IEMMA, A. F.; SANTANA, D. G. Delineamentos ortogonais com três fatores: teoria e hipóteses sobre os parâmetros. In: REUNIÃO ANUAL DA REGIÃO BRASILEIRA DA SOCIEDADE INTERNACIONAL DE BIOMETRIA, 45., São Carlos, 2000. Resumos São Carlos: UFSCar, 2000. p.186.
• MONDARDO, M. Estimabilidade de funções estimáveis paramétricas com dados desbalanceados através do PROC GLM dos SAS: aplicações à pesquisa agropecuária. Piracicaba, 1994. 166p. Tese (Doutorado) - Escola Superior de Agricultura " Luiz de Queiroz", Universidade de São Paulo.
• PEARCE, S.C. Field experimentation with fruit trees and othres perenial plants. Technics Communication, v.23, 1953.
• RAO, C.R. Linear statistical inference and its applications New York: John Wiley & Sons, 1945. 522p.
• SANTANA, D. G.; IEMMA,  A. F.  Delineamentos ortogonais e parcialmente ortogonais: planejando para testar hipóteses de interesse. In: REUNIÃO ANUAL DA REGIÃO BRASILEIRA DA SOCIEDADE INTERNACIONAL DE BIOMETRIA, 45., São Carlos. Resumos São Carlos: UFSCar, 2000. p.186.
• SAS Intitute. SAS User´s guide: statistics version 6 edition. Cary: Statistical Analysis System Institute, 1990. 846p.

Datas de Publicação

• Publicação nesta coleção
  03 Out 2002
• Data do Fascículo
  Jun 2002

Histórico

• Recebido
  13 Dez 2000