Desenvolvimento e Avaliação da Usabilidade e Acessibilidade de um Protótipo de Jogo Educacional Digital para Pessoas com Deficiência Visual²

Development and Evaluation of Usability and Accessibility of an Educational Digital Game Prototype Aimed for People with Visual Impairment

RESUMO:

Um jogo educacional digital deve ser projetado para que qualquer pessoa possa usá-lo como objeto educacional, sobretudo pessoas com deficiência visual. Entretanto, muitas vezes, não são incluídos e avaliados aspectos de acessibilidade. Objetiva-se, com este artigo, relatar o planejamento e o desenvolvimento de um protótipo de jogo educacional digital para o ensino interdisciplinar de Ciências, Matemática e Educação Científica, bem como a execução da avaliação da acessibilidade com três pessoas com deficiência visual, para garantir um design colaborativo desde os passos iniciais de elaboração do jogo. O protótipo foi desenvolvido de acordo com as etapas de um método de produção de jogos; a execução da avaliação da acessibilidade e da usabilidade foi conduzida por meio de um protocolo adaptado, baseado no Think-Aloud Protocol, com três jogadores com deficiência visual. Os resultados identificaram desafios com os recursos de áudios e as propostas de soluções e, também, com a importância de padronizar as descrições das telas, a proposição de botões para garantir a jogabilidade, e a necessidade de fornecimento de feedback dado pelo jogo após o cumprimento da tarefa. Conclui-se que o design deve ser proposto em parceria colaborativa com diferentes públicos para garantir o desenho universal no desenvolvimento de jogos educacionais inclusivos.

PALAVRAS-CHAVE:
Educação Especial; Jogos Pedagógicos; Educação das Pessoas com Deficiência

ABSTRACT:

A digital educational game must be designed so that anyone can use it as an educational object, especially people with visual impairments. However, accessibility aspects are often not included and evaluated. The objective of this paper is to report the planning and development of a prototype of a digital educational game for the interdisciplinary teaching of Sciences, Mathematics and Science Education, as well as the execution of the accessibility evaluation with three visually impaired people, to ensure a collaborative design from the initial steps of elaborating the game. The prototype was developed according to the steps of a game production method; the execution of the accessibility and usability evaluation was conducted through an adapted protocol, based on the Think-Aloud Protocol, with three visually impaired players. The results identified challenges with the audio resources and the proposed solutions, and also with the importance of standardizing the descriptions of the screens, the proposition of buttons to guarantee the gameplay, and the need to provide feedback given by the game after the fulfillment of the task. It is concluded that the design must be proposed in a collaborative partnership with different audiences to guarantee universal design in the development of inclusive educational games.

KEYWORDS:
Special Education; Educational Games; Education of People with Disabilities

1 Introdução

A Constituição da República Federativa do Brasil (1988) garante que a educação escolar é um direito de todos, independentemente de raça, gênero, renda. Com o avanço nas discussões, o movimento pela inclusão ganhou força no contexto mundial, principalmente após a publicação da Declaração Mundial de Educação para Todos (Organização das Nações Unidas para a Educação, a Ciência e a Cultura [UNESCO], 1990) e da Declaração de Salamanca (UNESCO, 1994). Ao propor o debate educacional na perspectiva inclusiva, é fundamental garantir recursos educacionais que possam ser delineados a partir do desenho universal, legislado sob a Lei nº 13.146, de 6 de julho de 2015, que instituiu a Lei Brasileira de Inclusão da Pessoa com Deficiência, no sentido de propor concretamente a educação para todos.

A partir da parceria interdisciplinar entre Ciência da Computação, Educação e Psicologia, um recurso que tem sido amplamente utilizado como apoio aos processos de ensino e de aprendizagem é o jogo digital educacional (Lima, 2008). Jogos digitais são aplicações que têm sido desenvolvidas e usadas para diferentes objetivos: entreter, educar, recrutar, treinar ou divulgar produtos e serviços (Novak, 2010). Além disso, eles têm sido usados com sucesso nos processos de ensino e de aprendizagem, ao propor objetivos pedagógicos que visam ao ensino de conteúdos específicos (Mattar, 2010; Novak, 2010). Para atender a esses objetivos, alguns elementos são essenciais, como a jogabilidade, a interatividade, a usabilidade e o sistema de feedback (visual e sonoro).

Jogabilidade é o grau de experiência do participante durante a sua interação com o jogo, isso inclui interatividade, consistência, desafio e usabilidade (Novak, 2010; Schuytema, 2008). O jogo deve ser interativo e consistente com as suas regras, a sua lógica e interface, e não deve apresentar erros. Os desafios devem estar conectados e serem progressivos, a interface deve ser funcional, ou seja, simples, eficiente, consistente e clara (Novak, 2010), e os objetivos devem ser explícitos com instruções e regras (Stahl, 1991). A mecânica do jogo é o que definirá a sua finalidade. Sato e Cardoso (2008), por exemplo, utilizam como critérios as características dos desafios que serão propostos no jogo, a variedade de escolha para atingir o objetivo, a jogabilidade e a relação ação-reação entre o jogo e o jogador. O gênero do jogo também pode variar, tais como role-playing game (RPG), ação, aventura, estratégia, simulação, quebra-cabeça (Sato & Cardoso, 2008).

Para ser usado como instrumento de educação, o jogo digital deve ter conteúdo e objetivos pedagógicos (Silva et al., 2016). Definir esses objetivos significa estruturar, em pequenas etapas, os processos de ensino e de aprendizagem para que o jogo favoreça o aluno nas mudanças de pensamentos, de habilidades e de atitudes (Ferraz & Belhot, 2010). Assim planejado, um jogo pode ser motivador e facilitador do aprendizado (Savi, 2011).

A revisão sistemática, realizada por Tsutsumi et al. (2020), de estudos empíricos que avaliaram o uso de jogos educativos na aprendizagem de conteúdos acadêmicos de estudantes, identificou que a maioria dos participantes era crianças, com ênfase em jogos eletrônicos e na área da Matemática. Em uma revisão anterior (Panosso et al., 2015), foi conduzida uma análise dos jogos educacionais que se propunham a arranjar contingências de ensino para a promoção da aprendizagem. Como resultados, foram identificados nos jogos analisados estratégias de ensino e motivacionais, consideradas como fundamentais para atingir a aprendizagem dos estudantes, o que significa a modificação comportamental esperada para o objetivo de ensino delineado.

Ao revisar a literatura é possível identificar uma variedade de jogos educacionais (digitais ou não). Como exemplos de uso de jogos não-acessíveis, podem ser citados os de apoio ao ensino de Computação (Wangenheim & Wangenheim, 2012), Química (Focetola et al., 2012), Língua Portuguesa (Ribeiro, 2013), Física (Diniz & Santos, 2019), de regras de descarte de resíduos sólidos (Balan et al., 2020). Entre os jogos acessíveis, citam-se os de ensino-aprendizagem de ecologia para surdos (Silva et al., 2013), o uso de jogo como quebra-cabeça na interação entre professor e aluno com autismo (Novaes & Freitas, 2019) e o ensino de Química em Libras (Rocha et al., 2019).

Mesmo com o crescimento da área de desenvolvimento de Jogos Educacionais Digitais (JEDs), Yuan et al. (2011) salientam que não são todos os alunos que têm acesso aos jogos, como, por exemplo, no caso de alunos com deficiência que apresentam certas dificuldades, em função do jogo não considerar os requisitos de acessibilidade em seu design, a partir de uma interface com o usuário ou mecânicas adaptadas a jogadores com deficiência (Csapó et al., 2015). Portanto, ao propor um jogo educacional, é necessário garantir um design cuidadoso entre os objetivos de aprendizagem e assegurar a ludicidade ao longo desse processo (Tsuda et al., 2014).

Assim, garantir um design que considere o desenho universal documentado na Lei Brasileira de Inclusão da Pessoa com Deficiência (Lei nº 13.146/2015) pode ser uma estratégia fundamental no desenvolvimento da Tecnologia Assistiva no Brasil, no ambiente de sala de aula inclusiva, em que todos possam utilizar um mesmo recurso com um mesmo objetivo, sem a necessidade de qualquer adequação curricular. No Cap. 1, Art. 3º, inciso III da Lei Brasileira de Inclusão da Pessoa com Deficiência (Lei nº 13.146/2015), Tecnologia Assistiva refere-se aos “produtos, equipamentos, dispositivos, recursos, metodologias, estratégias, práticas e serviços que objetivem promover a funcionalidade, relacionada à atividade e à participação da pessoa com deficiência ou com mobilidade reduzida, visando à sua autonomia, independência, qualidade de vida e inclusão social”.

No contexto de Tecnologia Assistiva, podem ser identificadas várias funcionalidades, por exemplo, estratégia para o desempenho motor de aluno com paralisia cerebral discinética (Gonçalves et al., 2013) e uso de recursos multimídia para crianças em tratamento hospitalar (Carvalho et al., 2020). O uso de tecnologias inovadoras está presente em diferentes espaços, desde o letramento como segunda língua de pessoas surdas (Silva et al., 2013) até outras possibilidades e outros ambientes inclusivos, assim como em sala de aula e em classes hospitalares.

Nesse âmbito, foram realizadas pesquisas que visam à adaptação de diversos ambientes, como jogos e softwares, para Pessoas com Deficiência (PcD) (Cheiran, 2013; Locatelli & Alves, 2018). Considera-se, portanto, que os JEDs devem ser projetados, na perspectiva de desenho universal, de modo a incluir qualquer pessoa, sobretudo as PcD nos processos de ensino e de aprendizagem (Cheiran, 2013). Assim, o design é considerado como um dos procedimentos mais importantes para o desenvolvimento dos jogos durante todo o seu processo de criação (Perkoski et al., 2016).

Para o entendimento de jogos (educacionais) acessíveis, é preciso atentar-se, antes, para dois fatores importantes: usabilidade e acessibilidade em jogos digitais (Ferreira & Nunes, 2008; Novak, 2010). A usabilidade refere-se à descrição da qualidade da interação do usuário (jogador) com uma interface (Ferreira & Nunes, 2008). A interface deve ter funcionalidade e não apenas estética, pois uma interface visualmente bonita que não seja funcional se torna ineficaz para o usuário. Isso não significa que a parte estética mereça uma menor atenção, mas, sim, que ela deve ser analisada após a avaliação da usabilidade (Novak, 2010). Em jogos digitais, há um grau elevado de interatividade, o que requer alto nível de usabilidade (Novak, 2010). No caso de jogos, a usabilidade é determinada por ser compreensível (controles intuitivos), consistente (não há conflitos de lógica e de estilo com o jogo) e eficiente (o usuário não perde tempo na compreensão da interface) (Novak, 2010).

Já a acessibilidade digital indica a possibilidade de qualquer pessoa acessar recursos computacionais, como jogos digitais (Ferreira & Nunes, 2008). Para a inclusão dos jogadores com deficiência visual (DV), é preciso permitir leitores de tela (NVDA, por exemplo) para a leitura dos conteúdos e das informações exibidas (Ferreira & Nunes, 2008; Novak, 2010). A DV envolve cegueira (acuidade visual igual ou menor que 0,05 no melhor olho) e baixa visão (acuidade visual entre 0,3 e 0,05 no melhor olho, com a correção óptica) (Decreto nº 5.296, de 2 de dezembro de 2004).

Diante das diferentes especificidades inerentes a cada comprometimento da acuidade visual, as descrições devem ser feitas de maneira detalhada e objetiva para que as pessoas com DV (seja com cegueira ou baixa visão) possam jogar nas mesmas condições que as pessoas sem DV. Alertas sonoros são fundamentais para indicação dos acontecimentos do jogo (Novak, 2010). Textos da interface precisam ter tamanhos suficientemente grandes (24, por exemplo, para pessoas com baixa visão), ou opção para aumentá-los; estar em uma fonte básica (tal como Arial); e ter elevado contraste com o cenário, para destaque e legibilidade (ou opção de alto contraste para a interface do jogo) (Novak, 2010).

Os recursos de interface e áudio são elementos importantes dentro de um jogo (Novak, 2010; Schuytema, 2008) e, ainda, devem garantir a acessibilidade para diferentes usuários. A interface do jogo pode ter elementos manuais, tais como joystick, teclado e mouse; e elementos visuais de interação, como botões e menus, ou informações na tela, como pontuação e tempo (Novak, 2010). O áudio do jogo inclui efeitos sonoros (feedback sonoro de um evento, tal como abrir uma porta, colidir com uma parede ou os passos do jogador em diferentes solos), narrações, músicas e diálogos falados (Schuytema, 2008).

No contexto de recursos de acessibilidade para pessoas com DV, Dantas et al. (2013) apresentam o Blinds, Education and Mathematics (BEM), um objeto de aprendizagem voltado para o ensino de operações básicas de Matemática para pessoas com e sem DV. O jogo possui funcionalidades de síntese de voz e o uso de teclas de atalho. Uma segunda versão foi proposta por Macêdo et al. (2017), que acrescentaram a funcionalidade de reconhecimento de voz. As versões foram avaliadas por 4 e 6 pessoas com DV, respectivamente, porém não foi descrito o protocolo de testagem.

Corrêa et al. (2015) apresentam um sistema de avaliação didática acessível para tablets, em formato de quiz, que pode ser usado por pessoas com DV. Foi desenvolvido para as ferramentas de acessibilidade do Android: leitor de tela; feedback tátil; navegação por toques, duplo toques e gestos; digitação falada por meio do teclado QWERTY; reconhecimento de voz; zoom; texto aumentado e cores invertidas. O jogo foi avaliado por sete alunos com DV. O protocolo de testagem se resume em: (i) selecionar alunos por meio de um questionário de perfil; (ii) dividir os alunos em dois grupos: cegueira total e baixa visão; (iii) realizar um treinamento sobre o jogo com os alunos; (iv) entregar um roteiro de tarefas para o avaliador; (v) anotar o tempo em cada tarefa e observações sobre a interação; e (vi) aplicar um questionário de satisfação por meio de entrevista.

Vaz et al. (2016) apresentam um jogo para auxiliar pessoas com DV no ensino de química: QuiSalino. O jogo aborda conceitos de nomenclatura e formulação de sais inorgânicos, em formato de quiz. Todos os elementos do jogo, como imagens, fórmulas, botões e alternativas, são descritivos, para que possam ser lidos pelo leitor de tela. No entanto, não houve uma avaliação do jogo com o público-alvo. Silva (2017) apresenta a descrição de cinco audiogames que exploram teclas de atalhos e efeitos sonoros correspondentes às ações do jogador. Ademais, há uma interface gráfica bem elaborada, para ser usada por PcD visual ou não. A avaliação ocorreu em três partes: (i) coleta de informações do perfil do usuário; (ii) exploração livre do jogo; e (iii) resposta ao questionário de satisfação. Contudo, o trabalho só apresenta resultados com testes com os próprios desenvolvedores (que jogaram com os olhos vendados), e não relata os testes feitos com pessoas com DV. Além disso, são jogos de entretenimento, não levam em consideração, portanto, aspectos pedagógicos.

Sobral et al. (2017) apresentam um audiogame no formato RPG: A Cidade de Ominicron. O jogo aborda conceitos e conhecimentos básicos de Matemática e Português, inseridos em um enredo no qual o jogador é uma criança cega que precisa salvar a cidade de robôs malignos. A interface contém apenas a logomarca do jogo como elemento gráfico; o jogador deve se orientar pelos efeitos sonoros e pelas narrativas. Os passos da avaliação foram: (i) levantamento do perfil do usuário; (ii) aplicação do jogo; e (iii) aplicação de um questionário semiestruturado sobre a jogabilidade e a interatividade. Os usuários cegos relataram dificuldade em acompanhar a narrativa.

Gerding et al. (2018) apresentam um jogo de memória acessível, customizável (via REMAR¹¹) e em multiplataforma. Por ser acessível, o jogador pode usar as teclas de direção para navegar entre as cartas e a “barra de espaço” para revelar o seu conteúdo. Todas as ações do jogo correspondem a um feedback sonoro. Na avaliação da acessibilidade, os usuários com DV relataram a falta de uma explicação no início do jogo sobre objetivos, mecânica, entradas, feedback sonoro e distribuição das cartas.

De acordo com os estudos citados, um não descreveu o protocolo de testagem (Macêdo et al., 2017), dois não testaram com pessoas com DV (Silva, 2017; Vaz et al., 2016) e outros dois apresentaram relatos preocupantes dos usuários cegos, como a dificuldade para acompanhar a narrativa (Sobral et al., 2017), os desafios sobre explicações iniciais a respeito do jogo, a mecânica e os feedback sonoro (Gerding et al., 2018).

Garantir a avaliação da usabilidade é fundamental para o desenvolvimento de jogos acessíveis, além de assegurar uma alta qualidade do uso de um jogo. A avaliação da usabilidade tem como objetivo identificar as necessidades de usuários, de problemas de interação ou de interface, e verificar se o jogo é acessível a todos os tipos de usuários (Prates & Barbosa, 2003). Ela pode ser classificada como: (i) avaliação preditiva: avalia as diretrizes e a interface com uso de padrões, normas, guias de estilo e heurísticas, com a participação de especialistas; (ii) avaliação subjetiva com usuário: uso de técnicas baseadas em opiniões e relatos, por exemplo, estudo de campo, grupos focais e Think-Aloud; e (iii) avaliação objetiva com usuário: baseada em técnicas com medições quantitativas, tal como teste de usabilidade (Preece et al., 2008).

Protocolos de avaliação da usabilidade podem ser empregados para avaliar alguns aspectos de acessibilidade (Prates & Barbosa, 2003). Sánchez e Hassler (2007) apresentam um protocolo de avaliação subjetiva de design e da usabilidade de um jogo para PcD visual. O jogo usado na avaliação explora o corpo humano (órgãos, estruturas e processos) e usa texto falado para descrever o ambiente e as interações com o software e os outros jogadores. No protocolo proposto, são avaliados aspectos de acessibilidade, como os comandos de teclado e os elementos de áudios. O protocolo abrange sete passos: (i) introdução breve ao software; (ii) interação do usuário com o software; (iii) anotação da observação do usuário; (iv) aplicação de questionário; (v) gravação da sessão (vídeo ou fotografia); (vi) produção do relatório de protocolo de sessão; e (vii) elaboração de projeto e redesenho do software.

O processo de design em jogos digitais educacionais, que visam ao ensino de conteúdos acadêmicos, envolvendo pessoas com DV, é pesquisado em vários contextos, uma vez que considera a importância do desenho universal no desenvolvimento de Tecnologia Assistiva - Lei nº 13.146/2015: o papel de jogos no ensino de conteúdos acadêmicos diversificados (Balan et al., 2020; Diniz & Santos, 2019; Focetola et al., 2012; Rocha et al., 2019); os benefícios de um jogo educacional para pessoas com e sem DV (Dantas et al., 2013; Macêdo et al., 2017); o design para garantir que pessoas com DV possam jogar nas mesmas condições das pessoas videntes, como o uso de descrições, áudios e tamanho de tela (Novak, 2010; Schuytema, 2008).

Desse modo, este trabalho tem como objetivo relatar o planejamento e o desenvolvimento de um protótipo de jogo educacional digital, bem como a execução da avaliação da acessibilidade com três pessoas com DV, desde o momento inicial da elaboração do jogo, a fim de garantir um design construído de maneira colaborativa para atender às diversas demandas relacionadas aos requisitos de acessibilidade, como descrição de tela, atalhos de teclado, sons binaurais, entre outros. Para isso, foi desenvolvido o protótipo do jogo digital intitulado “Expedição Antártica”, que visa ao ensino interdisciplinar de Ciências, Matemática e Educação Científica. A prototipação envolveu as etapas de pré-produção (idealização de uma missão do jogo), produção (implementação do protótipo), testes (execução de testes funcionais e de acessibilidade com pessoa com DV) e finalização (descrição do aprendizado e planejamento de melhorias para nova versão), baseadas em Chandler (2012).

2 Desenvolvimento do protótipo do jogo educacional

Nesta seção, são descritas as etapas de desenvolvimento do protótipo do JED “Expedição Antártica”, conforme o método de produção de jogos apresentado por Chandler (2012), do ponto de vista da equipe de desenvolvimento¹²: (i) pré-produção: descrição do conceito, requisitos do jogo (de arte, design e engenharia) e planejamento do projeto; (ii) produção: implementação do plano e rastreamento do projeto; (iii) testes: validação do plano e liberação do código; e (iv) finalização: aprendizado com a experiência.

2.1 Pré-produção

A “Expedição Antártica” é um JED para o ensino interdisciplinar de Ciências, Matemática e Educação Científica, voltado para estudantes de cursos de licenciatura, com ênfase no ambiente antártico. Trata-se de um jogo RPG top-down multiplataforma, no qual o jogador experimenta uma aventura pela Antártica em busca de coletar, analisar e enviar dados para pesquisas de Ciência Cidadã. O jogador deverá conhecer a importância da formação de uma cultura científica engajada com as novas tendências de popularização da ciência e realizar as inter-relações entre os conhecimentos escolares e científicos (Oliveira et al., 2019).

O protótipo descrito é parte de uma das missões do jogo, na qual o objetivo principal é conhecer o processo de fotoidentificação de uma baleia, ao participar de um projeto de Ciência Cidadã. O jogador deve observar baleias jubarte, fotografar e identificar sua cauda em um catálogo (objetivos planejados pela equipe de conteúdo). Foram identificados os seguintes requisitos de acessibilidade: (i) descrição em cada tela e leitor de telas; (ii) atalhos de teclado (funções e navegação no cenário do jogo); (iii) sons binaurais (3D) (ambiental, de colisão, de animais) para aumentar a imersão e o controle de volume; e (iv) glossário com fotos, descrições, sons e vídeos em Libras. Os requisitos foram levantados pelas equipes de análise e de desenvolvimento, em conjunto à equipe de acessibilidade e PcD visual.

2.2 Produção

O motor de jogos Unity3D, na versão 2018.2.18f1, foi selecionado para o desenvolvimento do jogo, principalmente por ter documentação atualizada, suporte pela comunidade e requisitos de acessibilidade. Para a audiodescrição, foi escolhida a biblioteca Tolk¹³, que permite a detecção dos leitores de tela instalados e realiza a leitura dos textos do jogo. Algumas falas de personagens foram gravadas. Por ser um protótipo, a arte não é definitiva: parte dos desenhos foi feita com Adobe Photoshop®; algumas imagens e sons foram obtidos de repositórios online gratuitos; os vídeos de Libras para essa versão temporária foram reusados do site Acessibilidade Brasil¹⁴e as animações de pássaros e baleias foram criadas por um ilustrador. Animações, imagens e vídeos de Libras finais foram criados pelas equipes de design e de tradução, participantes deste projeto.

Para a versão do protótipo, o jogador pode escolher o idioma (português ou inglês) (Figura 1-a), acessar um minijogo, alterar o volume no menu de opções e acessar o glossário (Figura 1-b). Ao clicar no Glossário, uma tela é apresentada com o alfabeto na parte superior e uma lista com as palavras cadastradas (Figura 1-c). Ao clicar em uma letra do alfabeto, são listadas, em ordem crescente, as palavras iniciadas com essa letra. Ao clicar na palavra, é apresentada uma tela com a descrição, a imagem, o vídeo em Libras e um botão para ouvir o som (Figura 1-d). Ao clicar em Jogar no menu principal, aparece uma tela com o nome da missão que, ao ser selecionada, aparecem as instruções do minijogo (Figura 1-e). Ao clicar em Jogar, na tela de instruções, aparece o cenário do mar, com animações das caudas de baleias e pássaros voando.

A Figura 1-f e Figura 1-g ilustram, respectivamente, a câmera desligada e ligada. Para ligar e desligar a câmera, o jogador deve pressionar a tecla F e usar as teclas + e − do teclado numérico para utilizar o zoom. A visão do jogador é em primeira pessoa, e ele pode movimentar a câmera em quatro direções. Para fotografar apenas quando a câmera estiver ligada, o jogador deve utilizar a tecla “enter” do teclado. Ao fotografar a cauda da baleia, é apresentada a tela de catálogo (Figura 1-h). Os botões de Catalogar, Consultar o Catálogo e Descartar, nesse protótipo, estão desabilitados. Assim, o jogador deve pressionar a tecla ESC para voltar ao cenário do mar (Figura 1-f).

Figura 1
Telas de Protótipo do Jogo

2.3 Participantes e testes

O Quadro 1 apresenta o perfil dos participantes que realizaram os testes de design, com descrição do diagnóstico médico, do curso de graduação e de experiência em jogos.

Quadro 1
Perfil dos jogadores com DV

ID	Idade	Diagnóstico médico	Curso de Graduação	Experiência com jogos
J1	20	DV – cegueira, usuário de bengala	Administração de Empresas	Ausente
J2	18	DV – cegueira, usuário de bengala	Bacharelado em Ciências da Humanidade	Boa experiência em jogos
J3	33	DV – baixa visão, usuário de bengala	Bacharelado em Ciências da Humanidade	Intermediária/baixa em jogos

Na sequência, são descritos os testes de funcionalidade (pela equipe de desenvolvimento) e a avaliação da usabilidade e acessibilidade (por três estudantes universitários com DV).

2.3.1 Testes de funcionalidade

O teste de funcionalidade tem como objetivo garantir que não haja bugs fatais no jogo e ocorre, principalmente, antes da avaliação da usabilidade e acessibilidade. Foi criado um plano de testes, com o objetivo de coletar todas as informações necessárias para planejar e controlar as atividades de testes, além de identificar os requisitos que devem ser testados e a descrição de abordagens e técnicas de testes que serão usadas. Após a execução do plano de teste, com os principais bugs corrigidos, bem como as funcionalidades conforme projetadas, uma versão do jogo em desktop foi disponibilizada para que estudantes universitários com deficiência visual pudessem avaliar os aspectos da usabilidade e acessibilidade. Essa etapa durou cerca de dois meses, desde o planejamento até a finalização da versão para o uso.

2.3.2 Avaliação da usabilidade e acessibilidade

Para o planejamento e a execução da avaliação subjetiva de aspectos de acessibilidade do protótipo do jogo “Expedição Antártica”, foi criada uma adaptação de protocolo de usabilidade¹⁵, combinada a partir dos protocolos de Verbalização de Procedimentos (Think-Aloud Protocol) e o proposto por Sánchez e Hassler (2007). Tais protocolos foram selecionados por terem baixo custo financeiro, serem robustos e flexíveis, além de já terem sido usados para avaliação de jogos.

O Think-Aloud Protocol é um protocolo de avaliação subjetiva da usabilidade, caracterizado por permitir que o usuário fale em voz alta enquanto testa uma ferramenta. Suas principais vantagens são: uso de menos usuários e compreensão do modelo mental do avaliador e da sua interação com o produto (Nielsen, 1997). Foi aplicado com sucesso para avaliar um jogo de memória (Gerding et al., 2018). De acordo com Villanueva (2004), o pesquisador deve conduzir a avaliação da seguinte maneira: (i) organizar a lista de tarefas que o usuário precisa realizar; (ii) organizar um pequeno número de usuários; (iii) encontrar-se com os usuários; (iv) fornecer aos usuários um protótipo do software e a lista de tarefas que serão executadas pelos jogadores; (v) instruir os usuários para verbalizarem seus pensamentos enquanto fizerem suas ações para finalizar as tarefas; e (iv) observar mudanças que devam ser consideradas para a revisão do design do software.

A flexibilidade dos protocolos selecionados permitiu a sua adaptação e integração, mantendo os passos que convergiam e excluindo os passos que tratassem de uma avaliação objetiva, como uma sessão filmada, por exemplo. Além disso, foi acrescentada, ao protocolo usado neste trabalho, a possibilidade de uma roda de discussões, com o objetivo de ratificar o que foi observado no momento da avaliação individual e de incentivar os avaliadores a interagirem entre si e com os observadores.

Os três participantes jogaram o protótipo do jogo (seleção de idioma, acesso ao minijogo, tirar foto, configuração de opções do jogo e acesso ao glossário), de forma simultânea e individual. Cada um foi observado pelo avaliador enquanto jogava, e os relatos com as impressões de cada parte do jogo foram anotados. Ao terminar, o observador aplicou um questionário de forma oral e registrou as respostas em um papel. Os jogadores foram questionados sobre aspectos pontuais do jogo, como facilidade em usar as teclas de atalho, suficiência das instruções do jogo, facilidade em acessar e completar o minijogo. Por fim, foi realizada uma roda de discussões para relatos coletivos.

2.4 Finalização

A finalização é composta por dois elementos (Chandler, 2012): o aprendizado com a experiência e o plano de arquivamento. A ideia é que o processo de desenvolvimento do restante do jogo seja melhorado a partir das experiências discutidas com essa versão, no entendimento do que deu certo ou errado e se o objetivo do jogo foi atingido.

3 Resultados e discussões

A seguir, são apresentados os resultados das avaliações dos jogadores, principalmente em relação aos requisitos e às anotações realizadas na roda de discussões. Nos Quadros 2 e 3, as questões e as respostas de cada jogador podem ser acompanhadas.

Quadro 2
Perguntas e respostas realizadas durante o teste com os três jogadores com DV

1. As instruções iniciais (de teclas de atalho) precisam ser repetidas em todas as telas ou só no início?
J1	Não, é redundante. ESC ou espaço para parar de falar depois de memorizar.
J2	Informar que tem o F1 apenas na primeira tela e que ela se repetirá nas outras.
J3	Só uma vez.
2. Após sair (ESC) da imagem que apresenta as informações da baleia, ao capturar uma foto, é necessário, de alguma forma, informar que voltou para a cena do mar?
J1	Sim. Feedback em tudo que sair do que estava fazendo e, quando iniciar, avisar automaticamente.
J2	Legal ter feedback do que aconteceu para voltar ao mar. Apertei ESC e não sei se funcionou.
J3	Ok. Fácil. Soube que voltou para o mar.
3. Você se sentiu perdido durante a interação com o jogo?
J1	No começo, para descrição do cenário e objetivo da atividade - tirar foto para quê? Depois que tirar a foto o que acontece? Como saiu a foto? (desfocada, longe, ok etc.) e o que aconteceu?
J2	Tranquilo.
J3	Só durante a etapa de tirar foto da baleia, senti dificuldade em identificar a baleia.
4. Foi fácil identificar a baleia e tirar a foto?
J1	Não tive problema.
J2	Sim. Bem melhor do que antes. Mas não se tem noção de que está movendo a câmera.
J3	Foi difícil. Mais fácil identificar a gaivota do que a baleia.
5. Você tem algum comentário ou sugestão?
J1	Importante navegar pelas instruções, linhas e palavras (voltar em partes - texto escrito). Opção de interromper os sons.
J2	Nas observações abaixo.
J3	Menu principal ter um botão com informação de atalhos.

Quadro 3
Continuação das perguntas e respostas realizadas durante o teste com os três jogadores com DV

6. Foi fácil navegar pelo glossário?
J1	Dificuldade na navegação.
J2	Confuso. Passar da lista para o alfabeto.
J3	Foi fácil. Mas tive dificuldade na navegação da lista e voltar para o alfabeto.

Os dados descritos nos Quadros 2 e 3 evidenciam a importância do estudo do design colaborativo em conjunto às pessoas com DV, para que elas possam jogar nas mesmas condições que as demais pessoas, por meio da adequação das descrições, dos áudios etc., replicando os achados anteriores sobre os requisitos de acessibilidade (descrição de tela, sons e glossário – descritos na seção 2.1) (Novak, 2010; Schuytema, 2008). Sobre o requisito (i) descrição de cada tela, em todas se repetiam as explicações das teclas de atalho; dois avaliadores, que se sentiram incomodados, ressaltaram que não há necessidade de repetir tais teclas e sugeriram apenas informar, na tela inicial, que seriam as mesmas teclas de atalho ao decorrer do jogo. Apesar de existir uma descrição das telas e a leitura dos textos (a partir do leitor de tela), os alunos consideraram que era necessária uma descrição dos objetivos e do minijogo com mais detalhes, para auxiliá-los no entendimento das mecânicas (jogabilidade, cenários, entre outras) e, principalmente, na absorção dos conteúdos propostos pelo jogo educacional. Sobre (ii) atalhos, uma sugestão foi a alteração da tecla de fotografar a baleia, de “enter”, para “barra de espaço”, por ser mais prático por causa da posição no teclado.

Sobre (iii) sons, foi ressaltada a dificuldade com os sons (tanto o ambiente quanto os efeitos sonoros). Por exemplo, o áudio emitido pelas baleias foi confundido com o som ambiente e, por isso, os jogadores sugeriram que esse áudio fosse aumentado. O desafio de adequar os aspectos sonoros do jogo para o público-alvo já foi identificado em estudos anteriores (Gerding et al., 2018; Novak, 2010; Schuytema, 2008; Sobral et al., 2017) e replicado no presente estudo. Mediante tal situação, foi proposta como solução a necessidade de se ter um controle de volume separado para cada tipo de som, visto que eles possuem diferentes importâncias para os jogadores (com e sem DV), e possibilidade de pausar os áudios. Entretanto, o item mais relatado pelos avaliadores foi o feedback auditivo, uma vez que, em cada ação do jogo (abertura de painel de instrução, glossário ou câmera; qualidade da foto tirada etc.), é preciso ter um alerta sonoro avisando-os sobre o ocorrido. Outrossim, qualquer outro feedback precisa ser mais claro e objetivo, para auxiliá-los em sua experiência e para que não se percam durante o jogo.

Sobre (iv) glossário, foi observado que os estudantes sentiram dificuldades em fazer a transição entre o alfabeto e os itens da lista (vide Figuras 1-c e 1-d). Além disso, foram sugeridos diversos pontos para melhoria, dentre eles destaca-se uma melhor descrição da lista de itens, como, por exemplo, para relatar a quantidade de itens e se é o primeiro ou o último da lista. Foi sugerido que os sons fossem apresentados antes de iniciar a missão. Aliás, a presença de um glossário (de línguas e de sons) é importante para dar suporte a qualquer jogador em relação à jogabilidade e à aprendizagem do conteúdo, quando se propõe um jogo educacional inclusivo, enquanto Tecnologia Assistiva para ser utilizada em sala inclusiva, na perspectiva do desenho universal (Lei nº 13.146/2015). A esse respeito, Silva et al. (2013) identificaram, durante as testagens de um jogo eletrônico para surdos, a solicitação dos usuários por um glossário, algo que foi acolhido pelos autores e replicado no presente jogo “Expedição Antártica” de forma expandida também para a acessibilidade de pessoas com DV.

Todas as respostas dadas pelos três jogadores com DV mostram a importância do envolvimento dos usuários na produção do jogo, desde o início de sua prototipagem, sobretudo quando se propõe um jogo educacional inclusivo. Assim o estudo do design se torna fundamental, conforme já recomendado em estudos anteriores (Cheiran, 2013; Locatelli & Alves, 2018; Perkoski et al., 2016) e reafirmado neste estudo, mormente ao tratar-se de um jogo inclusivo, com função de Tecnologia Assistiva que possa ser usado não apenas em sala de aula, mas também em classe hospitalar (Carvalho et al., 2020; Gonçalves et al., 2013). Recomenda-se, portanto, que o contexto dos testes também envolva outros espaços inclusivos em estudos futuros, tais como os de educação não-informal (por exemplo, museus e centros de ciências), oficinas, entre outros.

Além dos requisitos de acessibilidade, há a questão de o jogo ser um RPG top-down multiplataforma, com um cenário da borda do barco e do mar. Nesse contexto, dois jogadores confundiram-se com a movimentação, pois pensavam que movimentavam o personagem por inteiro, enquanto estavam movimentando apenas a cabeça para encontrar a baleia. Nesse caso, há a necessidade de descrever o cenário e o tipo de movimentação do personagem e da câmera. O estudo discute para além de garantir a acessibilidade do jogo pela pessoa com DV, a importância de refletir sobre os recursos, as funcionalidades e o layout do jogo em uma perspectiva que garanta a Educação para Todos (UNESCO, 1990, 1994). O Quadro 4 lista os registros com as observações gerais realizadas pelos três jogadores.

Quadro 4
Observações gerais realizadas pelos três jogadores com DV

J1	Clicou na tecla “insert” no início. Questionou sobre ouvir sons das palavras no glossário. Questionou se a tecla “espaço” é para parar o áudio. Questionou se sempre se aperta a tecla “F2” para voltar. Questionou sobre a numeração da lista.
J2	Confunde a navegação ao subir. Avisar que acabou a lista ou avisar que está na lista (no glossário). Clica para cima vai sempre para a letra G, no glossário. Indicação de onde vai aparecer a baleia. Som é rápido. Descrição da missão, câmera se movimentando - pensava que era um personagem. Sons de parede são as bordas: descrever (audiodescrição informando que são sons de borda). Se capturou a baleia ou não: descrever. Descrição de quando a câmera está ligada ou não.
J3	Som da baleia mais alto. Identifica com dificuldade a baleia. Avisar se a foto deu certo ou não. Som da câmera quando a baleia não estiver focando.

O uso do protocolo de testagem no estudo (Quadros 2, 3 e 4) foi fundamental para propor melhorias no jogo e, com isso, é possível replicar a defesa de estudos anteriores (Prates & Barbosa, 2003; Preece et al., 2008; Sánchez & Hassler, 2007) sobre a sua importância no desenvolvimento de jogos futuros. O protocolo proposto para a avaliação da usabilidade e acessibilidade pode ser reutilizado em outros projetos. Todavia, é sugerido que as questões do protocolo de testagem sejam adaptadas de acordo com a necessidade de cada jogo. Neste trabalho, o questionário era específico às mecânicas e aos objetivos pedagógicos do jogo “Expedição Antártica”. Ademais, o protocolo mostrou-se eficaz e atendeu às necessidades deste trabalho, uma vez que os problemas foram identificados e foram sugeridas melhorias, o que contribui com a literatura da área em relação aos jogos anteriores que não descreveram o protocolo de testagem (Macêdo et al., 2017), ou, ainda, aqueles que não realizaram testes com o público-alvo delineado no estudo (Silva, 2017; Vaz et al., 2016).

4 Conclusão

A acessibilidade nos jogos educacionais constitui um direito garantido a partir da determinação da adoção do desenho universal como regra geral para a concepção de produtos, programas, ambientes e serviços (Lei nº 13.146/2015). Logo, os conhecimentos acumulados a esse respeito tornam-se fundamentais para o desenvolvimento de novos recursos digitais, tais como os jogos eletrônicos. Nesse contexto, foram relatados o planejamento e o desenvolvimento de um jogo educacional digital, bem como a execução da avaliação da acessibilidade com três pessoas com DV, com o intuito de garantir um design colaborativo desde os passos iniciais de sua elaboração.

Foi apresentado o relato de experiência, do ponto de vista da equipe de desenvolvimento do jogo (pesquisadores, programadores e arquitetos de software), sobre a construção de um protótipo de um jogo educacional digital e a avaliação da usabilidade e acessibilidade com três pessoas com DV, a partir do trabalho interdisciplinar em parceria com os profissionais da Computação, Educação e Psicologia. Com o uso de um protocolo de avaliação específico, foi possível identificar alguns dos principais problemas, dentre eles: (i) a falta da audiodescrição do objetivo educacional, que fez com que os alunos não ficassem atentos aos aspectos pedagógicos; e (ii) a dificuldade com os diferentes sons do jogo e feedback auditivo, que confundiram os jogadores e atrapalharam a jogabilidade.

De forma geral, os jogos educacionais devem observar os aspectos pedagógicos; além disso, é importante atentar para a sua descrição (para o leitor de tela), bem como para os elementos de interação, cenário e navegação (dependendo do tipo do jogo), pois afetará a jogabilidade da pessoa com DV. O feedback auditivo para esse público é necessário em todas as interações. Isso implica a necessidade de um projeto acessível com um eficiente design sonoro, bem mais que efeitos e músicas com propósito de mero entretenimento (normalmente usados apenas para imersão); além de controle de volume separado para cada tipo de som (efeitos e feedback sonoro, narrações, músicas, diálogos falados e descrições lidas pelo leitor de tela), pausa e repetição. Os atalhos de teclado também devem ser bem planejados, para serem intuitivos, eficientes, consistentes e padronizados ao longo do jogo, conforme os requisitos de usabilidade descritos por Novak (2010). Adicionalmente, há a necessidade de apresentação do glossário (de línguas e de sons) antes de iniciar o jogo, para as pessoas com DV poderem reconhecer sons e palavras desconhecidas.

Como trabalhos futuros, pode-se apontar a implantação do alto contraste da fonte do texto, a adaptação do jogo para incluir vídeos com tradução do conteúdo em Libras para surdos e a criação de novas missões. Complementarmente, pretende-se aprimorar o protocolo de avaliação para ser usado em testes com PcD (visual e auditiva) e com pessoas sem deficiência.

• 2
  A pesquisa da qual resultou este artigo contou com financiamento da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Edital 42/2017 CAPES - Educação na temática Jogos Virtuais - Processo 88887.163248/2018-00.
• 11
  O projeto encontra-se em remar.dc.ufscar.br/
• 12
  O projeto envolve quatro equipes: conteúdo, acessibilidade, análise e desenvolvimento.
• 13
  Sobre o Tolk ver github.com/dkager/tolk
• 14
  Sobre Acessibilidade Brasil ver http://www.acessibilidadebrasil.org.br
• 15
  O protocolo de usabilidade pode ser acessado em bit.ly/ProtocoloAntartica

Referências

• Balan, R. N., Haydu, V. B., Sobreira, D. K. S., Santini, G. J., Pereira, M. P., & Zacarin, M. R. J. (2020). Avaliação do Jogo Muzamba na Caçamba no ensino de regras de descarte de resíduos. Revista Brasileira de Análise do Comportamento, 16(1), 11-20. http://dx.doi.org/10.18542/rebac.v16i1.8884
  » http://dx.doi.org/10.18542/rebac.v16i1.8884
• Carvalho, S. R., Santos, P. Â. C. H., Moreira, A. A. D. F. G., & Campos, A. M. C. (2020). Utilização de recursos multimídia para crianças em contexto hospitalar: uma revisão integrativa. Revista Educação Especial, 33, 1-21. http://dx.doi.org/10.5902/1984686X
  » http://dx.doi.org/10.5902/1984686X
• Chandler, H. M. (2012). Manual de produção de jogos digitais. Bookman.
• Cheiran, J. F. P. (2013). Jogos Inclusivos: diretrizes de acessibilidade para jogos digitais [Dissertação de Mestrado, Instituto de Informática, Universidade Federal do Rio Grande do Sul]. Repositório Digital LUME. https://lume.ufrgs.br/handle/10183/77230
  » https://lume.ufrgs.br/handle/10183/77230
• Constituição da República Federativa do Brasil de 1988. http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
  » http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
• Corrêa, A. G. D., Oliveira, P. A., Biase, L. C. C, Damon, D. L., & Lopes, R. D. (2015). Sistema de avaliação didática acessível portátil para pessoas com deficiência visual: estudo de caso com a plataforma Android [Apresentação de artigo]. 26º Simpósio Brasileiro de Informática na Educação – SBIE, Maceió, Alagoas, Brasil.
• Csapó, Á., Wersényi, G., Nagy, H., & Stockman, T. (2015). A survey of assistive technologies and applications for blind users on mobile platforms: a review and foundation for research. Journal on Multimodal User Interfaces, 9(4), 275-286. https://doi.org/10.1007/s12193-015-0182-7
  » https://doi.org/10.1007/s12193-015-0182-7
• Dantas, A. L. P., Pinto, G. R. P. R., & Sena, C. P. P. (2013). Apresentando o BEM: um objeto de aprendizagem para mediar o processo educacional de crianças com deficiência visual e videntes nas operações básicas de Matemática [Apresentação de artigo]. 24º Simpósio Brasileiro de Informática na Educação – SBIE, Campinas, São Paulo, Brasil.
• Decreto nº 5.296, de 2 de dezembro de 2004. Regulamenta as leis 10.048 e 10.098 de 2000. http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/decreto/d5296.htm
  » http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/decreto/d5296.htm.
• Diniz, F. V. D. S., & Santos, C. A. D. (2019). Ensinando atomística com o jogo digital “Em busca do Prêmio Nobel”. Revista Brasileira de Ensino de Física, 41(3), 1-8, http://dx.doi.org/10.1590/1806-9126-RBEF-2018-0268
  » http://dx.doi.org/10.1590/1806-9126-RBEF-2018-0268
• Ferraz, A. P. C. M., & Belhot, R. V. (2010). Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gestão & Produção, 17(2), 421-431. https://doi.org/10.1590/S0104-530X2010000200015
  » https://doi.org/10.1590/S0104-530X2010000200015
• Ferreira, S. B. L., & Nunes, R. R. (2008). e-Usabilidade Grupo Gen-LTC.
• Focetola, P. B. M., Castro, P. J., Souza, A. C. J. D., Grion, L. D. S., Pedro, N. C. D. S., Iack, R. S., Almeida, R. X. de, Oliveira, A. C. de, Barros, C. V. T. de, Vaitsman, E., Brandão, J, B., Guerra, A. C. de O., & Silva, J. F. M. da. (2012). Os jogos educacionais de cartas como estratégia de ensino em química. Química nova na escola, 34(4), 248-255.
• Gerding, R. M., Otsuka. J. L., & Junior, P. H. F. F. (2018). Design and development of an educational memory game solution for players with and without visual impairment [Apresentação de artigo]. 29º Simpósio Brasileiro de Informática na Educação – SBIE, Fortaleza, Ceará, Brasil.
• Gonçalves, A. G., Braccialli, L. M. P., & Carvalho, S. M. R. D. (2013). Desempenho motor de aluno com paralisia cerebral discinética frente à adaptação das propriedades físicas de recurso pedagógico. Revista Brasileira de Educação Especial, 19(2), 257-272. https://doi.org/10.1590/S1413-65382013000200009
  » https://doi.org/10.1590/S1413-65382013000200009
• Lei nº 13.146, de 06 de julho de 2015 Institui a Lei Brasileira de Inclusão da Pessoa com Deficiência (Estatuto da Pessoa com Deficiência). http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/lei/l13146.htm
  » http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2015/lei/l13146.htm
• Lima, J. M. (2008). O jogo como recurso pedagógico no contexto educacional. Cultura Acadêmica: Universidade Estadual Paulista, Pró-Reitoria de Graduação.
• Locatelli, M. D., & Alves, A. G. (2018). Análise de acessibilidade em jogos digitais educativos: um estudo de caso [Apresentação de artigo]. 9º Computer on the Beach, Florianópolis, Santa Catarina, Brasil.
• Macêdo, R. S., Pereira, C. P., Fernandes, A. L. B., Santana, K. C., & Santos, A. J. O. S. (2017). Blinds, Education and Mathematics: objeto de aprendizagem sobre as operações básicas da matemática como uso dos recursos de síntese e reconhecimento de voz [Apresentação de artigo]. 28º Simpósio Brasileiro de Informática na Educação – SBIE, Recife, Pernambuco, Brasil.
• Mattar, J. (2010). Games em Educação: como os nativos digitais aprendem Pearson Prentice Hall.
• Nielsen, J. (1997). Usability Testing. In G. Salvendy (Ed.), Handbook of Human Factors and Ergonomics (1^a ed., pp. 1543-1568). John Wiley & Sons.
• Novaes, D., & Freitas, A. P. de. (2019). Sentidos construídos na dinâmica dialógica entre um aluno com transtorno do espectro autista e seu professor. Revista Educação Especial, 32, 1-16. https://doi.org/10.5902/1984686X34596
  » https://doi.org/10.5902/1984686X34596
• Novak, J. (2010). Desenvolvimento de Games Cengage.
• Oliveira, R., Belarmino, G., Rodriguez, C., Goya, D., Venero, M., Oliveira Júnior, A., & Rocha, R. (2019). Avaliações em Jogos Educacionais: instrumentos de avaliação da reação, aprendizagem e comparação de jogos [Apresentação de artigo]. 30º Simpósio Brasileiro de Informática na Educação - SBIE, Brasília, Distrito Federal, Brasil.
• Organização das Nações Unidas para a Educação, a Ciência e a Cultura. (1990). Declaração Mundial sobre Educação para todos. Satisfação das Necessidades Básicas de Aprendizagem. Jomtiem.
• Organização das Nações Unidas para a Educação, a Ciência e a Cultura. (1994). Linha de ação sobre necessidades educativas especiais. Corde.
• Panosso, M. G., de Souza, S. R., & Haydu, V. B. (2015). Características atribuídas a jogos educativos: uma interpretação Analítico-Comportamental. Psicologia Escolar e Educacional, 19(2), 233-241. https://doi.org/10.1590/2175-3539/2015/0192821
  » https://doi.org/10.1590/2175-3539/2015/0192821
• Perkoski, I. R., Gris, G., Benevides, R. R., & Souza, S. D. (2016). Desenvolvimento de jogos educativos com base analítico-comportamental: o procedimento de design iterativo. Psicologia e análise do comportamento: saúde, educação e processos básicos, 48-56. https://www.researchgate.net/publication/315662139_Desenvolvimento_de_Jogos_Educativos_com_Base_Analitico_Comportamental_o_Procedimento_de_Design_Iterativo
  » https://www.researchgate.net/publication/315662139_Desenvolvimento_de_Jogos_Educativos_com_Base_Analitico_Comportamental_o_Procedimento_de_Design_Iterativo
• Prates, R. O., & Barbosa, S. D. J. (2003). Avaliação de Interface de Usuário - Conceitos e Métodos [Apresentação de artigo]. Jornada de Atualização em Informática, SBC. http://www-di.inf.puc-rio.br/~simone/files/JAI2003_avaliacao_s.pdf
  » http://www-di.inf.puc-rio.br/~simone/files/JAI2003_avaliacao_s.pdf
• Preece, J., Rogers, Y., & Sharp, H. (2008). Design de interação: além da interação humano-computador Bookman.
• Ribeiro, F. R. (2013). Jogos Educacionais Digitais Para Ensino de Língua Portuguesa: uma proposta de avaliação didático-pedagógica e ergonômica. UECE.
• Rocha, K. N., Almeida, N. M., Soares, C. R. G., & Silva, L. F. M. S. (2019). Q-LIBRAS: um jogo educacional para estimular alunos surdos à aprendizagem de Química. Revista Educação Especial, 32, 1-141. https://doi.org/10.5902/1984686X32977
  » https://doi.org/10.5902/1984686X32977
• Sánchez, J., & Hassler, T. (2007). AudioMUD: A Multiuser Virtual Environment for Blind People. IEEE Trans. on Neural Systems and Rehabilitation on Engineering, 15(1), 16-22. https://doi.org/10.1109/TNSRE.2007.891404
  » https://doi.org/10.1109/TNSRE.2007.891404
• Sato, A. K. O., & Cardoso, M. V. (2008). Além do gênero: uma possibilidade para a classificação de jogos [Apresentação de artigo]. Simpósio Brasileiro de Jogos e Entretenimento Digital - SBGames. Belo Horizonte, Minas Gerais, Brasil.
• Savi, R. (2011). Avaliação de jogos voltados para a disseminação do conhecimento [Tese de Doutorado, Universidade Federal de Santa Catarina - UFSC]. Repositório Institucional da UFSC. https://repositorio.ufsc.br/xmlui/handle/123456789/96046
  » https://repositorio.ufsc.br/xmlui/handle/123456789/96046
• Schuytema, P. (2008). Design de Games: uma abordagem prática Cengage Learning.
• Silva, I. C. S. (2017). Promovendo a empatia por meio da experiência: uma imersão em audiogames [Apresentação de artigo]. Simpósio Brasileiro de Jogos e Entretenimento Digital – SBGames, Curitiba, Paraná, Brasil.
• Silva, I. R., Nogueira, A. S., Hildebrand, H. R., & Kumada, K. M. O. (2013). O uso de jogos eletrônicos no processo ensino-aprendizagem de surdos. In L. L. R. do Valle, M. J. V. M. de Mattos, & J. W. da Costa (Orgs.), Educação digital: a tecnologia a favor da inclusão (1ª ed., pp. 213-238). Penso.
• Silva, Y. C. O., Farias Junior, I. H. de, & Neves, J. K. A. L. (2016). Jogos digitais como estratégia pedagógica. Revista Eletrônica da Estácio Recife, 1(1), 1-11.
• Sobral, F. V., Umeres, L. F., Schanoski, W., Bartelmebs, R. C., & Assis, M. V. O. (2017). A utilização de Role Playing Games Digitais como Ferramenta complementar no processo de aprendizagem de crianças deficientes visuais [Apresentação de artigo]. 28º Simpósio Brasileiro de Informática na Educação – SBIE, Recife, Pernambuco, Brasil.
• Stahl, M. M. (1991). Ambientes e ensino-aprendizagem computadorizados: da sala de aula convencional ao mundo da fantasia COPPE-UFRJ.
• Tsuda, M., Sanches, V. M., Ferreira, T. G., Otsuka, J. L., & Beder, D. M. (2014). Análise de métodos de avaliação de jogos educacionais [Apresentação de artigo]. 25º Simpósio Brasileiro de Informática na Educação – SBIE, Dourados, Mato Grosso do Sul, Brasil.
• Tsutsumi, M. M. A., Goulart, P. R. K., Júnior, M. D. S., Haydu, V. B., & Oliveira Jimenéz, É. L. (2020). Avaliação de jogos educativos no ensino de conteúdos acadêmicos: Uma revisão sistemática da literatura. Revista Portuguesa de Educação, 33(1), 38-55. https://doi.org/10.21814/rpe.19130
  » https://doi.org/10.21814/rpe.19130
• Vaz, P. T., Ramos, A. A., & Almeida, S. S. L. (2016). Aplicativo de Quiz sobre Química Inorgânica acessível a pessoas com deficiência visual: QuiSalino [Apresentação de artigo]. 5º Congresso Brasileiro de Informática na Educação, Uberlândia, Goiania, Brasil.
• Villanueva, E. A. (2004). Think-aloud protocol aril heuristic evaluation of non-immersive, desktop photo-realistic virtual environments [Dissertação de Mestrado, University of Otago]. OUR archive. https://ourarchive.otago.ac.nz/handle/10523/1324
  » https://ourarchive.otago.ac.nz/handle/10523/1324
• Wangenheim, C. G., & Wangenheim, A. (2012). Ensinando computação com jogos. Bookess Editora.
• Yuan, B., Folmer, E., & Harris Jr., F. C. (2011). Game accessibility: a survey. Universal Access in the Information Society, v. 10(1), 81-100. https://doi.org/10.1007/s10209-010-0189-5¹⁶
  » https://doi.org/10.1007/s10209-010-0189-5

Datas de Publicação

• Publicação nesta coleção
  30 Jul 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  19 Set 2020
• Revisado
  18 Dez 2020
• Aceito
  31 Dez 2020