SOFTWARE EDUCACIONAL

Introdução


Tem-se observado, de forma cada vez mais intensa, o lançamento no mercado de softwares que, segundo seus fabricantes, poderiam auxiliar o trabalho de professores e facilitar a aprendizagem dos alunos. No entanto, grande parte destes programas é de baixa qualidade, o que os torna sem utilidade para uso em ambientes de ensino-aprendizagem. Desta forma, é fundamental que se faça a avaliação sistemática da qualidade e dos efeitos de tais softwares. Porém, tal procedimento não ocorre com freqüência, visto que muitas instituições de ensino adquirem programas que são utilizados pelos alunos sem uma avaliação prévia.
Avaliar software educacional não é uma tarefa fácil. As diferentes modalidades existentes, tais como, exercício e prática, tutoriais, simulações, jogos, hipertexto/hipermídia, e sistemas baseados em conhecimento (sistemas especialistas e tutores inteligentes), apresentam características diferentes, sendo necessária a elaboração de critérios de avaliação específicos para cada tipo. Uma discussão detalhada sobre essas diversas modalidades encontra-se em Valente (1998).
A qualidade do software educacional tem sido discutida por educadores e especialistas em Informática e, embora exista uma certa indefinição entre os educadores sobre quem deve elaborar os programas, vários autores acreditam que os educadores necessitam aprender a avaliar produtos de software disponíveis no mercado (Campos, 1994).
Rocha e Campos (1993) enumeram algumas dificuldades que, no seu entender, contribuem para que o software educacional seja de baixa qualidade: (a) o pouco preparo de recursos humanos na área educacional; (b) a pressão mercadológica dos fabricantes de hardware; (c) a produção descentralizada de programas para ensino; (d) a quantidade de horas necessárias para desenvolvimento e implementação; e (e) a dificuldade de montagem de uma equipe multidisciplinar que desenvolva trabalho cooperativo. Estas autoras afirmam que se o software educacional pode contribuir efetivamente no processo de ensino-aprendizagem, então a sua qualidade deve ser controlada através de técnicas específicas. Nesse sentido, são apresentados, a seguir, alguns métodos para avaliação de software educacional.

Métodos para Avaliação de Software Educacional
Begoña e Spector (1994) realizaram um levantamento sobre os principais métodos usados para avaliar software educacional do tipo CAI (Computer-Aided Instruction). Os resultados deste estudo sugerem que muitas avaliações são incompletas ou inadequadas em algum aspecto, não obstante haver percepção quanto a importância da avaliação. De uma forma resumida, estes autores descobriram que: (a) a avaliação é vista como central ao uso de CAI (exercício e prática e tutorial); (b) muitas diretrizes diferentes têm sido propostas para a avaliação e a seleção de software; (c) a metodologia predominantemente usada na avaliação de software em sala de aula é baseada num modelo experimental (grupo controle, teste, pós-teste, etc); (d) a maioria das avaliações vêem o programa como algo não conectado com a metodologia dos professores, o contexto, o currículo, ou a cultura de aprendizagem; e (e) o período de pesquisa é geralmente muito curto, o que torna difícil estabelecer conclusões gerais, modificar e melhorar a qualidade dos produtos. Estes autores identificaram três diferentes níveis de avaliação que denominaram: (a) avaliação orientada para o produto; (b) avaliação orientada para o usuário; e (c) avaliação orientada para o contexto.
A avaliação orientada para o produto consiste numa descrição e apreciação crítica do software educacional por um ou mais especialistas que, freqüentemente, utilizam lista de verificação ou folha de inspeção, e seguem um conjunto de procedimentos para guiar a inspeção. Neste tipo de avaliação não é exigido o uso do software numa situação real. O especialista avalia o produto de acordo com diferentes critérios que são separados em diversas seções como análise do conteúdo, interações com o usuário, utilidade geral do programa, entre outras. Possíveis critérios de avaliação podem ser vistos em Begoña e Spector (1994), Campos (1994), Campos e Silva (1999), Chaves (2000), Costa (1999), Reeves e Harmon (1994), Rocha e Campos (1993), Silva (1997) e Vieira (1999). É importante ressaltar que, dentre os autores mencionados, alguns sugerem critérios que enfatizam mais os aspectos relacionados à engenharia do software do que aos aspectos pedagógicos propriamente ditos.
No nível da avaliação orientada para o usuário, deseja-se avaliar os efeitos do programa no usuário sendo, em geral, necessário analisar: (a) as interações entre o programa e o aprendiz; (b) os níveis de adaptação, se existentes; (c) os meios usados para assegurar a motivação; (d) a efetividade da aprendizagem; e (e) a receptividade do usuário ao software. O objetivo principal desta avaliação é analisar a eficiência dos processos de aprendizagem envolvidos no uso de software educacional pelos alunos. Begoña e Spector (1994) informam que os estudos que apresentaram este nível de avaliação fizeram uso de uma abordagem experimental, em que há comparação entre os resultados da aprendizagem com uso de software e com um método tradicional. Como este tipo de abordagem pode apenas obter resultados finais dos estudantes, estes autores acreditam ser interessante avaliar outros aspectos importantes no processo de aprendizagem como as interações do aprendiz com o software, o material, os outros aprendizes, e o professor bem como os níveis de motivação, a ansiedade, e a receptividade, entre outros:
Em outras palavras, nós pensamos ser importante avaliar o processo completo de aprendizagem - não apenas o conhecimento obtido por um estudante como resultado de intervenções instrucionais. Nossa suposição é que ao fazer isso é mais provável aumentar o nosso conhecimento sobre a aprendizagem, embora nós reconheçamos que esta alegação esteja um tanto aberta a discussões. (p. 40)
A avaliação orientada para o contexto é bastante rara, pois, além de ser inerentemente mais complexa que a avaliação experimental, muitos pesquisadores não estão convencidos de seu valor. Begoña e Spector (1994), entretanto, estão certos de que os resultados deste nível de avaliação podem ser muito úteis na melhoria da qualidade do software educacional: "[...] entender o sucesso ou o fracasso de um produto geralmente está vinculado a uma profunda compreensão do contexto no qual este produto é usado" (p. 40). Para Halff (citado por Begoña & Spector, 1994), a maioria dos softwares tipo CAI são introduzidos em sala de aula e o seu uso está relacionado com um currículo definido. Neste caso, o contexto é geralmente estável e bem estabelecido.
Embora diversos estudos avaliativos se preocupem apenas com um dos três níveis de avaliação mencionados, Begoña e Spector (1994) acreditam que tais níveis não são completamente independentes, e que uma avaliação completa de software educacional deveria considerar o produto, os usuários, o contexto, e as óbvias interdependências. O software não deve ser visto como um objeto isolado mas como uma entidade integrada - um produto usado por pessoas em um contexto para atingir vários objetivos. Este tipo de abordagem pode complicar o processo de avaliação, porém apresenta probabilidade maior de fornecer resultados mais significativos, que podem auxiliar as pessoas a fazerem melhor uso da tecnologia, com a melhoria da aprendizagem e da instrução. Além disso, segundo Muraida, Spector, O'Neil, e Marlino (citados em Begoña & Spector, 1994): "A avaliação deve ser vista como um processo contínuo e cíclico que envolve aspectos de controle da qualidade, verificação e validação, bem como as avaliações formativas e somativas usuais" (p. 40).
Aedo, Catenazzi e Díaz (1996) acreditam que a avaliação de software tem dois objetivos principais: (a) determinar a eficácia de uma aplicação em uso; e (b) fornecer meios para sugerir melhorias. Com base nos resultados da avaliação, o desenvolvimento do software deve sofrer modificações e o processo deve ser repetido com a finalidade de aprimoramento. Assim, o processo de avaliação tem uma relação próxima com o ciclo de vida do software e deve ocorrer em diferentes estágios de seu desenvolvimento. O método de avaliação mais apropriado irá depender do estágio de desenvolvimento e da disponibilidade de recursos. Estes métodos, classificados em cinco categorias globais utilizando a taxionomia de Benyon, Davies, Keller, e Rogers (citados por Aedo et alii, 1996), são: (a) avaliação analítica; (b) avaliação por peritos; (c) avaliação observacional; (d) avaliação por inspeção; e (e) avaliação experimental.
A avaliação analítica usa uma descrição formal ou semi-formal da interface para predizer o desempenho do usuário no que se refere às operações físicas e cognitivas que devem ser realizadas, podendo ser empregada em estágios iniciais do desenvolvimento, pois demanda poucos recursos. Trata-se de uma avaliação preliminar, que não exige testagem com o usuário, possui um foco muito estreito, e não gera resultados diagnósticos para um replanejamento.
Na avaliação por peritos, estes são solicitados a julgar o software e identificar os problemas potenciais de usabilidade, assumindo o papel de usuários menos experientes. É um método barato e bastante eficiente - não envolve testagem com usuários nem exige um grande número de especialistas, e pode ser usado nos primeiros protótipos ou especificações do sistema. Deve-se ter cuidado, ao escolher os especialistas, para não introduzir vieses.
A avaliação observacional consiste na coleta de dados a respeito do comportamento do usuário ao utilizar o software. As técnicas mais comuns são observação direta, gravação de vídeo, logging do software (gravação automática das interações do usuário com o sistema), e protocolos verbais (o usuário é convidado a expressar em voz alta observações e pensamentos). É um método a ser usado com protótipos que atingiram um estágio mais avançado de desenvolvimento.
A avaliação por inspeção utiliza entrevistas e questionários com o propósito de evocar as opiniões subjetivas, e a compreensão dos usuários a respeito da interface. Os questionários podem ser usados com um número maior de usuários do que as entrevistas, pois estas podem consumir muito tempo.
Na avaliação experimental, o avaliador manipula diversos fatores associados com o projeto da interface, a fim de estudar os seus efeitos no desempenho do usuário. Normalmente, este método é aplicado em protótipos completamente desenvolvidos, requer um bom conhecimento de métodos experimentais, e demanda grande quantidade de recursos e de tempo.
Considerações Finais
Procurou-se neste trabalho sinalizar para a necessidade da realização de avaliações sistemáticas da qualidade e dos efeitos do software educacional. O uso de um programa de baixa qualidade pode afetar, de maneira desfavorável, a aprendizagem dos alunos. Este é um risco que os educadores não deveriam correr. É preciso que a avaliação dos softwares se torne uma prática comum nas instituições de ensino. Esta avaliação deve ser feita por uma equipe de especialistas, com base em critérios selecionados pela mesma. Costa (1999) acredita que a avaliação do software deveria envolver a participação dos professores.
É necessário enfatizar que o fato de um software ser considerado de boa qualidade na opinião de especialistas (avaliação orientada para o produto) apenas indica uma possível utilidade para uso educacional. Resultados de pesquisa realizada pela autora deste trabalho indicam que é preciso ir mais além e avaliar os efeitos da utilização do software em ambientes reais de aprendizagem: nem sempre os julgamentos dos especialistas se confirmam ao se empregar o programa com alunos (Silva, 1998).



clodoaldo de Oliveira Santos junior