RESUMO

O presente trabalho descreve um instrumento para avaliação de textos produzidos por alunos surdos usuários da Língua Brasileira de Sinais (LIBRAS). Instrumentos que permitam analisar as dificuldades dos alunos são cruciais na avaliação formativa para que se possa desenvolver um plano de ensino adequado às necessidades dos alunos. Teoricamente, o instrumento baseia-se na distinção feita por Nunes e Bryant (2014) entre a relação direta e indireta entre as formas da língua falada e escrita, privilegiando a relação indireta, através de conceitos inferidos pela experiência com a língua. O instrumento utilizado é formado por duas escalas, a primeira avalia a organização sintática e a segunda a qualidade do texto. A relevância do instrumento foi analisada através de sua aplicação a textos produzidos por 18 usuários de LIBRAS que frequentam escolas para alunos surdos na região de Porto Alegre. Obteve-se uma distribuição normal dos escores, sem efeito de chão ou de teto, o que sugere a adequação do instrumento à amostra selecionada. Observou-se um bom nível de fidedignidade do instrumento, obtendo-se também uma indicação positiva de sua validade conceitual, através da correlação entre as duas escalas. Conclui-se que o instrumento pode ser usado na avaliação formativa de usuários de LIBRAS, permitindo identificar aspectos da produção de textos que possam ser trabalhados prioritariamente pelo professor.

Palavras-chave:
avaliação da escrita; escrita do estudante surdo; textos de estudantes surdos; LIBRAS (Língua Brasileira de Sinais); português escrito

ABSTRACT

This paper reports an analysis of the adequacy of a measure for the assessment of text production in Portuguese by deaf Brazilian students who are users of Brazilian Sign Language (LIBRAS). Instruments that enable the analysis of students' difficulties are crucial in the formative evaluation and the design of individual educational plans for deaf students. The theoretical foundation for this measure was proposed by Nunes and Bryant (2014) in their distinction between two types of relation between the oral and the written forms of a language, which are a direct relation, via the surface of the languages, and an indirect relation, based on concepts acquired through experience with the language. This measure focuses on the latter and includes two scales, which assess the use of syntax and text quality, respectively. The importance of the measure was examined through its application to texts produced by 18 deaf pupils, users of LIBRAS who attended schools for deaf students in Porto Alegre. The measure showed neither a floor nor a ceiling effect, and approached a normal distribution. This indicates adequacy of the measure to the selected group. Internal consistency was high; an indication of construct validity was obtained by a high and significant correlation between the two scales. We concluded that the scale is relevant for the assessment of users of LIBRAS and can be productively used for formative assessment, which facilitates the identification of text production aspects that can be used in the delineation of individual educational plans.

Keywords:
writing assessment; deaf pupils' writings; deaf pupils' texts; LIBRAS (Brazilian Sign Language); Portuguese writing

Introdução

O objetivo deste estudo foi verificar a relevância de um instrumento para avaliação de textos produzidos por alunos brasileiros usuários da Língua Brasileira de Sinais (LIBRAS), originalmente criado para a avaliação de textos produzidos por alunos ingleses usuários da Língua Britânica de Sinais (BSL). A avaliação formativa é crucial na educação de alunos surdos (ISAACSON, 1996ISAACSON, S. Simple ways to assess deaf or hard-of-hearing students' writing skills. Volta Review , v. 98, p. 183-199, 1996.; POWERS; GREGORY; THOUTENHOOFD, 1998POWERS, S.; GREGORY, S.; THOUTENHOOFD, E. D. The Educational Achievements of Deaf Children - A Literature Review. HMSO: Department for Education and Employment, 1998.; TUR-KASPA; DROMI, 2001TUR-KASPA, H.; DROMI, E. Grammatical deviations in the spoken and written language of Hebrew-speaking children with hearing impairments. Language, Speech and Hearing Services in Schools, v. 32, p. 79-89, 2001.) para o planejamento de atividades que promovam seu desenvolvimento, portanto, um instrumento que permita avaliar textos produzidos por usuários de LIBRAS pode contribuir para o delineamento de um ensino bem-sucedido. Neste trabalho, entende-se que os sujeitos surdos que adquirem a LIBRAS como língua nativa podem adquirir o português como segunda língua. Enquanto as pesquisas sobre a modalidade escrita da língua de sinais, signwhite, estão em curso, o acesso ao português escrito contribui para a educação desses sujeitos. Cientes das dificuldades advindas do uso de instrumentos criados para alunos ouvintes na avaliação de usuários da BSL, Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) desenvolveram um instrumento que focaliza os obstáculos específicos enfrentados por usuários da BSL na produção de textos em inglês. Apresentamos a seguir uma breve descrição dos pressupostos teóricos em que se baseia o instrumento e os resultados de sua aplicação na análise de textos produzidos por usuários de LIBRAS no Brasil.

Uma língua escrita não é idêntica à sua forma falada, mas se relaciona à forma falada de duas maneiras. (NUNES; BRYANT, 2014NUNES, T.; BRYANT, P. Leitura e ortografia. Além dos primeiros passos. Porto Alegre: Editora Penso, 2014.). A primeira é uma relação direta entre os elementos perceptuais das duas formas da língua: numa escrita alfabética, as letras, que são percebidas visualmente, representam os sons da fala, percebidas pela audição. Quando um aluno aprende a escrever uma língua que não ouve, sua habilidade limitada de discriminar os sons dificulta o uso da conexão direta entre a língua falada e a escrita. Embora a relação direta seja fundamental para a leitura e a ortografia, alunos surdos podem alcançar níveis elevados de proficiência em leitura e escrita de palavras. (MILLER; CLARK, 2011MILLER, P.; CLARK, M. D. Phonemic awareness is not necessary to become a skilled deaf reader. Journal of Developmental and Physical Disabilities, v. 23, n. 5, p. 459-476, 2011.).

Apesar da importância da relação direta entre língua escrita e falada, esse não é o foco do presente trabalho, que considera a relação indireta entre língua escrita e falada baseada em elementos conceituais inferidos a partir da experiência com as línguas escrita e falada: os morfemas, a sintaxe e a semântica. Morfemas são as menores unidades de significado da língua em português, sendo frequentemente menores do que uma palavra. Por exemplo, a palavra "surdo" é formada por dois morfemas: a raiz, "surd-" e a desinência "o", um sufixo que indica que a pessoa à qual nos referimos é do gênero masculino. A morfologia do português é rica em desinências: por exemplo, os substantivos e adjetivos são marcados em gênero e número; os verbos são marcados em pessoa (1ª, 2ª, ou 3ª), número (singular ou plural), tempo (presente, passado e futuro) e modo (indicativo, subjuntivo, imperativo).

A morfologia inclui também morfemas usados na formação de outras palavras, chamados derivacionais. Por exemplo: "-ez" e "-eza" são morfemas derivacionais usados na formação de substantivos abstratos masculinos, como surdez, e femininos, como beleza. Crianças ouvintes adquirem conceitos relacionados à morfologia sem instrução explícita ao longo dos anos, mas seu conhecimento desses conceitos permanece implícito. É necessário que os alunos tomem consciência desses conceitos para utilizá-los de modo explícito e sistemático na escrita. (NUNES; BRYANT, 2006NUNES, T.; BRYANT, P. Improving Literacy through Teaching Morphemes. London: Routledge, 2006.; REED, 2008REED, D. K. A Synthesis of Morphology Interventions and Effects on Reading Outcomes for Students in Grades K-12. Learning Disabilities Research & Practice, v. 23, p. 36-49, 2008.; CARLISLE, 2010CARLISLE, J. F. Effects of Instruction in Morphological Awareness on Literacy Achievement: An Integrative Review. Reading Research Quarterly, v. 45, p. 464-487, 2010.; NUNES; BRYANT, 2014NUNES, T.; BRYANT, P. Leitura e ortografia. Além dos primeiros passos. Porto Alegre: Editora Penso, 2014., para estudos em português). O uso apropriado de desinências é uma dificuldade típica dos falantes de uma segunda língua, ouvintes ou surdos. Alunos surdos ingleses (BURMAN; EVANS; NUNES, 2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) e italianos (FABRETTI; VOLTERRA; PONTECORVO, 1998FABRETTI, D.; VOLTERRA, V.; PONTECORVO, C. Written language abilities of deaf Italians. Journal of Deaf Studies and Deaf Education , v. 3, p. 231-244, 1998.) enfrentam grandes dificuldades na produção de textos, já que informações transmitidas pelas desinências não são registradas em seus textos.

Adotando uma classificação originalmente feita no estudo da Língua Americana de Sinais, Quadros (1997QUADROS, R. M. de. Educação de Surdos. A aquisição da linguagem. Porto Alegre: Artes Médicas, 1997.) identifica uma classe de verbos em LIBRAS que são flexionados em pessoa, número e aspecto. O verbo "dizer", por exemplo, tem uma forma no infinitivo e muda de acordo com o sujeito e o objeto indireto: "ele disse a mim", "tu disseste a ele", e "eu disse a vocês" são frases sinalizadas de modo distinto. Entretanto, não é possível saber se os usuários das LIBRAS abstraem dessas diferenças o conceito de morfologia, o conceito da diferenciação sintática entre sujeito e objeto, ou ambos os conceitos simultaneamente. A sinalização de cada uma dessas três frases se faz por meio de um único gesto, enquanto que no português cada uma delas tem quatro palavras, e o verbo "dizer" traz a marca de quatro desinências. Portanto, não há correspondência entre o número de unidades de significado, o que certamente dificulta a tomada de consciência da morfologia do português para sua representação na produção de textos. O instrumento que está sendo adaptado para avaliação de textos produzidos por usuários de LIBRAS inclui itens que focalizam o uso de morfemas e, portanto, permite descrever se os morfemas em português causam dificuldades para o aluno e se deveriam ser contemplados no planejamento de sua educação.

A sintaxe refere-se à organização das palavras em uma frase e indica a relação entre os elementos da frase. Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) identificaram frequentemente nos textos de alunos surdos o uso de ordens de palavras que desviam da ordem considerada paradigmática no inglês, que é sujeito-verbo-objeto (SVO). Sua interpretação foi que, nos casos onde se observava a ordem objeto-verbo-sujeito (OVS), o aluno utilizava uma ordem aceitável em BSL, pois enfatizava o objeto como tópico da mensagem. Quadros, Pizzio e Rezende (2008QUADROS, R. M.; PIZZIO, A. L.; RESENDE, P. L. F. Língua Brasileira de Sinais II. Tópicos de linguística aplicados à Língua de Sinais: Sintaxe. Florianópolis: Universidade Federal de Santa Catarina. Centro de Comunicação e Expressão (CCE) e Centro de Educação (CED). Licenciatura em Letras/Libras na Modalidade a Distância, 2008. Disponível em: <Disponível em: http://www.libras.ufsc.br/colecaoLetrasLibras/eixoFormacaoEspecifica/linguaBrasileiraDeSinaisII/assets/482/Lingua_de_Sinais_II_para_publicacao.pdf >. Acesso em: jun. 2016.
http://www.libras.ufsc.br/colecaoLetrasL... ) sugerem que a ordem básica em LIBRAS é SVO, mas existem circunstâncias em que essa ordem pode ser modificada. Por exemplo, quando a relação sujeito-objeto pode ser indicada por um aceno de cabeça (QUADROS; PIZZIO; REZENDE, 2008QUADROS, R. M.; PIZZIO, A. L.; RESENDE, P. L. F. Língua Brasileira de Sinais II. Tópicos de linguística aplicados à Língua de Sinais: Sintaxe. Florianópolis: Universidade Federal de Santa Catarina. Centro de Comunicação e Expressão (CCE) e Centro de Educação (CED). Licenciatura em Letras/Libras na Modalidade a Distância, 2008. Disponível em: <Disponível em: http://www.libras.ufsc.br/colecaoLetrasLibras/eixoFormacaoEspecifica/linguaBrasileiraDeSinaisII/assets/482/Lingua_de_Sinais_II_para_publicacao.pdf >. Acesso em: jun. 2016.
http://www.libras.ufsc.br/colecaoLetrasL... ), que é um elemento sobreposto aos sinais (NASCIMENTO, 2013NASCIMENTO, S. P. de F. A organização dos morfemas livres e presos em LSB: Reflexões preliminares. In: QUADROS, R. M. de; STUMPF, M. R.; LEITE, T. de A. (Ed.). Estudos da Língua Brasileira de Sinais I. Florianópolis: Insular, 2013. p. 78-116.), pode-se usar a ordem objeto-sujeito-verbo (OSV) ao invés da sinalização na ordem dominante, SVO. O instrumento que utilizamos neste estudo considera a ordem das palavras escritas no texto. Nas línguas de sinais existem muitos aspectos linguísticos sobrepostos às palavras que fazem parte da sintaxe: a negação, por exemplo, pode ser feita por movimentos da cabeça ou por expressões faciais que acompanham a sinalização. Ao produzir textos escritos, os usuários de línguas de sinais provavelmente precisam tomar consciência de que esses elementos significativos sobrepostos devem ser expressos em palavras para que o significado não se perca.

A sintaxe é expressa não só pela ordem das palavras, mas também pelo uso de palavras ditas gramaticais ou de função, como preposições e conjunções. Ainda retomando o exemplo do verbo dizer: "eu disse a ele" e "eu disse que ele" são frases cuja diferença de significado é indicada pelo uso de palavras gramaticais. O conceito de palavra da criança ouvinte se desenvolve ao longo dos anos e está relacionado tanto à aprendizagem da leitura e escrita como ao desenvolvimento da consciência morfológica. (CORREA; DOCKRELL, 2007CORREA, J.; DOCKRELL, J. E. Unconventional word segmentation in Brazilian children's early text production. Reading and Writing, v. 20, n. 8, p. 815-831, 2007.; GUIMARÃES, 2013GUIMARÃES, S. R. K. The role of morphosyntactic awareness in conventional lexical segmentation. Paidéia, Ribeirão Preto, v. 23, n. 55, p. 225-233, 2013.). Crianças bilíngues mostram dificuldades na segmentação correta de palavras ao comporem textos, pois nem sempre as segmentações ocorrem da mesma forma nas duas línguas. (SPARROW, 2014SPARROW, W. Unconventional Word Segmentation in Emerging Bilingual Students' Writing: A Longitudinal Analysis. Applied Linguistics, v. 35, n. 3, p. 263-282, 2014.). A aprendizagem das preposições é sempre causa de dificuldades na aprendizagem de uma segunda língua, pois não existe um mapeamento simples das preposições de uma língua para outra. As preposições e conjunções são elementos essenciais à coerência de um texto e transmitem informações significativas para o leitor. Estudos em inglês, em italiano e em hebraico (FABRETTI; VOLTERRA; PONTECORVO, 1998FABRETTI, D.; VOLTERRA, V.; PONTECORVO, C. Written language abilities of deaf Italians. Journal of Deaf Studies and Deaf Education , v. 3, p. 231-244, 1998.; TUR-KASPA; DROMI, 2001TUR-KASPA, H.; DROMI, E. Grammatical deviations in the spoken and written language of Hebrew-speaking children with hearing impairments. Language, Speech and Hearing Services in Schools, v. 32, p. 79-89, 2001.; BURMAN; EVANS; NUNES, 2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) mostram que textos produzidos por alunos surdos omitem um grande número de preposições e de conjunções. Em vista das diferenças entre LIBRAS e português, faz-se importante que um instrumento para a avaliação formativa de alunos surdos considere o uso de palavras de função na produção de textos. O instrumento analisado no presente estudo considera o uso adequado de preposições e conjunções.

A semântica refere-se ao significado das palavras e envolve uma rede de conexões relacionadas ao contexto linguístico e social. Quanto ao contexto linguístico, observa-se que uma palavra pode ser traduzida do português para LIBRAS, mas seu significado nas duas línguas pode não ter a mesma conotação ou a mesma extensão. As palavras "tomar" e "beber", por exemplo, podem ser tratadas como sinônimas em certos contextos, como "eu vou tomar/beber café", mas não em outros como "eu vou tomar banho". (SANTOS, 2013SANTOS, S. A. Contextualização dos Estudos da Interpretação no Brasil. In: QUADROS, R. M. de; STUMPF, M. R.; LEITE, T. de A. (Ed.). Estudos da Língua Brasileira de Sinais. Florianópolis: Insular , 2013. v. II. p. 119-233.). A utilização de palavras apropriadas para o contexto é considerada um dos elementos que merece ser avaliado na produção de textos por alunos surdos.

Muitos dos elementos comunicativos importantes de uma língua usada na interação face a face não são registrados quando se escreve uma frase no papel. A ironia e o entusiasmo, por exemplo, muitas vezes se expressam pelo tom da voz e pela expressão facial na interação face a face. Esses elementos são registrados na escrita por acréscimos ao que foi dito, por exemplo: Muito obrigada pelo conselho, disse Alice ironicamente/entusiasticamente. O conteúdo "muito obrigada pelo conselho" não reflete ironia ou entusiasmo; portanto, é necessário acrescentar a informação por meio de uma frase descritiva. Os elementos significativos sobrepostos às palavras existem tanto no português como em LIBRAS. A qualidade da mensagem de um texto escrito pode ser avaliada pelo uso de descrições que permitam ao leitor inferir algo sobre a disposição ou estado emocional dos personagens numa narrativa. Esses elementos são avaliados no instrumento descrito no presente estudo, por meio das escalas ligadas à qualidade da mensagem.

Essas considerações iniciais nos levaram a criar duas escalas para avaliar a produção de textos por alunos usuários de línguas de sinais: a primeira baseia-se em critérios sintáticos e a segunda na qualidade da mensagem. Nas seções seguintes descrevemos brevemente estudos anteriores que consideraram a avaliação de textos produzidos por alunos surdos e o processo de desenvolvimento da escala criada por Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.).

A avaliação de textos produzidos por alunos surdos

A produção de textos em sala de aula para avaliação é uma prática comum na escola. Embora seja possível criticá-la como uma prática artificial, a escola precisa criar constantemente situações didáticas significativas. Na realidade, alguns pesquisadores como Bruner (1966BRUNER, J. S. Toward a theory of instruction. New York: Taylor & Francis, 1966.) e Vygotsky (1981VYGOTSKY, L. S. The genesis of higher mental functions. In: WERTSCH, J. V. (Ed.). The concept of activity in Soviet Psychology. Amonk, NY: Sharpe, 1981. p. 57-93.) julgam que uma das funções importantes da escola é criar certa distância entre a experiência quotidiana e o sujeito, para que o sujeito possa contemplar sua experiência e formar conceitos científicos que ainda não foram formados no decorrer da vida quotidiana.

A ferramenta que utilizamos para motivar a criação de textos foi a apresentação de quatro ilustrações, que formam uma sequência propiciando ideias para uma história. Os professores mostram as figuras e solicitam aos alunos que imaginem o que aconteceu na história. Esse trabalho é feito em conjunto e todos os alunos são incentivados a contribuir com suas ideias. A avaliação não visa examinar a imaginação dos alunos, mas sua habilidade de colocar no papel ideias que foram discutidas em grupo. Esse procedimento foi usado com estudantes surdos (HEEFNER; SHAW, 1996HEEFNER, D. L.; SHAW, P. C. Assessing the written narratives of deaf students using the Six-trait Analytical Scale. Volta Review, v. 98, p. 147-168, 1996.; BURMAN; NUNES; EVANS, 2007BURMAN, D.; NUNES, T.; EVANS, D. Writing Profiles of Deaf Children Taught through British Sign Language. Deafness and Education International , v. 9, p. 2-23, 2007.) com bons resultados e tem a vantagem de dar ao avaliador um contexto a partir do qual possa interpretar as produções escritas, as quais muitas vezes seriam inescrutáveis sem o conhecimento do contexto.

A avaliação de textos é frequentemente expressa de modo holístico através de um conceito (excelente, bom, médio, fraco) ou de um número (por exemplo, de 0 a 10). Essas avaliações holísticas não oferecem ao professor clareza quanto aos aspectos positivos do texto e os que devem ser trabalhados para que o aluno melhore sua produção escrita.

Entre as dimensões de análise propostas na literatura para a avaliação de textos produzidos por alunos surdos, encontramos no trabalho de Yoshinaga-Itano e Snyder (1985YOSHINAGA-ITANO, C.; SNYDER, L. Form and meaning in the written language of hearing-impaired children. Volta Review , v. 87, p. 75-90, 1985.) os seguintes critérios de avaliação: (1) número de palavras e sentenças usadas no texto; (2) grau de complexidade sintática e desenvolvimento da narrativa; (3) categorização dos erros; (4) quantificação das categorias gramaticais usadas na narrativa (ou seja, número de substantivos, verbos, adjetivos, etc.); e (5) análise da variedade nas orações (ou seja, orações coordenadas, subordinadas, relativas, etc.). Um olhar lançado sobre as produções dos alunos usuários de LIBRAS mostrou a inadequação desses critérios. Embora fosse possível contar o número de palavras, nem sempre era possível contar o número de frases, pois essas são, às vezes, incompletas ou repetidas. Orações subordinadas são raríssimas e o número de categorias gramaticais é restrito. O uso desse sistema de avaliação mostraria o que é conhecido como efeito de chão, ou seja, não permite a diferenciação das produções, as quais não atingem critérios mínimos. Além disso, o valor formativo dos critérios não é claro, pois simplesmente dizer ao aluno que escreva mais palavras ou frases não é suficiente para ajudá-lo a escrever melhor.

Powers e Wilgus (1983POWERS, A. R.; WILGUS, S. Linguistic complexity in the language of hearing impaired children. Volta Review , v. 85, p. 201-210, 1983.) criaram um instrumento para analisar a produção de textos por alunos surdos usando critérios baseados na sintaxe, gerando quatro níveis de desempenho: (1) uso repetitivo de um único padrão sintático (por exemplo, SVO); (2) uso apropriado de vários padrões sintáticos, incluindo pronomes e o verbo ser, que não existem na BSL; (3) uso de orações coordenadas e subordinadas e tempos variados de verbos; e (4) uso de períodos complexos, incluindo orações intercaladas. Novamente, uma análise das produções dos alunos mostrou a irrelevância desse instrumento, pois todos os textos seriam classificados no nível 1, o mais elementar.

Motivos semelhantes determinaram que fosse descartado o uso de um instrumento desenvolvido por Isaacson (1996ISAACSON, S. Simple ways to assess deaf or hard-of-hearing students' writing skills. Volta Review , v. 98, p. 183-199, 1996.), bem como as propostas de análise de Heefner e Shaw (1996HEEFNER, D. L.; SHAW, P. C. Assessing the written narratives of deaf students using the Six-trait Analytical Scale. Volta Review, v. 98, p. 147-168, 1996.) e de Spandel e Stiggins (1990SPANDEL, V.; STIGGINS, R. Creating Writers: Linking Assessment and Writing Instruction. New York: Longman, 1990.). No entanto, esses últimos trabalhos mostraram a utilidade de se considerar, além de critérios sintáticos, a qualidade da mensagem, salientando a possibilidade do uso de critérios como a escolha da palavra mais adequada ao contexto, o desenvolvimento da narrativa, a expressão de reações subjetivas e emocionais, além da descrição de fatos. Os instrumentos criados por Heefner e Shaw (1996HEEFNER, D. L.; SHAW, P. C. Assessing the written narratives of deaf students using the Six-trait Analytical Scale. Volta Review, v. 98, p. 147-168, 1996.) e Spandel e Stiggins (1990SPANDEL, V.; STIGGINS, R. Creating Writers: Linking Assessment and Writing Instruction. New York: Longman, 1990.) propunham a utilização de uma escala de 1 a 5 para avaliar até que ponto o texto refletia os critérios de avaliação, sendo 1 equivalente ao uso inconsistente ou infrequente e 5 equivalente ao uso consistente e frequente, as pontuações 2, 3 e 4 deveriam equivaler a progressos no critério em consideração.

A partir da contribuição oferecida pelos trabalhos anteriores, foi desenvolvido em quatro fases o instrumento adaptado para o presente trabalho. Na primeira fase, professores escolheram imagens que, em sua opinião, poderiam estimular uma conversa e levar à criação de uma narrativa. O uso de imagens é considerado desejável, pois estudos recentes (ARFÉ; ROSSI; SICOLI, 2015ARFE, B.; ROSSI, C.; SICOLI, S. The Contribution of Verbal Working Memory to Deaf Children's Oral and Written Production. Journal of Deaf Studies and Deaf Education, v. 20, n. 3, p. 203-214, 2015.) mostraram que a qualidade de produção de textos escritos por alunos surdos está relacionada à memória de trabalho, de modo que ao oferecer um apoio visual diminuímos a influência da memória de trabalho sobre sua produção escrita. O critério de seleção das imagens usado pelos professores foi que as figuras fossem claramente ordenadas no tempo, facilitando a criação de uma narrativa com início, meio e fim. Como a existência de um problema que é resolvido durante a narrativa é uma característica de histórias, uma das imagens deveria apresentar um problema. Finalmente, as imagens não deveriam ser retiradas de histórias que pudessem ser conhecidas por alguns alunos e não por outros; portanto, foram criadas, de forma original, para o estudo.

Na segunda fase, professores utilizaram as imagens em classes de alunos surdos em escolas que privilegiam o uso da BSL em sala de aula. As imagens foram ampliadas para serem apresentadas em sala de aula e colocadas, uma após a outra, em sequência durante a discussão. Quando os alunos escreviam suas narrativas, as quatro imagens estavam na frente da sala e em ordem. Como o objetivo não era analisar a ortografia, os alunos podiam solicitar que a professora escrevesse em um papel as palavras que não sabiam escrever, mas que desejavam utilizar em sua produção. A professora escrevia a palavra solicitada em um papel e entregava ao aluno, que podia copiar a palavra.

Na terceira fase, seis professores de surdos competentes na BSL classificaram individualmente os textos de modo holístico em cinco níveis. Posteriormente, os professores compararam suas classificações e, no caso de divergências, discutiram suas classificações e buscaram um acordo.

Na quarta fase, Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) discutiram as diferenças entre os textos classificados nos diversos níveis, anotando seus próprios comentários, e criaram um mapa conceitual. O mapa conceitual é um instrumento desenvolvido inicialmente por Novak (1990NOVAK, J. D. Concept mapping: A useful tool for science education. Journal of Research in Science Teaching, v. 27, v. 10, p. 937-949, 1990.), atualmente muito utilizado para a análise de conceitos científicos. O procedimento usado na criação de mapas conceituais envolve a discussão do conceito, a identificação de seus elementos, que são escritos em cartões, e a organização espacial dos cartões de forma a refletir a relação que os autores dos mapas creem existir entre os elementos; elementos que refletem a mesma dimensão são organizados em um grupo e separados de elementos que refletem outra dimensão, podendo-se formar diferentes números de grupos com distâncias diferentes entre eles. Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) organizaram seu mapa conceitual em duas dimensões: a primeira reúne os aspectos sintáticos, que permitem a organização da mensagem do texto; a segunda refere-se à qualidade da mensagem, que contribui para a transmissão de informações além da organização.

A escala que avalia a qualidade sintática do texto focaliza os aspectos obrigatórios da comunicação da mensagem, sem os quais a mensagem apareceria truncada. Essa escala considera a representação da estrutura gramatical básica (SVO), o uso de artigos, o uso de sintagmas nominais e verbais (ou seja, grupos de palavras que apresentam um significado, como "leite quente" ou "dança bem"), o uso adequado de preposições e de conjunções, o uso de pontuação, a indicação de tempo na narrativa através de advérbios e desinências e o uso de desinências para marcar a concordância entre substantivos e adjetivos ou entre sujeito e predicado. Cada um desses aspectos é avaliado separadamente, de modo a permitir a criação de um perfil que pode ser usado na determinação dos objetivos de ensino para o aluno.

A escala que avalia a qualidade da mensagem considera aspectos opcionais que enriquecem a mensagem ou lhe dão maior coerência. Por exemplo, uma narrativa poderia ser escrita sem pronomes, sendo os nomes dos personagens repetidos constantemente, mas ela é enriquecida pelo uso de pronomes, que evitam a repetição constante dos nomes. Entre os aspectos considerados na avaliação da qualidade da mensagem estão: o uso de pronomes e de pontuação expressiva; o uso de frases que descrevam a perspectiva dos personagens; o uso de palavras com a conotação apropriada e a inclusão de informações que ajudam a imaginar como e por que a história aconteceu (por exemplo, indicam o motivo para uma viagem e o lugar de destino); o uso de expressões coloquiais (como "morrer de rir").

Em cada item de ambas as escalas a avaliação é feita usando-se uma pontuação que vai de 0 a 4. Pontuação 0 é atribuída quando não há evidência do uso do conceito: por exemplo, não utiliza nenhuma preposição; e pontuação 4 quando o conceito é usado corretamente e sistematicamente na maioria dos casos: por exemplo, usa quase todas as preposições corretamente, sendo raras as omissões. Os níveis intermediários de desempenho recebem pontuação de 1, 2 ou 3, dependendo de estarem mais próximos do desempenho descrito por 0 ou por 4.

O estudo empírico da relevância da escala para usuários de LIBRAS

A fim de verificar a adequação do instrumento para usuários de LIBRAS, trabalhamos com uma amostra inicial de 46 participantes, com idade entre 7a 4m e 17a 11m, cursando do 2º ano ao 8º ano do ensino fundamental de quatro escolas para alunos surdos com filosofia bilíngue da Área Metropolitana de Porto Alegre. A escolha de escolas para surdos justifica-se porque é nesse espaço social que a maioria das pessoas surdas inicia o acesso à língua de sinais, sendo, portanto, maior a probabilidade de encontrarmos alunos mais competentes em sua língua nativa. Desses alunos, quatro implantados e três com deficiência intelectual não foram incluídos na amostra; 21 alunos do 2º ano ao 4º ano também não foram incluídos, pois não produziram textos, mas listas de palavras cujas grafias, em maioria (80%), solicitaram à professora. Portanto, esses alunos ainda não haviam resolvido o primeiro problema na construção da escrita que, segundo Ferreiro e Teberosky (1999FERREIRO, E.; TEBEROSKY, A. Psicogênese da Língua Escrita. Porto Alegre: Artmed, 1999.), é compreender que a escrita é constituída pela base alfabética (que Nunes e Bryant (2014NUNES, T.; BRYANT, P. Leitura e ortografia. Além dos primeiros passos. Porto Alegre: Editora Penso, 2014.) consideram como a relação direta entre a língua oral e escrita). Assim, apenas aproximadamente metade das produções escritas foi incluída no estudo. A pesquisa contou com 18 alunos, com idade entre 10a 9m e 17a 11m, com perdas auditivas assim distribuídas: moderada: dois alunos; severa: nove alunos; e profunda: sete alunos.

Procedimento

Uma sequência de quatro imagens foi apresentada aos participantes por meio de cartazes coloridos impressos e afixados no quadro verde. A primeira imagem mostrava um homem organizando uma mala com roupas, a segunda mostrava outro homem colocando a mala em um automóvel, a terceira mostrava os dois homens em um carro na estrada e algumas peças de roupa no ar, como se tivessem voado de dentro do carro e a quarta imagem mostrava os dois homens organizando uma barraca e uma fogueira. Utilizando-se de um procedimento semelhante ao descrito por Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.), o professor² 2 A pesquisa contou com apoio dos professores dos alunos e com auxílio de uma professora com Especialização em Educação de Surdos e Proficiência no Uso e no Ensino da Libras, uma professora de Surdos e com Proficiência na Tradução e Interpretação da Língua de Sinais/Língua Portuguesa e vice-versa e de uma professora Surda com formação no Curso de Letras-Libras. As autoras são gratas a essas professoras. mostrava os cartazes e discutia com os participantes o que poderia estar acontecendo na história, levantando possibilidades para a criação da narrativa. Os alunos receberam as mesmas imagens impressas e foi solicitado a eles que escrevessem a sua história. Como não havia interesse na ortografia, era permitido aos alunos pedir auxílio para a escrita de palavras, que eram escritas em cartões que lhes eram entregues. Ao final da produção, esses cartões eram anexados ao trabalho de cada aluno.

Os itens apresentados no Quadro 1 foram avaliados com pontuação de 0 a 4, como no instrumento original. O item "A" foi usado como critério para inclusão do texto na avaliação. Se o participante não produz palavras que possam ser identificadas, sua produção de textos não pode ser avaliada por meio desse instrumento.

Quadro 1
Itens utilizados na análise das produções escritas dos estudantes

Todos os 18 participantes cujos textos foram analisados satisfizeram o critério do item A. Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) definem os itens de 1 a 10 como parte da escala sintática e os de 11 a 16 como parte da escala que avalia a qualidade do texto.

Resultados

A relevância do instrumento para a avaliação dos usuários de LIBRAS foi analisada considerando-se sua distribuição, a fidedignidade da escala e a correlação entre a escala sintática e a qualidade do texto.

A distribuição dos escores na escala sintática aproximou-se da curva normal, sendo a média igual a 14,11 (pontuação máxima possível igual a 40) e o desvio padrão igual a 3,69. A distribuição dos escores na escala de qualidade do texto também se aproximou da curva normal, com média igual a 5,83 (escore máximo possível igual a 24) e desvio padrão igual a 3,34. Não se observou efeito de chão ou de teto; portanto, as escalas mostraram-se adequadas à amostra. A Figura 1 mostra a distribuição por escala. A correlação entre as escalas foi significativa (r=0,67; p<.05), o que confere às escalas um grau de validade conceitual.

Figura 1
Distribuição dos escores para a escala sintática (à esquerda) e da qualidade do texto (à direita)

A escala total, obtida com a soma da pontuação em todos os itens, mostrou uma distribuição normal, com média igual a 19,94 e desvio padrão igual a 6,34; a menor pontuação foi 11 e a maior foi 31. O índice alpha de fidelidade foi 0,80, que é considerado alto e indica uma boa consistência interna dos itens. Pode-se, portanto, concluir que a escala poderia ser usada para a avaliação formativa dos alunos surdos usuários de LIBRAS.

A Tabela 1 mostra a média de acertos e o desvio padrão para cada item. Observa-se que a maior pontuação foi no item 9, que se refere à ausência ou substituição de palavras necessárias, possivelmente pelo número de palavras solicitadas pelos alunos, pois o professor sempre oferecia a palavra correta, evitando assim os problemas que poderiam surgir do fato de que a correspondência nos significados não é completa (ver exemplo anterior referente às palavras "tomar" e "beber").

A média de acertos mais baixa foi no item 8, que se refere ao uso de pontuação. Também foi baixa a pontuação no item 7, que se refere ao uso de tempos verbais. Observe-se, no entanto, que quando os alunos solicitam a escrita de um verbo através de seu sinal, o pesquisador e professores tendem a oferecer um verbo no infinitivo como glosa para o sinal, a não ser que existam outros indícios que mostrem ser necessário o uso de outra forma verbal. Observa-se também que a pontuação é baixa no item 15, que se refere ao uso de expressões coloquiais, as quais são tipicamente difíceis para o aluno surdo, pois não são facilmente traduzidas de uma língua para a outra.

Ao analisar o item 1 da Tabela 1, observa-se que a média de acertos dos alunos é 2,33, uma vez que 5 alunos dos 18 consistentemente utilizaram a estrutura SVO, possivelmente porque a LIBRAS também possui essa mesma ordem básica. (QUADROS; KARNOPP, 2004QUADROS, R. M. de; KARNOPP, L. B. Língua de Sinais Brasileira: Estudos linguísticos. Porto Alegre: Artmed , 2004.). O que ocorreu mais frequentemente quando os alunos não usavam a sequência SVO foi ou o uso do objeto antes do sujeito, ou a ausência de verbos.

Analisando-se as produções dos alunos, pode-se perceber que no item 11, no qual os alunos poderiam usar palavras relevantes para as ilustrações, a média foi de 2,44, com 4 alunos obtendo a pontuação máxima, o que sugere que o início do trabalho a partir do brainstorm facilitou a demonstração de que a maioria dos alunos pode expressar suas ideias de modo pertinente ao contexto, embora não tenha atingido um nível de conhecimento do português escrito suficiente para usar a gramática apropriadamente.

Finalmente, observou-se, como era de se esperar, uma correlação significativa entre a idade dos alunos e o ano escolar (r=0,704). No entanto, não aparece uma correlação significativa entre o ano escolar e o desempenho em produção de texto (r=0,17). Esse resultado sugere que é realmente necessário o desenvolvimento de instrumentos que permitam realizar uma boa avaliação formativa dos textos produzidos pelos alunos a fim de se delinearem planos de ação apropriados para o ensino.

Conclusões

Existe consenso entre educadores que o ensino dos alunos surdos deve buscar avaliações formativas apropriadas para o planejamento de objetivos adequados para cada aluno. No caso da produção de textos em Português, o conhecimento das dificuldades que os alunos enfrentam na produção de textos pode servir de base para o planejamento das aulas. As análises da adaptação do instrumento criado por Burman, Evans e Nunes (2008BURMAN, D.; EVANS, D.; NUNES, T. Assessing Deaf Children's Writing in Primary School Grammar and Story Development. Deafness and Education International, v. 10, n. 2, p. 93-110, 2008.) mostraram sua relevância para avaliar textos produzidos por alunos usuários de LIBRAS. A partir dos diagnósticos permitidos por esse instrumento, Nunes, Burman, Evans e Bell (2010NUNES, T.; BURMAN, D.; EVANS, D.; BELL, D. Writing a language that you can't hear. In: BRUNSWICK, N.; MCDOUGALL, S.; DAVIES, P. de M. (Ed.). Reading and dyslexia in different orthographies. Hove, UK: Psychology pres/Taylor & Francis, 2010. p. 109-128.) criaram um programa de ensino que mostrou excelentes resultados tanto na produção de textos como na compreensão de leitura, dois processos muito relacionados na aquisição da língua escrita. Espera-se que o instrumento apresentado no presente trabalho possa contribuir de modo semelhante para a educação dos usuários de LIBRAS no nosso contexto. No entanto, desejamos mencionar uma limitação do presente trabalho: a amostra é bastante reduzida, o que sugere a pertinência de um trabalho com um maior número de participantes no futuro.

Referências

Datas de Publicação

Histórico