Mecanismo que reconhece expressões dos alunos reproduz racismo e apresenta fragilidades, dizem pesquisadores

Por Amanda Audi, compartilhado de A Pública

Lucas Fermin/Seed-PR

No ano passado, professores da rede de ensino pública do Paraná foram surpreendidos com o que eles chamaram de “trambolho”: um pedestal acoplado a uma televisão, computador, teclado, mouse, microfone e webcam. Receberam a orientação de que essa estrutura deveria ser posicionada em local privilegiado da sala de aula, ao lado do professor. 

O nome dado pela Secretaria de Educação do estado é “Educatron”, mas, além de trambolho, os professores também o chamam de “deceptron” por causa das várias falhas e erros no sistema.

Oficialmente, o Educatron serve para passar conteúdos multimídia e fazer videochamadas com outros professores e palestrantes. Na prática, porém, ele também é usado para fazer o reconhecimento facial dos alunos, substituindo a tradicional chamada dos nomes dos alunos por ordem alfabética.

O reconhecimento facial foi implantado nas 1,7 mil escolas do estado gradativamente desde o ano passado. Além do Educatron, os professores também usam os próprios celulares pessoais para tirar fotos da turma e enviar para o sistema identificar os rostos.

Mais do que apenas identificar os alunos presentes na sala, a ideia também era que o sistema reconhecesse expressões faciais dos alunos, como uma forma de medir como eles estão se comportando.

Um projeto piloto foi implantado em uma escola cívico-militar do estado no início do ano. Os alunos foram monitorados durante o tempo do experimento com a finalidade de gerar gráficos de atenção e dispersão – ou seja, medir a qualidade das aulas por meio das emoções demonstradas pelos estudantes.

Os dados são de um relatório inédito, obtido pela Agência Pública, feito por pesquisadores ligados à Universidade Federal do Paraná (UFPR) e à Pontifícia Universidade Católica (PUC-PR) sobre o reconhecimento facial nas escolas do Paraná. Segundo a pesquisa, o monitoramento de emoções foi realizado em 10 salas da escola cívico-militar Ermelino de Leão, no Bairro Boa Vista, de Curitiba. 

O relatório aponta fragilidades do sistema de vigilância, entre elas o armazenamento dos dados pessoais dos estudantes e professores, que segundo os pesquisadores fere a Lei Geral de Proteção de Dados (LGPD). Além disso, eles questionam a eficácia do modelo de monitoramento comportamental na prevenção de violência em sala de aula e ainda racismo dos algoritmos. 

Um edital lançado pela Tecnologia da Informação e Computação do Paraná (Celepar) em parceria com a Hotmilk, uma aceleradora de startups ligada à PUC-PR, em 2021, selecionou startups para, entre outras áreas, fornecer uma solução de “monitoramento comportamental de alunos, por meio de vídeo e voz, utilizando inteligência artificial para coleta, processamento e classificação de emoções”.

A Celepar confirmou aos pesquisadores a realização de testes a partir da biometria facial para o monitoramento comportamental dos alunos com a câmera Educatron. Além das salas de aula, também houve um teste com imagens captadas de uma torre fora do colégio usando o software SecurOS, da empresa israelense Intelligent Security Systems (ISS). 

O software faz parte de um projeto que implantou câmeras de segurança em torres de escolas utilizando inteligência artificial para medir comportamentos que possam representar riscos à integridade dos alunos e servidores, segundo o relatório.

A Celepar informou aos pesquisadores que os testes não foram eficazes por limitações de captação das câmeras. Não está claro, porém, se o governo irá persistir com os testes.

Os autores da pesquisa citam que há diversos estudos (como da neurocientista Lisa Feldman Barrett) que mostram que uma pessoa não necessariamente terá expressões faciais de raiva ou agressividade antes de cometer algum ato violento, por exemplo. Por outro lado, um aluno classificado pela inteligência artificial como “violento” poderá ter prejuízos na sua vida escolar e no mercado de trabalho se for classificado erroneamente como “violento”. 

Além disso, os sistemas de reconhecimento facial “tendem a interpretar expressões faciais de pessoas brancas e negras de modo distinto, atribuindo sentimentos negativos com maior frequência em pessoas negras”, segundo o relatório. 

Como os algoritmos são feitos e treinados por pessoas, eles tendem a reproduzir discriminações que já existem na sociedade. Um estudo de 2019 da Rede Observatórios de Segurança, por exemplo, mostrou que 90,5% dos presos por reconhecimento facial no Brasil eram negros.

Outra questão é que, apesar de a Celepar ter desenvolvido o sistema de biometria, a empresa privada Valid ganhou uma licitação para armazenar os dados biométricos dos alunos ao custo de R$ 4,5 milhões. Uma das especificações do edital era a necessidade de “detecção de emoções”. 

A Valid é uma das maiores empresas do país no ramo de documentação. Ela chegou a questionar, durante a fase da licitação, se seria mesmo necessário armazenar dados de emoção porque eles não seriam fundamentais para a identificação biométrica. E a resposta da Celepar foi de que era, sim, necessário, “dado o interesse de futuras análises estatísticas”.

Após ganhar o processo licitatório, a Valid criou um banco de dados biométricos em forma de hashes (um representante alfanumérico criptografado) das fotos dos alunos. As imagens foram tiradas por servidores das escolas, que foram orientados a coletar três fotos de cada estudante – uma de frente e uma de cada lado do perfil.

De acordo com a Celepar, as imagens ficam exclusivamente em sua posse, são armazenadas em seu servidor e em nuvem não especificada. A transferência de dados para a Valid ocorre em fluxo contínuo, de modo que as imagens dos alunos não ficariam retidas pela empresa. 

Henrique Kramer, pesquisador que fez parte do estudo, lembra que, no ano passado, houve mais de 300 mil disparos de SMS com mensagem de apoio ao ex-presidente Jair Bolsonaro e contra o Supremo Tribunal Federal, em plena campanha eleitoral, usando dados da Celepar.

“Naquela oportunidade ficou evidente que bases de dados da Administração pública estadual não foram adequadamente protegidas e dados como números de celulares foram utilizados por uma empresa contratada pelo estado do Paraná de forma inadequada. Ao que sabemos esse caso está ainda sob investigação, mas a falta de proteção à dados pessoais foi flagrante”, afirmou.

Pais de estudantes também se mostram preocupados.. “Eles não pediram a minha autorização para tirar foto do meu filho. Pra fazer o reconhecimento significa armazenar a imagem dele em algum lugar que eu não sei onde é”, diz Claudia Mendes Campos, mãe de um aluno do 7° ano do Fundamental II do Colégio Estadual do Paraná.

“Meu filho reclama bastante que o sistema demora muito e não reconhece os rostos de alguns alunos.”, afirma. “E os professores têm que fazer chamada em cada aula, mesmo quando é geminada, então é muito tempo gasto. Era para economizar tempo, mas por um lado é uma invasão, e por outro perda de tempo.”

Reconhecimento facial nas escolas brasileiras

O uso de reconhecimento facial em escolas está crescendo rapidamente no país. Um relatório de março deste ano do grupo de pesquisas sobre direitos humanos e tecnologia Internetlab apontava o uso do recurso em um estado (Tocantins) e 14 municípios. 

O Paraná ainda não havia oficialmente lançado o seu sistema, então, de lá pra cá, mais 399 cidades foram adicionadas à lista. “Há um movimento tão forte pelo uso dessa tecnologia que nosso levantamento se desatualizou rápido”, disse uma das coordenadoras do estudo, Clarice Tavares. 

O pesquisadores notaram que as justificativas para o uso do reconhecimento facial são bem parecidos. O argumento geral é de encurtar o tempo gasto com chamada (de cinco minutos passaria para um), evitar evasão escolar (já que o sistema pode mostrar quem está faltando muito e, se for o caso, notificar o Conselho Tutelar), e aumentar a segurança dos alunos.

O relatório questiona que, embora estas questões sejam legítimas – são, afinal, problemas históricos das escolas brasileiras –, o reconhecimento facial pode não ser a melhor maneira de lidar com elas.

“Esta tecnologia não é necessariamente capaz de resolver os problemas, e ainda pode trazer novos problemas. Há riscos sérios de vazamento de dados sensíveis e falta de acurácia”, diz Tavares. Ela cita que o sistema muitas vezes não é adaptado a pessoas com deficiência (por exemplo, cadeirantes ou crianças autistas que não olham para a câmera), e os erros de identificação de pessoas negras são muito comuns.

“Se uma criança está sendo identificada de forma errada, pode impactar com corte do programa Bolsa Família, por exemplo”, afirma a pesquisadora. 

“A gente sabe muito pouco como as empresas de segurança/vigilância estão tratando esses dados. No caso de pessoas já marginalizadas, pretas, pobres, um tratamento irregular tem um peso muito negativo. Tanto de autonomia dos dados, como na vida prática. Ou seja, essas pessoas podem levar desde faltas erradas até terem os seus dados compartilhados com outros órgãos, como segurança pública, para identificar suspeitos”, continua.

Além disso, o sistema costuma operar em equipamentos velhos, desatualizados e com baixa capacidade. Professores do Paraná, por exemplo, relataram à Agência Pública que as câmeras têm uma resolução tão baixa que não conseguem captar os rostos dos alunos sentados atrás da segunda fileira – ou seja, só os 10 alunos sentados na frente são identificados.

“Nunca funciona porque a câmera é ruim e as salas são mal iluminadas. Em muitas faltam lâmpadas”, disse um docente de Curitiba que não quis ser identificado. Com os erros frequentes, ele parou de usar o recurso e só faz a chamada manual. Diz que, por enquanto, isso ainda é possível, mas há uma cobrança da diretoria e da Secretária de Educação para obrigar o uso do reconhecimento facial em todas as aulas.

“E o pior é que dificilmente esse reconhecimento facial consegue reconhecer alunos negros”, ele continua. “Só não virou um constrangimento porque nós ainda temos a opção da chamada manual.”  

Aplicativos no lugar dos livros 

O processo de informatização da rede escolar paranaense foi iniciado pelo ex-secretário de educação Renato Feder durante o primeiro mandato do governador Ratinho Junior. Ele assumiu a pasta do governo de São Paulo, à convite do governador Tarcísio de Freitas. Ele chegou a ser cotado para o Ministério da Educação durante o governo de Jair Bolsonaro. 

Defensor dos meios digitais em sala de aula, Feder é um dos fundadores da Multilaser, gigante que vende equipamentos digitais e tem contratos milionários com o poder público. Só com o governo de São Paulo, a empresa teve contratos de R$ 192 milhões com a venda de tablets e computadores com a pasta que ele passou a comandar. Os contratos foram assinados antes da posse na secretaria, mas ele permanece como acionista da empresa por meio de uma offshore nos Estados Unidos. 

Neste ano, Feder se envolveu em polêmica ao decidir que São Paulo iria deixar o Programa Nacional do Livro Didático, do governo federal, e que alunos a partir do 6º ano usariam apenas material digital. Uma investigação aberta pelo Ministério Público e o peso da opinião pública, que criticou a medida, fizeram o governo voltar atrás.

O substituto de Feder no governo paranaense é Roni Vieira, que era o seu braço-direito durante a gestão e deu continuidade à política de trazer equipamentos tecnológicos e informatizar a sala de aula.

Hoje, os alunos têm que usar mais de 20 aplicativos para acessar conteúdo das matérias escolares e fazer lição de casa. Eles foram implantados de forma gradual desde o ano passado em disciplinas básicas, como português e matemática. Nas redes sociais, estudantes reclamam do excessivo número de plataformas. Um vídeo do TikTok, com mais de 70 mil curtidas, mostra uma fadinha se desesperando frente a uma grande quantidade de nomes de aplicativos.

A Secretaria de Educação do estado diz que, mesmo se o aluno não tiver internet em casa, todas as escolas têm acesso à rede Wi-Fi, o que evitaria problemas, mas um relatório da APP Sindicato, associação ligada aos professores do estado, mostra quea internet nas escolas é ruim e a falta de acesso em casa prejudica o processo de aprendizagem.

A pesquisa mostra que 93% dos professores paranaenses já usam os equipamentos tecnológicos enviados pela secretaria, mas seis em cada 10 avaliam que o governo não está correto em priorizar o uso de plataformas digitais nas salas de aula.

Profissionais de ensino concordam que é importante os alunos se aprofundarem no mundo da tecnologia, algo que é imprescindível no mundo de hoje. Mas, argumentam que deveria haver melhor estrutura nas escolas para comportar uma mudança tão drástica.

Um dos principais pontos levantados pelos docentes é a falta de diálogo. “Não teve conversa, nenhuma audiência pública. Começou um projeto-piloto nas escolas cívico-militares e logo passou para todo o resto. Sem explicar direito, sem uma atividade de formação. Enfiaram goela abaixo”, afirma Margleyse dos Santos, secretária executiva educacional do sindicato.

Sobre o reconhecimento facial, segundo o levantamento, 84% dos professores consideram o sistema pior do que a chamada manual. “É sempre uma guerra com os alunos, eles odeiam porque nunca dá certo e demora muito tempo”, disse uma professora de Pato Branco.

O relatório dos pesquisadores da UFPR e da PUC-PR ainda aponta que o problema é bem mais complexo do que corriqueiros erros nos dispositivo. Segundo o documento, há inconsistências preocupantes na maneira como informações sigilosas – dados pessoais e a imagem pessoal – de alunos menores de idade estão sendo coletados, armazenados, tratados e eventualmente descartados pelo governo do estado.

Os pesquisadores apontam que não há indícios de o governo do estado ter feito um estudo de impacto sobre a implantação da tecnologia, e que a sua aplicação fere a Lei Geral de Proteção de Dados (LGPD) em suas normativas sobre o tratamento de dados de crianças e adolescentes. 

No Brasil, a LGPD estipula que o consentimento para o uso dos dados de crianças e adolescentes deve ser dado por pelo menos um dos pais ou responsáveis legais. Mas, no Paraná, os próprios professores ou diretores das escolas aceitam a política de privacidade em nome dos alunos.

Em uma orientação enviada aos professores em maio deste ano, a Secretaria de Educação diz que, em caso de negativa do uso da imagem, “a administração pública pode tratar dados sem consentimento para implantação de políticas pública e de segurança”, e que o uso de dados biométricos já havia sido informados no ato da matrícula.

Alei permite o uso dos dados sem consentimento apenas em casos em que o seu tratamento seja indispensável para uma política pública.

“As crianças e suas famílias precisam estar cientes de que os dados biométricos faciais são dados sensíveis, de tudo o que será feito com eles ede que podem se negar à concessão desses dados. E até onde pesquisamos, isso não ocorreu”, diz Carolina Israel, professora da UFPR e integrante do Núcleo de Coordenação da Rede de Pesquisa em Governança da Internet.

A ferramenta Edutech, um dos apps usados em sala de aula, mas que não faz reconhecimento facial, não tem uma política de privacidade expressa em seu site, e a do fabricante, Alura, diz claramente que os dados pessoais dos usuários podem ser compartilhados com empresas de publicidade e marketing. 

“Se a Política de Privacidade da Alura se aplica à sua versão paranaense chamada Edutech, temos uma política pública de ensino que envolve coleta de dados de estudantes para perfilização voltada à propaganda direcionada e a possibilidade de transferência de dados dos estudantes para solo internacional”, afirma Israel.

A Agência Pública também procurou o governo do estado, mas não obteve resposta até a publicação. 

Edição: Mariama Correia