Na cerimônia de casamento de Ann Johnson, há 20 anos, sua vocação para a oratória era tão evidente que, em seu discurso de 15 minutos, ela brincou com o fato de ter corrido até o altar, sugeriu diferentes pronúncias para uma mesma palavra e admitiu que estava “monopolizando o microfone”.
Apenas dois anos depois, Johnson — que na época tinha 30 anos, era professora, treinadora de vôlei e mãe de um bebê — sofreu um AVC (acidente vascular cerebral) grave, que a deixou paralisada e incapaz de falar.
Na última quarta-feira (30), cientistas anunciaram um avanço notável para ajudar Johnson e outros pacientes a voltar a falar.
Em um marco histórico para a neurociência e para a IA (inteligência artificial), eletrodos implantados em seu cérebro decodificaram sinais cerebrais enviados enquanto Johnson tentava, silenciosamente, dizer frases.
A tecnologia converteu os sinais cerebrais em linguagem escrita e vocalizada, permitindo que um avatar projetado em uma tela de computador pronunciasse as palavras e exibisse sorrisos, movimentos labiais e outras expressões.
A pesquisa, publicada na revista Nature, demonstra a primeira vez que palavras faladas e expressões faciais foram diretamente sintetizadas a partir de sinais cerebrais, afirmam os especialistas.
Johnson escolheu o próprio avatar, um rosto parecido com o dela, e os pesquisadores usaram seu discurso de casamento para desenvolver a voz.
“Estamos apenas tentando resgatar quem essas pessoas são”, disse o coordenador da equipe, dr. Edward Chang, chefe do departamento de cirurgia neurológica da Universidade da Califórnia, em São Francisco.
“Isso fez com que eu me sentisse uma pessoa completa de novo”, escreveu Johnson, agora com 48 anos.
O objetivo é ajudar pessoas que não podem falar em decorrência de AVC ou de condições como a paralisia cerebral e a doença de Lou Gehrig (ou ELA, sigla de esclerose lateral amiotrófica).
Para seu funcionamento, o implante de Johnson deve estar conectado por um cabo da cabeça dela a um computador, mas sua equipe e outras já estão desenvolvendo versões sem fio.
Os pesquisadores esperam que, futuramente, pessoas que perderam a fala possam conversar em tempo real por meio de imagens informatizadas que transmitam o tom, a inflexão e emoções, como alegria e raiva.
“É muito empolgante o fato de que, apenas a partir da superfície cerebral, os pesquisadores tenham conseguido obter informações bastante relevantes sobre esses padrões distintos de comunicação”, afirmou o dr. Parag Patil, neurocirurgião e engenheiro biomédico na Universidade do Michigan, que foi convidado pela Nature para revisar o estudo antes da publicação.
A experiência de Johnson reflete o rápido progresso nessa área. Há somente dois anos, a mesma equipe publicou uma pesquisa na qual um homem paralisado, apelidado de Pancho, usou um implante e um algoritmo mais simples para produzir 50 palavras básicas, como “olá” e “fome”, que eram traduzidas como texto em um computador depois que ele tentava pronunciá-las.
O implante de Johnson tem quase o dobro de eletrodos, o que aumenta sua capacidade de detecção de sinais cerebrais sensoriais relacionados tanto à fala quanto a processos motores vinculados à boca, aos lábios, à mandíbula, à língua e à laringe.
Uma IA sofisticada foi treinada pelos pesquisadores não para que reconheça palavras individuais, mas fonemas ou unidades sonoras como “ow” e “ah”, que podem formar qualquer palavra. “É como um alfabeto de sons da fala”, definiu David Moses, coordenador do projeto.
Enquanto o sistema de Pancho produzia de 15 a 18 palavras por minuto, a taxa de Johnson é de 78, além de uma lista vocabular muito mais ampla. A fala conversacional típica é de cerca de 160 palavras por minuto.
Quando os pesquisadores começaram a trabalhar com ela, não tinham a expectativa de tentar o avatar ou o áudio. “Mas os resultados promissores foram um grande sinal verde ao dizer: ‘O.k., vamos tentar coisas mais difíceis. Vamos fazer isso'”, disse Moses.
Eles programaram um algoritmo para decodificar a atividade cerebral em forma de ondas de áudio, produzindo fala vocalizada, explicou Kaylo Littlejohn, estudante de pós-graduação da Universidade da Califórnia, em Berkeley, e coautor do estudo com Moses, Sean Metzger, Alex Silva e Margaret Seaton. “A fala contém muitas informações que não são bem preservadas apenas pelo texto, como a entonação, o tom, a expressão”, informou Littlejohn.
Trabalhando com uma empresa que produz animação facial, os pesquisadores programaram o avatar com base em dados de movimentos musculares. Johnson então tentou fazer expressões faciais de felicidade, tristeza e surpresa, cada qual com uma intensidade alta, média e baixa.
Também tentou fazer vários movimentos com a mandíbula, a língua e os lábios. Seus sinais cerebrais decodificados foram transmitidos ao rosto do avatar.
Por intermédio deste, ela disse: “Acho que você é maravilhosa. O que você acha da minha voz artificial?”. “Ouvir uma voz semelhante à sua é emocionante”, comentou Johnson com os pesquisadores.
Ela e o marido, William Johnson, funcionário dos correios, chegaram até a conversar. “Não me faça rir”, disse ela por meio do avatar. Quando ele lhe perguntou quais eram as chances do Toronto Blue Jays, ela respondeu: “Tudo é possível”.
Essa área está avançando tão rapidamente que os especialistas acreditam que versões sem fio aprovadas pelo governo federal possam estar disponíveis na próxima década. Métodos distintos podem servir para determinados pacientes.
Na quarta-feira, também foi publicado na Nature um estudo de outra equipe que envolveu eletrodos implantados mais profundamente no cérebro, detectando a atividade de neurônios individuais, informou o Jaimie Henderson, professor de neurocirurgia na Universidade Stanford e coordenador da equipe, que teve como motivação sua experiência de infância, quando viu seu pai perder a fala depois de um acidente.
Segundo ele, esse método pode ser mais preciso, mas é menos estável, uma vez que os padrões de disparo de neurônios específicos podem mudar.
Seu sistema decodificou frases a uma taxa de 62 palavras por minuto que o participante, Pat Bennett, de 68 anos, que tem ELA, tentou pronunciar a partir de um amplo vocabulário. Esse estudo não incluiu um avatar nem decodificação de som.
Ambos os estudos usaram modelos de linguagem preditiva para ajudar a agrupar palavras em frases. Os sistemas não apenas correspondem a palavras, mas estão “descobrindo novos padrões de linguagem” à medida que melhoram o reconhecimento da atividade neural dos participantes, afirmou Melanie Fried-Oken, especialista em tecnologia assistiva de fala e linguagem na Universidade de Ciências da Saúde do Oregon, que foi consultora no estudo de Stanford.
Nenhum dos métodos foi totalmente preciso. Ao usar conjuntos de vocabulário amplos, eles decodificaram incorretamente palavras individuais por cerca de um quarto do tempo. Por exemplo, quando Johnson tentou dizer “Talvez nós os tenhamos perdido”, o sistema decodificou “Talvez nós aquele nome”. Mas, em quase metade de suas frases, as palavras foram decifradas corretamente.
Os pesquisadores descobriram que as pessoas em uma plataforma de crowdsourcing podiam interpretar corretamente as expressões faciais do avatar, mas decifrar o que a voz dizia era mais difícil, de modo que a equipe está desenvolvendo um algoritmo de previsão para melhorar isso. “Nosso avatar ainda está aprendendo a falar”, comentou Chang.
Johnson entrou em contato com Chang em 2021, no dia seguinte ao que seu marido lhe mostrou o artigo sobre Pancho, o homem que participara da pesquisa anterior. Chang contou que inicialmente a desencorajou, pois ela morava em Saskatchewan, no Canadá, longe de seu laboratório em São Francisco, mas que “ela foi persistente”.
William Johnson, de 48 anos, passou a trabalhar meio período. “Ann sempre me incentivou a fazer o que eu queria, inclusive a liderar o sindicato dos correios. Portanto, achei importante encorajá-la nisso”, afirmou ele.
Johnson começou a participar do programa em setembro do ano passado. A viagem à Califórnia leva três dias em uma van cheia de equipamentos, incluindo um elevador para transferi-la da cadeira de rodas até a cama.
Eles alugam um apartamento, onde os pesquisadores conduzem seus experimentos, tornando o processo mais fácil para ela.
Os Johnsons, que arrecadam dinheiro online e em sua comunidade para pagar as viagens e o aluguel para o estudo, que vai durar vários anos, passam semanas na Califórnia, retornando para casa entre as fases da pesquisa.
Ann Johnson se comunicou comigo mediante emails produzidos pelo sistema assistivo que ela usa em casa.
Usa óculos com um ponto refletivo que ela direciona para letras e palavras em uma tela de computador.
O sistema é lento, permitindo que ela gere apenas 14 palavras por minuto, mas é mais rápido do que o outro método que ela usa para se comunicar em casa: um quadro plástico de letras, que William Johnson descreveu assim: “Ela tenta me mostrar qual letra está tentando olhar, e depois tento descobrir o que ela está tentando me dizer”.
Ann Johnson era professora de matemática e educação física e da saúde no ensino médio e estava em um treino de vôlei e basquete quando teve um AVC no tronco cerebral enquanto se aquecia para jogar. Depois de um ano no hospital e em uma clínica de reabilitação, voltou para casa para conviver com o enteado, de 10 anos, e a filha, de 23 meses, que cresceu sem nenhuma memória da fala da mãe, contou William Johnson.
“Não poder abraçar nem beijar minhas crianças doía muito, mas era minha realidade. O golpe final foi quando me disseram que eu não poderia ter mais filhos”, escreveu Ann Johnson.
Nos cinco anos seguintes ao AVC, ela vivia aterrorizada. “Pensei que eu ia morrer a qualquer momento. A parte do meu cérebro que não estava congelada sabia que eu precisava de ajuda, mas eu não tinha como me comunicar”, escreveu.
Aos poucos, sua perseverança foi ressurgindo. “De início, os músculos do meu rosto não funcionavam de jeito nenhum”, escreveu, mas, depois de cerca de cinco anos, voltou a sorrir à vontade.
“No começo, quando comecei a fazer expressões emocionais com o avatar, eu me senti meio boba, mas gosto de sentir que tenho um rosto expressivo novamente”, relatou, acrescentando que os exercícios também lhe permitiram movimentar o lado esquerdo da testa pela primeira vez.
Ela também conquistou algo a mais depois do AVC: “Doeu tanto quando perdi tudo. Eu disse a mim mesma que nunca mais me exporia a uma decepção tão grande. Agora, sinto que tenho um propósito novamente”, escreveu.
Além disso, a tecnologia faz com que ela se sinta em Star Wars: “Estou começando a me acostumar a ficar impressionada”.
c. 2023 The New York Times Company
source
R7
