Bem vindo ao SofiaFala

O Projeto SofiaFala é uma tecnologia assistiva (capaz de melhorar qualidade de vida de pessoas com dificuldades de fala) que capta sons e imagens, produzidos durante a execução do exercício fonoaudiológico, e depois os analisa, oferecendo dois tipos de respostas sobre a performance do usuário: uma lúdico-educacional, com orientações para o paciente e/ou o responsável pelo treino; outra, com dados métricos e estatísticos para o Fonoaudiólogo avaliar, acompanhar e orientar a evolução clínica do usuário. Assim, o sistema deverá se adaptar às características do usuário para melhor conduzi-lo no processo de evolução da fala, isto é, o sistema terá comportamentos distintos com usuários diferentes devido à singularidade, dificuldade e potencialidade de cada um, e seu uso deverá ser indicado e acompanhado por um fonoaudiólogo clínico como apoio ao processo de intervenção terapêutica.


Sobre o SofiaFala

Quando a Sofia nasceu, sua mãe, a cientista da computação Marinalva Dias Soares se deu conta de que necessitaria de recursos para ajudá-la. Sofia foi diagnosticada com síndrome de Down ao nascer e precisaria de tratamento fonoaudiológico (entre outras terapias) para desenvolver a fala e Marinalva pretendia incrementar essa terapia em sua própria casa. Como as tecnologias existentes não atendiam as necessidades da Sofia, as duas cientistas da computação e seus colegas decidiram criar uma tecnologia mais adequada à realidade das famílias brasileirasFoi então que a pesquisadora Marinalva, mãe da Sofia, procurou a professora Alessandra na FFCLRP. Com o desenvolvimento do projeto, a expectativa é que a Sofia e outras crianças possam aprimorar a comunicação verbal, por meio do uso do sistema, e assim possam falar com fluncia e segurança para poderem integrar e interagir no contexto familiar, educacional e social exercendo seus direitos e deveres como qualquer cidadão brasileiro. O nome do sistema, SofiaFala, foi criado pela coordenadora deste projeto em homenagem à querida Sofia.


Publicações

Resumos expandidos publicados em anais de congressos

RISSATO, P.H.D.G.; MACEDO, A.A.
SofiaFala: Software Inteligente de Apoio à Fala
Anais estendidos do Simpósio Brasileiro de Sistemas Multimídia e Web (WEBMEDIA), 2021, Porto Alegre - RS. p. 91-94.
DOI: https://doi.org/10.5753/webmedia_estendido.2021.17620


Periódicos internacionais

SOUZA, F.C.M.; SOUZA, A.C.C.; WATANABE, C.; MANDRA, P.P.; MACEDO, A.A.
An Analysis of Visual Speech Features for Recognition of Non-articulatory Sounds using Machine Learning
International Journal of Computer Applications, v. 177, p. 1-9, 2019.
DOI: https://doi.org/10.5120/ijca2019919393


Trabalhos completos publicados em anais de congressos

SCARANTI, A.; SILVA, D.A.R.; MELONI, F.; MACEDO, A.A.
Speech Emotion Recognition in Portuguese for SofiaFala: SER SofiaFala
Automatic Speech Recognition for spontaneous and prepared speech & Speech Emotion Recognition in Portuguese (SE&R 2022) Workshop at 15th edition of the International Conference on the Computational Processing of Portuguese (PROPOR 2022), 2022, Fortaleza. CEUR Workshop Proceedings (CEUR-WS.org), 2022. p. 5P.
Acesso em: http://ceur-ws.org/Vol-3175/paper05.pdf


MELONI, F.; SCCHIERI, B.; MANDRA, P.; BULCAO-NETO, R.; MACEDOM A.A.
Detection and Evaluation of Speech Intelligibility with Speech Tool
Forty-Eighth Latin American Informatics Conference (CLEI 2022), SLIS 2022.

MELONI, F.; SICCHIERI, B.; MANDRA, P.; BULCAO-NETO, R.; MACEDO, A.A.
A Nonverbal Recognition Method to Assist Speech
2021 IEEE 34th International Symposium on ComputerBased Medical Systems (CBMS), 2021, Aveiro. 2021 IEEE 34th International Symposium on Computer-Based Medical Systems (CBMS). Los Alamitos, CA, USA: IEEE Computer Society, 2021. v. 1. p. 360-365.
DOI: https://doi.org/10.1109/CBMS52027.2021.00111


RISSATO, P.H.D.G.; BULCAO-NETO, R.F.; MACEDO, A.A.
A Systematic Mapping on Detection of Human Mouth Landmarks
Workshop de Visão Computacional, 2021, São Paulo - SP. Anais do XVII Workshop de Visão Computacional, 2021.
DOI: https://doi.org/10.5753/wvc.2021.18894


Demonstração


Fonoaudiólogo(a)

Paciente



Coleta Participativa

O grupo SofiaFala convida pessoas (crianças, adolescentes e adultos) com distúrbio de fala para participar da criação de um conjunto de gravações de áudios de fala comprometida anonimizados (sem identificação pessoal) para serem oferecidos á comunidade científica que investiga o processamento da língua portuguesa. Com essa atitude, pretende-se divulgar, incentivar e engajar essa comunidade no desenvolvimento de ferramentas computacionais de suporte ao processo de identificação, reabilitação e acompanhamento de crianças, adolescentes ou adultos com transtorno de linguagem e fala.


Membros


Coordenação

Alessandra_Alaniz

Profª Drª
Alessandra Alaniz
Macedo

Coordenadora do projeto
Extração de Informação
FFCLRP – USP

Patricia_Mandra

Profª Drª
Patricia P. Mandrá

Docente Curso Fonoaudiologia
Transtornos da linguagem e fala
na infância, FMRP - USP



Computação

José Augusto Baranauskas

Profº Drº
José Augusto Baranauskas

Classificação de Dados
Pesquisador Colaborador, USP

Luiz Otávio Murta

Profº Drº
Luiz Otavio Murta

Processamento de Sinais e Imagem
Pesquisador Colaborador, USP

Marinalva D. Soares

Profª Drª
Marinalva D. Soares

Reconhecimento de padrões e
processamento de imagens

Pesquisadora – INPE

Pedro Henrique D'Almeida Giberti Rissato

Pedro Henrique D'Almeida
Giberti Rissato

Reconhecimento de padrões e
processamento de imagens

FFCLRP - DCM - USP

Renato de Freitas Bulcão Neto

Profº Drº
Renato de Freitas Bulcão
Neto

Desenvolvimento de Software e
Engenharia de Software

INF - UFG

Renato Tinós

Profº Drº
Renato Tinós

Redes Neurais Artificiais
Pesquisador Colaborador, USP

Vinicius Gonçalves

Vinícius de Souza Gonçalves

Interação humano-computador
FFCLRP - DCM - USP



Fonoaudiologia

Bianca Bortolai Sicchieri

Bianca Bortolai Sicchieri

Fonoaudióloga
Bolsista CNPq

FFCLRP - DCM - USP

Maria Roberta Dias Veneziani Cantarelli

Maria Roberta Dias
Veneziani Cantarelli

Fonoaudiologia e Equoterapia
Fonoaudióloga na clínica M&W Reabilitação

Myrian Christina Neves

Myrian Christina Neves
Botelho de Andrade

Fonoaudiologia
Fonoaudióloga no Centro Terapêutico Vale Crescer em São José dos Campos - SP

Thaís Moretti

Thaís Moretti

Fonoaudiologia
Fonoaudióloga no Centro Integrado de Reabilitação (CIR)



Colaboradores Multidisciplinares

Andréa Leão Doescher


Andréa M. Leão Doescher

Epidemiologia
Psicóloga Doutoranda - UNIFESP

Aline Saraiva Guerreiro Camargo

Aline Saraiva Guerreiro
Camargo

Psicologia Cognitiva
Psicóloga e Especialista em Psicoterapia Cognitiva
na Clinica Nosso Espaço

Alessandra Yoshida


Alessandra Yoshida

Fisioterapia e Terapia Ocupacional
Terapeuta Ocupacional no
Centro Terapêutico Vale Crescer

Carolina Yukari Veludo Watanabe

Profª Drª
Carolina Yukari
Veludo Watanabe

Processamento Gráfico
DI – UNIR

Danielle Magalhães Moraes

Drª
Danielle Magalhães Moraes

Sensores
Pesquisadora ITA

membro_bck

Drº
Gilberto Medeiros Nakamura

Física Estatística e Termodinâmica
DCM – USP

Maraísa Helena Borges Estêvão Pereira

Maraísa Helena Borges
Estêvão Pereira

Doutoranda em Ciencia de
la Educación, Humanidad y Artes

Especialista em neuropsicopedagogia

Vilson R. de Almeida

Profº Drº
Vilson R. de Almeida

Engenharia Biomédica
Pesquisador ITA

Zan Mustacchi

Drº
Zan Mustacchi

Geneticista especialista em
síndrome de Down

Médico Geneticista e Pediatra - USP



Ex-bolsistas

Alinne Cristinne Corrêa dos Santos

Drª
Alinne Cristinne
Corrêa Souza

Engenharia de Requisitos
Pós-doutoranda – DCM – USP

Francisco Carlos Monteiro Souza

Drº
Francisco Carlos
Monteiro Souza

Engenharia de Software baseada em Busca
Pós-doutorando – DCM – USP

Lina Maria Garcés Rodriguez

Drª
Lina Maria Garcés Rodriguez

Coordenadora de Desenvolvimento
Arquitetura de Software

FFCLRP - DCM - USP

Ronen Rodrigues Silva Filho

Ronen Rodrigues Silva Filho

Desenvolvimento de Software
Computação Aplicada à Saúde & Sistemas Complexos de Informação

FFCLRP - DCM - USP

Felipe Cabrera

Felipe Cabrera Ribeiro
dos Santos

Desenvolvimento de Software
Engenharia de Software

FFCLRP - DCM - USP

Fernando Meloni

Drº
Fernando Meloni

Desenvolvimento de Software
Modelagem de Sistemas Complexos

FFCLRP - DCM - USP