RareDis corpus

Para poder aplicar técnicas de PLN y aprendizaje profundo capaces de reconocer de forma automática las menciones de las enfermedades raras y sus manifestaciones clínicas en textos es imprescindible contar con un dataset (colección de textos anotados con enfermedades y síntomas / signos) que pueda ser utilizado par entrenar y evaluar los distintos modelos. Con ese objetivo, dentro del proyecto NLP4RARE-CM-UC3M, creamos el corpus RAre4Dis, formado por 1.041 textos seleccionados de una de las principales bases de datos con información sobre enfermedades raras, Orphanet (orpha.net/consor/cgi-bin/index.php).

Una vez definidas una metodología y guías de anotación, se anotaron las entidades (enfermedad, enfermedad rara, síntoma, signo y anáfora). El corpus de RareDis contiene más de 5.000 enfermedades raras y unas 6.000 manifestaciones clínicas. Para garantizar la calidad del corpus, se midió el acuerdo entre anotadores, alcanzando una medida F1 de 83.5%.