Esta tarea pretende clasificar los tuits sexistas según la intención del autor, lo que permite comprender el papel que desempeñan las redes sociales en la emisión y difusión de mensajes sexistas. En esta tarea, se propone una clasificación ternaria: direct, reported, judgemental.
En esta tarea se contempla una evaluación soft-soft en la que se compara la probabilidad de cada etiqueta predicha por el sistema con la probabilidad definida a partir del desacuerdo en la anotación en el gold standard.
Publicación
Plaza, L. et al. (2023). Overview of EXIST 2023 – Learning with Disagreement for Sexism Identification and Characterization. In: Arampatzis, A., et al. Experimental IR Meets Multilinguality, Multimodality, and Interaction. CLEF 2023. Lecture Notes in Computer Science, vol 14163. Springer, Cham. https://doi.org/10.1007/978-3-031-42448-9_23
Competición
Idioma
Español
URL Tarea
NLP topic
Tarea abstracta
Dataset
Año
2023
Enlace publicación
Métrica Ranking
ICM
Mejores resultados para la tarea
| Sistema | ICM Ordenar ascendente |
|---|---|
| Mario_2 | 0.5711 |
| roh-neil_1 | 0.4783 |
| roh-neil_2 | 0.4783 |
| UniBo_2 | 0.3485 |
| AIT_FHSTP_1 | 0.2948 |
| UniBo_1 | 0.2941 |
| UMUTeam_1 | 0.2571 |
| JPM_UNED_2 | 0.2351 |
| JPM_UNED_3 | 0.2231 |
| JPM_UNED_1 | 0.1986 |
