Desarrollo de benchmarks adversariales para razonamiento en variantes de español
Resumen
Pese al rápido e inesperado avance de los nuevos modelos de lenguaje (MLs), existe un marcado déficit en el desarrollo de evaluaciones estandarizadas, o benchmarks, de estos MLs. Este déficit es aún mayor en el benchmarking sobre comprensión lingüística general o capacidades de razonamiento. Actualmente el sector de servicios busca integrar estos MLs al sistema productivo, automatizando algunos procesos. Sin embargo, esto conlleva ciertos riesgos, dado que los benchmarks actuales tienen poca representación de lenguas como el español y sus variantes, por lo que la calidad de los MLs no estará correctamente juzgada para aplicaciones locales. Para prevenir problemas al integrar MLs a la economía local, es necesario desarrollar benchmarks sobre comprensión del español y su variante rioplatense, y capacidades de razonamiento que faciliten la generalización del desempeño de los MLs. Para esto diversos corpora universitarios pueden enriquecerse para testear MLs.