BERT, are you paying attention? Attention regularisation with human-annotated rationales
Identification
- Clé publique
- radar:r-4fcde613087c246da09b52622fd9e086
- Auteurs
- Elize Herrewijnen · Dong Nguyen · Floris Bex · Albert Gatt A · Sub Natural Language Processing · Recht innovatie en technologie · Sub Responsible AI · AI and Law Data · Montaigne Centrum voor Rechtsstaat en Rechtspleging · Vera Demberg · Kentaro Inui · Lluís Màrquez Villodre
- Année déclarée
- 2026
- Langue déclarée
- en
- Type source
- book
- Première détection
- 2026-11-14T02:38:36.181702+00:00
- Dernière observation des métadonnées
- 2026-11-14T02:38:36.181702+00:00
- Dernière vérification HTTP
- Non effectuée
Résumé documentaire — langue originale
Attention regularisation aims to supervise the attention patterns in language models like BERT. Various studies have shown that using human-annotated rationales, in the form of highlights that explain why a text has a specific label, can have positive effects on model generalisability. In this work, we ask to what extent attention regularisation with human-annotated rationales improve model performance and model robustness, as well as susceptibility to spurious correlations. We compare regularisation on human rationales with randomly selected tokens, a baseline which has hitherto remained unexplored. Our results suggest that often, attention regularisation with randomly selected tokens yields similar improvements to attention regularisation with human-annotated rationales. Nevertheless, we find that human-annotated rationales surpass randomly selected tokens when it comes to reducing model sensitivity to strong spurious correlations.
Identifiants
- OPENALEX
- https://openalex.org/W7204976876
Repères documentaires
- Famille documentaire
- Livre
- Types déclarés par les sources
- book
Les mentions d’entités ne constituent pas une preuve de reconnaissance juridique. La juridiction étudiée est distincte du pays d’affiliation des auteurs.
Description bibliographique du livre
- Date de publication déclarée
- 2026-03-01
Disponibilité non établie
Sources
OpenAlex · Document 1
Citer cette référence
Elize Herrewijnen; Dong Nguyen; Floris Bex; Albert Gatt A; Sub Natural Language Processing; Recht innovatie en technologie; Sub Responsible AI; AI and Law Data; Montaigne Centrum voor Rechtsstaat en Rechtspleging; Vera Demberg; Kentaro Inui; Lluís Màrquez Villodre. BERT, are you paying attention? Attention regularisation with human-annotated rationales. 2026. https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-4fcde613087c246da09b52622fd9e086/
JSON · CSL-JSON · BibTeX · RIS · CSV · JSON-LD ·
APA, Chicago, ISO 690 : formats bibliographiques fondés sur les champs disponibles. OSCOLA / Bluebook : données structurées uniquement ; aucune conformité juridique complète n’est revendiquée sans vérification des éléments nécessaires.
- APA
- Elize Herrewijnen; Dong Nguyen; Floris Bex; Albert Gatt A; Sub Natural Language Processing; Recht innovatie en technologie; Sub Responsible AI; AI and Law Data; Montaigne Centrum voor Rechtsstaat en Rechtspleging; Vera Demberg; Kentaro Inui; Lluís Màrquez Villodre. (2026). BERT, are you paying attention? Attention regularisation with human-annotated rationales. https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-4fcde613087c246da09b52622fd9e086/
- Chicago
- Elize Herrewijnen; Dong Nguyen; Floris Bex; Albert Gatt A; Sub Natural Language Processing; Recht innovatie en technologie; Sub Responsible AI; AI and Law Data; Montaigne Centrum voor Rechtsstaat en Rechtspleging; Vera Demberg; Kentaro Inui; Lluís Màrquez Villodre. BERT, are you paying attention? Attention regularisation with human-annotated rationales. 2026. https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-4fcde613087c246da09b52622fd9e086/
- ISO 690
- Elize Herrewijnen; Dong Nguyen; Floris Bex; Albert Gatt A; Sub Natural Language Processing; Recht innovatie en technologie; Sub Responsible AI; AI and Law Data; Montaigne Centrum voor Rechtsstaat en Rechtspleging; Vera Demberg; Kentaro Inui; Lluís Màrquez Villodre. BERT, are you paying attention? Attention regularisation with human-annotated rationales. 2026. https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-4fcde613087c246da09b52622fd9e086/
Warning: Undefined array key "last_link_verified" in /home/clients/e27d81e12f04d2bfd747aa264540ac56/sites/_UDTR_APP/legal_library_reference.php on line 31
UDTR — Bibliothèque juridique mondiale des droits de la Nature. BERT, are you paying attention? Attention regularisation with human-annotated rationales. Notice documentaire: https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-4fcde613087c246da09b52622fd9e086/ · Dernière vérification HTTP : non effectuée
Données de cette version figée
Dossiers et relations documentaires
Rôles des sources
Source bibliographique / publication d’origine · https://dspace.library.uu.nl/handle/1874/486067
Un lien vers une autorité ne prouve pas à lui seul une affirmation juridique. Les résumés et les textes intégraux restent soumis aux conditions de leur source.
Statut documentaire
Pertinence à examiner
Bibliothèque
Cette identité n’est pas encore intégrée à la Bibliothèque juridique.