Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?
Identification
- Clé publique
- radar:r-d09f699eecd5046f9d65ca804bd4c516
- Auteurs
- Sungeun Kim · Dongsuk Oh
- Année déclarée
- 2025
- Langue déclarée
- en
- Type source
- article
- Première détection
- 2026-11-13T12:38:25.174830+00:00
- Dernière observation des métadonnées
- 2026-11-13T12:38:25.174830+00:00
- Dernière vérification HTTP
- Non effectuée
Institutions déclarées par la source
Kyungpook National University
Pays d’affiliation déclarés
KR
Résumé documentaire — langue originale
The evaluation of creative writing has long been a complex and subjective process, made even more intriguing by the rise of advanced Artificial Intelligence (AI) tools like Large Language Models (LLMs). This study evaluates the potential of LLMs as reliable and consistent evaluators of creative texts, directly comparing their performance with traditional human evaluations. The analysis focuses on key creative criteria, including fluency, flexibility, elaboration, originality, usefulness, and specific creativity strategies. Results demonstrate that LLMs provide consistent and objective evaluations, achieving higher Inter-Annotator Agreement (IAA) compared with human evaluators. However, LLMs face limitations in recognizing nuanced, culturally specific, and context-dependent aspects of creativity. Conversely, human evaluators, despite lower consistency and higher subjectivity, exhibit strengths in capturing deeper contextual insights. These findings highlight the need for the further refinement of LLMs to address the complexities of creative writing evaluation.
Identifiants
- OPENALEX
- https://openalex.org/W4408292186
- DOI
- 10.3390/app15062971
Repères documentaires
- Famille documentaire
- article
- Types déclarés par les sources
- article
- Éditeurs
- Multidisciplinary Digital Publishing Institute
Les mentions d’entités ne constituent pas une preuve de reconnaissance juridique. La juridiction étudiée est distincte du pays d’affiliation des auteurs.
Sources
OpenAlex · Document 1
Citer cette référence
Sungeun Kim; Dongsuk Oh. Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?. 2025. https://doi.org/10.3390/app15062971
JSON · CSL-JSON · BibTeX · RIS · CSV · JSON-LD ·
APA, Chicago, ISO 690 : formats bibliographiques fondés sur les champs disponibles. OSCOLA / Bluebook : données structurées uniquement ; aucune conformité juridique complète n’est revendiquée sans vérification des éléments nécessaires.
- APA
- Sungeun Kim; Dongsuk Oh. (2025). Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?. https://doi.org/10.3390/app15062971
- Chicago
- Sungeun Kim; Dongsuk Oh. Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?. 2025. https://doi.org/10.3390/app15062971
- ISO 690
- Sungeun Kim; Dongsuk Oh. Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?. 2025. https://doi.org/10.3390/app15062971
Warning: Undefined array key "last_link_verified" in /home/clients/e27d81e12f04d2bfd747aa264540ac56/sites/_UDTR_APP/legal_library_reference.php on line 31
UDTR — Bibliothèque juridique mondiale des droits de la Nature. Evaluating Creativity: Can LLMs Be Good Evaluators in Creative Writing Tasks?. Notice documentaire: https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-d09f699eecd5046f9d65ca804bd4c516/ · Dernière vérification HTTP : non effectuée
Données de cette version figée
Dossiers et relations documentaires
Rôles des sources
Source bibliographique / publication d’origine · https://doi.org/10.3390/app15062971
Un lien vers une autorité ne prouve pas à lui seul une affirmation juridique. Les résumés et les textes intégraux restent soumis aux conditions de leur source.
Statut documentaire
Pertinence à examiner
Bibliothèque
Cette identité n’est pas encore intégrée à la Bibliothèque juridique.