Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms
Identification
- Clé publique
- radar:r-ab9dcac9ba8649fff8ed7c1c8ace2444
- Auteurs
- Eunsong Lee · Hai-Dung Do · Minsu Kim · Dongsuk Oh
- Année déclarée
- 2025
- Langue déclarée
- en
- Type source
- article
- Première détection
- 2026-11-13T12:38:25.174830+00:00
- Dernière observation des métadonnées
- 2026-11-13T12:38:25.174830+00:00
- Dernière vérification HTTP
- Non effectuée
Institutions déclarées par la source
Kyungpook National University
Pays d’affiliation déclarés
KR
Résumé documentaire — langue originale
This study proposes a new benchmark to evaluate the cultural understanding and natural language processing capabilities of large language models based on Sino-Korean words and four-character idioms. Those are essential linguistic and cultural assets in Korea. Reflecting the official question types of the Korean Hanja Proficiency Test, we constructed four question categories—four-character idioms, synonyms, antonyms, and homophones—and systematically compared the performance of GPT-based and non-GPT LLMs. GPT-4o showed the highest accuracy and explanation quality. However, challenges remain in distinguishing the subtle nuances of individual characters and in adapting to uniquely Korean meanings as opposed to standard Chinese character interpretations. Our findings reveal a gap in LLMs’ understanding of Korea-specific Hanja culture and underscore the need for evaluation tools reflecting these cultural distinctions.
Identifiants
- OPENALEX
- https://openalex.org/W4412087575
- DOI
- 10.3390/app15137561
Repères documentaires
- Famille documentaire
- article
- Types déclarés par les sources
- article
- Éditeurs
- Multidisciplinary Digital Publishing Institute
Les mentions d’entités ne constituent pas une preuve de reconnaissance juridique. La juridiction étudiée est distincte du pays d’affiliation des auteurs.
Sources
OpenAlex · Document 1
Citer cette référence
Eunsong Lee; Hai-Dung Do; Minsu Kim; Dongsuk Oh. Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms. 2025. https://doi.org/10.3390/app15137561
JSON · CSL-JSON · BibTeX · RIS · CSV · JSON-LD ·
APA, Chicago, ISO 690 : formats bibliographiques fondés sur les champs disponibles. OSCOLA / Bluebook : données structurées uniquement ; aucune conformité juridique complète n’est revendiquée sans vérification des éléments nécessaires.
- APA
- Eunsong Lee; Hai-Dung Do; Minsu Kim; Dongsuk Oh. (2025). Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms. https://doi.org/10.3390/app15137561
- Chicago
- Eunsong Lee; Hai-Dung Do; Minsu Kim; Dongsuk Oh. Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms. 2025. https://doi.org/10.3390/app15137561
- ISO 690
- Eunsong Lee; Hai-Dung Do; Minsu Kim; Dongsuk Oh. Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms. 2025. https://doi.org/10.3390/app15137561
Warning: Undefined array key "last_link_verified" in /home/clients/e27d81e12f04d2bfd747aa264540ac56/sites/_UDTR_APP/legal_library_reference.php on line 31
UDTR — Bibliothèque juridique mondiale des droits de la Nature. Knowing the Words, Missing the Meaning: Evaluating LLMs’ Cultural Understanding Through Sino-Korean Words and Four-Character Idioms. Notice documentaire: https://www.declarationuniverselledesdroitsdelarbre.org/global-rights-of-nature-radar/reference/r-ab9dcac9ba8649fff8ed7c1c8ace2444/ · Dernière vérification HTTP : non effectuée
Données de cette version figée
Dossiers et relations documentaires
Rôles des sources
Source bibliographique / publication d’origine · https://doi.org/10.3390/app15137561
Un lien vers une autorité ne prouve pas à lui seul une affirmation juridique. Les résumés et les textes intégraux restent soumis aux conditions de leur source.
Statut documentaire
Pertinence à examiner
Bibliothèque
Cette identité n’est pas encore intégrée à la Bibliothèque juridique.