Study on Large Language Models in Story Generation : Unveil the Narrative Potential of Large Language Models / Studie om stora språkmodeller i berättelsegenerering : Avslöja den narrativa potentialen hos stora språkmodeller
- Authors
- Publication Date
- Jan 01, 2024
- Source
- DiVA - Academic Archive On-line
- Keywords
- Language
- English
- License
- Green
- External links
Abstract
Story generation requires AI systems to comprehend, create, and convey coherent and engaging narratives through text generation generation techniques. Studying story generation in natural language processing (NLP) is crucial in recent days as it enables AI systems to generate texts that resonate with human experiences, fostering more engaging interactions and facilitating applications ranging from virtual assistants to personalized content creation. To enhance the quality of generated stories, recently researchers have been exploring the use of higher-level elements such as plots and common sense knowledge to make the stories more than just grammarly correct texts. Leveraging zero-shot learning with large language models (LLMs), for example ChatGPT by OpenAI, has demonstrated remarkable performance on a variety of natural language processing tasks. This thesis conducts a thorough examination, utilizing both automated and human evaluation methods, to compare the storytelling capabilities of large language models (GPT-3.5-turbo, Gemma-2b), state-of-the-art storytelling models (SimCTG) and classic pre-trained models (BART, GPT-2). For two large language models (LLMs), zero-shot learning is used without any fine-tuning, while the other three models are fine-tuned. The models are compared across two story datasets, which feature variations in genre and story length. The findings reveal that large language models (LLMs) can produce stories with significantly superior quality compared to other types of models even without specific fine-tuning. / Berättelsegenerering kräver AI-system för att förstå, skapa och förmedla sammanhängande och engagerande berättelser genom tekniker för generering av text. Att studera berättelsegenerering i naturlig språkbehandling (NLP) är avgörande de senaste dagarna eftersom det gör det möjligt för AI-system att generera texter som resonerar med mänskliga erfarenheter, främjar mer engagerande interaktioner och underlättar applikationer från virtuella assistenter till personligt skapande av innehåll. För att förbättra kvaliteten på genererade berättelser har forskare nyligen undersökt användningen av element på högre nivå, såsom intrig och sunt förnuft, för att göra berättelserna till mer än bara grammatiskt korrekta texter. Att utnyttja noll-shot-inlärning med stora språkmodeller (LLM), till exempel ChatGPT av OpenAI, har visat en anmärkningsvärd prestation på en mängd olika naturliga språkbearbetningsuppgifter. Det här examensarbetet genomför en grundlig granskning, med användning av både automatiserade och mänskliga utvärderingsmetoder, för att jämföra berättarförmågan hos stora språkmodeller (GPT-3.5-turbo, Gemma-2b), toppmoderna berättarmodeller (SimCTG) och klassiska förtränade modeller (BART, GPT-2). För två stora språkmodeller (LLM) används zero-shot learning utan någon finjustering, medan de andra tre modellerna är finjusterade. Modellerna jämförs över två berättelsedataset, som har variationer i genre och berättelselängd. Resultaten visar att stora språkmodeller (LLM) kan producera berättelser med avsevärt överlägsen kvalitet jämfört med andra typer av modeller även utan specifik finjustering.
