Users’ engagement in learning information systems: an experimental approach based on a gamification artifact

Abstract

Gamification systems have potential to foster students’ engagement and enhance their learning performance. Although the literature so far has provided relevant contributions in explaining how gamification design can be effective, it still strives to address properly the constructs used to measure the gamification effect, reflecting in poor performance results. This research aims provide a comprehensive picture about gamification effects on user’s outcomes and constructs, in the learning/training context. We extended the framework of Liu et al. (2017) that classifies the effect of gamification in experiential outcomes and instrumental outcomes. To do so, we performed a systematic literature review to identify the relevant constructs applied in the gamification field and we developed a gamification artifact to empirically validate the chain of gamification outcomes in two distinct studies. Our findings suggest an intermediate layer, as a study behavior, between experiential outcomes and instrumental outcome. We suggest that gamification elements affect emotional and cognitive engagement, as experiential outcomes. These outcomes will affect behavioral engagement (intermediate layer), that will affect learning performance consequently, as instrumental and final outcome. We argue that the right chain of outcomes should be addressed to accurately evaluate the effectiveness of gamification on learners and wrong or random choices can lead to poor results or inclusive analysis. We expect that the findings provided in this research can contribute to the development of successful gamification systems.

Os sistemas de gamificação têm o potencial de promover o engajamento dos alunos e melhorar seu desempenho no aprendizado. Embora a literatura até o momento tenha fornecido contribuições relevantes em explicar como o design de gamificação pode ser eficaz, ela ainda se esforça para endereçar adequadamente os construtos usadas para medir o efeito de gamificação, que pode refletir em resultados falhos. Esta pesquisa tem como objetivo fornecer uma visão abrangente sobre os efeitos da gamificação no usuário, no contexto de aprendizado e treinamento. Estendemos o framework de Liu et al. (2017) que classificam os efeitos da gamificação em experimentais e instrumentais. Para isso, realizamos uma revisão sistemática da literatura para identificar os construtos relevantes aplicados no campo e desenvolvemos um artefato de gamificação para validar empiricamente a cadeia de efeitos no usuário em dois estudos distintos. Nossos achados sugerem uma camada intermediária, definida como “comportamento de estudo”, posicionada entre os efeitos experimentais e instrumentais. Sugerimos que os elementos de gamificação afetam primeiro os engajamentos emocional e cognitivo, construtos classificados como efeitos experimentais. Esses efeitos afetam o engajamento comportamental (camada intermediária), que, consequentemente, afeta o desempenho da aprendizagem, posicionado no fim da cadeia como efeito instrumental. Argumentamos que a cadeia de efeitos deve ser endereçada corretamente para se avaliar com precisão a eficácia o resultado da gamificação nos alunos, tendo em vista que escolhas erradas ou aleatórias de efeitos e construtos podem levar a resultados falhos ou análises inclusivas. Esperamos que os achados fornecidos nesta pesquisa possam contribuir para o desenvolvimento de sistemas de gamificação bem-sucedidos.