Imperfections of Machine Learning - Experimental Investigations of Human Advice-Taking Behavior - Dissertation Abstracts & Contents

Aug 5, 2026

Upload by Sage

The dissertation investigates how communicating imperfections of machine learning (ML) algorithms influences end-user advice-taking behavior. Prior work focused mainly on general algorithm aversion, while this study distinguishes performance uncertainty, transparency issues, and environmental sustainability as concrete imperfection types. Ten online experiments across seven papers with 1,428 participants yield three findings: imperfections can reduce algorithm aversion, advice-quality distribution shapes aversion, and AI literacy shows non-linear associations. The results guide decision-makers, developers, and ML evaluations toward transparent, tailored imperfection disclosure.

LanguageEnglish

CategoryResearch & Report

FormatPDF

Pages49

Reading Time2 h 3 min

AccessFree to download

Synopsis

Introduction

Background

Methodology

Results

Discussion

Closure

Bibliography

Imperfections of Machine Learning: Experimental Investigations of Human Advice-Taking Behavior Der Fakultät für Wirtschaftswissenschaften der Universität Paderborn zur Erlangung des akademischen Grades Doktor der Wirtschaftsinformatik -Doctor rerum politicarum vorgelegte Dissertation von Dirk Gerhard Leffrang geboren am 12.10.1995 in Paderborn 30. April 2025 Dekan: Prof. Dr. Jens Müller Gutachter: Prof. Dr. Oliver Müller Prof. Dr. Simon Thanh-Nam Trang Termin der mündlichen Prüfung: 11.06.2025 Abstract-English The increasing proliferation of machine learning (ML) algorithms raises concerns about their imperfections. Previous behavioral research has primarily focused on a general human aversion toward imperfect algorithms. In contrast, ML research has discovered different forms of imperfections, such as performance uncertainty, transparency issues, and environmental sustainability. This dissertation experimentally explores the impact of communicating these imperfections to the end-user by providing relevant background information about the limitations or specific characteristics of ML algorithms. This dissertation includes ten online experiments across seven papers with a total of 1,428 participants, which yielded three main findings: First, imperfections of algorithms can reduce algorithm aversion. Secondly, the distribution of advice quality shapes algorithm aversion. Third, AI literacy can be associated with algorithm aversion in non-linear ways. These findings are essential for decision-makers, developers, and ML evaluations. They emphasize the need to incorporate and disclose different algorithmic imperfections, which enables more nuanced advice-taking strategies, especially for users with varying degrees of AI literacy. Keywords: machine learning, algorithm aversion, advice utilization, human-centered computing, artificial intelligence, human-algorithm interaction Zusammenfassung-Deutsch Die zunehmende Verbreitung von Machine-Learning-Algorithmen (ML) wirft Fragen über deren Unvollkommenheiten auf. Während sich frühere verhaltenswissenschaftliche Studien vor allem mit einer allgemeinen menschlichen Abneigung gegenüber fehlerbehafteten Algorithmen beschäftigt haben, hat die ML-Forschung verschiedene Arten solcher Schwächen identifiziert-etwa Unsicherheiten bei der Leistung, mangelnde Transparenz oder ökologische Auswirkungen. Diese Dissertation untersucht experimentell, wie sich die Kommunikation solcher Schwächen auf Nutzende auswirkt. Dazu wurde den Teilnehmenden gezielt Hintergrundwissen über Grenzen und besondere Merkmale von ML-Algorithmen vermittelt. Insgesamt wurden zehn Online-Experimente im Rahmen von sieben Fachartikeln mit insgesamt 1 .428 Personen durchgeführt. Die Ergebnisselassen sich in drei zentrale Erkenntnisse zusammenfassen: Erstens kann das Offenlegen von Schwächen die Ablehnung gegenüber Algorithmen verringern. Zweitens beeinflusst die Verteilung der algorithmischen Empfehlungsqualität die Nutzerakzeptanz. Drittens zeigt sich, dass das Wissen über KI in nichtlinearer Weise mit der Akzeptanz von algorithmischen Ratschlägen zusammenhängt. Diese Erkenntnisse sind besonders relevant für Entscheidungstragende, ML-Entwickelnde und alle, die ML-Systeme bewerten. Sie verdeutlichen, wie wichtig es ist, algorithmische Schwächen transparent zu machen, um differenzierte und informierte Entscheidungen bei der Nutzung solcher Systeme zu ermöglichen – insbesondere bei Nutzenden mit unterschiedlichem Verständnis von KI. Stichworte: machine learning, Algorithmus-Aversion, Nutzung von Empfehlungen, benutzerzentrierte Informatik, künstliche Intelligenz, Mensch-Algorithmus-Interaktion Contents I. Synopsis 3 1. Introduction 5 1.1. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2. Research Objective and Research Questions . . . . . . . . . . . . . . . 7 1.3. Thesis Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.

FAQs

What is the dissertation’s main research focus?

It experimentally examines how telling users about different imperfections of ML algorithms affects their advice-taking and acceptance behavior.

What types of imperfections are considered in the study?

The study considers performance uncertainty, transparency issues, and environmental sustainability as distinct imperfection forms communicated to users.

What are the dissertation’s key findings?

The work finds that disclosing imperfections can reduce algorithm aversion, that the distribution of advice quality shapes aversion, and that AI literacy relates to algorithm aversion in non-linear ways.

Aug 5, 2026

Upload by Sage