Zahlen, die nicht aufgehen: Rechenfehler und Widersprüche im Manuskript finden
Warum ein richtiges Ergebnis trotzdem mit der falschen Zahl berichtet wird, und wie Sie das finden, bevor es ein Gutachter tut.
Die meisten Zahlenfehler in Papers sind keine Fehler in der Analyse. Das Experiment ist in Ordnung; das Paper berichtet es uneinheitlich. Ein Ergebnis wird neu gerechnet und die Tabelle aktualisiert, aber das Abstract nennt noch den alten Wert. Eine Summe wird aufgeschrieben, bevor eine Teilgruppe dazukommt. Eine Beschriftung wird aus der vorigen Version der Abbildung übernommen.
Für Gutachter sehen zwei verschiedene Zahlen für dieselbe Größe aber immer gleich aus, egal warum: Eine davon ist falsch, und sie wissen nicht, welche. Dieser Zweifel überträgt sich auf die übrigen Ergebnisse.
Vier typische Ursachen
1. Dasselbe Ergebnis an mehreren Stellen
Ein zentrales Ergebnis steht meist im Abstract, in der Einleitung, in den Beiträgen, im Ergebnisteil und im Fazit. Nur eine dieser Stellen steht direkt neben den Daten.
Aus einem Paper zum maschinellen Lernen
Die Liste der Beiträge nennt Einsparungen beim Spitzenspeicher von 22,8 % und 14,9 %. Der Ergebnisteil misst dieselben Modelle gegen dieselbe Baseline und berichtet 23,8 % und 15,6 %.
Korrektur: die Zahlen aus dem Ergebnisteil in die Beiträge übernehmen, wo die meisten Leser sie sehen.
2. Summen, die vor den Teilen entstanden sind
Anzahlen, Stichprobengrößen und Prozentangaben werden einmal addiert und selten erneut.
Aus einem Paper zur medizinischen Bildgebung
Der Text nennt vier Organe, gibt dann Zahlen für drei davon an und „insgesamt 281“. Die drei Zahlen ergeben bereits 321 (131 + 64 + 126). Die vierte Zahl fehlte, und 281 war genau der Umfang dieses fehlenden Datensatzes.
Korrektur: die fehlende Zahl ergänzen und die Summe neu berechnen oder das Wort „insgesamt“ streichen.
3. Zahlen in Abbildungen
Abbildungen entstehen in einem Plot-Werkzeug, außerhalb des Texts, und beim Korrekturlesen werden ihre Beschriftungen gern übersprungen.
Aus einem volkswirtschaftlichen Working Paper
Eine Abbildung ist mit „Simulations Run: 2 × 5 × 8 = 405“ beschriftet. Zwei Seiten vorher steht es im Text richtig: 2 × 5 × 8 = 80. Die Beschriftung war aus einer früheren Abbildung übernommen worden.
Korrektur: die Beschriftung in 2 × 5 × 8 = 80 ändern.
4. Text und Tabelle auf derselben Seite, die sich widersprechen
Selbst wenn die Tabelle direkt neben dem Satz steht, der sie beschreibt, können beide auseinanderlaufen, wenn die Tabelle neu erzeugt wird und der Satz nicht.
Aus einem Genomik-Paper
Der Ergebnistext sagt, zwei Sprachmodelle erreichen 0,74 und schlagen eine Experten-Baseline mit 0,72. In der Tabelle auf derselben Seite liegt die Baseline bei 0,74, die beiden Modelle bei 0,78 und 0,79.
Korrektur: den Satz an die Zahlen in der Tabelle anpassen.
Aus einem deutschsprachigen Konferenzbeitrag
Im Ergebnistext stehen für die User Experience Standardabweichungen von σ = 0,29 und σ = 0,38. Die Tabelle mit denselben Gruppen nennt 0,95 und 0,89.
Korrektur: die Werte im Text an die Tabelle angleichen (oder umgekehrt, falls die Tabelle veraltet ist).
Eine Methode, die funktioniert
- Listen Sie Ihre tragenden Zahlen auf. Zentrale Ergebnisse, Stichprobengrößen, Datensatzgrößen, wichtige Hyperparameter. Bei einem typischen Paper zehn bis zwanzig Zahlen.
- Suchen Sie jede davon im fertigen PDF und notieren Sie jede Seite, auf der sie vorkommt: im Text, in Tabellen, in Beschriftungen und Bildunterschriften. Suchen Sie auch nach der gerundeten und der ungerundeten Form (23,8 und 23,79) und, je nach Vorlage, nach Komma und Punkt als Dezimaltrennzeichen.
- Rechnen Sie jede Summe, jeden Mittelwert und jede Prozentangabe aus ihren Teilen nach, auch die in Abbildungen.
- Prüfen Sie Vergleiche in beide Richtungen. „A schlägt B“ heißt: A hat in der Tabelle den besseren Wert, in jedem Fall, den der Satz behauptet.
- Legen Sie eine Rundungsregel fest (etwa eine Nachkommastelle bei Prozenten) und wenden Sie sie überall an, auch in Tabellen.
- Wiederholen Sie die Schritte 2 bis 4 nach der letzten Neuberechnung. Genau dieser Schritt wird meist ausgelassen, und er ist der wichtigste.
Wo die Methode an Grenzen stößt
Eine Liste von Hand findet wiederholte Zahlen, an die Sie gedacht haben. Sie übersieht die anderen: eine Anzahl in einer Legende, eine Prozentangabe in einer Fußnote, einen Wert, der einmal im Text und einmal in einer Tabelle als Bild vorkommt. Diesen Teil lohnt es sich zu automatisieren. DeskReady liest jede Seite, auch Abbildungen und Tabellen, und meldet jede Abweichung mit beiden Stellen zitiert und markiert.
Die vollständige Liste für die letzte Durchsicht finden Sie in der Checkliste vor der Einreichung. Speziell zu Sätzen, die ihren Tabellen widersprechen: Wenn Text und Tabelle sich widersprechen.
DeskReady führt diese Prüfungen in wenigen Minuten an Ihrem PDF durch und zeigt jeden Befund markiert auf Ihrer eigenen Seite, für Papers auf Deutsch und Englisch. Die erste Prüfung ist kostenlos und braucht kein Konto.
Mein Paper prüfen