Regnerisch heute, dafür weniger kalt. Weiter in der Lektüre von The AI Delusion in welchem es bis zum elften Kapitel (von zwölf) nicht um AI sondern um die Gefahr des Data Mining geht. Das heißt darum, dass man in einer großen Menge Daten immer Muster findet, die eine statistisch relevante Korrelation aufzeigen. Solche sind aber absoluter Zufall. Dazu:

The Texas sharpshooter fallacy #1: Ein Schütze deckte eine Zielwand mit Schüssen ein und verweist danach auf die zufälligen Treffer, während er alle anderen Einschüsse (die große Mehrheit hat kein Ziel getroffen) aus seiner Analyse ausschließt. Natürlich hat eine solche Analyse keine Aussagekraft. Trotzdem fällt die statistische Forschung immer wieder dem Trugschluss zufälliger Treffer anheim. Bis zu 70% der publizierten Resultate ist deshalb nicht reproduzierbar! Das ist vor allem auch in der kommerziell motivierten Forschung der Fall, in welcher Forschungsresultate nicht nur über die Karriere des forschenden Professors, sondern auch über Millionen oder gar Millarden von Euros entscheiden. Die große Mehrheit der Studien ist nicht reproduzierbar, weil sie der Texas sharpshooter fallacy #1 auf den Leim gehen und die Resulte so gestalten, dass eben nur was wie ein Treffer aussieht (sprich statistisch relevant ist, wenn auch zufällig) publiziert wird. Manchmal ungewollt, sicher oft aber auch unter dem Druck, Resultate produzieren zu müssen.

In der Texas sharpshooter fallacy #2 feuert der Schütze einen Schuss auf die Zielwand ab und zeichnet das Ziel nachher um das Einschussloch herum. In der statistischen Forschung ist das gleichzusetzten mit der Methode, dass man zuerst die Daten analysiert und danach eine Theorie aufstellt, welche auf die gefundenen Daten passt. So kann man auch mit Rückgriff auf zufällige Daten eine wunderbare Theorie modellieren, welche aber nichts über die Realität aussagt. Wiederum wird die Studie nicht reproduzierbar sein.

Comments

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.