Alle reden über KI. Wenige schauen auf die Zahlen dahinter. Wie schnell beschleunigt sich der Fortschritt wirklich? Nicht in Meinungen — in Daten. Dieses Datenstück zeigt fünf Dimensionen der Beschleunigung: Meilensteine, Rechenpower, Kosten, Adoption und das Paradox der Benchmarks.
1997 schlägt Deep Blue den Schachweltmeister. 2011 gewinnt Watson bei Jeopardy. 14 Jahre dazwischen. Dann geht es schneller. Und schneller. Und schneller.
Die Balken schrumpfen. 14 Jahre. 5 Jahre. 4 Jahre. 2 Jahre. 5 Monate. Was früher Jahrzehnte brauchte, passiert jetzt in Monaten. Das ist keine lineare Entwicklung. Das ist Kompression.
So viel mehr Rechenleistung braucht ein Frontier-Modell heute im Vergleich zu 2012.
KI-Fortschritt wird mit roher Rechenleistung erkauft. Die Zahlen sind so groß, dass man sie nur noch logarithmisch darstellen kann. AlexNet 2012: 1018 FLOP. GPT-4 2023: über 1025 FLOP. Das ist ein Faktor von zehn Millionen.
Die y-Achse ist logarithmisch — jeder Schritt nach oben bedeutet eine Verzehnfachung. Ohne diese Darstellung wären die frühen Modelle nicht sichtbar. Die Wachstumsrate liegt bei 4-5x pro Jahr, mit einer Verdopplung alle sechs Monate.
Mehr Rechenpower, aber was kostet das für den Nutzer? Hier wird es paradox: Während die Trainingskosten explodieren, fallen die Nutzungskosten ins Bodenlose.
2022 brauchte man 540 Milliarden Parameter, um 60% auf dem MMLU-Benchmark zu erreichen. 2024 schafft das ein Modell mit 3,8 Milliarden Parametern. 142-mal kleiner. Für die gleiche Leistung. Das ist nicht nur günstiger — das läuft auf einem Laptop.
ChatGPT brauchte 2 Monate für 100 Millionen Nutzer. Das Telefon brauchte 75 Jahre.
Jede Technologie hat ihre Adoptionskurve. Manche brauchen Jahrzehnte. Manche Monate. ChatGPT hat die schnellste Adoption eines Technologie-Produkts in der Geschichte hingelegt.
700 Millionen wöchentlich aktive Nutzer hat ChatGPT heute. 72% aller Unternehmen weltweit setzen KI ein. 61% aller Venture-Capital-Investitionen fließen in KI. Das Geld folgt der Technologie — $252 Milliarden Corporate AI Investment allein 2024.
Aber die Adoption hat eine Schattenseite: 74% der Unternehmen schaffen es nicht, KI über Pilotprojekte hinaus zu skalieren. Die Technologie ist da. Die Organisation kommt nicht mit.
Benchmarks werden ausgereizt. MMLU, HumanEval, ImageNet — die "einfachen" Tests sind fast gelöst. Gleichzeitig rücken die Modelle immer enger zusammen. Das klingt nach Stillstand. Ist es aber nicht.
Die Frontier bewegt sich weiter — auf immer härteren Aufgaben. Forscher wechseln auf MMLU-Pro, GPQA, HLE und MMMU. ImageNet wurde 2017 "gelöst". Coding-Benchmarks sind von 0% (2021) auf 90% (2024) gestiegen.
Die leichten Gewinne werden weniger. MMLU ist fast ausgereizt. Der Abstand zwischen den Modellen schrumpft. 33+ Modelle von 12 verschiedenen Entwicklern überschreiten die gleiche Compute-Schwelle. Die Frontier wird breiter — nicht nur höher.
Der Abstand zwischen dem besten und zweitbesten Modell schrumpfte von 4,9 auf 0,7 Prozentpunkte. Das ist kein Stillstand — das ist Konvergenz. Die Spitze wird dichter. Und gleichzeitig schaffen es 74% der Unternehmen nicht, KI über Pilotprojekte hinaus einzusetzen. Die Technologie rennt. Die Organisationen stehen.
Die Abstände werden kleiner. Die Fragen werden größer.
14 Jahre. 5 Jahre. 4 Jahre. 2 Jahre. 5 Monate. Die Meilensteine beschleunigen sich. Die Rechenleistung vervielfacht sich jedes Jahr. Die Kosten fallen um den Faktor 285. 100 Millionen Nutzer in 2 Monaten. Und das ist nur der Stand von heute.
Die Zahlen sind eindeutig. KI beschleunigt sich — auf jeder Dimension, die man messen kann. Die leichten Benchmarks sind fast gelöst. Die Modelle konvergieren. Aber die Frontier bewegt sich weiter. Auf immer härteren Aufgaben. Mit immer mehr Compute. Und mit immer weniger Zeit zwischen den Durchbrüchen.
Die Frage ist nicht, ob KI schneller wird. Die Frage ist, ob wir mithalten — oder zusehen.
tkoerting/data-stories — Code, Daten, Methodik
Hat Dir dieses Datenstück was gebracht?
Alle Daten wurden nach bestem Wissen und Gewissen recherchiert und aufbereitet. Trotzdem: Fehler passieren, Zahlen veralten, Quellen verschwinden. Wer etwas findet, das nicht stimmt — oder eine bessere Quelle kennt — ich freue mich über eine Nachricht: ich@der-koerting.de