Das Modell wurde auf einem komplett separaten Testdatensatz mit 483 Design-Gruppen validiert, die es während des Trainings nie gesehen hat. Die Ranking Accuracy von 79.1% (Mean) und 82.7% (T2B%) liegt deutlich über dem Zufallsniveau von 50%. Das bedeutet: In etwa 4 von 5 Fällen erkennt die KI korrekt, welches Design besser abschneidet.

Ranking Accuracy misst, wie oft das Modell bei einem Paarvergleich zweier Designs korrekt vorhersagt, welches besser ist. Beispiel: Wenn Design A im echten Test einen Score von 3.8 hat und Design B 3.2, dann zählt es als korrekt, wenn das Modell ebenfalls A höher einstuft als B. Dies ist der wichtigste KPI für die Praxis, weil man oft wissen möchte: „Welches Design ist besser?“ – nicht nur wie hoch der genaue Wert ist.

T2B% (Top-2-Box) gibt an, wie viel Prozent der Befragten ein Design mit 4 oder 5 bewertet haben (auf einer 1-5 Skala). Es ist die in der Marktforschung am häufigsten verwendete Kennzahl: „Wie viel Prozent finden es gut?“. Unser Modell sagt T2B% auf Gruppenebene vorher (z.B. „Design X hat bei Frauen in Deutschland eine T2B% von 65%“), mit einer durchschnittlichen Abweichung von nur 6.5 Prozentpunkten.

Konfidenzintervalle zeigen, wie sicher sich das Modell ist. Ein enges Intervall (z.B. 60-65%) bedeutet hohe Sicherheit, ein breites (z.B. 45-75%) bedeutet Unsicherheit. So könnt ihr fundiert entscheiden: Ist der Unterschied zwischen zwei Designs echt – oder könnte er auch Zufall sein? Wir nutzen dafür die Monte Carlo Dropout Methode mit 30 unabhängigen Modelldurchläufen.

Nein, und das ist auch nicht das Ziel. PacksAI ist ein Screening-Tool für frühe Designphasen. Statt 10 Designvarianten in einen teuren Survey zu schicken, filtert ihr mit PacksAI die 3 besten vor – und testet nur diese qualitativ. Das spart Zeit und Budget, ohne auf den echten Konsumentenfeedback zu verzichten. Denkt an PacksAI als „informierte Vorauswahl“.

Wir nutzen Isotonic Regression zur Kalibrierung der T2B%-Werte. Das bedeutet: Wenn das Modell z.B. systematisch bei „Purchase Intention“ zu hoch schätzt, wird das automatisch korrigiert. Die Kalibrierung senkt den mittleren Fehler im Schnitt um 1-2 Prozentpunkte pro KPI (z.B. Premiumness: 6.0pp → 4.0pp, Brand Fit: 6.9pp → 5.3pp). Die Korrektur passiert automatisch im Hintergrund.

Das Modell wurde auf über 86.000 Bewertungen aus 16 Märkten (u.a. DE, US, UK, FR, IT, PL, MX, KR, AU, TR) und 3 Kategorien (Beauty, Home Care, Laundry) trainiert – mit insgesamt 358 verschiedenen Verpackungsdesigns. Es berücksichtigt Markt, Kategorie, Geschlecht und Altersgruppe als Eingabevariablen. Je mehr Daten in einer Kombination vorhanden waren, desto präziser die Vorhersage. Bei neuen, bisher nicht gesehenen Marktkombinationen ist die Unsicherheit natürlich höher – was sich in breiteren Konfidenzintervallen zeigt.

Wenn ihr zwei Designs vergleicht, zeigt euch PacksAI, ob der Unterschied statistisch signifikant ist. Das bedeutet: Überlappen sich die Konfidenzintervalle nicht, ist der Unterschied mit hoher Wahrscheinlichkeit echt (nicht zufällig). Ihr könnt das Signifikanzniveau selbst wählen: 90% (toleranter), 95% (Standard) oder 99% (strenger). In der Praxis empfehlen wir 95%.