Hi,
Ich nehme an das mein Algorithmus besser ist. Das ist genau das Problem. Ich wuerde gerne eine Kurve habe an der ich ablesen kann wenn mein Algorithmus das x-fache besser ist dann brauch ich nur 1/10 der Samples. Wenn er 2x-fache besser ist 1/20 usw. Von den Experten habe ich das Rating d.h. ich kann ein Kappa berechnen oder ggf auch eine Vergleich mit einem Konsens z.b. wenn ich durch majority vote einen Konsens bilde dann kann ich Kappas berechnen fuer jeden Experten vs des Konsens.
Input: ist also das Rating der Experten und alles was man davon ablesen kann.
Output: Die hypothetische Performance die der Algorithmus erreichen muss (ich wuerde annehmen ein Kappa das groesser ist als das der Experten) die statistisch signifikant besser ist als die Experten (alpha=0.01, power>=0.8)
Die Experten untereinander sind sich nicht sehr einig. Haben also eine hohe Varianz. Mein Algorithmus ist besser und sich immer "einig" kommt ja da er ein Programm ist immer zum gleichen Ergebnis. Ich habe es versucht zu veranschaulichen als Grafik. Der Konsens ist in der Mitte (Quadrat). Die Experten sternfoermig entfernt vom Konsens. Je weiter weg sie sind desto "falscher" Lagen sie. Mein Programm ist veranschaulicht als Kreis mit "Error bars". Es wird nicht immer richtig liegen, jedoch naeher beim Konsens und weniger "Streuen".
Hoffe das macht das Problem klarer