Archiv verlassen und diese Seite im Standarddesign anzeigen : Hilfe, ist hier vielleicht ein Mathematiker oder sowas aehnliches?
Smuggels
19-10-2010, 16:24
... oder vielleicht jemand der einen Link zu einem guten Statistik-Forum kennt?!
Ich habe 2 Datensaetze (je ca. 10.000 Werte), die nicht normal verteilt sind und nun moechte ich einen Vergleich machen, der aussagt, welcher Datensatz besser ist. Die Mittelwerte habe ich fuer beide Datensaetze berechnet (D1 ist besser als D2).
Dann gibt's da noch die Signifikanztests Mit dem T-Test kann man wohl testen, ob die Daten identisch sind, aber nur, wenn sie normal verteilt sind - ansonsten muss man wohl den Wilcoxon-Test anwenden. So, ich habe mir jetzt R installiert und beide Tests ausgefuehrt, aber das sind dort der "Welch Two Sample t-test " & "Wilcoxon signed rank test with continuity correction". Sind das die richtigen Tests und brauche ich mehr Werte als den P-Value?
Und wenn jetzt D1 einen besseren Mittelwert als D2 hat und die Datensaetze sich signifikant unterscheiden - ist dann D1 wirklich besser als D2????! Mir geht's eben im Endeffekt darum zu sagen, welcher Datensatz besser ist (niedrigste Werte hat).
Ich habe heute schon ewig gegooglet und bin da nicht so ganz durchgestiegen. Also falls mir da jemand weiterhelfen koennte oder einen guten Link oder ein tolles Buch kennt, waere ich sehr dankbar! :helga:
Welch wendet man wie jeden t-Test vor allem bei normalverteilten Daten an.
Wilcoxon signed rank bringt dir nur was, wenn die Daten der beiden Messreihen einen Bezug zueinander haben, d.h. wenn z.B. der erste Datensatz der ersten Messreihe die gleiche Messung durchführt wie der erste Datensatz der zweiten Messreihe.
Eigentlich bräuchtest du den Wilcoxon ranksum test, wenn ich mich nicht irre :D
Nachtrag: R nennt den wohl Wilcoxon two-sample test
Smuggels
19-10-2010, 18:54
Danke schön für die Antwort! :knuddel:
Wilcoxon signed rank bringt dir nur was, wenn die Daten der beiden Messreihen einen Bezug zueinander haben, d.h. wenn z.B. der erste Datensatz der ersten Messreihe die gleiche Messung durchführt wie der erste Datensatz der zweiten Messreihe.
Eigentlich bräuchtest du den Wilcoxon ranksum test, wenn ich mich nicht irre :D
Datensatz 1 sind 10.000 Modelle (bzw. Qualitätswerte) für 10.000 Proteine
Datensatz 2 sind 10.000 andere Modelle (bzw. Qualitätswerte) für die gleichen 10.000 Proteine.
Jetzt will ich wissen, welcher Datensatz besser ist bzw. welcher von den beiden die besseren Modelle enthält. Paßt da der Wilcoxon-Test deiner Meinung nach?! :helga:
Die Verteilung hat nämlich einen wirklich großen rechten "Tail" und deshalb kann ich mich nicht so recht mit dem t-test anfreunden (bisher hatte ich da auch nur vom studenten's t test gehört und mich deshalb über den "welch" gewundert)
Nachtrag: R nennt den wohl Wilcoxon two-sample test
Danke, das werde ich mir morgen mal im Büro anschauen ... aktuell bin ich einfach zu verpeilt, um da noch was zu verstehen... ganz früh morgens mit einem Kaffee geht das noch am Besten :morgen:
schnuffifox
19-10-2010, 21:39
ist nel ein mathematiker oder was ähnliches? :D
Datensatz 1 sind 10.000 Modelle (bzw. Qualitätswerte) für 10.000 Proteine
Datensatz 2 sind 10.000 andere Modelle (bzw. Qualitätswerte) für die gleichen 10.000 Proteine.
Jetzt will ich wissen, welcher Datensatz besser ist bzw. welcher von den beiden die besseren Modelle enthält. Paßt da der Wilcoxon-Test deiner Meinung nach?! :helga:
Da sollten eigentlich beide Wilcoxons funktionieren :D
Wenn der Test nun ergibt, dass die beiden Samples signifikant voneinander abweichen, dann ist halt die Messreihe mit dem "besseren" Mittelwert die bessere ;)
Wobei ich ehrlich gesagt keine Erfahrung mit diesen Datenmengen habe; aber mir ist jetzt nicht bekannt, dass die Datenmenge ein Hindernis darstellt.
ist nel ein mathematiker oder was ähnliches? :D
Lass mich raten: du bist wegen dem hier:
... bisher hatte ich da auch nur vom studenten's t test gehört ...
auf diesen Thread angesprungen :zahn:
schnuffifox
19-10-2010, 21:49
:blush:
Smuggels
19-10-2010, 22:26
Ich habe doch gesagt, dass ich verpeilt bin :schäm:
Da sollten eigentlich beide Wilcoxons funktionieren :D
Das ist super (denn den einen hab ich ja *g*). Ich werde mir sicherheitshalber aber auch nochmal den anderen ansehen ... hoffentlich kommt da nix anderes raus - dann dreh' ich morgen am Rad
Wenn der Test nun ergibt, dass die beiden Samples signifikant voneinander abweichen, dann ist halt die Messreihe mit dem "besseren" Mittelwert die bessere ;)
Ach Mist! :crap:
Was heißt es denn eigentlich, wenn der Student's T-Test sagt, es liegt keine Signifikanz vor, der Wilcoxon aber sagt, es liegt doch eine vor.
Kennst du vielleicht auch noch eine gute Quelle, wo man das Prinzip von den Wilcoxons nachlesen kann? Zum student's t test habe ich schon eine, aber Wilcoxon ist irgendwie recht wirr ... finde ich... :helga:
Das ist super (denn den einen hab ich ja *g*). Ich werde mir sicherheitshalber aber auch nochmal den anderen ansehen ... hoffentlich kommt da nix anderes raus - dann dreh' ich morgen am Rad
Verlass dich lieber auf den signed rank, der passt ja bei "zusammengehörigen" Werten :D
Was heißt es denn eigentlich, wenn der Student's T-Test sagt, es liegt keine Signifikanz vor, der Wilcoxon aber sagt, es liegt doch eine vor.
t-Test ist parametrisch, geht also von einer bestimmten Verteilung (meist Normalverteilung) aus. Von daher sollten wir den gar nicht in die Überlegung einbeziehen :D
Kennst du vielleicht auch noch eine gute Quelle, wo man das Prinzip von den Wilcoxons nachlesen kann? Zum student's t test habe ich schon eine, aber Wilcoxon ist irgendwie recht wirr ... finde ich... :helga:
Die englischen Wiki-Artikel taugen was :zahn:
Der ranksum test ist hier mal ganz kurz und anschaulich wiedergegeben: http://bioinfoblog.de/bereiche/informatik-teil/2006/04/09/wilcoxon-rangsummentest/
Ansonsten vielleicht http://www.reiter1.com/Glossar/Wilcoxon_Vorzeichen_Rangtest.htm und http://www.reiter1.com/Glossar/Mann-Whitney%20Test.htm (Mann-Whitney ist gleichwertig zu Wilcoxon Rangsumme)
bexbrause
19-10-2010, 22:51
:rotauge:
Ich hatte das alles verdrängt.
:rotauge:
Ich hatte das alles verdrängt.
Du wusstest das alles mal? :freu:
Dann gib doch auch noch deinen Senf dazu und verwirr Smuggels endgültig. Ich alleine hab es noch nicht geschafft, fürchte ich :zahn:
bexbrause
19-10-2010, 23:01
Meine Diplomarbeit hatte als Thema Korrespondenz- und Redundanzanalyse. Und den Zweitsemestern hab ich die t-Tests beigebracht. Allerdings wurde zu viel Zeit damit verschwendet diesen überhaupt mal den Dreisatz begreiflich zu machen. Nicht mal n Mittelwert konnten die errechnen. Und Prozentrechnung war undenkbar.. :kater:
Hättest du ihnen dann noch Brüche vorgesetzt, wären sie wahrscheinlich schreiend rausgerannt :zahn:
Polanski
20-10-2010, 08:25
Smuggels, was willstn bei so einer Fragestellung mit einem Mathematiker?
Ich mach solche Sachen im Moment selbst, sowohl klinische Parameter bei Kohorten vergleichen, als auch biochemische Messwerte verschiedener Gruppen miteinander vergleichen ("ist die Abweichung akzeptabel?" ist mein grösstes Crux), und zu guter Letzt auch grosse Datensätze aus Array Experimenten miteinander vergleichen.
"We are all aware that we are drowning in a sea of data, but starving for knowledge" hat Sydney Brenner gesagt, und das kann ich inzwischen nur bestätigen.
Mit Modellieren hab ich mich noch nicht befasst, und das scheint es ja zu sein, was Du tust. Wenn Du die Ergebnisse zweier Modelle miteinander vergleichen möchtest, sollte man schon wissen, was Dein "Ziel" ist.
Datensatz 1 sind 10.000 Modelle (bzw. Qualitätswerte) für 10.000 Proteine
Datensatz 2 sind 10.000 andere Modelle (bzw. Qualitätswerte) für die gleichen 10.000 Proteine.
Jetzt will ich wissen, welcher Datensatz besser ist bzw. welcher von den beiden die besseren Modelle enthält.
"besser" ist hier das zentrale Wort. "qualität" das andere. Beide alleinstehend eher undefiniert, insofern ist es ganz schwer zu sagen, nach welchen Kriterien Du die Datensätze beurteilen sollst/kannst/darfst.
"Nicht normal verteilt" machts schon mal nicht leichter, sonst hätte ich ganz locker "Kolmogorov-Smirnoff" in den Raum geworfen, klingt immer gut, hat was von trinken und Schusswaffen :D
Was hättest Du denn gerne? Dass der Datensatz die Wirklichkeit reflektiert, oder dass er Deine Hypothese (?) bestätigt?
Möglichst wenig Abweichung reflektiert nicht notwendigerweise den "natürlichen" Zustand, wo es eine natürliche Streuung und Oszillation gibt.
Ich fand diese Seite hier durchaus interessant:
http://www.graphpad.com/quickcalcs/index.cfm
Ich selbst benutze im Moment vorwiegend "Datadesk" (http://www.datadesk.com/products/data_analysis/software.shtml) wegen der guten graphischen Darstellung, die beim Durchsichten von grossen Datensätzen einfach intuitiver ist. Wir sind nunmal in erster Linie visuell orientierte Tiere.
Die mathematische Rechtfertigung Deines ersten optischen Eindrucks holst Du Dir dann sozusagen "post-hoc" mit dem tool Deiner Wahl.
Sehen heisst glauben.
Und den Zweitsemestern hab ich die t-Tests beigebracht. Allerdings wurde zu viel Zeit damit verschwendet diesen überhaupt mal den Dreisatz begreiflich zu machen. Nicht mal n Mittelwert konnten die errechnen. Und Prozentrechnung war undenkbar.. :kater:
Prozentrechnung und Dreisatz wird erst ab dem 3. Semester gelehrt?
Diese Mathematiker. :nein:
Smuggels
20-10-2010, 09:39
Wenn man den biologischen Hintergrund weglaesst, kann das Problem doch auch ein Mathematiker loesen :D
"besser" ist hier das zentrale Wort. "qualität" das andere. Beide alleinstehend eher undefiniert, insofern ist es ganz schwer zu sagen, nach welchen Kriterien Du die Datensätze beurteilen sollst/kannst/darfst.
[...]
Was hättest Du denn gerne? Dass der Datensatz die Wirklichkeit reflektiert, oder dass er Deine Hypothese (?) bestätigt?
Ok, dann gehen wir mal mehr ins Detail:
Also ich habe zwei Proteine miteinander aligned mit 2 verschiedenen Methoden und 1 Referenz-Alignment (so sollte es im Idealfall aussehen). Jetzt habe ich die beiden Alignments (Methode 1 und Methode 2) mit dem Referenz-Alignment verglichen und gezaehlt, um viele Positionen alignte Aminosaeure-Paare verschoben sind:
Paare in Methode 1:
Um 0 Positionen verschoben: 4
Um 1 Position verschoben: 5
Um 2 Posionen verschoben: 2
Um 5 Positionen verschoben: 1
Um 9 Positionen verschoben: 2
Um 15 Positionen verschoben: 1
Daraus habe ich dann so einen Vektor gemacht:
0 0 0 0 1 1 1 1 1 2 2 5 9 9 15
Paare in Methode 2:
Um 0 Positionen verschoben: 3
Um 1 Position verschoben: 6
Um 2 Posionen verschoben: 1
Um 3 Posionen verschoben: 1
Um 4 Positionen verschoben: 1
Um 8 Positionen verschoben: 1
Um 10 Positionen verschoben: 1
Um 14 Positionen verschoben: 1
Vektor:
0 0 0 1 1 1 1 1 1 2 3 4 8 10 14
Jetzt kann ich sagen, dass die durchschnittliche Verschiebung eines Paares xx betraegt. Methode 1 hat z als durchschnittliche Verschiebung und Methode 2 y und eine Standardabweichung habe ich dann ggf. auch noch (muss man die eigentlich dann auch angeben?!?). Jetzt will ich aber auch noch wissen, ob der Unterschied zwischen z und y signifikant ist oder nicht, denn nur an der durchschnittlichen Verschiebung erkennt man das ja nicht...
Ich hoffe, dass das einigermassen verstaendlich war :helga:
http://www.graphpad.com/quickcalcs/DistMenu.cfm <- Die Seite ist irgendwie recht unuebersichtlich und verwirrt mich gerade mehr als dass sie mir hilft :helga:
Extra ein Programm kaufen, geht leider auch nicht, da es nicht absehbar ist, ob hier nochmal jemand das braucht... geplottet habe ich mir die Werte allerdings schon in Excel, denn sonst wuesste ich auch nicht, dass sie nicht normalverteilt sind. Du hast schon sehr recht damit, dass man sich das alles graphisch mal anschauen muss! :)
Smuggels
20-10-2010, 09:46
Verlass dich lieber auf den signed rank, der passt ja bei "zusammengehörigen" Werten :D
Ok, den habe ich mal ausgefuehrt und das Ergebnis sieht ein bisschen anders aus. Bei R gibt es in dem Manual noch das Beispiel, dass man die alternative Hypothese umstellen kann von "two.sided" auf "greater" oder "less". Weisst du vielleicht, was das bedeutet? Und sollte man "continuity correction" anwenden oder nicht? :suspekt:
Danke fuer die Links. Ich bin mir aber irgendwie unsicher, ob das wirklich zusammengehoerige Paare bei mir sind :helga:
Die Mittelwerte habe ich fuer beide Datensaetze berechnet (D1 ist besser als D2).
Die Verteilung hat nämlich einen wirklich großen rechten "Tail" [...]
Dann würde ich mit dem Median statt mit dem Mittelwert arbeiten. Der Median ist nämlich robuster gegen eine asymmetrische Verteilung.
Ach Mist! :crap:
Was heißt es denn eigentlich, wenn der Student's T-Test sagt, es liegt keine Signifikanz vor, der Wilcoxon aber sagt, es liegt doch eine vor.
Dann vertrau dem Verfahren, dass für dein Problem geeigneter ist, da hat Nelstar recht. Gerade T-Tests sind zwar beliebt, weil einfach zu handhaben, aber eigentlich in ihrer Aussagekraft sehr gebunden an die Grundbedingungen, auf die sie zugeschnitten sind.
Deswegen gibt es ja hunderttausend verschiedene Tests, weil jeder bei verschiedenen Grundbedingungen greift.
Smuggels, was willstn bei so einer Fragestellung mit einem Mathematiker?
Hehe, war auch mein Gedanke. :D
Was hättest Du denn gerne? Dass der Datensatz die Wirklichkeit reflektiert, oder dass er Deine Hypothese (?) bestätigt?
Uhhhhh .... expectation bias.
schnuffifox
20-10-2010, 10:03
:rotauge:
mann, wenn ich das lese, bin ich wieder mal froh, dass ich was anständiges gelernt habe. :zahn:
Smuggels
20-10-2010, 10:11
Dann würde ich mit dem Median statt mit dem Mittelwert arbeiten. Der Median ist nämlich robuster gegen eine asymmetrische Verteilung.
Also einmal habe ich ca. 75 % eine 0 und dann Werte bis 200
Im anderen habe ich ca. 80 % eine 0 und dann Werte bis 500
Beim Median gibt er mir in beiden Faellen eine 0 aus, was eigentlich nicht so viel aussagt :crap:
Uhhhhh .... expectation bias.
Den habe ich auch gerade in einem Fall gefunden :zeter:
Nur mit dem t-test ist der weg :zahn: ... aber ich nehme dann lieber den schlechteren Wert, der eigentlich die Wahrheit aussagt ...gibt dann immerhin eine schoene Diskussion ...
Oh, ok ... bei so ner krassen Dominanz der Nullwerte, klappt das natürlich nicht.
Noch dazu eine monoton fallende Verteilung, keine (verzerrte) "Glocke".
Wenn ich das richtig siehe, scheint das zweite Modell in mehr Fällen zu funktionieren, aber dafür auch krassere Ausreißer zu generieren, oder? Welches Sample hat denn den kleineren Mittelwert?
Smuggels
20-10-2010, 10:43
Oh, ok ... bei so ner krassen Dominanz der Nullwerte, klappt das natürlich nicht.
Noch dazu eine monoton fallende Verteilung, keine (verzerrte) "Glocke".
So ganz monoton fallend ist es auch nicht. Da sind immer mal wieder Ausreisser drin (allerdings keine Grossen)
Wenn ich das richtig siehe, scheint das zweite Modell in mehr Fällen zu funktionieren, aber dafür auch krassere Ausreißer zu generieren, oder? Welches Sample hat denn den kleineren Mittelwert?
Also mal die Werte, die ich habe:
T-Test :zahn:
t = 0.196, df = 198642.4 p-value = 0.8446
95 percent of confidence interval:
-0.01034 0.01265
mean of x: 0.27513
mean of y: 0.27399
Wilcoxon rank sum:
p-value < 2.2e-16
Wilcoxon signed rank:
p-value < 2.949e-08
Kann ich also sagen, dass y besser und zwar signifikant besser ist?! :crap:
Den t-Test kannst du bei deiner Verteilung meines Erachtens in die Tonne kloppen. Mit dem Wilcoxon kenn ich mich nicht aus, aber Nelstar hatte sich ja für den ausgesprochen.
Mein Problem ist gerade ein anderes, denn meines Erachtens müsstest du die Häufigkeit der Abweichung und das durchschnittliche Ausmaß berücksichtigen. Deine jetzigen Mittelwerte sind da evtl. noch nicht aussagekräftig genug. Sind starke Ausreißer wie bei Modell 2 bis 500 nicht negativer zu gewichten als die geringeren aus Modell 1? Im Moment hast du bei Modell 2 einen geringeren Mittelwert, aber das liegt ja auch daran, dass du 500 Nullwerte mehr hast.
Moment mal .... ist vielleicht ne blöde Frage, aber für jeweils welche beiden Datensätze führst du die Tests denn durch? Für jeweils einen Modell-Datensatz und den Referenzdatensatz? Oder für die beiden Modelle untereinander?
Smuggels
20-10-2010, 11:28
Mein Problem ist gerade ein anderes, denn meines Erachtens müsstest du die Häufigkeit der Abweichung und das durchschnittliche Ausmaß berücksichtigen. Deine jetzigen Mittelwerte sind da evtl. noch nicht aussagekräftig genug. Sind starke Ausreißer wie bei Modell 2 bis 500 nicht negativer zu gewichten als die geringeren aus Modell 1? Im Moment hast du bei Modell 2 einen geringeren Mittelwert, aber das liegt ja auch daran, dass du 500 Nullwerte mehr hast.
Und wie geht diese unterschiedliche Gewichtung?! Wird das nicht schon im Wilcoxon irgendwie mit einbezogen? Ich dachte, der sei gerade dafuer da... :helga:\
Moment mal .... ist vielleicht ne blöde Frage, aber für jeweils welche beiden Datensätze führst du die Tests denn durch? Für jeweils einen Modell-Datensatz und den Referenzdatensatz? Oder für die beiden Modelle untereinander?
In meinem Beispiel hatte ich 2 Vektoren fuer die beiden Datensaetze und bei R gebe ich dann folgendes ein:
wilcox.test(Vektor1, Vektor2, paired = TRUE, correct = FALSE)
Also vergleiche ich die Datensaetze untereinander. Ich hab keine Ahnung, ob das richtig ist oder nicht :schaem:
Ich bin kein Statistik-Ass, aber dieses Vorgehen liefert dir, wenn ich es richtig verstehe, einfach eine Aussage darüber, ob die beiden Vektoren/ Datensätze sich in signifikanterweise ähnlich sind/ die gleiche Tendenz haben. Ich bin mir ehrlich gesagt gar nicht sicher, was dir das bringen soll.
Wäre es für dich nicht sinnvoller, gar nicht erst Differenzenvektoren zu bilden, sondern deine beiden Alignments jeweils mit der Referenz auf Ähnlichkeit zu kontrollieren? Dann erhältst du eine Aussage darüber, ob die jeweilige Methode sich eignet, den Idealfall abzubilden. Wenn da für eine rauskommt, dass sie sich nicht eignet, kannst du sie bereits kicken.
Wenn beide Methoden sich als grundsätzlich geeignet erweisen, dann kannste deine mittlere Differenz heranziehen.
Die einfachste Form der Gewichtung wäre, die Differenz zu quadrieren. Damit schlagen sich starke Ausreißer automatisch deutlicher nieder. Oder du erstellst eine lineare oder expontielle Gewichtungsfunktion mit f(x)>=x als Bedingung. Das kommt aber darauf an, inwiefern starke Ausreißer denn tatsächlich die Qualität stärker mindern als geringe. Stell dir einfach die Frage: "Finde ich eine Methode besser, die mir in mehr Fällen das richtige Ergebnis liefert, die aber, wenn sie falsch liegt auch gleich deutlich ausreißt? Oder aber eine Methode, die nicht ganz so viele exakter Treffer hat, dafür aber auch in ihrem Ausmaß weniger drastische Fehler?"
Kann aber auch sein, dass ich was wesentliches an deiner Problemstellung nicht verstanden habe und Bullshit rede. :zahn:
Smuggels
20-10-2010, 12:07
Wäre es für dich nicht sinnvoller, gar nicht erst Differenzenvektoren zu bilden, sondern deine beiden Alignments jeweils mit der Referenz auf Ähnlichkeit zu kontrollieren? Dann erhältst du eine Aussage darüber, ob die jeweilige Methode sich eignet, den Idealfall abzubilden. Wenn da für eine rauskommt, dass sie sich nicht eignet, kannst du sie bereits kicken.
Das habe ich doch schon. Ich habe beide Alignments jeweils mit der Referenz auf Ähnlichkeit kontrolliert und mein Vektor enhaelt die Werte, wie stark die Abweichungen sind. (Model 1 hat Vektor 1 und Model 2 hat Vektor 2).
Also meinst du, ich sollte da dann schon irgendwie quadrieren oder aehnliches?! Die Idee macht schon Sinn, aber kann ich das denn so einfach machen? Da wuerde ich mir die Ergebnisse ja moeglicherweise "schoen" rechnen... :suspekt:
Stell dir einfach die Frage: "Finde ich eine Methode besser, die mir in mehr Fällen das richtige Ergebnis liefert, die aber, wenn sie falsch liegt auch gleich deutlich ausreißt? Oder aber eine Methode, die nicht ganz so viele exakter Treffer hat, dafür aber auch in ihrem Ausmaß weniger drastische Fehler?"
Genau das ist doch die Diskussion, die ich fuehren muss :zeter: ... von der Grafik her kann ich sagen, dass die eine Methode mehr richtige Ergebnisse liefert, aber wenn sie falsch liegt auch deutlich ausreisst und dass die andere, weniger exate Treffer hat, aber dafuer auch weniger drastische Fehler... nur muss ich da irgendwie sagen koennen: Ok, im Schnitt ist die eine Methode besser oder beide sind gleich gut oder die andere ist besser.
Bsp:
Methode 1: 0, 2, 4
Methode 2: 1,2,3
Methode 1 hat einen exakten Treffer (0), aber auch einen weiten Ausreisser (4)
Methode 2 hat keinen genauen Treffer, aber keinen so grossen Ausreisser.
Beide haben den gleichen Mittelwert und einen p-value von 1, sind also gleich gut.
... und sowas will ich eben fuer eine nicht-normale Verteilung haben und wenn es geht so, dass ich einfach einen odere mehrere Werte ins Paper schreiben kann, die auch eindeutig und von Fachleuten zu verstehen sind (das macht das dann auch ein wenig wissenschaftlicher, hoffe ich :D)
Das habe ich doch schon. Ich habe beide Alignments jeweils mit der Referenz auf Ähnlichkeit kontrolliert und mein Vektor enhaelt die Werte, wie stark die Abweichungen sind. (Model 1 hat Vektor 1 und Model 2 hat Vektor 2).
Ja, aber die Abweichung untereinander mit dem Wilcoxon auf Ähnlichkeit zu prüfen, liefert dir, soweit ich das verstehe, keine verwertbare Aussage. Dann weißt du einfach nur, dass beide Differenzenvektoren sich qualitativ gleichen. Was dafür spräche, dass beide Methoden ähnlich gut funktionieren.
Also meinst du, ich sollte da dann schon irgendwie quadrieren oder aehnliches?! Die Idee macht schon Sinn, aber kann ich das denn so einfach machen? Da wuerde ich mir die Ergebnisse ja moeglicherweise "schoen" rechnen... :suspekt:
Fehlerquadrierung ist in der Mathematik und Statistik ein gebräuchliches, anerkanntes Verfahren, da riskierst du nichts.
Genau das ist doch die Diskussion, die ich fuehren muss :zeter: ... von der Grafik her kann ich sagen, dass die eine Methode mehr richtige Ergebnisse liefert, aber wenn sie falsch liegt auch deutlich ausreisst und dass die andere, weniger exate Treffer hat, aber dafuer auch weniger drastische Fehler... nur muss ich da irgendwie sagen koennen: Ok, im Schnitt ist die eine Methode besser oder beide sind gleich gut oder die andere ist besser.
Hm.
OK, dann ist der Mittelwert grundsätzlich als Diagnostik nicht verkehrt. Und wenn du dich entschließt zu gewichten, kannst du das quadratische Mittel (http://de.wikipedia.org/wiki/Quadratisches_Mittel) nehmen, das starke Ausreißer wieder stärker abstraft als schwache. Um das zu entscheiden musst du selbst Präferenzen festlegen. Oder eben diskutieren, dass die Wahl der Methode von den Präferenzen des Anwenders abhängt oder sowas.
Dein Bedürfnis deine Aussagen in irgendeiner Form statistisch abzusichern verstehe ich gut (hatte das Problem auch gerade bei einer Forschungsarbeit), aber da einfach beide Vektoren zu vergleich liefert wie gesagt meines Erachtens keine verwertbare Aussage. Du willst ja eigentlich vor allem validieren, dass dein aus dem Mittelwert abgeleitetes Ergebnis verlässlich ist. Und das ist durchaus tricky. Müsste ich auch erstmal drüber nachdenken.
Sind deine Alignments in irgendeiner Form zufallsbehaftet?
Smuggels
20-10-2010, 12:56
Ja, aber die Abweichung untereinander mit dem Wilcoxon auf Ähnlichkeit zu prüfen, liefert dir, soweit ich das verstehe, keine verwertbare Aussage. Dann weißt du einfach nur, dass beide Differenzenvektoren sich qualitativ gleichen. Was dafür spräche, dass beide Methoden ähnlich gut funktionieren.
Naja, es macht ja insofern Sinn, als dass ich dann sagen kann, dass die Methoden entweder aehnlich gut sind, also sich im Endeffekt kaum voneinander entscheiden oder eben signifikant unterschiedlich sind. Wenn ich nur die (quadrierten) Mittelwerte habe, dann habe ich diese Information doch ueberhaupt nicht... also nur die Mittelwerte zu nehmen, reicht doch nicht... wuerde ich mal behaupten..... :nixweiss:
Fehlerquadrierung ist in der Mathematik und Statistik ein gebräuchliches, anerkanntes Verfahren, da riskierst du nichts.
Ok, dann berechne ich mal das quadratische Mittel. Wenn da das gleiche rauskommt, bin ich auf der sicheren Seite ... ansonsten bin ich frustiert!
Sind deine Alignments in irgendeiner Form zufallsbehaftet?
Mit Alignments meine ich http://de.wikipedia.org/wiki/Sequenzalignment#Paarweises_Alignment und die sind nicht zufallsbehaftet, sondern basieren auf diversen Aehnlichkeitskriterien der Sequenzen... grob gesagt geht's darum, dass wir eine neue Methode entwickelt haben, um Proteinsequenzen miteinander zu vergleichen und diese nun gegen etablierte Methoden vergleichen, um herauszufinden, welche Methode denn nun die Beste ist und warum das so ist...
Smuggels
20-10-2010, 13:05
Waaaaaaaah, beim quadratischen Mittel sind die Werte nun umgedreht :mauer::
Normales Mittel
x = 0.27513
y = 0.274367
Quadratisches Mittel:
x = 1.28
y = 1.39
... was soll mir das denn jetzt nun sagen? :crap:
Naja, es macht ja insofern Sinn, als dass ich dann sagen kann, dass die Methoden entweder aehnlich gut sind, also sich im Endeffekt kaum voneinander entscheiden oder eben signifikant unterschiedlich sind. Wenn ich nur die (quadrierten) Mittelwerte habe, dann habe ich diese Information doch ueberhaupt nicht... also nur die Mittelwerte zu nehmen, reicht doch nicht... wuerde ich mal behaupten..... :nixweiss:
Stimmt. :)
Ok, dann berechne ich mal das quadratische Mittel. Wenn da das gleiche rauskommt, bin ich auf der sicheren Seite ... ansonsten bin ich frustiert!
Das wäre natürlich der Idealzustand, denn dann würde selbst bei höherer Gewichtung der höheren Ausreißer Methode 2 sich als besser erweisen. Das macht dein Ergebnis dann schon sehr robust! Ich drück dir die Daumen! :D
grob gesagt geht's darum, dass wir eine neue Methode entwickelt haben, um Proteinsequenzen miteinander zu vergleichen und diese nun gegen etablierte Methoden vergleichen, um herauszufinden, welche Methode denn nun die Beste ist und warum das so ist...
Worauf ich mit der Frage hinauswollte: im Moment hast du ja für Methode 2 500 mehr exakte Ergebnisse, also 5%-Punkte. Mich würde interessieren ob diese Zahl für einen anderen Ausgangsdatensatz variieren kann. Denn wenn beispielsweise die Anzahl an exakten Treffern für Methode 2 bei einem anderen Datensatz schrumpft, die Ausreißer aber immer noch so hoch sind, dann verliert die Methode ja an Qualität.
Waaaaaaaah, beim quadratischen Mittel sind die Werte nun umgedreht :mauer:
:crap:
Jetzt wird es zum Präferenzenproblem. Lieber mehr richtige und dafür einige richtig falsche Ergebnisse, oder lieber mehr falsche, aber mit geringerem Ausmaß der Fehler? Ich würde ja die zweite Variante tippen und dann wäre es sinnvoll, das quadratische Mittel heranzuziehen.
Ok, den habe ich mal ausgefuehrt und das Ergebnis sieht ein bisschen anders aus. Bei R gibt es in dem Manual noch das Beispiel, dass man die alternative Hypothese umstellen kann von "two.sided" auf "greater" oder "less". Weisst du vielleicht, was das bedeutet?
Ja. Greater oder less wendest du dan, wenn du ne starke Vermutung hast, welcher "besser" ist und nur schauen willst, ob das wirklich der Fall ist.
Two sided benutzt du, wenn du keine Ahnung hast, welcher "besser" ist und schauen möchtest, ob das bei einem der Fall ist.
Und sollte man "continuity correction" anwenden oder nicht? :suspekt:
Ja, da du diskrete Daten verwendest.
Ich hab jetzt auch noch nicht kapiert, was für Vektoren du benutzt, also was die Datenreihen aussagen, deswegen hab ich keinen Schimmer, ob du das richtig gemacht hast :D
Smuggels
20-10-2010, 13:17
Also wenn ich jetzt einen komplett anderen Ausgangsdatensatz an Proteinen nehme, wird das Ergebnis auch anders sein, aber der Datensatz ist fest und sollte robust sein gegen Schwankungen, da er sehr diverse Proteine aus den unterschiedlichsten Familien beinhaltet, die eigentlich alle Faelle beruecksichtigen sollten... irgendwas muss man ja an Referenzdaten nehmen...
:crap:
Jetzt wird es zum Präferenzenproblem. Lieber mehr richtige und dafür einige richtig falsche Ergebnisse, oder lieber mehr falsche, aber mit geringerem Ausmaß der Fehler? Ich würde ja die zweite Variante tippen und dann wäre es sinnvoll, das quadratische Mittel heranzuziehen.
Kann man auch beide Mittelwerte (normaler und quadratischer) inkl. P-Values angeben? Denn aktuell liebaeugele ich damit das zu tun, um die Problematik der Ergebnisse zu beschreiben ...
Ja. Greater oder less wendest du dan, wenn du ne starke Vermutung hast, welcher "besser" ist und nur schauen willst, ob das wirklich der Fall ist.
Two sided benutzt du, wenn du keine Ahnung hast, welcher "besser" ist und schauen möchtest, ob das bei einem der Fall ist.
Ja, da du diskrete Daten verwendest.
Also Two.sided und "continuity correction" ... alles klar :
Ich hab jetzt auch noch nicht kapiert, was für Vektoren du benutzt, also was die Datenreihen aussagen, deswegen hab ich keinen Schimmer, ob du das richtig gemacht hast :D
:crap:
Ach ja: der signed ranksum sollte gleiche Daten (also: bei den Datenreihen stehen sich gleiche Werte gegenüber) normalerweise nicht in die Berechnung einbeziehen, von daher sollte es gar nicht so kritisch sein.
Allerdings: wenn du so viele Nullen hast ( :eek: ), wage ich zu bezweifeln, ob die irgendein Test tatsächlich eine signifikante Abweichung der Messreihen liefert :D
Kann man auch beide Mittelwerte (normaler und quadratischer) inkl. P-Values angeben? Denn aktuell liebaeugele ich damit das zu tun, um die Problematik der Ergebnisse zu beschreiben ...
Ich würde das tun. Meines Erachtens machen eh die meisten Paper den Fehler, möglichst nur ein Endergebnis präsentieren zu wollen. Wenn du ambivalente Ergebnisse hast, diskutier das, lege beide Seiten dar!
Smuggels
21-10-2010, 13:37
Ich würde das tun. Meines Erachtens machen eh die meisten Paper den Fehler, möglichst nur ein Endergebnis präsentieren zu wollen. Wenn du ambivalente Ergebnisse hast, diskutier das, lege beide Seiten dar!
So, ich habe mich eben mal mit meiner Chefin kurzgeschlossen und wir werden beide Werte (den normalen Mittelwert und den quadrierten Mittelwert) aufnehmen (wie du schon sagst, kann man die schoen diskutieren) und den signed rank test verwenden.
Ich bedanke mich fuer die Hilfe und die Ideen, die ihr gehabt hattet :freu: :d:
Ein Schritt naeher am Paper .. .jetzt geht's daran, die Grafiken zu bearbeiten, einzubinden und die Ergebnisse zu vervollstaendigen ... also ganz viel Spass...Spass .. Spass ... :rolleyes: :crap:
das_urmel
21-10-2010, 20:56
http://mainzelsmile.ioff.de/krank/schwitz.gif Püha, bin ich froh, dass ich das nicht mehr brauche....
<-- Dipl. Math.
:schleich: