LMielivaltaiset merkitsevyystasot päätetään ennen kontrastitilastojen laskemista, ja ei-mielivaltaiset merkitsevyystasot riippuvat kontrastitilaston ottamasta arvosta, jotka molemmat riippuvat datan seuraamasta jakaumasta.
Toisin sanoen mielivaltaiset merkitsevyystasot ovat aina samat testitilaston eri arvoille ja ei-mielivaltaiset merkitsevyystasot ovat erilaiset testitilaston eri arvoille.
Ei mielivaltainen
Kun käsite tuodaan esiin, mielivaltaisuuden ominaisuus tarkoittaa sitä, että tutkija valitsee kyseisen käsitteen arvon. a priori (ennen) kokeen tekeminen luottamatta mihinkään liittyvään tietoon.
P-arvo ja norsut
Oletetaan esimerkiksi, että haluamme testata norsujen määrää niityllä.
Ennen kuin katsotaan niitty ja todelliset elefantit, oletamme a priori norsujen lukumäärä. Sanomme, että elefantteja voi olla 10. Joten menemme niitylle ja laskemme näkemiemme norsujen määrän: 1, 2, 3, 4, 5, 6 ja 7.
Nollahypoteesimme oli, että norsujen lukumäärä niityllä oli yhtä suuri kuin 10 ja vaihtoehtoinen hypoteesi oli, että niitä oli alle 10. Joten, koska norsuja on, hylkäämme nullhypoteesin. Mutta… Entä jos niityllä on vielä 3 norsua, mutta ne ovat piilossa puiden takana? Hylkäämme nullhypoteesimme, kun se voi olla totta, jos olisimme laskeneet norsujen lukemisen sijasta enimmäismäärän norsuja, joihin nurmi mahtuu.
Analyysi
Alussa valitut 10 norsua ovat olleet täysin mielivaltaisia, koska emme ole nähneet niityn kokoa ja siksi emme tiedä, onko 10 norsua paljon vai vähän.
Toisaalta, jos laskemme niittyjen koon perusteella elefanttien enimmäismäärän, johon se mahtuu, tiedämme, mikä on enimmäisarvo, jotta ei hylätä nullhypoteesia. Joten todellisen luvun löytäminen on paljon helpompaa.
Vertailu
Sama pätee 1%, 5% ja 10% merkitsevyystasoihin verrattuna p-arvoon. Monissa kontrasteissa valitsemme merkitsevyystason ottamatta huomioon muuta tietoa kuin jakelu. Normaalisti 5% käytetään merkitsevyystasona (alfa), jättäen 95% näytteestä luottamusväliin.
Merkitsevyystason mielivaltaisen osoittamisen ongelma on sama ongelma, joka meillä on norsun esimerkissä. Jos uskomme, että on oikein soveltaa 5% (merkitsevyystaso), voimme hylätä nollahypoteesin, kun hylättävä minimi on 2% (p-arvo). Saisimme virheellisiä tuloksia yksinkertaisesti asettamalla 5% hylättävän vähimmäisarvon (2%) sijaan.
Toisin sanoen olemme päättelemässä, että niityllä on alle 10 norsua, mutta todellisuudessa on 3 muuta norsua, mutta ne ovat piilossa. Joten on paljon nopeampi laskea, mikä on suurin tai pienin merkitsevyystaso, jota emme hylkää tai hylkäämme nollahypoteesin.
Hylkäsääntö
Jos arvo - s < merkitsevyystaso => H0 hylkääminen.
Jos arvo - s > merkitsevyystaso => Ei hylkäystä H0.