Poikkeavien havaitseminen normaalijakauman kautta on prosessi, johon sisältyy standardipoikkeaman kynnyksen määrittäminen ja jolla on tarkoitus löytää näytteen ääriarvot.
Toisin sanoen poikkeavien havaitseminen normaalijakauman kautta on löytää tietojoukon ääriarvot standardoidun normaalikaavan avulla.
- Arvot äärimmäisyydet kutsutaan poikkeavia englanniksi.
- Arvot sisäinen kutsutaan sisäpiiriläiset englanniksi.
Poikkeavien silmämääräinen havaitseminen voi olla vaihtoehto, kun sinulla on hyvin vähän tietoja. Tietokantojen kanssa työskenneltäessä on hyvin epäkäytännöllistä, että poikkeamat on löydettävä manuaalisesti. Tämän ongelman ratkaisemiseksi voimme laskea, mitkä arvot katsotaan äärimmäisiksi vertaamalla poikkeamien kynnykseen.
Normaalijakauman tapauksessa arvoa pidetään äärimmäisenä, kun se on 3 keskihajontaa keskiarvosta. Koska normaalijakaumalla on 2 pyrstöä, on otettava huomioon, että se voidaan loitontaa sekä negatiivisilta että positiivisilta puolilta.
Kaava poikkeavien havaitsemiseksi normaalijakaumaa käyttämällä
Joukko havaintoja voidaan ilmaista edellisellä tavalla, jossa x on keskiarvo, jonka yli arvot värähtelevät, ja merkitsee mainittujen arvojen värähtelyn dispersiota. Toisin sanoen, sigma on havaintojen etäisyys keskiarvosta.
Kerroin kertoo, onko kyseessä ulkopuolinen vai sisäpiirintekijä. Jos z ottaa arvot 3 tai -3, havainto y on normaalijakauman mukaan poikkeama.
Tietää arvon z käytämme edellistä yhtälöä:
- Jos z> = 3 tai z = <-3, voimme normaalijakauman mukaan sanoa niin Y se on äärimmäinen arvo tai outlier.
- Jos z <3 tai z <-3, voimme normaalijakauman mukaan sanoa niin Y on sisäinen arvo tai sisäpiiri.
Normaali standardi
Onko yllä oleva yhtälö tuttu?
Tarkalleen, se on havainnon ilmentymä, joka seuraa normaalijakaumaa, kun se on standardoitu tai tyypitetty. Sitä kutsutaan tällä tavalla, koska jaettaessa standardi- tai keskihajonnalla osoittajan ero ilmaistaan poikkeamina.
Tästä syystä voimme liittää poikkeama-arvot z ja voi siten ostaa sen 3 poikkeaman kynnyksellä.
Esimerkki
Etsi seuraavien havaintojen ääriarvot normaalijakauman mukaan:
Esitämme havainnot kaaviossa:
Alusta alkaen voimme jo nähdä, että arvo, joka on kauimpana muista, voi todennäköisesti olla syrjäisempi.
Ensin lasketaan keskiarvo ja keskihajonta:
x = keskiarvo = 5,8
sigma = keskihajonta = 10,51
Sitten korvataan arvot kaavaan ja lasketaan arvon z jokaisesta havainnosta:
Yllä olevat arvot ovat sigman moninkertaistavia tekijöitä, z. Kaikki, joka on suurempi kuin 3 tai alle -3, on äärimmäinen arvo.
Voimme nähdä, että arvo z joka ylittää 3 keskihajontaa, vastaa havaintoa 49.
Siksi tietojoukon ääriarvo tai ulompi arvo olisi 49.