Pochopenie údajov a schopnosť vytvárať z nich hodnotu je zručnosť desaťročia. Machine Learning je jednou z hlavných zručností, ktorá pomáha spoločnostiam ju plniť. Ak však chcete začať, musíte si správne postaviť základy. V tomto článku sa teda budem venovať niekoľkým základným pojmom a poskytnem vám pokyny, ako začať svoju cestu strojovým učením. V tomto článku o štatistikách strojového učenia sa teda bude diskutovať o nasledujúcich témach:
Pravdepodobnosť a štatistika strojového učenia:
Čo je to pravdepodobnosť?
Pravdepodobnosť kvantifikuje pravdepodobnosť výskytu udalosti. Napríklad, ak hodíte spravodlivým a nestranným spôsobom, potom pravdepodobnosť jeden zapnutie je 1/6 . Teraz, ak sa pýtate why? Potom je odpoveď celkom jednoduchá!
Je to preto, že existuje šesť možností a všetky sú rovnako pravdepodobné (fair die). Preto môžeme pridať 1 + 1 + 1 + 1 + 1 + 1 = 6. Ale keďže nás zaujíma udalosť, kde sa objaví 1 . Existuje k udalosti môže dôjsť iba jedným spôsobom. Preto
Pravdepodobnosť 1 zapnutia = 1/6
Podobný prípad je aj u všetkých ostatných čísel, pretože všetky udalosti sú rovnako pravdepodobné. Jednoduché, však?
Častá definícia pravdepodobnosti pre tento príklad by znela ako - pravdepodobnosť 1 otočenia je pomer počtu, koľkokrát sa 1 otočil, k celkovému počtu, koľkokrát sa kocka zagúľala, keby sa kocka zagúľala nekonečne krát.Aký to má zmysel?
Poďme to urobiť zaujímavejším. Zvážte dva prípady - päťkrát ste hodili spravodlivou matricou. V jednom prípade je poradie čísel, ktoré sa zvyšujú, - - [1,4,2,6,4,3]. V druhom prípade dostaneme - [2,2,2,2,2,2]. Ktorá je podľa vás pravdepodobnejšia?
Obidve sú rovnako pravdepodobné. Zdá sa to čudné, však?
Teraz zvážte ďalší prípad, keď je všetkých 5 roliek v každom prípade nezávislý . To znamená, že jeden zvitok neovplyvňuje druhý. V prvom prípade, keď sa objavilo 6, ešte netušilo, že 2 sa objavili pred ním. Preto je všetkých 5 valcov rovnako pravdepodobných.
Podobne rovné 2-ky v druhom prípade môžeme chápať ako sled nezávislých udalostí. A všetky tieto udalosti sú rovnako pravdepodobné. Celkovo, keďže máme rovnaké kocky, pravdepodobnosť výskytu konkrétneho čísla v prípade jedného je rovnaká ako v prípade dva. Ďalej v tomto článku o štatistikách strojového učenia pochopíme tento výraz Nezávislosť.
Nezávislosť
Dve udalosti A a B sú považované za nezávislé, ak výskyt A nemá vplyv na udalosť B . Napríklad ak hodíte mincou a hodíte kockou, výsledok kocky nemá žiadny vplyv na to, či je na minci hlava alebo chvost. Tiež pre dve nezávislé udalosti A a B , pravdepodobnosť, že A a B sa môžu vyskytnúť spoločne . Napríklad, ak chcete, aby bola pravdepodobnosť, že coin ukazuje hlavy a die ukazuje 3.
P (A a B) = P (A) * P (B)
Preto P = & frac12 (pravdepodobnosť otočenia hláv) * ⅙ (pravdepodobnosť 3 otočenia) = 1/12
V predchádzajúcom príklade pre oba prípady P = ⅙ * ⅙ * ⅙ * ⅙ * ⅙ * ⅙.
Teraz si povieme niečo o udalostiach, ktoré nie sú nezávislé. Zvážte nasledujúcu tabuľku:
Obézny | Nie obézny | |
Problémy so srdcom | Štyri, päť | pätnásť |
Žiadne problémy so srdcom | 10 | 30 |
Uskutočnil sa prieskum medzi 100 ľuďmi. 60 malo problémy so srdcom a 40 nie. Zo 60 pacientov so srdcovými problémami bolo 45 obéznych. Z tých 40, ktorí nemali problémy so srdcom, bolo 10 obéznych. Ak sa vás niekto spýta -
- Aká je pravdepodobnosť problémov so srdcom?
- Aká je pravdepodobnosť problémov so srdcom a nebyť obéznych?
Odpoveď na prvé otázky je ľahká - 60/100. Pri druhom by to bolo 15/100. Teraz zvážte tretiu otázku - Osoba bola vybraná náhodne. Zistili mu srdcové choroby. Aká je pravdepodobnosť, že je obézny?
Teraz premýšľajte o informáciách, ktoré vám boli poskytnuté - Je známe, že má srdcové choroby. Preto nemôže byť zo 40 rokov, ktorí nemajú srdcové choroby. Existuje iba 60 možných možností (horný riadok v tabuľke). Teraz je medzi týmito zníženými možnosťami pravdepodobnosť, že je obézny, 45/60. Teraz, keď ste vedeli, čo sú nezávislé udalosti, si v ďalšom článku o štatistikách strojového učenia vysvetlíme podmienené pravdepodobnosti.
Podmienené pravdepodobnosti
Aby sme pochopili podmienené pravdepodobnosti, pokračujme v diskusii s vyššie uvedeným príkladom. Stav obezity a stav, že trpíte srdcovými problémami, nie sú nezávislé. Ak by byť obézny nemal vplyv na srdcové problémy, potom by bol počet obéznych a neobéznych prípadov u ľudí so srdcovými problémami rovnaký.
Tiež sme dostali, že ten človek má problémy so srdcom a museli sme zistiť pravdepodobnosť, že je obézny. Takže pravdepodobnosť je v tomto prípade údajne podmienená skutočnosťou, že má problém so srdcom. Ak je pravdepodobnosť výskytu udalosti A podmienená udalosťou B, reprezentujeme ju ako
čo je veľký dátový hadoop
P (A | B)
Teraz existuje veta, ktorá nám pomáha vypočítať túto podmienenú pravdepodobnosť. Volá sa to Bayesovo pravidlo .
P (A | B) = P (A a B) / P (B)
Túto vetu môžete skontrolovať zapojením príkladu, o ktorom sme práve hovorili. Ak ste doteraz porozumeli, môžete začať s nasledujúcim - Naivný Bayes . Využíva podmienené pravdepodobnosti na klasifikáciu toho, či je e-mail spam alebo nie. Môže vykonávať mnoho ďalších klasifikačných úloh. Podstatná pravdepodobnosť je však v podstate jadrom .
Štatistika:
Štatistiky sú slúži na zhrnutie a vyvodenie záverov o veľkom počte údajových bodov. V oblasti Data Science a Machine Learning sa často stretnete s nasledujúcou terminológiou
- Centrálne opatrenia
- Distribúcie (obzvlášť bežné)
Centrálne opatrenia a miery spready
Priemer:
Zlý je len priemer čísel . Ak to chcete zistiť, musíte spočítať čísla a vydeliť ich počtom. Napríklad priemer [1,2,3,4,5] je 15/5 = 3.
Medián:
Medián je stredný prvok množiny čísel keď sú zoradené vzostupne. Napríklad čísla [1,2,4,3,5] sú usporiadané vzostupne [1,2,3,4,5]. Stredná z nich je 3. Preto je stredná hodnota 3. Ale čo keď je počet čísel párny, a preto nemá stredné číslo? V takom prípade vezmete priemer z dvoch stredných čísel. Pri postupnosti 2n čísel vo vzostupnom poradí spriemerujte n-té a (n + 1)thčíslo pre získanie mediánu. Príklad - [1,2,3,4,5,6] má medián (3 + 4) / 2 = 3,5
Režim:
Režim je jednoducho najbežnejšie číslo v množine čísel . Napríklad režim [1,2,3,3,4,5,5,5] je 5.
Odchýlka:
Rozptyl nie je mierou ústrednosti. Meria to ako sa vaše údaje šíria priemerne . Je to vyčíslené ako
Xje priemer N čísel. Vezmete bod, odčítate priemer, odnesiete druhú mocninu tohto rozdielu. Urobte to pre všetky čísla N a spriemerujte ich. Druhá odmocnina rozptylu sa nazýva štandardná odchýlka. Ďalej v tomto článku o štatistikách strojového učenia pochopíme normálne rozdelenie.
Normálne rozdelenie
Distribúcia nám pomáha pochopiť, ako sa šíria naše údaje . Napríklad na vzorke vekov môžeme mať mladých ľudí viac ako starších dospelých, a teda menšie hodnoty veku viac ako väčšie hodnoty. Ako však definujeme distribúciu? Zvážte príklad uvedený nižšie
Os y predstavuje hustotu. Režim tejto distribúcie je 30, pretože je maximálny a teda najbežnejší. Môžeme tiež nájsť medián. Medián leží v bode na osi x, kde je zakrytá polovica oblasti pod krivkou. Plocha pod akýmkoľvek normálnym rozdelením je 1, pretože súčet pravdepodobností všetkých udalostí je 1. Napríklad
Medián v uvedenom prípade je okolo 4. To znamená, že plocha pod krivkou pred 4 je rovnaká ako oblasť po 4. Zvážte iný príklad
Vidíme tri normálne rozdelenia. Modré a červené majú rovnaký priemer. Červená má väčšiu varianciu. Preto je viac roztiahnutý ako modrý. Ale pretože plocha musí byť 1, vrchol červenej krivky je kratší ako modrá krivka, aby bola plocha konštantná.
Dúfam, že ste pochopili základné štatistiky a normálne rozdelenie. Teraz sa v tomto článku o štatistikách strojového učenia dozvieme niečo o lineárnej algebre.
Lineárna algebra
Moderná AI by nebola možná bez lineárnej algebry. Tvorí jadro Hlboké učenie a bol používaný dokonca aj v jednoduchých algoritmoch ako . Poďme na to bez ďalších zdržaní.
čo je flume v hadoop
Musíte byť oboznámení s vektormi. Sú akýmsi geometrickým znázornením v priestore. Napríklad vektor [3,4] má 3 jednotky pozdĺž osi x a 4 jednotky pozdĺž osi y. Zvážte nasledujúci obrázok -
Vektor d1 má 0,707 jednotiek pozdĺž osi x a 0,707 jednotiek pozdĺž osi y. Vektor má 1 rozmer. Musí to mať nevyhnutne veľkosť a smer. Napríklad,
Vyššie uvedený obrázok má vektor (4,3). Jeho veľkosť je 5 a s osou x vytvára 36,9 stupňov.
Čo je to teda matica? Matica je mnohorozmerné pole čísel. Na čo sa používa Uvidíme dopredu. Najprv sa však pozrime, ako sa používa.
Matrix
Matica môže mať veľa rozmerov. Uvažujme o dvojrozmernej matici. Má riadky (m) a stĺpce (n). Preto má m * n prvkov.
Napríklad,
Táto matica má 5 riadkov a 5 stĺpcov. Nazvime to A. Preto A (2,3) je položka v druhom riadku a treťom stĺpci, ktorá je 8.
Teraz, keď viete, čo je to matica, pozrime sa na rôzne operácie matice.
Maticové operácie
Doplnenie matíc
Dve matice to isté rozmery je možné pridať. Doplnenie sa deje po prvkoch.
Skalárne násobenie
Matica sa môže vynásobiť skalárnou veličinou. Takéto násobenie vedie k tomu, že každý záznam v matici sa násobí skalárom. Skalár je iba číslo
Maticová transpozícia
Maticová transpozícia je jednoduchá. Pre maticu A (m, n) nech je A ‘jej transpozícia. Potom
A '(i, j) = A (j, i)
Napríklad,
Násobenie matíc
To je pravdepodobne trochu zložitejšie ako pri iných operáciách. Skôr ako sa do toho ponoríme, definujme bodový produkt medzi dvoma vektormi.
Uvažujme vektor X = [1,4,6,0] a vektor Y = [2,3,4,5]. Potom je bodový súčin medzi X a Y definovaný ako
X.Y = 1 * 2 + 4 * 3 + 6 * 4 + 0 * 5 = 38
rámec riadený údajmi v príklade webového ovládača selénu
Je to teda násobenie a sčítanie po prvkoch. Teraz,uvažujme dve matice A (m, n) a B (n, k), kde m, n, k sú dimenzie, a teda celé čísla. Násobenie matice definujeme ako
Vo vyššie uvedenom príklade je prvý prvok súčinu (44) získaný bodovým súčinom prvého radu ľavej matice s prvým stĺpcom pravej matice. Podobne sa 72 získa bodovým súčinom prvého radu ľavej matice s druhým stĺpcom pravej matice.
Upozorňujeme, že pre ľavú maticu by sa počet stĺpcov mal rovnať počtu riadkov v pravom stĺpci. V našom prípade existuje produkt AB, ale nie BA, pretože m sa nerovná k. Pre dve matice A (m, n) a B (n, k) je definovaný súčin AB a rozmer súčinu je (m, k) (najvzdialenejšie rozmery (m, n), (n, k )). Ale BA nie je definovaná, pokiaľ m = k.
Týmto sa dostávame ku koncu tohto článku o štatistike strojového učenia. Dúfam, že ste niektorým porozumeli v žargóne o strojovom učení. Týmto to však nekončí. Aby ste sa ubezpečili, že ste pripravení na dané odvetvie, môžete sa pozrieť na kurzy Edureky týkajúce sa dátovej vedy a AI. Dajú sa nájsť