Bayesova vjerovatnoća

Bajesova verovatnoća je tumačenje koncepta verovatnoće. Za razliku od tumačenja verovatnoće kao frekvencije ili sklonosti neke pojave, Bajesova verovatnoća je količina koju dodelimo predstavljenom stanju znanja ili stanju verovanja. U Bajesovom mišljenju, verovatnoća je dodeljena hipotezi, dok pod frekventističkim zaključkom, hipoteza se obično testira bez dodeljene verovatnoće.

Bajesova interpretacija verovatnoće može se posmatrati kao proširenje iskazne logike koja omogućava obrazloženje sa hipotezama, odnosno predloga čija je istina ili laž neizvesna.

Bajesova verovatnoća spada u kategoriju dokazne verovatnoće; da proceni verovatnoću hipoteze, Bajesova verovatnoća navodi neke prethodne verovatnoće, koje se zatim ažuriraju u svetlu novih, relevantnih podataka (dokaza). Bajesovo tumačenje daje standardan skup postupaka i formula za obavljanje ovog obračuna.

Termin "Bajesova" potiče iz 18. veka matematičar i teolog Tomas Bajes, koji je obezbedio prvi matematički tretman netrivijalnom problemu Bajesovog zaključivanja. Matematičar Pjer Simon Laplas je razvio i popularisao ono što se sada zove Bajesova verovatnoće.

Uopšteno govoreći, postoje dva pogleda na Bajesovu verovatnoću koja tumači koncept verovatnoće na različite načine. Prema objektivističkom mišljenju, pravila Bajesove statistike mogu biti opravdana zahtevima racionalnosti i doslednosti i mogu se tumačiti kao nastavak logike. Prema subjektivističkom mišljenju, verovatnoća je kvantifikovana kao "lično uverenje".

Bajesova metodologija

Bajesove metode odlikuju se sledećim koncepatima i procedurama:

• Korišćenje slučajnih promenljivih, ili uopšte, nepoznatih količina, za modeliranje svih izvora nesigurnosti u statističkim modelima. To uključuje nesigurnost koja proizilazi iz nedostatka informacija (vidi epistemičku neizvesnost).
• Potreba da se utvrdi prethodna raspodela verovatnoće uzimajući u obzir raspoložive (prethodno) informacije.
• Sekvencijalna upotreba Bajesove formule: kada više podataka postane dostupno, izračunati poslednju raspodelu koristeći Bajesovu formulu; kasnije, distribucija poslednje postaje prva sledeće.
• Za frekventiste hipoteza je predlog (koji mora biti istinit ili lažan), tako da je frekuentistička verovatnoća hipoteze jedan ili nula. U Bajesovoj statistici, verovatnoća dodeljena hipotezi može da se razlikuje od 0 ili 1 ako je vrednost istine neizvesna.

Objektivne i subjektivne Bajesove verovatnoće

Uopšteno govoreći, postoje dva pogleda na Bajesove verovatnoće koje tumače koncept 'verovatnoće' na različite načine. Za objektiviste, verovatnoća objektivno meri verodostojnost iskaza, odnosno verovatnoća predloga odgovara u razumnom verovanju svima (čak i robotu) koji dele isto znanje koje treba da dele u skladu sa pravilima Bajesova statistike, koji se može opravdati zahtevima racionalnosti i doslednosti. Za subjektiviste, verovatnoća odgovara "ličnom uverenju". Za subjektiviste, racionalnost i koherentnost ograničavaju verovatnoću koju predmet može imati, ali dozvoljavaju značajne varijacije u okviru tih ograničenja. Objektivne i subjektivne varijante Bajesove verovatnoće razlikuju se uglavnom u njihovom tumačenju i izgradnji prethodne verovatnoće.

Istorija

Termin Bajesova se odnosi na Tomasa Bajesa (1702-1761), koji je pokazao poseban slučaj onoga što se sada zove Bajesova teorema u radu pod nazivom "Esej ka rešavanju problema u doktrini prilika". U tom posebnom slučaju, prve i poslednje distribucije su bile Beta distribucije i podaci koji dolaze iz Bernulijevog suđenja. Pjer Simon Laplas (1749-1827), je uveo opštu verziju teoreme i koristi je da pristupi problemu u nebeskoj mehanici, medicinskoj statistici, pouzdanosti i praksom. Rano Bajesov zaključak, koji koristi jedinstvene dosije sledeći Laplasov princip nedovoljnog razloga, nazvan je "inverzna verovatnoća" (jer unazad se zaključuje iz posmatranja parametra, ili od efekata do uzroka). Nakon 1920., "inverzna verovatnoća" je u velikoj meri zamenjena kolekcijom metoda koje se zovu frekuentistička statistika.

U 20. veku, Laplasove ideje su dalje razvijane u dva različita pravca, što dovodi do objektivnih i subjektivnih struja u Bajesovoj praksi. Teorija verovatnoće (prvi put objavljena 1939. godine) Harolda Džefrisa igrala je važnu ulogu u oživljavanju Bajesovog pogleda na verovatnoću, zatim dela Abrahama Volda (1950) i Leonarda J. Sevidža (1954). Sam pridev Bajesova datira još iz 1950-ih; izveden Bajesinizm, Neo-Bajesinizam je iz 1960-ih. U objektivističkom toku, statistička analiza zavisi samo od modela koji pretpostavlja i analizira podatke. Subjektivne odluke ne treba da budu uključene. Nasuprot tome, "subjektivistički" statističari negiraju mogućnost potpuno objektivnu analizu za opštem slučaju.

1980-ih godina, došlo je do dramatičnog porasta u istraživanju i primeni Bajesovih metoda, uglavnom im se pripisuje otkriće umetanja metoda, koje je uklonilo mnoge računarske probleme, i sve je veći interes za nestandardne, kompleksne aplikacije. Uprkos rastu Bajesovih istraživanja, većina diplomskih nastava se i dalje zasniva na frekventističkoj statistici. Ipak, Bajesove metode su široko prihvaćene i koriste se na polju mašinskog učenja.

Opravdanje Bajesove verovatnoće

Upotreba Bajesove verovatnoće kao osnova za Bajesovo zaključivanje je podržana od strane nekoliko argumenata, kao što su Koksove aksiome, Holandska knjiga argumenta, argumente zasnovane na teoriji odlučivanja i de Finetijevoj teoremi.

Aksiomatski pristup

Ričard T. Koks pokazao je da Bajesova teorema sledi iz nekoliko aksioma, uključujući i dve funkcionale jednačine i hipoteze diferencijabilnosti. Pretpostavka diferencijabilnosti ili čak kontinuiteta je kontroverzna; Halpern je smatrao na osnovu svog zapažanja da je Bulova algebra izjava konačna. Predložene su druge aksiome različitih autora kako bi teorija bila rigoroznija.

Pristup Holandske knjige

Holandska knjiga argumenta je predložena od strane de Finetija, a zasniva se na klađenju. holandska knjiga je postignut kada pametan kockar postavlja niz opklada koje garantuju dobitak, bez obzira na ishod opklade. Ako kladionica prati pravila Bajesove kalkulacije u izgradnji svojih šansi, holandska knjiga ne može biti postignuta.

Međutim, Ijan Hoking napomenuo je da tradicionalna holandska knjiga argumenta ne precizira Bajesovo ažuriranje: ostavili su otvorenu mogućnost da Bajesova pravila ne mogu izbeći holandske knjige. Na primer, piše Hoking "Ni holandska knjiga argument niti bilo koji drugi dokaz verovatnoće aksioma, podrazumeva dinamičnu pretpostavku. Ni jedan ne podrazumeva Bajesovu. Dakle, pojedinac zahteva dinamičku pretpostavku da bi bila Bajesova. Tačno je da u konzistenciji da bi A pojedinac mogao da napusti Bajesov model učenja iz iskustva. So bi mogla da izgubi svoj ukus. "

Ustvari, postoje ne-Baiesova pravila ažuriranja da se izbegne holandska knjiga (kao što je objašnjeno u literaturi o "verovatnoći kinematike" nakon objavljivanja pravila Ričarda C. Džefrisa, koje se i samo smatra Bajesovim). Dovoljno je navesti (jedinstveno) dodatne hipoteze Bajesovog ažuriranja koje su znatne, komplikovane, i nezadovoljavajuće.

Pristup teorije odluke

Opravdanje teorije odluke pri korišćenju Bajesovog zaključivanja (i samim tim Bajesove verovatnoće) je dao Abraham Vold, koji je dokazao da je svaki statistički prihvatljiv postupak ili Bajesov postupak ili ograničenje od Bajesovih procedura. Nasuprot tome, svaki Bajesova postupak je prihvatljiv.

Lične verovatnoće i objektivne metode za

Prateći rad na očekivanoj korisnoj teoriji Remzi i fon Nojman, donosioci teoretičari su činili racionalnog ponašanja, koristeći raspodelu verovatnoće za agenta. Johan Pfanzal završio je Teoriju igara i ekonomskog ponašanja pružajući aksiomatizaciju subjektivne verovatnoće i korisnost, što je zadatak koji ostaje nedovršen od fon Nojman i Oskar Morgensterna: njihova prvobitna teorija pretpostavlja da su svi agenti imali istu raspodelu verovatnoće, kao pogodnost. Pfanzalovu aksiomatizaciju je odobrio Oskar Morgenstern: "Fon Nojman i ja smo predvideli" na pitanje da li su verovatnoće "Možda, možda i više nego obično, budi subjektivan i da je posebno naveo da nisu mogli biti u ovom drugom slučaju aksioma od kojih bi mogao izvući željeni numeričke uslužni . zajedno sa brojem za verovatnoće (vidi pp. 19 od teorije igara i ekonomskog ponašanja) Nismo nose ovo, to je pokazano Pfanzagl ... sa svom potrebnom strogosti ".

Remzi i Sevidž ističu da bi raspodela svake verovatnoće agenta mogla da se objektivno razmatra u eksperimentima. Uloga suda i neslaganja u nauci je priznata od Aristotela pa čak i jasnija sa Fransisom Bejkonom. Objektivnost nauke ne leži u psihologiji individualnih naučnika, ali u procesu nauke, a naročito u statističkim metodama, kao što je navedeno od strane C. S. Persa. Podsetimo se da su objektivni metodi za falsifikovanje predloga u vezi sa ličnim verovatnoćama korišćeni pola veka, kao što je već pomenuto. Procedure za testiranje hipoteze o verovatnoći (koristeći konačne uzorke) su zbog Remzija (1931) i de Finetija (1931, 1937, 1964, 1970). Bruno de Fineti i Frank S. Remzi priznali su dugove pragmatične filozofije, posebno Čarlsu S. Persu.

"Remzijev test" za procenu verovatnoće raspodele je implementiran u teoriji, a eksperimentom su psiholozi bili okupirani pola veka. Ovaj rad pokazuje da je Bajesova-verovatnoća propozicije falsifikovana, i tako ispunjava empirijski kriterijum Čarsla S. Persa, čiji je rad inspirisao Remzija. (Ovaj kriterijum je popularizovao Karl Poper.))

Moderan rad na eksperimentalnoj proceni ličnih verovatnoća koristi randomizovanje, zaslepljuje i procedure Bulove odluke Pirs-Jastrovog eksperimenta. Pošto se pojedinci ponašaju prema različitim verovatnoćama presude, verovatnoće ovih agenata su "lične" (ali podložni objektivnoj studije).

Lične verovatnoće su problematične za nauku i za neke aplikacije gde donosioci odluka nemaju znanja ili vremena da navedu informisane distribucije verovatnoće (na kojima su spremni da deluju). Da bi se zadovoljile potrebe nauke i ljudskih ograničenja, Bajesovi statističari su razvili "objektivne" metode za određivanje prethodne verovatnoće.

Zaista, neki su tvrdili da prethodno stanje znanja definiše (jedinstvenu) pre verovatnoće-distribuciju za "obične" statističke probleme; uporedi dobro postavljeno probleme. Pronalaženje pravog metoda za izgradnju takvog "objektivnog" dosijea (za odgovarajuće klase redovnih problema) je potraga statističkih teoretičara od Laplasa do Džona Mejnarda Kejnsa, Harold Džefris, i Edvin Tomson Džejnes: Ovi teoretičari i njihovi naslednici su predložili nekoliko metoda za izgradnju "objektivnih" dosijea:

• Maksimalna entropija
• Analiza transformacije grupe
• Analiza reference

Svaka od ovih metoda doprinosi korisne dosije za "obične" probleme, i svaki pre može nositi neke izazove statističkih modela (sa "nepravilnosti" ili nekoliko parametara). Svaka od ovih metoda postignuta značajna Bajesovoj praksi. Zaista, metode za izgradnju "objektivno" dosijea (alternativno, "uobičajeno" ili "neznanje") dosijei su razvijeni od strane priznatih subjektivnih (ili "lično") pristalica Bajesove teorije kao što su Džejms Berger (Djuk univerzitet) i Hose-Migel Bernardo (Univerzitet u Valensiji), jednostavno zato što su potrebni takvi za Bajesovu praksu, posebno u nauci. Potraga za "univerzalnim metodama za izgradnju dosijea" nastavlja da privlači statističke teoretičare.

Dakle, Bajesov statističar mora da se koristi informacijama prethodnika (koristeći odgovarajuću stručnost ili prethodne podatke) ili da bira između konkurentskih metoda za izgradnju "objektivnog" dosijea.

Povezano

• Bertran paradoks - paradoks u klasičnom verovatnoće, rešen E. T. Džejnis u kontekstu Bajesove verovatnoće
• De Finetijeva igra - postupak za ocenu nečije subjektivne verovatnoće
• QBism - kontroverzna primena Bajesove verovatnoće u kvantnoj mehanici
• Neizvesnost
• Esej ka rešavanju problema u doktrinu šanse

Literatura

• Popper, Karl (2002) [1959]. The Logic of Scientific Discovery. Taylor & Francis. str. 57. ISBN 978-0-203-99462-7. 
• Berger, James O. (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second ed.). Springer-Verlag. ISBN 0-387-96098-8.
• Bessière, Pierre; Mazer, E.; Ahuacatzin, J-M; Mekhnacha, K. (2013). Bayesian Programming. CRC Press. ISBN 978-1-4398-8032-6. 
• Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley. ISBN 0-471-49464-X.
• Bickel, Peter J.; Doksum, Kjell A. 2001. ISBN 0-13-850363-X.. MR 443141.
• Davidson, Donald; Suppes, Patrick; Siegel, Sidney (1957). Decision-Making: An Experimental Approach. Stanford University Press.
• de Finetti, Bruno. "Probabilism: A Critical Essay on the Theory of Probability and on the Value of Science," (translation of 1931 article) in Erkenntnis, volume 31, September 1989.
• de Finetti, Bruno (1937) "La Prévision: ses lois logiques, ses sources subjectives," Annales de l'Institut Henri Poincaré,
• de Finetti, Bruno. "Foresight: its Logical Laws, Its Subjective Sources," (translation of the 1937 article in French) in H. E. Kyburg and H. E. Smokler (eds), Studies in Subjective Probability, New York: Wiley, 1964.
• de Finetti, Bruno (1974). Theory of Probability. A Critical Introductory Treatment. John Wiley & Sons LtdWiley. ISBN 0-471-20141-3. 
• DeGroot, Morris (2004) Optimal Statistical Decisions. Wiley Classics Library. (Originally published 1970). 1974. ISBN 0-471-68029-X.
• Hacking, Ian (1967). „Slightly More Realistic Personal Probability”. Philosophy of Science 34 (4). DOI:10.1086/288169. 
• Hajek, A. and Hartmann, S. (2010): "Bayesian Epistemology", in: Dancy, J., Sosa, E., Steup, M. (Eds.) (2001) A Companion to Epistemology, Wiley. ISBN 1-4051-3900-5 Preprint Arhivirano 2011-07-28 na Wayback Machine-u
• Hald, Anders (1998). A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. ISBN 0-471-17912-4.
• Hartmann, S. and Sprenger, J. (2011) "Bayesian Epistemology", in: Bernecker, S. and Pritchard, D. (Eds.) (2011) Routledge Companion to Epistemology. Routledge. ISBN 978-0-415-96219-3 (Preprint Arhivirano 2011-07-28 na Wayback Machine-u)
• Hazewinkel, Michiel, ed. (2001), "Bayesian approach to statistical problems", Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4
• Howson, C.; Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (3rd ed.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
• Jaynes E.T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996).
• McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked The Enigma Code, Hunted Down Russian Submarines, & Emerged Triumphant from Two Centuries of Controversy.. New Haven: Yale University Press.. ISBN 9780300169690. ; OCLC 670481486
• Morgenstern, Oskar (1978). „Some Reflections on Utility”. u: Andrew Schotter. Selected Economic Writings of Oskar Morgenstern. New York University Press. str. 65–70. ISBN 978-0-8147-7771-8. 
• Peirce, C.S. and Jastrow J. (1885). "On Small Differences in Sensation". Memoirs of the National Academy of Sciences 3: 73–83.
• Pfanzagl, J. (1967). „Subjective Probability Derived from the Morgenstern-von Neumann Utility Theory”. u: Martin Shubik. Essays in Mathematical Economics In Honor of Oskar Morgenstern. Princeton University Press. str. 237–251. 
• Pfanzagl, J. in cooperation with V. Baumann and H. Huber (1968). "Events, Utility and Subjective Probability". Theory of Measurement. Wiley. str. 195–220.
• Ramsey, Frank Plumpton (1931) "Truth and Probability" (PDF Arhivirano 2008-02-27 na Wayback Machine-u), Chapter VII in The Foundations of Mathematics and other Logical Essays, Reprinted 2001, Routledge. ISBN 0-415-22546-9,
• Stigler, SM. (1990). The History of Statistics: The Measurement of Uncertainty before 1900. Belknap Press/Harvard University Press. ISBN 0-674-40341-X. .
• Stigler, SM. (1999). Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press.. ISBN 0-674-83601-4. 
• Stone, JV (2013). Download chapter 1 of book "Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
• Winkler, RL (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 0-9647938-4-9. Updated classic textbook. Bayesian theory clearly presented.