Kilka słów o istotności statystystycznej

Istotność statystyczna to prawdopodobieństwo wystąpienia zjawiska z próbki jeżeli założylibyśmy, że nie ma różnic w całej populacji. Mówi więc ona o tym, na ile nasze otrzymane różnice/zależności nie są zjawiskiem przypadkowym. Im istotność statystyczna jest niższa tym mamy mniejszą „szansę”, że wyniki są przypadkowe- a tym samym że faktycznie występują.

Czemu p<0,05?

W większości publikacji naukowych znajdziemy informacje, że progiem istotności statystycznej jest 0,05. Gdy wartość p- value jest mniejsza od 0,05 zaleca się odrzucenie hipotezy zerowej na korzyść hipotezy alternatywnej. Ale czemu akurat 0,05? Co gdy otrzymamy wynik 0,051, czy nie możemy wtedy uznać występowania różnic/zależności? A czy wynik 0,049 pozwala nam bezkarnie się cieszyć, że nasze badanie okazało się istotne? Jak widzicie granica jest mała i w większości przypadków może być ustalona subiektywnie.

Nieistotny ale istotny statystycznie.

Przeprowadzamy badanie. Z niewiadomych przyczyn wpadamy na genialny pomysł, żeby sprawdzić czy długość szczotkowania rano zębów wpływa na ilość spożywanych kalorii w ciągu dnia. Chcemy przeprowadzić super rzetelne badania więc wybieramy do nich dużą grupę ludzi, powiedzmy 1000 osób. Pytamy się ich czy szczotkują zęby dłużej czy krócej niż 2 min, a następnie prosimy o podanie średniej ilości kalorii jakie zjadają w ciągu dnia. Pewnie możecie się ze mną zgodzić, że jakkolwiek wybierzemy ludzi, nawet najpodobniejszych do siebie, to przy takiej ilości osób średnie kalorii będą się od siebie różnić.  Tak więc po przeprowadzanych badaniach zauważamy, że średnia spożywanych kcal dla osób krócej szczotkujących zęby wyniosła M=2234,15, natomiast w grupie osób szczotkujących zęby dłużej niż 2 min średnia ta wyniosła M=2309,21. Ponadto uzyskaliśmy wynik istotny statystycznie p=0,047. Czy naprawdę możemy powiedzieć, że osoby, które dłużej myją rano zęby spożywają w ciągu dnia więcej kalorii?  Może faktycznie odkryliśmy tajemną wiedzę nieznaną nawet amerykańskim naukowcom? Ale czy ten wynik ma sens i możemy z niego wyciągnąć istotne (niestatystyczne) wnioski? Niekoniecznie. Z matematycznego punktu widzenia badaniom statystycznym można poddać  każdą, nawet najgłupszą teorię. A jak się już przekonaliśmy same liczby nie sprawią, że nabierze ona sensu.

Problem nieistotnej istotności może też działać w drugą stronę. Możemy mieć pewność na występowanie jakiegoś zjawiska w naturze, ale nie uda nam się wykazać statystycznej zależności. Można się z tym często spotkać kiedy nie mamy możliwości przebadania dużej próby. Natomiast biorąc pod uwagę na przykład badania biznesowe, często może zdarzyć się tak, że nawet wyniki nieistotne statystycznie będą dla nas dużym nośnikiem informacji.

Wielkość próbki.

Nie od dziś wiadomo, że rozmiar ma znaczenie. Można to odnieść również do statystyki. Jeżeli rzucimy 5 razy monetą i wypadnie nam tylko jeden orzeł możemy uznać, że nie jest to niczym zaskakującym, mogło się tak zdarzyć, prawda? A co jeżeli rzucimy  monetą 500 razy i orzeł wypadnie 100 razy? Czy wtedy też możemy uznać, że nasza moneta jest zwyczajna i mogło tak wypaść? Im nasza próba badawcza jest większa tym możemy mieć większą pewność co do nieprzypadkowości naszych wyników. Łatwiej też dla dużych próbek wykazać istotność statystyczną. Dobrze jest więc w miarę możliwości starać się, żeby nasza próba była w duża. Słowo „duża” nie oznacza tutaj konkretnej wielkości. Nie zawsze bowiem możemy znaleźć dostatecznie duże próby.