Regresja logistyczna

Czym jest regresja logistyczna

Regresja logistyczna to model statystyczny przewidujący wynik dwukategorialny (binarny: 0/1, np. zdał/nie zdał, chory/zdrowy, kupił/nie kupił) na podstawie jednego lub kilku predyktorów. W odróżnieniu od regresji liniowej, która modeluje zmienną ciągłą, regresja logistyczna szacuje prawdopodobieństwo przynależności do jednej z dwóch kategorii.

Nie da się modelować prawdopodobieństwa wprost prostą — przewidywania wychodziłyby poza przedział [0; 1]. Dlatego model opisuje logarytm szansy (logit) jako funkcję liniową predyktorów:

logit(p) = ln(p / (1 − p)) = b₀ + b₁x₁ + b₂x₂ + … + bₖxₖ

gdzie p to prawdopodobieństwo zdarzenia, a p / (1 − p) to szansa (odds). Funkcja logitowa „rozciąga” przedział (0; 1) na całą oś liczbową, dzięki czemu prawa strona może być liniowa, a przewidywane p zawsze pozostaje w granicach od 0 do 1. Parametry szacuje się metodą największej wiarygodności (ML), nie metodą najmniejszych kwadratów.

Kiedy używać

Stosuj regresję logistyczną, gdy:

• zmienna wynikowa jest dychotomiczna (dwie kategorie),
• chcesz ocenić, jak predyktory (ciągłe lub kategorialne) wpływają na szansę wystąpienia zdarzenia,
• chcesz przewidywać przynależność do grupy lub klasyfikować obserwacje.

Sprawdź założenia — inne niż w regresji liniowej (nie wymaga normalności reszt ani homoskedastyczności):

• Niezależność obserwacji — pomiary nie mogą być zagnieżdżone/powtarzane (inaczej model wielopoziomowy lub GEE).
• Liniowość logitu — dla predyktorów ciągłych związek z logarytmem szansy (nie z samym p) ma być liniowy; sprawdza się to np. testem Boxa–Tidwella.
• Brak silnej współliniowości predyktorów.
• Wystarczająca liczba zdarzeń na predyktor (EPV) — orientacyjnie co najmniej ~10 zdarzeń mniej licznej kategorii na każdy estymowany parametr; zbyt mało prowadzi do niestabilnych, zawyżonych oszacowań.
• Brak idealnej separacji (perfect separation) — gdy predyktor doskonale rozdziela obie kategorie, estymacja ML nie zbiega, a współczynniki i błędy standardowe „eksplodują”.

Jak interpretować

Surowy współczynnik b jest w skali logitu i nie da się go czytać wprost jako prawdopodobieństwa. Interpretowalną postać uzyskuje się przez iloraz szans:

OR = exp(b)

Iloraz szans (odds ratio, OR) mówi, jak zmienia się szansa zdarzenia przy wzroście predyktora o jedną jednostkę (przy stałych pozostałych predyktorach):

Przykładowo OR = 1,5 oznacza wzrost szansy o 50%; OR = 0,8 — spadek o 20%. Istotność predyktora ocenia się testem Walda lub testem ilorazu wiarygodności i raportuje istotność statystyczną wraz z przedziałem ufności dla OR (jeśli zawiera 1 — efekt nieistotny).

Dopasowanie całego modelu opisuje się pseudo-R² (np. Nagelkerkego, McFaddena — nie są tożsame z R² z regresji liniowej i przyjmują niższe wartości) oraz miarami klasyfikacji: trafnością, czułością, swoistością i polem pod krzywą ROC (AUC).

Przykład

Badasz, czy liczba godzin nauki (x, predyktor ciągły) przewiduje zdanie egzaminu (1 = zdał, 0 = nie zdał) u n = 200 studentów. Model daje:

b = 0,55, OR = exp(0,55) = 1,73, 95% CI dla OR: [1,32; 2,27], p < 0,001

Interpretacja: każda dodatkowa godzina nauki zwiększa szansę zdania o ok. 73% (OR = 1,73), przy pozostałych zmiennych stałych. Efekt jest istotny statystycznie (p < 0,001), a przedział ufności nie zawiera 1, co potwierdza istotność.

Zapis w pracy: „Liczba godzin nauki istotnie zwiększała szansę zdania egzaminu (OR = 1,73; 95% CI [1,32; 2,27]; p < 0,001)”.

Typowe błędy

• Czytanie b wprost jako prawdopodobieństwa — surowy współczynnik jest w skali logitu. Aby mówić o szansie, przelicz go na OR = exp(b); o prawdopodobieństwie — przez pełny wzór logistyczny dla konkretnych wartości predyktorów.
• Mylenie ilorazu szans (OR) z ryzykiem względnym (RR) — OR dotyczy szans (odds), RR prawdopodobieństw (ryzyk). Przy częstych zdarzeniach OR znacznie przeszacowuje RR; nie zamieniaj ich.
• Stosowanie regresji liniowej do wyniku binarnego — liniowy model prawdopodobieństwa daje przewidywania poza [0; 1] i łamie założenia. Dla wyniku 0/1 używaj regresji logistycznej.
• Zbyt mało zdarzeń na predyktor (niskie EPV) — przeładowanie modelu predyktorami przy małej liczbie zdarzeń daje niestabilne, zawyżone OR i szerokie przedziały ufności.
• Przeoczenie idealnej separacji — nieprawdopodobnie duże OR i ogromne błędy standardowe to sygnał perfect separation; model wymaga uproszczenia lub metod karanych (np. regresja Firtha).
• Traktowanie pseudo-R² jak R² z regresji liniowej — pseudo-R² nie oznacza „odsetka wyjaśnionej wariancji” i przyjmuje systematycznie niższe wartości; oceniaj też klasyfikację i AUC.

Potrzebujesz pomocy z regresją logistyczną?

Zbuduję model, sprawdzę założenia (separacja, EPV, liniowość logitu), policzę ilorazy szans z przedziałami ufności i opiszę wyniki w formacie APA — gotowy fragment do Twojej pracy. Zobacz usługi →