Politikwissenschaft

 

Webseite durchsuchen

lineare Regression mit diskreten und nicht-linearen Prädiktoren

Benjamin Schlegel | 4. April 2016

PDF

Neben linearen kontinuierlichen Prädiktoren kann eine lineare Regression auch mit diskreten und nicht-linearen Prädiktoren gerechnet werden. Die Grundlagen der linearen Regression werden im Artikel lineare Regression erklärt. Dieser Artikel wird vorausgesetzt.

Diskrete Prädiktoren

Der einfachste Fall eines diskreten Prädiktors ist eine dichotome Variable. Diese trifft entweder zu oder nicht. Die lineare Regression rechnet für diesen Prädiktor einen Wert aus wie er es auch bei kontinuierlichen Variablen macht. Im Gegensatz zu kontinuierlichen Variablen stellt dieser Wert jedoch keine Steigung dar, da es nur "trifft zu" / "trifft nicht zu" gibt, sondern eine Veränderung des Achsenabschnitts.

Ein Beispiel: Wir wollen den Human Development Index (HDI) eines Landes mit dem logarithmierten BIP pro Kopf und ob es demokratisch ist oder nicht erklären. Wir rechnen eine lineare Regression und bekommen folgende Werte: Achsenabschnitt -0.13, log.BIPpK 0.10 und nichtDemokatisch -0.03. Alle Werte sind signifikant (p-Wert<0.05). Bei einem demokratischen Land kann der HDI mit der Formel -0.13 + 0.1*log.BIPpK vorausgesagt werden, ein nicht demokratisches Land mit der Formel (-0.13-0.03) + 0.1*log.BIPpK = -0.16 + 0.1*log.BIPpK. Formell kann es folgendermassen geschrieben werden:

\[
\begin{aligned}
\text{demokratische Länder: } y_i = \beta_0 + \beta_2 \cdot x_i + \epsilon_i \end{aligned}
\]
\[
\begin{aligned}
\text{nicht demokratische Länder: } y_i = (\beta_0 + \beta_1) + \beta_2 \cdot x_i + \epsilon_i \end{aligned}
\]
dichotomer Prädiktor

Bei einem diskreten Prädiktor mit mehr als zwei Ausprägungen braucht es zusätzlich einen Schritt. Im Normalfall macht dieser Schritt das Statistikprogramm. Bei einem Prädiktor mit n Ausprägungen müssen n-1 Dummy-Variablen kreiert werden. Diese Dummy-Variablen funktionieren dann genau gleich wie die dichotomen Variablen. Nehmen wir als Beispiel die Landessprachen der Schweiz: Deutsch, Französisch, Italienisch und Rätoromanisch. Das Statistikprogramm macht daraus die Prädiktoren SpracheFranzösisch, SpracheItalienisch und SpracheRätoromanisch. Der Achsenabschnitt wird alleine interpretieren, wenn alle drei Werte 0 sind. Das ist bei Deutsch der Fall. Bei Italienisch wird zum Achsenabschnitt zusätzlich der Wert von SpracheItalienisch hinzugezählt. Analog funktioniert es bei den anderen beiden Sprachen. Formell sieht das folgendermassen aus:

\[
\begin{aligned}
\text{Deutsch: } y_i = \beta_0 + \epsilon_i \end{aligned}
\]
\[
\begin{aligned}
\text{Französisch: } y_i = (\beta_0 + \beta_1) + \epsilon_i \end{aligned}
\]
\[
\begin{aligned}
\text{Italienisch: } y_i = (\beta_0 + \beta_2) + \epsilon_i \end{aligned}
\]
\[
\begin{aligned}
\text{Rätoromanisch: } y_i = (\beta_0 + \beta_3) + \epsilon_i \end{aligned}
\]

Nicht-lineare Prädiktoren

Bei einer linearen Regression müssen die Prädiktoren nicht zwingend linear sein. Häufige Fälle von nicht-linearen Prädiktoren sind quadratische und logarithmierte Prädiktoren.

logarithmierte Prädiktoren

Prädiktoren werden logarithmiert, wenn sie nicht normalverteilt sind oder grosse Unterschiede in den Zahlen enthalten. Ein typisches Beispiel ist das BIP, bei dem es Sinn macht, den Logarithmus zu nehmen.

Beim Beispiel von oben wurde das BIP pro Kopf logarithmiert. Die Regression ergab ein Beta von 0.096. Da es sich um einen logarithmierten Prädiktor handelt, muss der Wert etwas anders interpretiert werden und zwar mit Prozenten. Bei einem Prozent Zuwachs im BIP pro Kopf nimmt der HDI um 0.0965 zu. Es handelt sich um ein Linear-Log Modell.

Es ist ebenfalls möglich, die abhängige Variable zu logarithmieren. In diesem Fall wird ist die Erhöhung bei der AV prozentual. Ein Zuwachs um eine Einheit bei der UV führt zu einer Zunahme von 1% bei der AV (Log-Linear Modell). Sind sowohl AV als auch UV logarithmiert, wird bei beiden von prozentualen Änderungen gesprochen. Ein Zuwachs um 1% bei der UV führt zu einer Zunahme von 1% bei der AV (Log-Log Modell).

log example

quadratische Prädiktoren

Wenn man in der Theorie von einem quadratischen Zusammenhang ausgeht, kann ein Prädiktor als Polynom zweiten Grades in die Regression aufgenommen werden. Dies wird häufig beim Alter gemacht, wenn beispielsweise die Partizipation untersucht wird. So gehen ältere Personen häufiger an die Urne als jüngere, wobei ab einem gewissen Alter die Teilnahme wieder abnehmen kann, da sie nicht mehr durch die Arbeit zum Abstimmen oder Wählen ermuntert werden und die Mobilität durch altersgebrechen abnimmt. (Siehe z.B. Frauen gehen kaum an die Urne - oder doch? (NZZ).) Ebenfalls wird ein quadratisches Polynom verwendet, wenn von einem abnehmenden Grenznutzen ausgegangen wird.

quadratic term

In diesem Beispiel (Bild) sieht man, dass etwa 33-Jährige sich am linksten einschätzen und ältere und jüngere Personen sich rechter einschätzen. In manchen Fällen kann es auch Sinn machen, ein Polynom dritten oder gar vierten Grades in die Regression aufzunehmen. In der Regel werden jedoch nur Polynome zweiten Grades verwendet.

Weiterführende Literatur

Lohmann, Henning (2010): Nicht-Linearität und Nicht-Additivität in der mutiplen Regression: Interaktionseffekte, Polynome und Splines. In: Christof Wolf und Henning Best (Hrsg.): Handbuch der sozialwissenschaftlichen Datenanalyse. Wiesbaden: VS Verlage. (Deutsch)