Simple Linear Regression

[LOS 10.a] Mô tả mô hình hồi quy tuyến tính đơn và Mô tả tiêu chí bình phương tối thiểu và cách sử dụng để ước tính các hệ số hồi quy

1. Mục đích của hồi quy tuyến tính đơn biến (simple linear regression)

Hồi quy tuyến tính đơn biến được sử dụng để giải thích sự thay đổi của biến phụ thuộc dựa trên sự thay đổi của một biến độc lập duy nhất.

2. Mô hình hồi quy tuyến tính đơn biến (simple linear regression model)

Mô hình hồi quy này được công thức hóa như sau:

${\mathrm{Y}}_{\mathrm{i}} = {\mathrm{b}}_0 + {\mathrm{b}}_1{\mathrm{X}}_{\mathrm{i}} + {\mathrm{\epsilon }}_{\mathrm{i}}$ với i = 1, ..., n

Trong đó:

• ${\mathrm{Y}}_{\mathrm{i}}$: Quan sát thứ i của biến phụ thuộc Y

• ${\mathrm{X}}_{\mathrm{i}}$: Quan sát thứ i của biến độc lập X

• ${\mathrm{b}}_0$: Hệ số chặn (Intercept)

• ${\mathrm{b}}_1$: Hệ số góc (Slope coeficient hay Regression coeficient)

• ${\mathrm{\epsilon }}_{\mathrm{i}}$: Phần dư (Residual hay Error term) chính là chênh lệch giữa giá trị thực tế và giá trị được dự đoán bởi phương trình hồi quy của quan sát thứ i, ${\mathrm{Y}}_{\mathrm{i}} - {\overline{\mathrm{Y}}}_{\mathrm{i}}$.

2.1. Biến phụ thuộc (dependent variable)

Biến phụ thuộc là biến số chịu ảnh hưởng của một biến số khác trong mô hình hồi quy. Sự thay đổi của biến phụ thuộc được giải thích bởi biến độc lập.

Biến phụ thuộc còn có các tên gọi khác như explained variable, endogenous variable, predicted variable.

2.2. Biến độc lập (independent variable)

Biến độc lập (independent variable) là biến số tác động tới biến số khác (biến phụ thuộc) trong mô hình hồi quy. Biến độc lập được sử dụng để giải thích cho sự thay đổi của biến phụ thuộc

Biến độc lập còn có các tên gọi khác như explanatory variable, exogenous variable, predicting variable.

3. Tiêu chí bình phương tối thiểu và cách sử dụng để ước tính các hệ số hồi quy

3.1. Đường hồi quy (regression line)

3.1.1. Định nghĩa

Đường hồi quy là đường tối thiểu hóa tổng sai số bình phương (SSE - sum of the squares error) giữa các giá trị Y được dự đoán bởi phương trình hồi quy và các giá trị Y thực tế.

Đây là lý do vì sao hồi quy tuyến tính còn được gọi là hồi quy bình phương nhỏ nhất (OLS - ordinary least squares)

Đường hồi quy chỉ là một trong vô số các đường có thể vẽ được từ biểu đồ phân tán của X và Y.

3.1.2. Phương trình của đường hồi quy

Phương trình tuyến tính (hay còn gọi là regression line) có dạng như sau:

${\hat{\mathrm{Y}}}_{\mathrm{i}} = \widehat{{\mathrm{b}}_0} + \widehat{{\mathrm{b}}_1}{\mathrm{X}}_{\mathrm{i}}$ với i = 1,2,3,...,n

Trong đó:

• ${\hat{\mathrm{Y}}}_{\mathrm{i}}$: Giá trị ước lượng của ${\mathrm{Y}}_{\mathrm{i}}$ khi biết ${\mathrm{X}}_{\mathrm{i}}$

• $\widehat{{\mathrm{b}}_{\mathrm{o}}}$: Giá trị ước lượng của hệ số chặn

• $\widehat{{\mathrm{b}}_1}$: Giá trị ước lượng của hệ số góc

Lưu ý: Ký hiệu “^” ở trên các biến hay tham số để ám chỉ rằng đây là các giá trị dự đoán (predicted value).

a. Hệ số góc (slope coefficient)

Định nghĩa: mô tả sự thay đổi của Y khi thay đổi 1 đơn vị của X.

Công thức:

$\widehat{{\mathrm{b}}_1} = \frac{{\mathrm{COV}}_{\mathrm{XY}}}{{\mathrm{\sigma }}_{\mathrm{x}}^2}$

Diễn giải:

• Hệ số góc > 0: thay đổi của biến độc lập sẽ cùng chiều với thay đổi của biến phụ thuộc

• Hệ số góc < 0: thay đổi của biến độc lập sẽ ngược chiều với thay đổi của biến phụ thuộc

b. Hệ số chặn (intercept term)

Định nghĩa: chính là điểm giao giữa đường hồi quy và trục y

Công thức:

$\widehat{{\mathrm{b}}_{\mathrm{o}}} = \overline{\mathrm{Y}} - \widehat{{\mathrm{b}}_1}\overline{\mathrm{X}}$

Trong đó:

• $\overline{\mathrm{Y}}$= Trung bình của biến Y

• $\overline{\mathrm{X}}$= Trung bình của biến X

Diễn giải:

Hệ số chặn chính là giá trị ước lượng của biến phụ thuộc Y khi biến độc lập X = 0

3.2. Hồi quy cắt ngang và hồi quy chuỗi thời gian

Phân tích hồi quy sử dụng hai loại dữ liệu chính là cross-sectional data (dữ liệu của nhiều chủ thể tại một thời điểm) và time-series data (dữ liệu của một chủ thể trong một khoảng thời gian).

3.2.1. Hồi quy cắt ngang

Hồi quy cắt ngang (Cross-sectional regression) là hồi quy các quan sát X và Y tại cùng một thời điểm. Những quan sát này có thể là dữ liệu của các công ty, nhóm tài sản, quỹ đầu tư, quốc gia hay các chủ thể khác tùy vào mô hình hồi quy.

3.2.2. Hồi quy chuỗi thời gian

Hồi quy chuỗi thời gian (Time-series regression) là hồi quy sử dụng các quan sát từ nhiều thời điểm khác nhau cho cùng một chủ thể. Chủ thể ở đây có thể là một công ty, nhóm tài sản, quỹ đầu tư, quốc gia hay các chủ thể khác tùy thuộc vào mô hình hồi quy.

[LOS 10.b] Giải thích các giả định cơ bản của mô hình hồi quy tuyến tính đơn; mô tả cách các phần dư và các đồ thị phần dư chỉ ra liệu các giả định này có thể đã bị vi phạm hay không

Bốn giả định thông dụng đối với mô hình hồi quy bao gồm:

• Linearity: Mối quan hệ giữa biến độc lập và biến phụ thuộc là mỗi quan hệ tuyến tính.

• Homoskedasticity: Phương sai của phần dư đều bằng nhau đối với tất cả các quan sát.

• Independence: Các biến không có tương quan với nhau.

• Normality: Phần dư (residuals) theo phân phối chuẩn.