Neka su date tačke
Potražićemo najbolje aproksimacije u nekim klasama funkcija metodom najmanjih kvadrata.
Linearna regresija
Funkcija kojom aproksimiramo:
Ukupno kvadratno odstupanje:
Najmanje ukupno odstupanje u zavisnosti od
se postiže kada je
odnosno
Što je sistem od dve linearne jednačine po
koji se može zapisati i kao
Za
ovaj sistem ima jedinstveno rešenje po
koje glasi:
Ove vrednosti treba uvrstiti u jednačinu funkcije
i to je to.
Kvadratna regresija
Funkcija kojom aproksimiramo:
Ukupno kvadratno odstupanje:
Najmanje ukupno odstupanje u zavisnosti od
se postiže kada je
odnosno
i
Što je sistem od tri linearne jednačine po
koji se može zapisati i kao
Za
ovaj sistem ima jedinstveno rešenje po
Vrednosti za
koje se dobiju rešavanjem sistema treba uvrstiti u jednačinu funkcije
i to je to.
Linearna regresija
Funkcija kojom aproksimiramo:
Da bismo dobili linearan sistem jednačina, aproksimiraćemo skup čvorova
funkcijom oblika
a onda ćemo date čvorove aproksimirati funkcijom
Dakle,
za
i
Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.