Inicialização de parâmetros para Regressão Linear


( Thais Ebling) #1

Olá, estou estudando Machine Learning há pouco tempo, e me deparei com uma dúvida.
Para regressões lineares, existem valores sugeridos para a inicialização dos parâmetros bias (\theta_0) e \theta_1?

Obrigada!


(Pedro Lemos Ballester) #2

Olá!

Acredito que a inicialização de pesos em regressão linear não seja algo a estar se preocupando.
A princípio inicializando o coeficiente independente \theta_0 = 0 e os coeficientes dependentes como \theta_n = 1 não deves ter problemas.

Isso se dá pela natureza da curva de custo. Durante uma regressão linear, a curva de custo é convexa, o que significa que há garantia de que independente da iniciailização dos pesos o mínimo encontrado é um mínimo global. Além disso, problemas de otimização convexa tendem a ser de convergência rápida, diminuindo a necessidade de começar com pesos “ótimos”.

[1]

Em problemas em que há múltiplos mínimos (otimização não-convexa), como é o caso na maior parte das vezes em que se usa redes neurais, por exemplo, a inicialização causa mais impacto na escolha dos pesos e consequentemente no erro final encontrado. Nesse caso, existem diversas abordagens para encontrar a melhor inicialização possível, o que por si só se tornou uma área de estudo. Um exemplo comum é a inicialização de Xavier [2].

Espero ter ajudado, abraço!

[1] https://raw.githubusercontent.com/ritchieng/machine-learning-stanford/master/w1_linear_regression_one_variable/2_params.png
[2] http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf