Matlab의 그래디언트 디센트에서 잘못된 결과가 발생했습니다.

Question

Matlab에서 코스를 수강하고 있는데 그래디언트 디센트 구현을 수행했지만 잘못된 결과가 나타납니다.

코드 :

for iter = 1:num_iters 

sumTheta1 = 0; 
sumTheta2 = 0; 
for s = 1:m 
    sumTheta1 = theta(1) + theta(2) .* X(s,2) - y(s); 
    sumTheta2 = theta(1) + theta(2) .* X(s,2) - y(s) .* X(s,2); 
end 

theta(1) = theta(1) - alpha .* (1/m) .* sumTheta1; 
theta(2) = theta(2) - alpha .* (1/m) .* sumTheta2; 

J_history(iter) = computeCost(X, y, theta); 

end 

이것은 중요한 부분입니다. 수식의 구현은 비록 최적화되지 않았지만 정확하다고 생각합니다. 수식은 다음과 같습니다.

theta1 = theta1 - (alpha)(1/m)(summation_i^m(theta1 + theta2*x(i)-y(i))) 
theta2 = theta2 - (alpha)(1/m)(summation_i^m(theta1 + theta2*x(i)-y(i)))(x(i)) 

어디에서 문제가 발생할 수 있습니까?

편집 : 코드를 작업을 고정 : CODE는 EDIT (2)

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters) 

m = length(y); % number of training examples 
J_history = zeros(num_iters, 1); 


for iter = 1:num_iters 

for s = 1:m 

sumTheta1 = ((theta(1) .* X(s,1)) + (theta(2) .* X(s,2))) - (y(s)); 
sumTheta2 = ((theta(1) .* X(s,1)) + (theta(2) .* X(s,2))) - (y(s)) .* X(s,2); 
end 

temp1 = theta(1) - alpha .* (1/m) .* sumTheta1; 
temp2 = theta(2) - alpha .* (1/m) .* sumTheta2; 

theta(1) = temp1; 
theta(2) = temp2; 

J_history(iter) = computeCost(X, y, theta); 

end 

end 

업데이트.

그걸 얻은 것은 + Dan 힌트였습니다. 나는 그의 대답을 받아 들일 것이지만 아직도 코드를 붙인 사람에게 붙이 셨습니다. :), 건배. 언뜻

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters) 

m = length(y); % number of training examples 
J_history = zeros(num_iters, 1); 


for iter = 1:num_iters 

sumTheta1 = 0; 
sumTheta2 = 0; 

for s = 1:m 

sumTheta1 = sumTheta1 + ((theta(1) .* X(s,1)) + (theta(2) .* X(s,2))) - (y(s)); 
sumTheta2 = sumTheta2 + (((theta(1) .* X(s,1)) + (theta(2) .* X(s,2))) - (y(s))) .* X(s,2); 
end 

temp1 = theta(1) - alpha .* (1/m) .* sumTheta1; 
temp2 = theta(2) - alpha .* (1/m) .* sumTheta2; 

theta(1) = temp1; 
theta(2) = temp2; 

% Save the cost J in every iteration  
J_history(iter) = computeCost(X, y, theta); 

end 

end 

Answer 1

나는 당신의 sumTheta1 실제로 합산이 아니라 그 자체가 각각의 반복을 교체하지 않는 것을 알 수 있습니다. 나는 당신이 의미 생각 :

sumTheta1 = sumTheta1 + theta(1) + theta(2) .* X(s,2) - y(s); 

과 같은 sumTheta2

위한 그러나 나중에 참조 할 수 있도록이 (수정) 루프를 대체 할 수있는이 벡터화 공식

sumTheta1 = sum(theta(1) + theta(2)*X(:,2) - y); 
sumTheta2 = sum(theta(1) + theta(2)*X(:,2) - y.*X(:,2)) 

와

for s = 1:m 
    sumTheta1 = theta(1) + theta(2) .* X(s,2) - y(s); 
    sumTheta2 = theta(1) + theta(2) .* X(s,2) - y(s) .* X(s,2); 
end 

을

Answer 2

이 공식을 볼 경우

theta1 = theta1 - (alpha)(1/m)(summation_i^m(theta1 + theta2*x(i)-y(i))) 

나는 matlab에 상응하는 것 같아요

m =length(x); 

그러나, 당신의 두 공식 날 당신이 그들을 계산하는 것인지 궁금합니다 다음과 같이

이

theta1 = theta1 - alpha/m*(theta1 + theta2)*sum(x-y) 

아마 당신이 m을 확인할 수 있습니다 순차적으로 또는 동시에.

두 번째 경우에는 임시 변수를 만들고이를 계산에 사용하십시오.

myFactor = alpha/m*(theta1_previous + theta2_previous) 

theta1 = theta1_previous - myFactor*sum(x-y) 
theta2 = theta2_previous - myFactor*sum((x-y).*x) 

Answer 3

벡터화 버전 : 당신은 매트랩 구문`(알파) (1/m)`잘 이해하지 못할 것을 알고

for iter = 1:num_iters 
    theta = theta - (alpha .* X'*(X * theta - y) ./m); 
    J_history(iter) = computeCost(X, y, theta); 
end