【文章內(nèi)容簡介】 da)。plot(X, y, 39。rx39。, 39。MarkerSize39。, 10, 39。LineWidth39。, )。xlabel(39。Change in water level (x)39。)。ylabel(39。Water flowing out of the dam (y)39。)。hold on。plot(X, [ones(m, 1) X]*theta, 39。39。, 39。LineWidth39。, 2)hold off。fprintf(39。Program paused. Press enter to continue.\n39。)。pause。lambda = 0。[error_train, error_val] = ... learningCurve([ones(m, 1) X], y, ... [ones(size(Xval, 1), 1) Xval], yval, ... lambda)。 plot(1:m, error_train, 1:m, error_val)。title(39。Learning curve for linear regression39。)legend(39。Train39。, 39。Cross Validation39。)xlabel(39。Number of training examples39。)ylabel(39。Error39。)axis([0 13 0 150])fprintf(39。 Training Examples\tTrain Error\tCross Validation Error\n39。)。for i = 1:m fprintf(39。 \t%d\t\t%f\t%f\n39。, i, error_train(i), error_val(i))。endfprintf(39。Program paused. Press enter to continue.\n39。)。pause。p = 8。X_poly = polyFeatures(X, p)。[X_poly, mu, sigma] = featureNormalize(X_poly)。 X_poly = [ones(m, 1), X_poly]。 X_poly_test = polyFeatures(Xtest, p)。X_poly_test = bsxfun(@minus, X_poly_test, mu)。X_poly_test = bsxfun(@rdivide, X_poly_test, sigma)。X_poly_test = [ones(size(X_poly_test, 1), 1), X_poly_test]。 X_poly_val = polyFeatures(Xval, p)。X_poly_val = bsxfun(@minus, X_poly_val, mu)。X_poly_val = bsxfun(@rdivide, X_poly_val, sigma)。X_poly_val = [ones(size(X_poly_val, 1), 1), X_poly_val]。 fprintf(39。Normalized Training Example 1:\n39。)。fprintf(39。 %f \n39。, X_poly(1, :))。fprintf(39。\nProgram paused. Press enter to continue.\n39。)。pause。lambda = 0。[theta] = trainLinearReg(X_poly, y, lambda)。figure(1)。plot(X, y, 39。rx39。, 39。MarkerSize39。, 10, 39。LineWidth39。, )。plotFit(min(X), max(X), mu, sigma, theta, p)。xlabel(39。Change in water level (x)39。)。ylabel(39。Water flowing out of the dam (y)39。)。title (sprintf(39。Polynomial Regression Fit (lambda = %f)39。, lambda))。figure(2)。[error_train, error_val] = ... learningCurve(X_poly, y, X_poly_val, yval, lambda)。plot(1:m, error_train, 1:m, error_val)。title(sprintf(39。Polynomial Regression Learning Curve (lambda = %f)39。, lambda))。xlabel(39。Number of training examples39。)ylabel(39。Error39。)axis([0 13 0 100])legend(39。Train39。, 39。Cross Validation39。)fprintf(39。Polynomial Regression (lambda = %f)\n\n39。, lambda)。fprintf(39。 Training Examples\tTrain Error\tCross Validation Error\n39。)。for i = 1:m fprintf(39。 \t%d\t\t%f\t%f\n39。, i, error_train(i), error_val(i))。endfprintf(39。Program paused. Press enter to continue.\n39。)。pause。[lambda_vec, error_train, error_val] = ... validationCurve(X_poly, y, X_poly_val, yval)。close all。plot(lambda_vec, error_train, lambda_vec, error_val)。legend(39。Train39。, 39。Cross Validation39。)。xlabel(39。lambda39。)。ylabel(39。Error39。)。fprintf(39。lambda\t\tTrain Error\tValidation Error\n39。)。for i = 1:length(lambda_vec) fprintf(39。 %f\t%f\t%f\n39。, ... lambda_vec(i), error_train(i), error_val(i))。endfprintf(39。Program paused. Press enter to continue.\n39。)。pause。X_poly_test = polyFeatures(Xtest, p)。X_poly_test = bsxfun(@minus, X_poly_test, mu)。X_poly_test = bsxfun(@rdivide, X_poly_test, sigma)。X_poly_test = [ones(size(X_poly_test, 1), 1), X_poly_test]。 theta = trainLinearReg(X_poly, y,3)。 error_val = linearRegCostFunction(X_poly_val, yval,theta,0)error_test = linearRegCostFunction(X_poly_test, ytest,theta,0) function [X_norm, mu, sigma] = featureNormalize(X)mu = mean(X)。X_norm = bsxfun(@minus, X, mu)。sigma = std(X_norm)。X_norm = bsxfun(@rdivide, X_norm, sigma)。endfunction [X, fX, i] = fmincg(f, X, options, P1, P2, P3, P4, P5)if exist(39。options39。, 39。var39。) amp。amp。 ~isempty(options) amp。amp。 isfield(options, 39。MaxIter39。) length = 。else length = 100。endRHO = 。 % a bunch of constants for line searchesSIG = 。 % RHO and SIG are the constants in the WolfePowell conditionsINT = 。 % don39。t reevaluate within of the limit of the current bracketEXT = 。 % extrapolate maximum 3 times the current bracketMAX = 20。 % max 20 function evaluations per line searchRATIO = 100。 % maximum allowed slope ratioargstr = [39。feval(f, X39。]。 % pose string used to call functionfor i = 1:(nargin 3) argstr = [argstr, 39。,P39。, int2str(i)]。endargstr = [argstr, 39。)39。]。if max(size(length)) == 2, red=length(2)。 length=length(1)。 else red=1。 endS=[39。Iteration 39。]。i = 0。 % zero the run length counterls_failed = 0。 % no previous line search has failedfX = []。[f1 df1] = eval(argstr)。 % get function value and gradienti = i + (length0)。 % count epochs?!s = df1。 % search direction is steepestd1 = s39。*s。 % this is the slopez1 = red/(1d1)。 % initial step is red/(|s|+1)while i abs(length) % while not finished i = i + (length0)。 % count iterations?! X0 = X。 f0 = f1。 df0 = df1。 % make a copy of current values X = X + z1*s。 % begin line search [f2 df2] = eval(argstr)。 i = i + (length0)。 % count epochs?! d2 = df239。*s。 f3 = f1。 d3 = d1。 z3 = z1。 % initialize point 3 equal to point 1 if length0, M = MAX。 else M = min(MAX, lengthi)。 end success = 0。 limit = 1。 % initialize quanteties while 1 while ((f2 f1+z1*RHO*d1) | (d2 SIG*d1)) amp。 (M 0) limit = z1。 % tighten the bracket if f2 f1 z2 = z3 (*d3*z3*z3)/(d3*z3+f2