How to setup a Machine Learning Regression problem in R¶
In [4]:
# -----------------------------------------------------------------
# How to setup a Machine Learning Regression problem in R
# -----------------------------------------------------------------
# load libraries
library(mlbench)
library(caret)
# load data
data(BostonHousing)
# rename dataset to keep code below generic
dataset <- BostonHousing
dim(dataset)
sapply(dataset, class)
# Pre-Processing of DataSet i.e. train : test split
train_test_index <- createDataPartition(dataset$medv, p=0.67, list=FALSE)
training_dataset <- dataset[train_test_index,]
testing_dataset <- dataset[-train_test_index,]
# setup cross validation and control parameters
control <- trainControl(method="repeatedcv", number=3, repeats = 3, verbose = TRUE, search = "grid")
metric <- "RMSE" # "r2"
# Training process
# Fit / train a Linear Discriminant Analysis model to the training dataset
fit.gbm <- caret::train(medv~., data=training_dataset, method="gbm", metric=metric,
preProc=c("center", "scale"), trControl=control)
# Fit / train a Logistic Regression model to the training dataset
fit.bstTree <- caret::train(medv~., data=training_dataset, method="bstTree", metric=metric,
preProc=c("center", "scale"), trControl=control)
# collect the results of trained models
results <- resamples(list(GBM = fit.gbm, BSTree = fit.bstTree))
# Summarize the fitted models
summary(results)
# Plot and rank the fitted models
dotplot(results)
bwplot(results)
# Test skill of the BEST trained model on validation/testing dataset
predictions_BSTree <- predict(fit.bstTree, newdata=testing_dataset)
# Evaluate the BEST trained model and print results
res_rmse <- caret::RMSE(predictions_BSTree, testing_dataset$medv)
res_r2 <- caret::R2(predictions_BSTree, testing_dataset$medv)
print("Results from the BEST trained model ... ...\n");
print(round(res_rmse, digits = 3))
print(round(res_r2, digits = 3))
- 506
- 14
- crim
- 'numeric'
- zn
- 'numeric'
- indus
- 'numeric'
- chas
- 'factor'
- nox
- 'numeric'
- rm
- 'numeric'
- age
- 'numeric'
- dis
- 'numeric'
- rad
- 'numeric'
- tax
- 'numeric'
- ptratio
- 'numeric'
- b
- 'numeric'
- lstat
- 'numeric'
- medv
- 'numeric'
Iter TrainDeviance ValidDeviance StepSize Improve
1 74.6831 nan 0.1000 7.4359
2 69.7427 nan 0.1000 4.3412
3 62.0097 nan 0.1000 7.3009
4 56.4872 nan 0.1000 4.7184
5 51.5527 nan 0.1000 4.2593
6 48.3788 nan 0.1000 3.1974
7 45.2547 nan 0.1000 2.1403
8 41.9340 nan 0.1000 2.1210
9 39.0645 nan 0.1000 2.5595
10 36.1395 nan 0.1000 2.2292
20 22.2166 nan 0.1000 0.4582
40 14.4130 nan 0.1000 0.0348
60 12.1318 nan 0.1000 -0.0692
80 10.6744 nan 0.1000 -0.0606
100 9.8726 nan 0.1000 -0.1149
120 9.3142 nan 0.1000 -0.1247
140 8.8288 nan 0.1000 -0.0228
150 8.6595 nan 0.1000 -0.1562
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.3598 nan 0.1000 10.5951
2 63.9310 nan 0.1000 6.7826
3 57.4219 nan 0.1000 6.6936
4 52.0435 nan 0.1000 4.8731
5 46.6702 nan 0.1000 5.6667
6 41.4058 nan 0.1000 5.3327
7 37.4556 nan 0.1000 3.6707
8 34.6196 nan 0.1000 2.0073
9 31.5253 nan 0.1000 3.2603
10 28.7664 nan 0.1000 2.7409
20 16.2875 nan 0.1000 0.6277
40 10.3534 nan 0.1000 -0.0981
60 8.4009 nan 0.1000 -0.0586
80 7.3166 nan 0.1000 -0.0328
100 6.3963 nan 0.1000 -0.0540
120 5.5867 nan 0.1000 -0.0349
140 4.9472 nan 0.1000 -0.0592
150 4.7181 nan 0.1000 -0.0586
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.0058 nan 0.1000 9.3067
2 62.6230 nan 0.1000 6.7916
3 54.2924 nan 0.1000 6.5082
4 47.6647 nan 0.1000 5.4692
5 43.0560 nan 0.1000 4.6882
6 38.9667 nan 0.1000 3.2070
7 35.4768 nan 0.1000 3.6794
8 32.1991 nan 0.1000 2.9697
9 29.4582 nan 0.1000 2.3544
10 26.9902 nan 0.1000 1.8219
20 14.7545 nan 0.1000 0.4023
40 9.6233 nan 0.1000 -0.0674
60 7.2344 nan 0.1000 -0.0659
80 5.7103 nan 0.1000 -0.0378
100 4.8030 nan 0.1000 -0.0633
120 4.0479 nan 0.1000 -0.0272
140 3.4947 nan 0.1000 -0.0734
150 3.3215 nan 0.1000 -0.0361
Iter TrainDeviance ValidDeviance StepSize Improve
1 87.8179 nan 0.1000 9.0159
2 80.4150 nan 0.1000 7.1400
3 73.1935 nan 0.1000 8.0408
4 67.4715 nan 0.1000 5.6674
5 62.7064 nan 0.1000 4.9497
6 58.1524 nan 0.1000 2.3517
7 54.0093 nan 0.1000 3.3719
8 50.9821 nan 0.1000 2.7410
9 48.0896 nan 0.1000 2.6499
10 45.1919 nan 0.1000 2.5830
20 29.2762 nan 0.1000 0.4581
40 19.4816 nan 0.1000 0.0804
60 16.9380 nan 0.1000 0.0000
80 15.4462 nan 0.1000 0.0428
100 14.1196 nan 0.1000 -0.0232
120 13.2336 nan 0.1000 0.0117
140 12.4475 nan 0.1000 -0.0563
150 12.1432 nan 0.1000 -0.1385
Iter TrainDeviance ValidDeviance StepSize Improve
1 85.1111 nan 0.1000 6.1298
2 76.1004 nan 0.1000 8.9659
3 68.5027 nan 0.1000 6.6525
4 61.4204 nan 0.1000 6.0496
5 55.2253 nan 0.1000 6.1909
6 50.2985 nan 0.1000 2.5268
7 45.6399 nan 0.1000 4.1125
8 41.6798 nan 0.1000 3.7028
9 38.6523 nan 0.1000 1.3607
10 35.5138 nan 0.1000 2.5906
20 20.4376 nan 0.1000 0.6136
40 13.6640 nan 0.1000 -0.0099
60 11.3726 nan 0.1000 -0.1631
80 9.6587 nan 0.1000 0.0347
100 8.3941 nan 0.1000 -0.0086
120 7.6530 nan 0.1000 -0.2555
140 6.9342 nan 0.1000 -0.1026
150 6.5037 nan 0.1000 -0.1423
Iter TrainDeviance ValidDeviance StepSize Improve
1 84.3810 nan 0.1000 11.9204
2 74.4285 nan 0.1000 10.3911
3 64.8395 nan 0.1000 9.3516
4 59.1282 nan 0.1000 5.8794
5 52.4449 nan 0.1000 4.3133
6 47.2696 nan 0.1000 5.1584
7 42.4540 nan 0.1000 2.4983
8 38.1530 nan 0.1000 2.7894
9 34.3599 nan 0.1000 2.2440
10 31.5312 nan 0.1000 1.4786
20 17.9759 nan 0.1000 0.1112
40 11.4669 nan 0.1000 -0.0362
60 8.9646 nan 0.1000 -0.1236
80 7.4015 nan 0.1000 -0.0863
100 6.3717 nan 0.1000 -0.0448
120 5.5400 nan 0.1000 -0.1015
140 4.9586 nan 0.1000 -0.1243
150 4.7544 nan 0.1000 -0.0529
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.1199 nan 0.1000 6.7640
2 64.8805 nan 0.1000 6.1232
3 60.1856 nan 0.1000 3.9129
4 55.8907 nan 0.1000 2.4388
5 51.4570 nan 0.1000 4.4425
6 47.6207 nan 0.1000 3.8491
7 44.3069 nan 0.1000 2.5674
8 41.4827 nan 0.1000 1.7419
9 38.9577 nan 0.1000 2.3855
10 36.4604 nan 0.1000 2.3998
20 23.1045 nan 0.1000 0.4692
40 15.3781 nan 0.1000 0.0373
60 13.0573 nan 0.1000 0.0385
80 11.8314 nan 0.1000 -0.0350
100 11.2597 nan 0.1000 -0.0788
120 10.4639 nan 0.1000 -0.0222
140 9.9661 nan 0.1000 -0.0866
150 9.7787 nan 0.1000 -0.1087
Iter TrainDeviance ValidDeviance StepSize Improve
1 67.9030 nan 0.1000 9.9230
2 58.6405 nan 0.1000 7.2697
3 52.0310 nan 0.1000 6.0922
4 47.3343 nan 0.1000 5.3450
5 43.1659 nan 0.1000 3.4097
6 39.2324 nan 0.1000 3.9024
7 35.5099 nan 0.1000 2.8490
8 32.7366 nan 0.1000 1.7925
9 30.0194 nan 0.1000 1.2431
10 28.0263 nan 0.1000 1.9489
20 16.4528 nan 0.1000 0.2331
40 11.1939 nan 0.1000 -0.0802
60 9.4157 nan 0.1000 -0.1619
80 8.2123 nan 0.1000 -0.1023
100 7.1140 nan 0.1000 -0.0821
120 6.2599 nan 0.1000 -0.0540
140 5.6667 nan 0.1000 -0.0680
150 5.3270 nan 0.1000 -0.0687
Iter TrainDeviance ValidDeviance StepSize Improve
1 67.7631 nan 0.1000 9.2249
2 59.5412 nan 0.1000 6.4523
3 52.6980 nan 0.1000 6.3805
4 47.1030 nan 0.1000 4.6586
5 41.4377 nan 0.1000 5.2027
6 37.4192 nan 0.1000 3.7161
7 33.2868 nan 0.1000 2.5312
8 30.2090 nan 0.1000 2.2066
9 27.8831 nan 0.1000 2.0896
10 25.2160 nan 0.1000 2.3201
20 14.5263 nan 0.1000 0.2139
40 9.2832 nan 0.1000 0.0771
60 7.3540 nan 0.1000 -0.0386
80 5.9128 nan 0.1000 -0.0299
100 4.9304 nan 0.1000 -0.0634
120 4.4116 nan 0.1000 -0.0305
140 3.8157 nan 0.1000 -0.0872
150 3.6367 nan 0.1000 -0.0518
Iter TrainDeviance ValidDeviance StepSize Improve
1 80.0210 nan 0.1000 6.8624
2 72.1733 nan 0.1000 5.9469
3 65.4200 nan 0.1000 6.0148
4 60.1628 nan 0.1000 5.1450
5 55.3368 nan 0.1000 4.5572
6 51.4439 nan 0.1000 4.1540
7 47.2524 nan 0.1000 3.1133
8 44.7369 nan 0.1000 1.8366
9 41.8311 nan 0.1000 1.7214
10 39.4581 nan 0.1000 2.4011
20 23.6184 nan 0.1000 0.8012
40 14.7767 nan 0.1000 0.0022
60 12.5271 nan 0.1000 0.0338
80 11.4355 nan 0.1000 -0.0680
100 10.5101 nan 0.1000 -0.0216
120 9.8683 nan 0.1000 -0.0672
140 9.3388 nan 0.1000 -0.2125
150 9.0810 nan 0.1000 -0.0132
Iter TrainDeviance ValidDeviance StepSize Improve
1 77.5596 nan 0.1000 10.6330
2 70.5103 nan 0.1000 5.7772
3 62.7932 nan 0.1000 8.2156
4 56.2583 nan 0.1000 6.5710
5 49.8440 nan 0.1000 5.4077
6 44.4121 nan 0.1000 4.1280
7 39.9843 nan 0.1000 3.6420
8 36.3166 nan 0.1000 4.1577
9 32.8399 nan 0.1000 3.2678
10 29.8204 nan 0.1000 2.4528
20 15.9249 nan 0.1000 0.2661
40 10.2344 nan 0.1000 -0.0414
60 8.1754 nan 0.1000 -0.0602
80 6.9993 nan 0.1000 -0.0725
100 6.0881 nan 0.1000 -0.0345
120 5.4234 nan 0.1000 -0.0275
140 5.0413 nan 0.1000 -0.0821
150 4.7579 nan 0.1000 -0.0659
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.3050 nan 0.1000 10.5714
2 66.5438 nan 0.1000 8.0036
3 58.3358 nan 0.1000 6.2498
4 50.4601 nan 0.1000 6.0559
5 44.4093 nan 0.1000 5.6619
6 39.8332 nan 0.1000 4.4573
7 35.7133 nan 0.1000 3.7712
8 32.4746 nan 0.1000 2.3714
9 30.1255 nan 0.1000 2.5188
10 27.3439 nan 0.1000 2.0141
20 14.0892 nan 0.1000 0.4420
40 8.2689 nan 0.1000 0.0569
60 6.3135 nan 0.1000 -0.0390
80 5.2598 nan 0.1000 -0.0733
100 4.4099 nan 0.1000 0.0204
120 3.6814 nan 0.1000 -0.0912
140 3.2259 nan 0.1000 -0.0254
150 3.0598 nan 0.1000 -0.0319
Iter TrainDeviance ValidDeviance StepSize Improve
1 79.8926 nan 0.1000 5.9719
2 73.0421 nan 0.1000 6.5179
3 67.6049 nan 0.1000 4.5576
4 62.7879 nan 0.1000 4.3788
5 58.3036 nan 0.1000 4.3480
6 54.0654 nan 0.1000 2.3268
7 51.2421 nan 0.1000 1.7102
8 48.0367 nan 0.1000 2.9787
9 44.9898 nan 0.1000 2.5193
10 42.0589 nan 0.1000 1.6937
20 26.9660 nan 0.1000 0.6402
40 17.2291 nan 0.1000 0.1884
60 14.3706 nan 0.1000 0.0754
80 12.9279 nan 0.1000 0.0328
100 11.6364 nan 0.1000 -0.1057
120 10.9427 nan 0.1000 -0.1209
140 10.3307 nan 0.1000 -0.0221
150 10.0243 nan 0.1000 -0.0430
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.5330 nan 0.1000 11.5417
2 69.7556 nan 0.1000 7.0067
3 62.3007 nan 0.1000 6.2137
4 55.2385 nan 0.1000 6.5512
5 50.1454 nan 0.1000 4.6159
6 45.6411 nan 0.1000 3.7769
7 41.6834 nan 0.1000 4.4678
8 38.4302 nan 0.1000 1.1513
9 35.6086 nan 0.1000 2.5897
10 32.7540 nan 0.1000 1.6264
20 19.3104 nan 0.1000 0.2712
40 13.0641 nan 0.1000 0.0302
60 10.3049 nan 0.1000 -0.0769
80 8.2147 nan 0.1000 -0.1891
100 7.2924 nan 0.1000 -0.0212
120 6.4954 nan 0.1000 -0.0277
140 5.8965 nan 0.1000 -0.1686
150 5.6790 nan 0.1000 -0.1000
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.7403 nan 0.1000 11.1670
2 67.5074 nan 0.1000 5.8826
3 58.6110 nan 0.1000 8.6536
4 52.2149 nan 0.1000 4.6786
5 46.4376 nan 0.1000 4.4386
6 41.8107 nan 0.1000 4.9270
7 37.3708 nan 0.1000 2.1340
8 34.0099 nan 0.1000 2.3826
9 31.0297 nan 0.1000 2.3486
10 28.4628 nan 0.1000 2.2154
20 15.5128 nan 0.1000 0.2931
40 9.9714 nan 0.1000 -0.2703
60 7.8297 nan 0.1000 -0.1449
80 6.3071 nan 0.1000 -0.1346
100 5.2640 nan 0.1000 -0.1611
120 4.5760 nan 0.1000 -0.0621
140 3.9974 nan 0.1000 -0.0889
150 3.7449 nan 0.1000 -0.0489
Iter TrainDeviance ValidDeviance StepSize Improve
1 73.1204 nan 0.1000 6.7326
2 66.7730 nan 0.1000 5.6916
3 61.0321 nan 0.1000 4.8558
4 57.0322 nan 0.1000 3.7947
5 53.2037 nan 0.1000 3.7530
6 48.8679 nan 0.1000 3.1749
7 45.0356 nan 0.1000 3.4624
8 42.1870 nan 0.1000 2.4048
9 39.9302 nan 0.1000 2.5127
10 37.4889 nan 0.1000 2.1060
20 24.1383 nan 0.1000 0.5334
40 16.0626 nan 0.1000 0.0492
60 14.0289 nan 0.1000 -0.2000
80 12.8278 nan 0.1000 -0.0503
100 11.9437 nan 0.1000 0.0005
120 11.2154 nan 0.1000 -0.0223
140 10.5119 nan 0.1000 -0.0816
150 10.3477 nan 0.1000 -0.0541
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.1208 nan 0.1000 9.4569
2 62.0367 nan 0.1000 8.6194
3 55.3820 nan 0.1000 7.2733
4 49.6120 nan 0.1000 6.3459
5 45.2757 nan 0.1000 2.9660
6 40.9462 nan 0.1000 3.6289
7 37.7968 nan 0.1000 3.6748
8 34.7743 nan 0.1000 3.1189
9 31.8251 nan 0.1000 2.5727
10 29.5539 nan 0.1000 2.5268
20 17.5837 nan 0.1000 0.2805
40 12.1392 nan 0.1000 0.0148
60 9.8710 nan 0.1000 -0.0543
80 8.6773 nan 0.1000 -0.1368
100 7.3555 nan 0.1000 -0.0540
120 6.4627 nan 0.1000 -0.0787
140 5.9571 nan 0.1000 -0.0841
150 5.7100 nan 0.1000 -0.0391
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.5020 nan 0.1000 10.4198
2 61.5429 nan 0.1000 8.5730
3 54.4958 nan 0.1000 6.1554
4 48.6755 nan 0.1000 5.3918
5 42.3082 nan 0.1000 5.0755
6 37.7546 nan 0.1000 4.3988
7 34.5248 nan 0.1000 3.3550
8 30.8932 nan 0.1000 2.6399
9 28.1501 nan 0.1000 2.1981
10 25.8156 nan 0.1000 1.2792
20 15.7149 nan 0.1000 0.1656
40 9.7350 nan 0.1000 -0.0667
60 7.5614 nan 0.1000 -0.0858
80 6.3303 nan 0.1000 -0.0416
100 5.3491 nan 0.1000 -0.0694
120 4.7042 nan 0.1000 -0.1093
140 4.1324 nan 0.1000 -0.0534
150 3.9429 nan 0.1000 -0.0480
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.1587 nan 0.1000 5.5063
2 65.2005 nan 0.1000 5.8670
3 59.5845 nan 0.1000 5.7946
4 55.3716 nan 0.1000 4.3443
5 51.4056 nan 0.1000 3.8107
6 48.3654 nan 0.1000 2.7291
7 44.8601 nan 0.1000 2.9766
8 42.0157 nan 0.1000 1.6911
9 39.0933 nan 0.1000 2.8961
10 36.9784 nan 0.1000 1.9740
20 22.8572 nan 0.1000 0.5886
40 14.4824 nan 0.1000 0.1401
60 12.5324 nan 0.1000 -0.0327
80 11.5250 nan 0.1000 -0.0107
100 10.7025 nan 0.1000 -0.0786
120 10.0446 nan 0.1000 -0.0652
140 9.4964 nan 0.1000 -0.0395
150 9.3283 nan 0.1000 -0.0293
Iter TrainDeviance ValidDeviance StepSize Improve
1 68.8217 nan 0.1000 8.6943
2 61.0906 nan 0.1000 7.3071
3 53.6241 nan 0.1000 6.8841
4 48.6297 nan 0.1000 4.8540
5 43.7818 nan 0.1000 3.3465
6 39.2045 nan 0.1000 4.3912
7 36.0492 nan 0.1000 2.9393
8 33.0357 nan 0.1000 2.7629
9 30.2036 nan 0.1000 2.7929
10 27.1467 nan 0.1000 1.7919
20 16.0325 nan 0.1000 0.3381
40 10.6770 nan 0.1000 0.0376
60 9.0291 nan 0.1000 -0.0874
80 7.9941 nan 0.1000 -0.1005
100 6.9525 nan 0.1000 -0.0138
120 6.3785 nan 0.1000 -0.0697
140 5.8502 nan 0.1000 -0.1080
150 5.5356 nan 0.1000 -0.0353
Iter TrainDeviance ValidDeviance StepSize Improve
1 67.6455 nan 0.1000 10.3843
2 59.2010 nan 0.1000 7.2083
3 52.0177 nan 0.1000 6.6203
4 46.6429 nan 0.1000 5.3118
5 41.3799 nan 0.1000 4.9862
6 36.4824 nan 0.1000 4.4277
7 32.5053 nan 0.1000 2.4549
8 29.9908 nan 0.1000 2.0799
9 27.0198 nan 0.1000 2.2506
10 24.2961 nan 0.1000 1.5101
20 13.8055 nan 0.1000 0.1414
40 9.2013 nan 0.1000 -0.0036
60 7.3302 nan 0.1000 0.0041
80 6.2307 nan 0.1000 -0.0893
100 5.5335 nan 0.1000 0.0202
120 4.5954 nan 0.1000 -0.0678
140 4.1144 nan 0.1000 -0.0408
150 3.8789 nan 0.1000 -0.0853
Iter TrainDeviance ValidDeviance StepSize Improve
1 77.1635 nan 0.1000 7.7956
2 70.8610 nan 0.1000 6.2162
3 65.8002 nan 0.1000 5.5212
4 59.7104 nan 0.1000 6.9039
5 55.3167 nan 0.1000 3.6056
6 50.4470 nan 0.1000 4.3173
7 46.0745 nan 0.1000 4.3363
8 42.3253 nan 0.1000 2.8339
9 40.0232 nan 0.1000 2.4948
10 37.6815 nan 0.1000 2.3862
20 22.0587 nan 0.1000 0.7868
40 14.3082 nan 0.1000 -0.2571
60 12.0280 nan 0.1000 -0.0237
80 11.1340 nan 0.1000 -0.0490
100 10.3137 nan 0.1000 -0.0183
120 9.7010 nan 0.1000 -0.0566
140 9.1336 nan 0.1000 -0.1055
150 8.8905 nan 0.1000 -0.0940
Iter TrainDeviance ValidDeviance StepSize Improve
1 74.1113 nan 0.1000 7.5504
2 64.7018 nan 0.1000 6.1653
3 57.8255 nan 0.1000 3.1626
4 50.3442 nan 0.1000 6.9280
5 44.7778 nan 0.1000 5.5585
6 40.1152 nan 0.1000 4.3446
7 36.1490 nan 0.1000 4.3856
8 32.3674 nan 0.1000 2.8302
9 29.9639 nan 0.1000 2.1521
10 27.5092 nan 0.1000 1.8412
20 15.3560 nan 0.1000 0.4849
40 10.2658 nan 0.1000 -0.1664
60 8.3705 nan 0.1000 -0.0171
80 7.0808 nan 0.1000 -0.0421
100 6.2986 nan 0.1000 -0.0453
120 5.5174 nan 0.1000 -0.1017
140 4.9014 nan 0.1000 -0.0376
150 4.7586 nan 0.1000 -0.0741
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.2276 nan 0.1000 9.9964
2 63.8925 nan 0.1000 8.0321
3 55.8335 nan 0.1000 7.7946
4 49.4906 nan 0.1000 5.9859
5 42.5694 nan 0.1000 5.1208
6 36.8720 nan 0.1000 4.8822
7 34.0425 nan 0.1000 2.9051
8 30.3474 nan 0.1000 3.2601
9 27.7779 nan 0.1000 2.3112
10 25.4613 nan 0.1000 1.6443
20 13.2205 nan 0.1000 0.3439
40 8.2398 nan 0.1000 -0.2345
60 6.3915 nan 0.1000 -0.0801
80 5.2110 nan 0.1000 -0.0590
100 4.3830 nan 0.1000 0.0062
120 3.8435 nan 0.1000 -0.0947
140 3.4128 nan 0.1000 -0.0322
150 3.2041 nan 0.1000 -0.0497
Iter TrainDeviance ValidDeviance StepSize Improve
1 84.8795 nan 0.1000 6.6654
2 78.0761 nan 0.1000 4.2365
3 71.1123 nan 0.1000 6.5348
4 65.0576 nan 0.1000 4.6835
5 59.7490 nan 0.1000 4.9781
6 56.0085 nan 0.1000 3.0744
7 52.0318 nan 0.1000 1.8580
8 48.8032 nan 0.1000 3.0950
9 45.5420 nan 0.1000 2.4811
10 42.6152 nan 0.1000 3.0176
20 28.1776 nan 0.1000 0.2852
40 19.8881 nan 0.1000 0.0054
60 16.8321 nan 0.1000 0.0954
80 15.1587 nan 0.1000 0.0430
100 13.9167 nan 0.1000 -0.1547
120 13.0303 nan 0.1000 0.0014
140 12.2152 nan 0.1000 -0.1035
150 11.8948 nan 0.1000 -0.2248
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.2901 nan 0.1000 10.1162
2 73.8485 nan 0.1000 7.9651
3 65.6883 nan 0.1000 7.0281
4 59.3696 nan 0.1000 5.3962
5 53.7304 nan 0.1000 5.2388
6 49.0312 nan 0.1000 5.0319
7 44.8505 nan 0.1000 3.0114
8 41.0656 nan 0.1000 3.7188
9 38.1746 nan 0.1000 2.7048
10 34.6995 nan 0.1000 2.0154
20 20.9394 nan 0.1000 0.5113
40 13.2326 nan 0.1000 0.0706
60 10.1688 nan 0.1000 -0.1712
80 8.6110 nan 0.1000 -0.0572
100 7.6584 nan 0.1000 0.0085
120 6.9510 nan 0.1000 0.0021
140 6.3146 nan 0.1000 -0.0533
150 6.0592 nan 0.1000 -0.1233
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.6387 nan 0.1000 12.5302
2 71.5964 nan 0.1000 7.5134
3 62.7853 nan 0.1000 8.4268
4 56.0948 nan 0.1000 6.5383
5 51.1776 nan 0.1000 5.7772
6 45.3367 nan 0.1000 4.6038
7 41.0522 nan 0.1000 3.0099
8 37.7209 nan 0.1000 2.8669
9 34.4921 nan 0.1000 2.1112
10 32.3410 nan 0.1000 1.2818
20 17.2899 nan 0.1000 0.6122
40 11.1905 nan 0.1000 -0.0120
60 8.7104 nan 0.1000 -0.1232
80 7.2279 nan 0.1000 -0.0799
100 6.2129 nan 0.1000 -0.0721
120 5.4618 nan 0.1000 -0.0964
140 4.8236 nan 0.1000 -0.0318
150 4.5199 nan 0.1000 -0.0345
Iter TrainDeviance ValidDeviance StepSize Improve
1 74.1776 nan 0.1000 11.9980
2 65.3433 nan 0.1000 9.0750
3 57.7969 nan 0.1000 6.5320
4 51.2988 nan 0.1000 6.4093
5 45.8582 nan 0.1000 5.5853
6 41.8298 nan 0.1000 4.4431
7 38.0455 nan 0.1000 3.8767
8 34.5451 nan 0.1000 2.7365
9 31.1609 nan 0.1000 3.0763
10 28.2986 nan 0.1000 2.1445
20 15.3136 nan 0.1000 0.4078
40 10.2762 nan 0.1000 -0.0078
60 8.1929 nan 0.1000 -0.0551
80 6.7682 nan 0.1000 -0.0535
100 5.8338 nan 0.1000 -0.0428
120 5.1512 nan 0.1000 -0.0338
140 4.6588 nan 0.1000 -0.0805
150 4.3844 nan 0.1000 -0.0712
Call:
summary.resamples(object = results)
Models: GBM, BSTree
Number of resamples: 9
MAE
Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
GBM 2.194828 2.512245 2.585830 2.551424 2.636735 2.756652 0
BSTree 2.056012 2.390302 2.446238 2.418820 2.524259 2.562767 0
RMSE
Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
GBM 2.810106 3.677513 3.846836 3.757098 4.135887 4.159817 0
BSTree 2.960988 3.519645 3.868196 3.739264 3.949041 4.401665 0
Rsquared
Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
GBM 0.7861411 0.8217587 0.8317381 0.8376878 0.8636515 0.8815625 0
BSTree 0.7726777 0.8225149 0.8456933 0.8372186 0.8540568 0.8992503 0
[1] "Results from the BEST trained model ... ...\n" [1] 2.902 [1] 0.9
In [ ]: