MXNetとAutoGluonの決別 徐々に進行中

はじめに

以前このような記事を書きました。
touch-sp.hatenablog.com
MXNet依存を脱却したAutoGluonの開発が徐々に進行しているようです。

結果の比較

以前のスクリプトを最新のベータ版AutoGluonで実行してみました。
touch-sp.hatenablog.com

前回の結果

                      model  score_test  score_val  ...  stack_level  can_infer  fit_order
0     NeuralNetMXNet_BAG_L1    0.820896   0.642140  ...            1       True         10
1   RandomForestGini_BAG_L1    0.776119   0.642140  ...            1       True          4
2   RandomForestEntr_BAG_L1    0.776119   0.662207  ...            1       True          5
3     ExtraTreesEntr_BAG_L1    0.761194   0.642140  ...            1       True          8
4     ExtraTreesGini_BAG_L1    0.746269   0.638796  ...            1       True          7
5           CatBoost_BAG_L1    0.731343   0.685619  ...            1       True          6
6         LightGBMXT_BAG_L1    0.731343   0.642140  ...            1       True          2
7            XGBoost_BAG_L1    0.731343   0.705686  ...            1       True          9
8    NeuralNetFastAI_BAG_L1    0.686567   0.715719  ...            1       True          1
9       WeightedEnsemble_L2    0.686567   0.719064  ...            2       True         12
10     LightGBMLarge_BAG_L1    0.671642   0.675585  ...            1       True         11
11          LightGBM_BAG_L1    0.656716   0.675585  ...            1       True          3

[12 rows x 12 columns]

今回の結果

                      model  score_test  score_val  pred_time_test  ...  fit_time_marginal  stack_level  can_infer  fit_order
0   RandomForestEntr_BAG_L1    0.776119   0.662207        0.053051  ...           0.610079            1       True          5
1   RandomForestGini_BAG_L1    0.776119   0.642140        0.056565  ...           0.724854            1       True          4
2     ExtraTreesEntr_BAG_L1    0.761194   0.642140        0.071882  ...           0.732620            1       True          8
3     NeuralNetTorch_BAG_L1    0.746269   0.692308        0.036008  ...           2.276078            1       True         10
4     ExtraTreesGini_BAG_L1    0.746269   0.638796        0.053306  ...           0.741648            1       True          7
5           CatBoost_BAG_L1    0.731343   0.685619        0.021846  ...          17.801634            1       True          6
6         LightGBMXT_BAG_L1    0.731343   0.642140        0.029666  ...           0.696466            1       True          2
7            XGBoost_BAG_L1    0.731343   0.705686        0.217578  ...           0.764802            1       True          9
8    NeuralNetFastAI_BAG_L1    0.686567   0.715719        0.870865  ...           4.387436            1       True          1
9       WeightedEnsemble_L2    0.686567   0.719064        1.089817  ...           0.212882            2       True         12
10     LightGBMLarge_BAG_L1    0.671642   0.675585        0.274858  ...           0.820416            1       True         11
11          LightGBM_BAG_L1    0.656716   0.675585        0.028445  ...           0.639373            1       True          3

[12 rows x 12 columns]




残念ながら最も結果の良かった「NeuralNetMXNet_BAG_L1」モデルがなくなってしまいました。


新たに「NeuralNetTorch_BAG_L1」が加えられています。

動作環境

autogluon==0.3.2b20220122
mxnet-cu112==1.9.0
torch==1.10.1+cu113

さいごに

今回のデータを使った検証では結果が悪くなってしまいました。

残念!!