Spark MLで作ったモデルをどうやってStormやFlinkで使うか

Spark MLでトレーニングしたモデルをStormやFlinkで使う方法をメモしておきます。

Storm

https://community.hortonworks.com/questions/24092/how-to-use-spark-mllib-model-in-storm.html

１，PMMLを使う

ただ、この場合はFeature scalingや特徴量変換処理を事前にやる必要があるそうです。

そのかわりに、JPMMLを使う

https://github.com/jpmml/jpmml-storm

2, それでもう一つ方法はStormのコードにSparkのMLlib Jarをインポートして、そのままSpark MLlibのクラスでSpark Modelを呼び出すがあります。

Flink

https://stackoverflow.com/questions/42816766/is-it-possible-to-apply-spark-ml-crossvalidatormodel-into-flink-streaming-data-f

JPMML(on top of PMML)がよく動く!

https://github.com/FlinkML/flink-jpmml

MLeapは非現実的？

https://github.com/combust/mleap

PFAが有望的！

https://berlin-2017.flink-forward.org/index.html%3Fp=2615.html

Flink model serving site

https://cwiki.apache.org/confluence/display/FLINK/FLIP-23+-+Model+Serving

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

Ambari local login

Knox経由でAmbariにログインするときに、常にKnoxの画面が表示されます。

Knoxに何か問題があったら、Ambariにログインできなくなります。

でもAmbariにログインしたいですよね。その場合は、以下のようなURLでKnox経由しなくて、従来のAmbariにログインできます。

http://aaa.bbb.com:8080/#/login/local

URLの後ろにlocalをつけます。

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする