2019年10月10日木曜日

Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する

›
Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する 最近、仕事上でSpark MLlibのSVD（特異値分解）でMovieLensの推薦を実装するアプリの性能調査をしております。思った以上遅くて...

HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする

›
HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする HDP3の環境でSparkからHiveテーブルにアクセスする方法をご紹介します。 HDP以前のバージョンはSpark Hiv...
2019年7月19日金曜日

Druidインストール後、Druid Coordinatorが起動失敗

›
Druidインストール後、Druid Coordinatorが起動失敗 HDP 3.1にDruidを追加し、起動したところ、Druid Coordinatorが以下のエラーにより起動失敗しています。 エラーログ 2019-07-19T...
2019年6月27日木曜日

NiFi1.8からNiFi1.9にアップグレードのメモ

›
NiFi1.8からNiFi1.9にアップグレードのメモ 一つのAmbariでHDP３．１とHDF3.3（NiFiだけを使っている）のクラスタを管理しています。NiFi1.8のPutHive3Streaming関連のメモリリークのバグがある...
2019年6月21日金曜日

MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む

›
MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む 「センサーをラズパイに接続し、MiNiFiでセンサーデータをTailする。そしてNiFiに転送して、NiFiでHDFS, Hiveに書き込む」の手順をご...
1 件のコメント: