2020年8月21日金曜日

CDP 7.1でAtlasをインストール

›
CDP 7.1でAtlasをインストール Cloudera Data Platform（CDP）7.1.1をインストールし、Atlasを追加する際に必要な作業をメモしておきます。 CDP 7.1.1は２０２０年５月末にGAになりました。...
2019年10月10日木曜日

Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する

›
Intel MKLのようなネイティブな数学ライブラリでSpark機械学習アルゴリズムを加速する 最近、仕事上でSpark MLlibのSVD（特異値分解）でMovieLensの推薦を実装するアプリの性能調査をしております。思った以上遅くて...

HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする

›
HDP3 Hive Warehouse connectorを使ってSparkからHiveテーブルにアクセスする HDP3の環境でSparkからHiveテーブルにアクセスする方法をご紹介します。 HDP以前のバージョンはSpark Hiv...
2019年7月19日金曜日

Druidインストール後、Druid Coordinatorが起動失敗

›
Druidインストール後、Druid Coordinatorが起動失敗 HDP 3.1にDruidを追加し、起動したところ、Druid Coordinatorが以下のエラーにより起動失敗しています。 エラーログ 2019-07-19T...
2019年6月27日木曜日

NiFi1.8からNiFi1.9にアップグレードのメモ

›
NiFi1.8からNiFi1.9にアップグレードのメモ 一つのAmbariでHDP３．１とHDF3.3（NiFiだけを使っている）のクラスタを管理しています。NiFi1.8のPutHive3Streaming関連のメモリリークのバグがある...