Apache Arrowメモ

Arrowが目指していること

メモリ上のデータを効率化することです。

向いていること

大量データの交換

メモリ上のでの大量データの分析処理

速度

シリアライズ、デシリアライズコストが小さいデータフォーマット。各種システムで共通で使う必要があり、各種言語のライブラリも開発中

並列処理

できるだけデータを局所化する配置になっている

OLTPよりOLAPに向いています。

OLTPはECサイトのように行単位の追加、更新、削除処理が多い、RDB

OLAPは列に対する操作（Count, group by）が多い。

Arrowは列志向

https://www.clear-code.com/blog/2018/9/5.html

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

Druid起動時エラー

AmbariでDruidをインストールして起動すると以下のエラーが出力されます。

resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/java/default/bin/java -cp /usr/lib/ambari-agent/DBConnectionVerification.jar:/usr/hdp/current/druid-historical/extensions/mysql-metadata-storage/mysql-connector-java-8.0.15-1.el7.noarch.rpm org.apache.ambari.server.DBConnectionVerification 'jdbc:mysql://localhost:3306/druid?createDatabaseIfNotExist=true' druid [PROTECTED] com.mysql.jdbc.Driver' returned 1. ERROR: Unable to connect to the DB. Please check DB connection properties.

java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

mysql-connect jarが見つからないためのエラーです。

以下のようにambari-serverコマンド実行する

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.37/mysql-connector-java-5.1.37.jar

ambari-server setup --jdbc-db=mysql --jdbc-driver=<location where you downloaded mysql connector>

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

BeelineでHiveに接続する際のエラー

KerberosされたHadoop環境でbeelineでHiveに接続するときのエラーと対処法をご紹介します。

beeline -u "jdbc:hive2://hostname:10000/default"　で接続する

Error 1

ERROR org.apache.thrift.server.TThreadPoolServer: [HiveServer2-Handler-Pool: Thread-40]: Error occurred during processing of message.java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: Unsupported mechanism type PLAIN

対処法

Kerberosされた環境で接続URLにprincipalを指定する必要がある。

beeline -u "jdbc:hive2://hostname:10000/default;principal=user1@HADOOP"　で接続する

Error 2

Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/default;principal=user1@HADOOP: Kerberos principal should have 3 parts: user1@HADOOP (state=08S01,code=0)

対処法

principalにはuser/hostname@REALM　User、Hostname、Realm３つのPartが必要

Error 3

Caused by: org.ietf.jgss.GSSException: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER)

Caused by: sun.security.krb5.KrbException: Server not found in Kerberos database (7) - LOOKING_UP_SERVER

Caused by: sun.security.krb5.Asn1Exception: Identifier doesn't match expected value (906)

対処法

principalには　hive/hiveserver2_hostname@REALM　のように、user HiveとHiveserver2のホスト名を指定することが必要

beeline -u "jdbc:hive2://192.168.10.154:10000/default;principal=hive/ip-192-168-10-154.ap-northeast-1.compute.internal@HADOOP"

参考

https://community.hortonworks.com/questions/9306/beeline-and-kerberos.html

Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする