2019年4月15日月曜日

Apache Arrowメモ

  • このエントリーをはてなブックマークに追加


Arrowが目指していること
メモリ上のデータを効率化することです。

向いていること
大量データの交換
メモリ上のでの大量データの分析処理


速度
シリアライズ、デシリアライズコストが小さいデータフォーマット。各種システムで共通で使う必要があり、各種言語のライブラリも開発中

並列処理
できるだけデータを局所化する配置になっている
OLTPよりOLAPに向いています。
OLTPはECサイトのように行単位の追加、更新、削除処理が多い、RDB
OLAPは列に対する操作(Count, group by)が多い。
Arrowは列志向




Evernote はあなたがすべてを記憶し、手間をかけずに整理できるようにお手伝いします。Evernote をダウンロードする

この記事がお役にたちましたらシェアをお願いします:)

  • このエントリーをはてなブックマークに追加

0 件のコメント:

コメントを投稿