treasuredataのデータの出し入れメモ

出し入れ先が案件によって複数あるのでメモしておく。なお、awsはよく使うけどbigqueryは詳しくないので割愛させて頂きます。

ローカルファイルをtreasureへアップロード

数年前まではwebコンソールから100MB程度のデータはアップロードできた記憶だが（少なっ！！）ひっそりとクローズしたっぽい、そもそもここ数年はコンソールTOPからは遷移先すらなかったから廃止予定だったのだろうと思われる。

~~↓↓コンソールへリダイレクトされ機能していない~~
~~https://console.treasuredata.com/import/file~~

・・・・・と思っていたら場所を変えて、普通にデータコネクタの中にCSVがありました。これを使えばよいらしい。但しデータは軽いのじゃないとダメ見たい（そりゃそうだ）

なので大きなファイルはtdコマンドを使ってimportをする必要がある。これは過去記事にまとめたので見てみてください。

もしかしたらetlツールをodbc接続してcreate tableすれば出来るのかも。めんどくさいので機会があれば試します。

Amazon S3からArm Treasure Dataにデータを直接インポートする方法です。実行にはtoolbeltの事前インストールが必要です。
https://tddocs.atlassian.net/wiki/spaces/PD/pages/1082068/Legacy+Bulk+Import+for+AWS+S3#Downloads

https://tddocs.atlassian.net/wiki/spaces/PD/pages/1082523/Amazon+S3+Import+Integration

ちなみにやったことないけどRedShiftにも直接importできるらしい。

td table:export コマンドでS3にExportできる。実行にはtoolbeltの事前インストールが必要です。
https://tddocs.atlassian.net/wiki/spaces/PD/pages/1083733/Using+Bulk+Export+to+Amazon+S3+Bucket