builderscon tokyo 2018 に行ったらコードを書く元気が出た気がする

builderscon.io あのセッションを聞いたから、とかは特に思い当たるものはないんだけど、 builderscon tokyo 2018 に行って以降、コードを書く元気が出てきた。というか復活したという感じがある。 最近はコードを書く時間というのは減っていたんだけど、な…

Mackerel UG × IDCFクラウド UG Meetup で半飛び込み LT してきました

9/11(火) に開催された「Mackerel UG × IDCFクラウド UG Meetup」に参加してきました。 mackerel-ug.connpass.com idcfcloudug.connpass.com タイトルに「半飛び込み」と書いてあるのは、当日に登壇枠を融通いただいたためです(songmu さん調整ありがとうご…

Redash Meetup 3.0.0 で発表した「Hidden gems in Redash」の補足説明

先日のイベントで話した内容について、スライドを公開したものの、英語で書いてしまったせいで誤解を生んでしまうことがあったようなので、改めて日本語でも解説しておきます。 発表資料 speakerdeck.com タイトルについて 「Hidden gems in Redash」。Redas…

Redash Meetup 3.0.0 を開催しました

タイトルのとおりですが、7/9に Redash Meetup 3.0.0 を開催しました。 redash-meetup.connpass.com 今回は LT 枠を削って10分の登壇枠を2つ用意し、約1時間半で4本の登壇をみっちり詰め込んだイベントになりました。 発表内容振り返り Redash の API 活用事…

Redash の複数台構成化その3(worker を別インスタンスにする)

以下の記事の続きです。 ariarijp.hatenablog.com 前置き 前の記事の手順を実行し、Redash と PostgreSQL、Redis をそれぞれ別インスタンスで動作させる環境ができていることを前提とします。 worker を別インスタンスにする worker のインスタンスをセット…

Redash の複数台構成化その2(Redis を別インスタンスにする)

以下の記事の続きです。 ariarijp.hatenablog.com 前置き 前の記事で Redash と PostgreSQL を別インスタンスで動作させる環境ができていることを前提とします。 Redis を別インスタンスにする PostgreSQL に比べ、Redis を別インスタンスにすることは性能に…

Redash の複数台構成化その1(PostgreSQL を別インスタンスにする)

Redash はある程度スペックに余裕を持たせておけば、気を使わなくても1インスタンスで十分運用できるのが良いところではありますが、大量のデータを扱ったり、大量のクエリ実行を受け付けたりするような場合は、複数台での運用を考えたくなる時もあるでしょ…

Redash のクエリ定期実行はどのように実現されているのか

内容は本記事を書いた2018/06/03時点の理解なので、間違っていたら直す。 対象のバージョン Redash 4.0.1 c86423a で確認した。 ざっくり言うと 30秒ごとにクエリの最終取得日時と定期実行の設定を比較し、再実行が必要なものを scheuled_queries キューで実…

Celery を試してみる

Redash を介してお世話になることはあれど、単体で使ったことがなかったので改めて Celery を試してみる。 Homepage | Celery: Distributed Task Queue Python のバージョンは 3.6.5。Celery のバージョンは 4.1.1 を使用した。 Celery とは Celery: Distrib…

Redash のリリースビルドの場所を探す

ここ見ればわかる。 github.com 簡単。 jq はお好みでどうぞ。 $ curl https://version.redash.io/api/releases | jq . % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 3424 100 3424 0 0 4626 …

mozilla/redash_client を使って Redash のクエリを実行する

業務では redash-dynamic-query を使う機会が多いが、Mozilla が公開している mozilla/redash_client も試してみることにした。 github.com 少し調べたところ、Mozilla で使われている STMO という仕組みが Redash で構築されていて、その STMO のクライアン…

Redash Meetup #0.2 - SQL 未経験者向けハンズオンを開催した

主催しているRedash Meetupの企画として SQL 未経験者向けハンズオンを開催しました。 redash-meetup.connpass.com ブログ書くのがずいぶん遅くなってしまったけど、まぁいろいろあった。 進行について SQL 未経験者向けということで、一度でも SQL を書いた…

PHPerKaigi 2018に参加したついでにアンカンファレンスで話してきた

PHPerKaigi 2018に行ってきました 今日はPHPerKaigi 2018に参加してきました。 phperkaigi.jp アンカンファレンスで喋ってきました Track Bの部屋に行ったところ、アンカンファレンスの枠がごっそり空いていたので、スッと参加表明してみました。 PHPでRedas…

Redashのユーザー削除について考える

前提知識 kakakakakku.hatenablog.com github.com 現状のRedashにおけるユーザー削除のTL;DR FK使ってるのでユーザーだけ削除するのはRedashでは難しい ユーザーを無効にするPRとかも出てるけど動きが止まってて今は使えない 考えたこと 前置き Redashでユー…

Redash Meetup #1 を振り返る

すっかりRedashブログになってきたこのブログですが、今回もRedashについての話です。 TL;DR 楽しかった! Redash Meetup #1 を主催した 1年以上前からやりたいと思っていたRedashの情報共有イベントをついに開催することができました。 redash-meetup.connp…

Redash を PyCharm Community Edition でデバッグする

OS X での自分用作業メモ。 ターミナルでの作業 virtualenv で Redash 用の環境を作って、必要な Python モジュールを一通りインストールする。 $ pip2.7 install -U virtualenv $ brew install python --with-berkeley-db4 $ brew unlink python && brew li…

RedashのQuery Resultsデータソースでクエリパラメータを使用したクエリを使用する

なんとなく動いたので作業メモついでの記事。 やりたかったこと Redash 3.0.0の大きな変更点の一つであるQuery Resultsデータソースは現時点でクエリパラメータを使用したクエリを実行できない。 ariarijp.hatenablog.com しかし、業務で使っているRedashで…

Redashを2.0.0から3.0.0にアップグレードした

つい先程、社内で使っているRedashを 2.0.0.b2990 から 3.0.0.b3134 へアップグレードした。 実作業時間は15分ぐらい。作業前リハーサルは1時間ぐらいでできた気がする。 手順は公式ドキュメントのとおり。 How to Upgrade Redash · Redash Help Center $ cd…

Redash Meetup #0.1 ハンズオン振り返り

前回のProblemを中心に簡単に振り返り。 ariarijp.hatenablog.com 前回のProblemと、それに対するアクション ハンズオンの成功を第一の目標にしたため、募集人数を少なめに設定した -> ちょっと増やしたものの、当日不参加も目立った 募集から開催までの時間…

Blazerで異常値検知を試してみる

先日の記事の続きです。 ariarijp.hatenablog.com Blazerで異常値検知も試してみました。 検証に使用したVagrantfileは以下のものです。 github.com vagrant up してBlazerを起動し、ブラウザでアクセスできる状態を前提にします。 サンプルを見てみる Vagra…

表参道.rb #30でBlazerについて調べて発表してきた

得意の当日LT応募で参加してきました。 omotesandorb.connpass.com 発表スライドはこちら。 speakerdeck.com 通勤中にconnpassを見ていて、LTテーマがフリーだったのでRedashっぽいRubyで書かれたBIなんかがあれば話せそう。と思った矢先、Blazerを見つけた…

Redashの開発環境をあえてVagrantで構築する

はじめに Redash は公式ドキュメントでは、開発環境には Docker を使うことを推奨されています。 Guide · Redash Help Center 以前は Redash のリポジトリに Vagrantfile も含まれていましたが、今ではDocker移行を推奨するためか削除されています。 Docker …

Redashについていろいろ調べるときに頭のなかでイメージしている図

draw.ioを試してみたかったので、試してみたついでにメモ。 Flowchart Maker & Online Diagram Software 構成図 間違っているところもあるかもしれないけど、こんな図をイメージしている。 備考 図には書いてないけどRedash ServerはFlask、Redash WorkerはC…

Redashのメモリ使用量を節約する

IaaSが一般化してからメモリで悩むことは減りましたが、それでも無駄は減らしたいものです。 この記事ではRedashのメモリ使用量の節約について紹介します。 前提条件 以下の環境で検証しました。 macOS Sierra 10.12.6 Docker CE 17.09.1-ce-mac42 Redash v3…

Redashで使われているPythonモジュールメモ

Redashのコードを追うときに知っておくとよさそうなモジュールを個人的にメモ。 コミットIDは以下のもので調べたので。バージョン違いなどで差異があると思う。 github.com 依存関係を調べる requirements.txt を読んでいってもいいけど、 pipdeptree が便利…

2017年まとめ

大晦日なので振り返り。早く書いてゆっくり過ごしたいので、箇条書きでざっくり振り返る。 今年やってたこと Redashを去年以上に使うようになった。Redashの活用が進むにつれてインフラ構成を変えたりもした Redash絡みでPythonを書くようになった。今ではど…

Raspberry Pi 2にRedashをインストールする

「Re:dash on Raspbery Pi」という投稿を見かけたので、ちょっとしたお遊びでやってみた。 discuss.redash.io 使用したデバイス ちょっと古いけど検証にはRaspberry Pi 2 Model Bを使用。Raspberry Pi 3でも動くと思う。 Raspberry Pi 2 Model B (2015年2月…

Redash Meetup #0 ハンズオン振り返り

Redash Advent Calendar完走おめでとうございます! qiita.com この記事では、先日開催したRedashのハンズオンイベントの振り返りをします。 redash-meetup.connpass.com 振り返りの方法は定番のKPTでおこなうものとします。 思いついた順に書いているので前…

Redashの長期運用を見据えてクエリの名前付けについて考える

この記事はRedash Advent Calendar 2017 24日目の記事です。 qiita.com Redashのクエリも名前付け重要 Redashはフォーク機能によって、あるクエリをもとにした派生クエリを作成することが簡単になっており、新規クエリもUIから簡単に作成できるため、お手本…

pandashでRedashのAPIが返す結果をPandasのDataFrameとして取得する

今日はRedash Advent Calendar 2017 17日目ですね。 qiita.com mtomitomi.hatenablog.com 上記の記事ではRedashのAPIとPandasを組み合わせる例が紹介されていますが、私も似たようなことをやっているので、この記事では私が実務で使っている方法についても紹…