カヤック発OSSカタログ - KAYAC Engineers' Blog

SREチームの長田です。

今回は、カヤックのメンバーが業務で使うために開発・公開しているOSSなプロダクトをまとめて紹介しようという企画です。 KAYAC organization以下にあるものだけでなく、在籍中のメンバーが作ったものもひっくるめて、実際に業務で使用しているものを中心に 紹介しています。

以下の3つのカテゴリに分けて記載しています。各カテゴリ内はアルファベット順です。

ツール編
- 人間が手動で実行するもの
アプリケーション編
- どこかに常駐して、イベントを受け取ると動作するもの
ライブラリ編
- ツールやアプリケーションから参照されるもの

集めてみたらそこそこの量になったので、本記事では詳細な説明は省いています。 GitHubリポジトリのURLや関連記事のリンクを併記していますので、より詳しく知りたい場合はそちらを参照ください。

(...) 内はそのプロダクトで使用している主なプログラミング言語です。

ツール編
アプリケーション編
ライブラリ編
まとめ

ツール編

aws-secrets-dumper (Go)

AWS Secrets Manager / AWS Systems Manager Parameter Store の値を、Terraformで管理するためのツールです。既存のリソースをリストアップし、 .tf ファイルとして出力します。

awslim (Go)

awscliのGo実装です。 Python実装の本家と比べて、数倍〜25倍速程度でコマンドを実行できます。

ecspresso (Go)

Amazon ECSにデプロイするためのコマンドラインツールです。カヤックが運用するサービスはほぼこのツールでデプロイされています。

ecsta (Go)

Amazon ECSのタスクに関する様々な操作を行うためのコマンドラインツールです。もともとは ecspresso にあった機能を、責務分離のために単一のツールとして切り出したもの、という経緯があります。作者の藤原曰く、「マネコンがいらないくらい便利」

iam-policy-filder (Go)

AWS Identity & Access Management(IAM)のPolicyから、特定のActionを許可するものを抽出するコマンドラインツールです。たまにある「あるActionが廃止される」「あるActionの許可が細分化される」場合の対応範囲特定に役立ちます。

lambroll (Go)

AWS Lambda版ecspressoとも言うべきデプロイツール。ソースコードの圧縮・アップロード・エイリアス登録など、デプロイに必要な一連の操作が1コマンドで完結します。

setddblock (Go)

DynamoDBでロック管理を行う、分散ロックツール。分散環境での定期実行処理を走らせる場合の排他制御などに力を発揮します。

ssmwrap (Go)

AWS Systems ManagerのParameter Storeに保存された値を環境変数・ファイルにエクスポートした上で任意のコマンドを実行するコマンドラインツールです。環境変数・ファイルという一般的なインターフェイスを利用し、手軽に・手離れ良くParameter Storeを使用することができます。 Goで書かれたアプリケーションからライブラリとして利用することも可能です。

tracer (Go)

Amazon ECSの1タスクに関連するログを時系列順に表示するコマンドラインツールです。「異常終了したタスクの最後のログをtracerで取得しSlackに投げる」仕組みを作ると、原因調査のハードルがぐっと下がるのでおすすめです。

アプリケーション編

cognito-gate (Go)

Amazon Cognitoで認証をかける際の、認証前Lambdaトリガーとして使用するアプリケーションです。ユーザーのメールアドレスを見て、完全一致・ドメイン部一致パターンを設定するだけで手軽に動作させることができます。

gdnotify (Go)

Google Drive内の変更を、Amazon EventBridge経由で受け取るためのアプリケーションで、Lambda functionで動作させることを前提としています。スプレッドシートの変更をトリガーに、何かしらの自動処理をAWS上で実行する際に利用しています。

katsubushi (Go)

分散環境でユニークなIDを発番するアプリケーションです。 ID発番をデータベースに任せたくない場合、例えば水平分割したデータベースにレコードを挿入する場合などに使用しています。 Goのライブラリとしても使用できます。

lamux (Go)

リクエストに使用したドメインの、サブドメイン部分に対応するLambda functionのエイリアスをinvokeします。 Lambda functionで動かすアプリケーションを開発している際に、異なるバージョンのアプリケーションを並行して動作確認する際に使用しています。後に紹介するmirage-ecsのAmazon Lambda版とも言えるでしょう。

let-rds-sleep (Go)

Amazon RDSのインスタンス・クラスタを1週間以上止めておくためのLambda functionです。たまにしか使用しないけど、都度バックアップからリストアするのはめんどくさい・・・ときに使います。

mirage-ecs (Go)

Amazon ECSの 1Task=1環境としてサクッと結合テスト環境を起動するアプリケーション。自分専用の環境をサクッと起動できるので、開発体験が大幅に向上します。

prepalert (Go)

サーバ監視サービスMackerelのアラート発報に、関連情報を追加記録するためのアプリケーションです。きちんと仕込めば、アラート発報時点で障害調査に必要な情報はすでにそろっている状態にできます。

ライブラリ編

他のアプリケーションやツールから利用されるライブラリ類。

ActiveRecord::CursorPager (Ruby)

ActiveRecordで、ページネーションを行うためのライブラリです。ページ番号ではなく、前後のカーソルを指定することで、ページネーションを実現します。地域通貨サービスまちのコインで使用されています。

ActiveAdmin::MenuTree (Ruby)

Ruby on Rails用の管理画面フレームワーク ActiveAdmin の、グローバルメニューをカスタマイズするためのRuby gemです。移住支援サービスSMOUTの運用管理画面で実際に使用されています。

canyon (Go)

Amazon SQSをバックエンドとしたjob queue workerを実装するためのGoライブラリです。 AWS Lambdaで受け付けたリクエストの実処理をバックエンドに回す際などに利用するとよいでしょう。

ecsmeta (Go)

Goで書かれたアプリケーション内から、Amazon ECSメタデータを手軽に利用するためのライブラリです。

fluent plugin各種 (Ruby)

Fluentdのプラグイン群です。社内でのアプリケーション実行環境として主流であるAmazon ECSでは、設定一つでAmazon CloudWatch Logsにログを送信・集約できますが、ログの量が多い場合はFluentdを採用する事が多いです(主にコストの関係上)。

jsonreplace (Go)

JSON Schemaにマッチした部分だけを置換するGoライブラリです。「このログ、値としてはintが正しいんだけどstringとして出力されてるんだよなー」という場合に使います。

go-config (Go)

環境変数をyaml/json/toml内から参照する機能を提供するGoライブラリです。後に紹介するtfstate-lookupの機能も内蔵されています。 CLIインターフェイスもあるので、出力されたyaml/jsonファイルを経由すればGo以外の言語からも利用できます。

カヤックの自社サービスのうち、Goで書かれたもののほとんどで採用されています。

go-genddl (Go)

Goのstructによるテーブル定義からデータベースのスキーマを生成するツールです。 MySQLとSQLite3に対応しています。

go-sqlla (Go)

Go用のクエリビルダです。スキーマ定義からコード生成されたインターフェイスを用いて、型安全にクエリを組み立てることができます。こちらもカヤックの自社サービスの多くで採用されています。

slogutils (Go)

Go言語の標準ライブラリである log/slog の、Middlewareとして使用するライブラリで、ログレベルに応じた色付けを行います。 hashicorp/logutilsのように、ログメッセージ中の文字列 [INFO] [WARN] などを元にログレベルを判別する機能もあり、 log から log/slog へ移行する際にも利用できます。