sre

ecspresso advent calendar やってます

こんにちは。激動の2020年ももうすぐおわりですね。SREチームの藤原です。 ecspresso ? 弊社では Amazon ECS のデプロイツールである ecspresso を開発し、OSS で公開しています。 github.com カヤックでは AWS でサーバを運用することが多いため、コンテナ…

bash-lambda-layerのAmazon Linux 2対応をすることを決意した話

sre

こんにちは。技術部の池田です。 この記事では、gkrizek/bash-lambda-layer (以下、本家)を forkしたkayac/bash-lambda-layerに関して話します。 bash-lambda-layerに関しては、こちらを参照いただければわかりやすいと思います。 sfujiwara.hatenablog.co…

Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた

こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…

WEB+DB Press Vol.114 に「マネージドサービスによる既存サーバの再構築」を寄稿しました

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 24日目の記事です。 昨日12/23に発売となった技術評論社さんの WEB+DB Press vol.114 の連載「インフラ運用のアイデア&テクニック」に、「マネージドサービスによる既存サーバの再構築」…

NuxtJS製のWebサービスをECSに移行したはなし

SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべ…

AWS Lambda Node.js runtime の EoL に疲れたので Go にしていっている話

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか?最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサー…

Push 通知送信エージェント Gunfish に FCM v1 API 対応を追加した

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 17日目の記事です。 Gunfish? カヤックでは iOS (APNs) や Android (FCM、かつては GCM) へのモバイルプッシュ通知に、自社で開発した Gunfish というソフトウェアを使用しているプロジェ…

オリジナルのS3バケットのバックアップシステムをCross Region Replicationに移行したはなし

SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主…

Amazon S3 Signature V2 廃止対応にまつわるあれこれ

SRE チームの藤原です。Tech Kayac Advent Calendar Migration Track 13日目の記事です。 AWS を使っていれば、ほぼ100%なんらかの形で S3 と関わっているでしょう。仮に自分で明示的に S3 にアクセスしなくても、EC2 などのスナップショットは実際には S3 …

ホストのプロビジョニングを Chef から mitamae へ移行した

SRE チームの藤原です。Tech KAYAC Advent Calendar 2019 Upgrade/Migration track 6日目の記事です。 今日は長らく EC2 などのホストのプロビジョニングに利用していた Chef を、mitamae に移行したお話です。 Chef とその管理 Chef といえば、Infrastructu…

fluentdによる通知をRedash/Mackerelに移動させる

ログの監視と通知方法 SREチームの竹田です。Tech Kayac Advent Calendar Migration Track 5日目の記事になります アプリケーションの挙動を監視し、ある閾値を超えたときにだけ通知が欲しい時があります。 ある程度の障害は想定内として頻繁に起きていると…

LobiのCIをJenkinsからCircleCIに移行したはなし

SREチームの長田です。 Tech KAYAC Advent Calendar 2019 4日目の記事です。 今回はLobiで長らくCI実行環境として使用していたJenkinsから、CircleCIに移行したはなしです。 Jenkins時代 jenkins.io 皆様御存知のJenkinsです。 LobiではCI実行のために使用し…

秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで

この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきた…

MongoDBであるメリットが無くなってしまったのでMySQLに移行したはなし

SREチームの長田です。 この記事はTech Kayac Advent Calendar Migration Track 1日目の記事です。 今回はLobiで使用していたMongoDBをMySQLに移行したはなしです。 MongoDBを何に使っていたか DAUなどのKPIレポートや、サービスの状況を把握するための各種…

Lobiの画像変換サーバーをImageFlux+Lambda@Edgeで置き換えたはなし

SREチームの長田です。 先日Lobiの画像変換サーバーをImageFluxに移行したので、その過程を紹介します。 画像変換って? Lobiはチャットを主軸としたコミュニティサービスです。 ユーザーはチャットメッセージに画像を添付することができます。 また、ユーザ…

WEB+DB PRESSでカヤックSREチームによる連載が始まりました!

SREチームの長田です。 先日技術評論社様から発売されたWEB+DB PRESS vol.111にて、 カヤックのSREチームメンバーによる連載が開始されました。 WEB+DB PRESS Vol.111作者: 松田明,y-yagi,佐藤建太,夜道,村田賢太,伊藤英明,見川孝太,新井剛,関陽介,海老原圭…

今年送ったOSSへのPRまとめ

SREチームの鈴木です。 Kayac Advent Calendar 13日目を担当させていただきます。 OSSへの貢献について 弊社では業務時間内にOSSへの貢献について特に制限されていませんので、使っている・導入を検討中のソフトウェアにバグや改善の余地を発見した場合は、…

絶対に真似してはいけない。闇のRedash入門

Lobi事業部データエンジニア(自称)の池田です。 この記事はKAYAC Advent Calendar 2018の4日目です。 Redashとは Redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 以前、本ブログでは、健康的な使用事例を…

Amazon CloudWatchのアラームをMackerelアラートにする仕組み

SREチームの吉村です。 弊社では主にAmazon Web Service(AWS)を使ってサービスを構築、運用しており、そのサービスの監視にMackerelを利用しています。 Amazon CloudWatchのメトリクスのうち主要なものはfluentd(fluent-plugin-cloudwatch、fluent-plugin…

スケーラブル tail -f | grep on AWS

こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事…

RedashとRundeckで安全・安心なサービス運用

Lobiチームの長田です。 今回はLobiチームで使用しているRedashとRundeckというツールについて紹介します。