sre

GoとテストとSDKとGCP

SREチーム(新卒)の市川恭佑です。今回は、Amazon Web Services(AWS)に慣れている開発者がGoogle Cloudを用いた開発において筆者が感じた技術的なギャップについて紹介します。

Mackerelでのアラート対応のためのトイルを削減するツール prepalert

前年のMackerel Advent Calendar 2021 ではSREにおいて大事なSLO/エラーバジェットをMackerelのメトリックとして投稿するツールshimesabaについて話しました。 1年経って、Mackerelを用いたSLI/SLO/エラーバジェットの運用が安定化してくると、次に気になっ…

ecspresso v2とTerraform null_resourceで一発構築

この記事では筆者が開発しているAmazon ECSデプロイツール ecspresso (v2)と、Terraformを組み合わせて、 TerraformによるECS関連リソース作成とecspressoによるECSサービスのデプロイを一発で実行する手法について説明します。

運用中のサービスに負荷試験を導入した事例の紹介

sre

TonamelというWebサービスにおいて負荷試験を導入した事例を紹介します。 このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。

第二回 PR TIMES x カヤック 合同技術勉強会を開催しました

sre

2022年11月11日に、PR TIMESさんとカヤックのエンジニアで、オンライン合同勉強会を開催しました。今回はそのレポートをお送りします。

Terraform管理されたステージング環境・本番環境の差異を検出したくて頑張っている話

sre

ステージング環境はインフラ面でも本番環境と一致しているのが望ましいものの、実際にそうとは限りません。そこで今回はPoC的な段階ではありますが、Terraform管理された2つの環境の差分を自動で検出する試みについて。

EKSからECSに移行して開発運用コストの削減を図る

カヤックが運用するサービス「まちのコイン」のアプリケーション基盤を、開発運用コスト削減のためにAmazon EKSからAmazon ECSに移行した事例を紹介します。

ecrm - Amazon ECRから不要イメージを安全に削除するOSSを作った

今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。

SLI/SLO運用の実践 shimesabaによる指標モニタリング

sre

先月の記事で紹介したエラーバジェット算出ツール『shimesaba』について、今回は実際にどのようにSLI/SLOを運用しているのか?という内容をshimesabaを使った設定例を交えつつ話します。

SLOの運用のために OSS shimesabaの導入

sre

SLOを実践する上で、エラーバジェットはとても大事なものとなります。 そのエラーバジェットをMackerelをお使いの場合に簡単に算出できるツールshimesabaの紹介と具体的な導入方法に関する記事となります。

ステージング環境における検証用データベースの立ち上げを自動化する取り組み

Webアプリケーションのステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。本記事では、カヤックにおける、この課題への取り組みについて紹介いたします。

アジャイル的ドキュメンテーションのこころ

sre

アジャイルでは「包括的なドキュメントよりも動くソフトウェアを」とは言うものの、ドキュメントが重要でないということはありません。コストを削減するための、また自分のためのドキュメンテーションという観点からその重要性について見ていきます。

「SRE NEXT 2022」にSREチームの藤原が登壇します

SREチームの長田です。 5/14(土)・5/15(日)に開催される「SRE NEXT 2022」にカヤックSREチームの藤原が登壇します。 sre-next.dev 「1年間のポストモーテム運用と、そこから生まれたツールsre-advisor」というタイトルでポストモーテムの運用と、 そこから生…

SREチームでポストモーテムを1年半運用してみた

sre

カヤックではSREが関わっている社内の複数プロダクトで、ポストモーテムを2020年末から運用してきました。 社内には多数のプロダクトがあるため、エンジニアは自分が関わっているもの以外の事故や事例に疎くなりがちでした。ポストモーテムの運用を通して、…

「AWS で実践!Analytics Modernization ~事例祭り編~」にSREチームの池田が登壇します

SREチームの長田です。 3月24日(木)に行われるウェビナー「AWS で実践!Analytics Modernization ~事例祭り編~」に、 カヤックのSREチームメンバーである池田が登壇します。 pages.awscloud.com 「Amazon Redshiftを1年運用して感じた教訓とその対策方針」…

既存リソースをTerraformでimportする作業を楽にする

sre

既存のリソースをterraform importする際の作業を楽にする方法として、aws-cliやgcloud-cliの出力を利用して必要な情報を自動生成する手法について紹介します。

カヤックのSREチームについて

sre

複数のサービスを運用しているカヤックで、SREチームがどのような目標を持って活動しているのかを紹介します。

Mackerel関連で2021年にやったことまとめ

SREチームの藤原です。 このエントリは KAYAC Advent Calendar 2021 兼 Mackerel Advent Calendar 2021 の9日目の記事です。 カヤックとMackerelとわたし カヤックで運用している自社サービスやソーシャルゲームでは、サーバの監視に Mackerel を利用してい…

MackerelでSLOとエラーバジェットを運用するためのツール shimesaba

sre

この記事はMackerel Advent Calendar 2021の7日目です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はSLOとエラーバジェットという言葉を聞いたことはありますか? サービスの信頼性を保証することを目標するSRE(Site Reliability Engineer/Site Re…

Amazon ECS タスクのイベントとログを時系列で出す tracer を作った

SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できます…

PR TIMES x カヤック 合同技術勉強会を開催しました

sre

SREチームの藤原です。 2021年11月4日に、PR TIMES さんとカヤックのエンジニアで、オンライン合同勉強会を開催しました。 発端 各社の勉強会文化が消滅した結果、同業者の人と知り合う機会が消滅してしまったので、新卒1,2年目の人が横の繋がりを作ることが…

CloudFrontのS3 Originにはhostヘッダーを転送してはいけない

SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信す…

MWAAで任意のツールをBashOperatorで実行したい

こんにちは。技術部の自称データエンジニアの池田です。 最近、Amazon Managed Workflows for Apache Airflow (MWAA) を使い倒すことに注力しています。 この記事では、MWAAの環境に任意のツール(バイナリファイル)を送り、BashOperatorで実行する方法につ…

Amazon Managed Workflows for Apache Airflow (MWAA) でのAiflow v2系への移行記録

こんにちは。技術部の池田です。 この記事では、Amazon Managed Workflows for Apache Airflow (MWAA) のAirflow v2系への移行を行いましたので、その時の話をしたいとお思います。 内容としては、主に以下となります。 MWAA では v1.10.12の環境を直接 v2.0…

GitHub Actionsに「強い」AWSの権限を渡したい ~作戦3 - AssumeRole with Google ID Token ~

こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信…

カヤック×primeNumber×クラシコム合同SRE勉強会を開催しました

カヤックSREチームの今です。 5/14(金)に3社合同のSRE勉強会をオンライン開催しました。 参加企業は、カヤック、クラシコム様、primeNumber様です。 SREはまだまだ一般的ではなく、知見の少ない役職です。また企業内での人数も少ないこともあり、普段同じ技…

ecspresso advent calendar やってます

こんにちは。激動の2020年ももうすぐおわりですね。SREチームの藤原です。 ecspresso ? 弊社では Amazon ECS のデプロイツールである ecspresso を開発し、OSS で公開しています。 github.com カヤックでは AWS でサーバを運用することが多いため、コンテナ…

bash-lambda-layerのAmazon Linux 2対応をすることを決意した話

sre

こんにちは。技術部の池田です。 この記事では、gkrizek/bash-lambda-layer (以下、本家)を forkしたkayac/bash-lambda-layerに関して話します。 bash-lambda-layerに関しては、こちらを参照いただければわかりやすいと思います。 sfujiwara.hatenablog.co…

Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた

こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…

WEB+DB Press Vol.114 に「マネージドサービスによる既存サーバの再構築」を寄稿しました

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 24日目の記事です。 昨日12/23に発売となった技術評論社さんの WEB+DB Press vol.114 の連載「インフラ運用のアイデア&テクニック」に、「マネージドサービスによる既存サーバの再構築」…