sre

dbtでCIを実現するために、Github ActionsでAWSのVPC越えしたい。

この記事はTech KAYAC Advent Calendar 2023の8日目の記事です。 こんにちわ。その他事業部SREチームの@mashiikeです。 最近、風変わりな記事を連投しているのですが、今回も風変わりです。 ひとことで要約すると、 私は!Github Actionsから!Redshiftにア…

GitHub ActionsでEnvironmentsを使わずにManual approvalを実装する

SREの今です。 CircleCIやGitHub Actions等のCI/CDツールでデプロイの自動化に取り組む際に、意図しない本番反映の防止策として承認アクション(Manual approval)を挟んでおくことがあります。 GitHub Actionsでは、Environmentsを利用することでワークフロー…

AWS Lambda のアクセス許可を紐解く

sre

SREチームの橋本です。SRE連載の11月号になります。 AWSの多くのリソースはIAMでアクセスを一元管理されていますが、Lambdaではユーザーが実行したり他のAWSサービスから実行されたりする都合上、様々なポリシーが絡んでいます。 特に「Lambdaを呼び出す許可…

Zero-ETL integrationの実用を試みた。 しかし、Aurora MySQLの中身の〇〇が多すぎて失敗した。

sre

SREチームの池田です。この記事は、早速Zero-ETL integrationの実戦投入を試してみたという内容です。なお、この記事は失敗事例になりますが、Zero-ETL integrationはとても素晴らしい機能ですので、皆様も是非お使いください。

Google Cloud Operations Suite で実現する "頑張らないオブザーバビリティ"

SRE チームの市川恭佑です。 先日、CloudNative Days Tokyo 2023 のプロポーザルを提出したのですが、残念ながら採択に至らなかったので、今回は宇宙最速の(?)供養エントリになります。 シェア・投票など、ご応援をくださった皆様にはこの場でお礼を申し…

タスクランナーとしてのmakeを使う際の工夫と注意点

sre

make をタスクランナーとして利用する例を紹介します。 タスク定義を共通化する工夫の他に、make を多用した場合の注意点についても触れます。

10/19(木)開催の「AWS for Games Live: これからのゲームデータ分析環境を考える」にSREの池田が登壇します!

「Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた!」というタイトルでカヤックの池田がおはなしをさせていただきます。

OSS 『Prepalert』 の紹介

SRE

SREチームの池田です。この記事が出ている頃には私はSRE Next 2023に参加しているでしょう。私のセッションは『Warningアラートを放置しない!アラート駆動でログやメトリックを自動収集する仕組みによる恩恵』です。このセッション中で話す仕組みはOSS『Pre…

9/29(金)開催のSRE NEXT 2023 IN TOKYOにカヤックSREの池田が登壇します!

SRE NEXT 2023 IN TOKYOにカヤックSREチームの池田が登壇します。 トイルになりがちなWarningアラートの対応改善についてはなします。

常時稼働が不要なRDSインスタンスを停止してAWS料金を節約する

Amazon RDSを7日間以上停止し続けるための仕組みを紹介します。使用していない期間はRDSインスタンスを停止することで、無駄な課金を削減します。

CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda)

カヤックSREの今です。SRE連載8月のエントリーになります。 今回は自動で日時の集計クエリをAmazon CloudWatch Logs Insightsで実行し、結果をAmazon S3に保存する例をご紹介します。

カスタマイズで広がるAWS Copilotの実践力

sre

AWS Copilotの内部ではCloudFormationを使っていますが、最近のアップデートで大幅にCFnテンプレートへのカスタマイズ性が向上しました。本記事ではそのAddon及びオーバーライドの機能について解説します。

mirage-ecsで各メンバー専用開発サーバーを実現!まちのコインの運用事例を紹介します

開発用のサーバー環境の不足に悩まされたことはありませんか? サッと専用のサーバー環境をセットアップできるツール "mrage-ecs" の初回と、まちのコイン開発チームでの活用例を紹介します。

RedshiftのMERGE SQL commandがGAになりましたね。

RedshiftのMERGE SQL commandがGAになったので、趣味人が分厚く語りたいと思います。

Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで

AWS Fargateのタスクが時々再起動する必要があることと、自動化による管理の簡素化について解説。定期的にタスクを入れ換えることで、管理上の問題を解決することができます。具体的には、Step FunctionsのAWS SDK統合を使用してシンプルなstate machineを実…

3/9(木) Google Cloud 主催 Innovators Live Japan に市川が登壇します!

sre

SREチーム(新卒)の市川恭佑です。Google Cloud が主催するオンライン形式のイベント Innovators Live Japan につきまして、この度、3月9日(木)開催のウェビナー「実録!SRE」の1コーナーを担当することになりました。

【解説編】CircleCIからOIDCを用いて安全にGoogle Cloudにアクセスする

sre

SREチーム(新卒)の市川恭佑です。これはカヤックSRE連載の2月号です。CircleCIからGoogle CloudにOIDCでアクセスする方法について、 前回ソースコードを紹介しましたが、今回はこれを深掘りして解説します。

【実践編】CircleCIからOIDCを用いて安全にGoogle Cloudにアクセスする

sre

SREチーム(新卒)の市川恭佑です。これはカヤックSRE連載の1月号です。 みなさんの記憶に新しいと思いますが、先日CircleCIで大きなセキュリティインシデントがありました1。 このインシデントを受けて、環境変数やContextに保存された外部サービスへの認証情…

SRE連載が始まります!

sre

あけましておめでとうございます。SREチーム(新卒)の市川恭佑です。 カヤック技術ブログでは本記事が2023年初エントリですが、Happy Lunar New Year!の方が違和感のない時期になってしまいました。 本年、新たにカヤックSRE連載と題した企画を始めるので、概…

【primeNumber×カヤック】オフライン勉強会を開催しました!

SREチーム(新卒)の市川恭佑です。 2022年12月19日にprimeNumberさんとカヤックのエンジニアで合同勉強会を開催しました。 primeNumberさんとは去年の5月に開催された勉強会でご一緒しましたが、その際はオンライン形式だったのでオフラインでの開催は初めて…

秘密情報には出どころも書いてくれ!頼む!

誰かが設定した秘密情報の出どころがわからなくて苦労したことがある人からのお願いです。

GoとテストとSDKとGCP

SREチーム(新卒)の市川恭佑です。今回は、Amazon Web Services(AWS)に慣れている開発者がGoogle Cloudを用いた開発において筆者が感じた技術的なギャップについて紹介します。

Mackerelでのアラート対応のためのトイルを削減するツール prepalert

前年のMackerel Advent Calendar 2021 ではSREにおいて大事なSLO/エラーバジェットをMackerelのメトリックとして投稿するツールshimesabaについて話しました。 1年経って、Mackerelを用いたSLI/SLO/エラーバジェットの運用が安定化してくると、次に気になっ…

ecspresso v2とTerraform null_resourceで一発構築

この記事では筆者が開発しているAmazon ECSデプロイツール ecspresso (v2)と、Terraformを組み合わせて、 TerraformによるECS関連リソース作成とecspressoによるECSサービスのデプロイを一発で実行する手法について説明します。

運用中のサービスに負荷試験を導入した事例の紹介

sre

TonamelというWebサービスにおいて負荷試験を導入した事例を紹介します。 このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。

第二回 PR TIMES x カヤック 合同技術勉強会を開催しました

sre

2022年11月11日に、PR TIMESさんとカヤックのエンジニアで、オンライン合同勉強会を開催しました。今回はそのレポートをお送りします。

Terraform管理されたステージング環境・本番環境の差異を検出したくて頑張っている話

sre

ステージング環境はインフラ面でも本番環境と一致しているのが望ましいものの、実際にそうとは限りません。そこで今回はPoC的な段階ではありますが、Terraform管理された2つの環境の差分を自動で検出する試みについて。

EKSからECSに移行して開発運用コストの削減を図る

カヤックが運用するサービス「まちのコイン」のアプリケーション基盤を、開発運用コスト削減のためにAmazon EKSからAmazon ECSに移行した事例を紹介します。

ecrm - Amazon ECRから不要イメージを安全に削除するOSSを作った

今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。

SLI/SLO運用の実践 shimesabaによる指標モニタリング

sre

先月の記事で紹介したエラーバジェット算出ツール『shimesaba』について、今回は実際にどのようにSLI/SLOを運用しているのか?という内容をshimesabaを使った設定例を交えつつ話します。