aws

CloudFront FunctionsをテストするOSS、cfftを公開しました

SREチームの藤原です。 今回は Amazon CloudFront Functions をテストするためのOSSとして、cfft というものを書いたので紹介します。 github.com 3行でまとめ CloudFront Functionsのテストは手元ではできなくて面倒です CloudFront Functionsをテストする …

QuickSight向けデータマート構築術 ~ 1:Nカーディナリィ対策編 ~

QuickSight向けデータマートを構築するときに、カーディナリィが1:Nの関係にあるテーブルをJOINしたときに、親側のテーブルのカラムの集計値が正しく算出できないというありがちな問題に関するTips

10/19(木)開催の「AWS for Games Live: これからのゲームデータ分析環境を考える」にSREの池田が登壇します!

「Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた!」というタイトルでカヤックの池田がおはなしをさせていただきます。

常時稼働が不要なRDSインスタンスを停止してAWS料金を節約する

Amazon RDSを7日間以上停止し続けるための仕組みを紹介します。使用していない期間はRDSインスタンスを停止することで、無駄な課金を削減します。

CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda)

カヤックSREの今です。SRE連載8月のエントリーになります。 今回は自動で日時の集計クエリをAmazon CloudWatch Logs Insightsで実行し、結果をAmazon S3に保存する例をご紹介します。

mirage-ecsで各メンバー専用開発サーバーを実現!まちのコインの運用事例を紹介します

開発用のサーバー環境の不足に悩まされたことはありませんか? サッと専用のサーバー環境をセットアップできるツール "mrage-ecs" の初回と、まちのコイン開発チームでの活用例を紹介します。

Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで

AWS Fargateのタスクが時々再起動する必要があることと、自動化による管理の簡素化について解説。定期的にタスクを入れ換えることで、管理上の問題を解決することができます。具体的には、Step FunctionsのAWS SDK統合を使用してシンプルなstate machineを実…

RedshiftとQuickSightの間にあるちょっとした隙間を埋めるツール 『redshift-data-set-annotator』

SREチーム所属の@mashiikeです。皆様 Amazon RedshiftとAmazon QuickSightを使ってますでしょうか?今回は2つのサービスの間に存在しているちょっとした隙間に関しての記事になります。

秘密情報には出どころも書いてくれ!頼む!

誰かが設定した秘密情報の出どころがわからなくて苦労したことがある人からのお願いです。

EKSからECSに移行して開発運用コストの削減を図る

カヤックが運用するサービス「まちのコイン」のアプリケーション基盤を、開発運用コスト削減のためにAmazon EKSからAmazon ECSに移行した事例を紹介します。

ecrm - Amazon ECRから不要イメージを安全に削除するOSSを作った

今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。

ステージング環境における検証用データベースの立ち上げを自動化する取り組み

Webアプリケーションのステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。本記事では、カヤックにおける、この課題への取り組みについて紹介いたします。

「AWS で実践!Analytics Modernization ~事例祭り編~」にSREチームの池田が登壇します

SREチームの長田です。 3月24日(木)に行われるウェビナー「AWS で実践!Analytics Modernization ~事例祭り編~」に、 カヤックのSREチームメンバーである池田が登壇します。 pages.awscloud.com 「Amazon Redshiftを1年運用して感じた教訓とその対策方針」…

RedshiftからAIサービスにアクセスするSUPERな方法

こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは!今年からアナリティクスエンジニア(自称)を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまな…

Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装

こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果を…

CloudFrontのS3 Originにはhostヘッダーを転送してはいけない

SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信す…

MWAAで任意のツールをBashOperatorで実行したい

こんにちは。技術部の自称データエンジニアの池田です。 最近、Amazon Managed Workflows for Apache Airflow (MWAA) を使い倒すことに注力しています。 この記事では、MWAAの環境に任意のツール(バイナリファイル)を送り、BashOperatorで実行する方法につ…

Amazon Managed Workflows for Apache Airflow (MWAA) でのAiflow v2系への移行記録

こんにちは。技術部の池田です。 この記事では、Amazon Managed Workflows for Apache Airflow (MWAA) のAirflow v2系への移行を行いましたので、その時の話をしたいとお思います。 内容としては、主に以下となります。 MWAA では v1.10.12の環境を直接 v2.0…

GitHub Actionsに「強い」AWSの権限を渡したい ~作戦3 - AssumeRole with Google ID Token ~

こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信…

DynamoDB から Redshift へデータ移送する話 (RedshiftのSUPER型の利用事例)

こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift …

Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた

こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…

NuxtJS製のWebサービスをECSに移行したはなし

SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべ…

AWS Lambda Node.js runtime の EoL に疲れたので Go にしていっている話

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか?最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサー…

オリジナルのS3バケットのバックアップシステムをCross Region Replicationに移行したはなし

SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主…

Amazon S3 Signature V2 廃止対応にまつわるあれこれ

SRE チームの藤原です。Tech Kayac Advent Calendar Migration Track 13日目の記事です。 AWS を使っていれば、ほぼ100%なんらかの形で S3 と関わっているでしょう。仮に自分で明示的に S3 にアクセスしなくても、EC2 などのスナップショットは実際には S3 …

opencv-python を AWS Lambda で実行してみた

この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは!技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先…

runc脆弱性に対応するためにうっかりECSからFargateにしました

こんにちは、ソーシャルゲーム事業部ゲーム技研チームの谷脇です。今日は一石n鳥の話、もしくは桶屋が儲かる話をします。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの2日目の記事です。1日目はMongoDBであるメリットが無くなってしまった…

月間1600万PVを誇るECサイトの裏側を聞く!クラシコム×カヤック合同勉強会

こんにちわ、こんばんわ、おはようございます、谷脇です。 今回は、北欧、暮らしの道具店を運営している株式会社クラシコムさんとカヤックで、合同勉強会を行いました。この記事では、その模様をお伝えします。 クラシコムさんの社内勉強会「ヒュッゲ」 クラ…

Lobiの画像変換サーバーをImageFlux+Lambda@Edgeで置き換えたはなし

SREチームの長田です。 先日Lobiの画像変換サーバーをImageFluxに移行したので、その過程を紹介します。 画像変換って? Lobiはチャットを主軸としたコミュニティサービスです。 ユーザーはチャットメッセージに画像を添付することができます。 また、ユーザ…

WEB+DB PRESSでカヤックSREチームによる連載が始まりました!

SREチームの長田です。 先日技術評論社様から発売されたWEB+DB PRESS vol.111にて、 カヤックのSREチームメンバーによる連載が開始されました。 WEB+DB PRESS Vol.111作者: 松田明,y-yagi,佐藤建太,夜道,村田賢太,伊藤英明,見川孝太,新井剛,関陽介,海老原圭…