aws
SREチーム所属の@mashiikeです。皆様 Amazon RedshiftとAmazon QuickSightを使ってますでしょうか？今回は２つのサービスの間に存在しているちょっとした隙間に関しての記事になります。
誰かが設定した秘密情報の出どころがわからなくて苦労したことがある人からのお願いです。
カヤックが運用するサービス「まちのコイン」のアプリケーション基盤を、開発運用コスト削減のためにAmazon EKSからAmazon ECSに移行した事例を紹介します。
今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。
Webアプリケーションのステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。本記事では、カヤックにおける、この課題への取り組みについて紹介いたします。
SREチームの長田です。 3月24日(木)に行われるウェビナー「AWS で実践！Analytics Modernization ～事例祭り編～」に、 カヤックのSREチームメンバーである池田が登壇します。 pages.awscloud.com 「Amazon Redshiftを1年運用して感じた教訓とその対策方針」…
こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは！今年からアナリティクスエンジニア（自称）を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまな…
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果を…
SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信す…
こんにちは。技術部の自称データエンジニアの池田です。 最近、Amazon Managed Workflows for Apache Airflow (MWAA) を使い倒すことに注力しています。 この記事では、MWAAの環境に任意のツール（バイナリファイル）を送り、BashOperatorで実行する方法につ…
こんにちは。技術部の池田です。 この記事では、Amazon Managed Workflows for Apache Airflow (MWAA) のAirflow v2系への移行を行いましたので、その時の話をしたいとお思います。 内容としては、主に以下となります。 MWAA では v1.10.12の環境を直接 v2.0…
こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信…
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift …
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…
SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべ…
SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか？最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサー…
SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主…
SRE チームの藤原です。Tech Kayac Advent Calendar Migration Track 13日目の記事です。 AWS を使っていれば、ほぼ100%なんらかの形で S3 と関わっているでしょう。仮に自分で明示的に S3 にアクセスしなくても、EC2 などのスナップショットは実際には S3 …
この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは！技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先…
こんにちは、ソーシャルゲーム事業部ゲーム技研チームの谷脇です。今日は一石n鳥の話、もしくは桶屋が儲かる話をします。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの2日目の記事です。1日目はMongoDBであるメリットが無くなってしまった…
こんにちわ、こんばんわ、おはようございます、谷脇です。 今回は、北欧、暮らしの道具店を運営している株式会社クラシコムさんとカヤックで、合同勉強会を行いました。この記事では、その模様をお伝えします。 クラシコムさんの社内勉強会「ヒュッゲ」 クラ…
SREチームの長田です。 先日Lobiの画像変換サーバーをImageFluxに移行したので、その過程を紹介します。 画像変換って？ Lobiはチャットを主軸としたコミュニティサービスです。 ユーザーはチャットメッセージに画像を添付することができます。 また、ユーザ…
SREチームの長田です。 先日技術評論社様から発売されたWEB+DB PRESS vol.111にて、 カヤックのSREチームメンバーによる連載が開始されました。 WEB+DB PRESS Vol.111作者: 松田明,y-yagi,佐藤建太,夜道,村田賢太,伊藤英明,見川孝太,新井剛,関陽介,海老原圭…
SREチームの吉村です。 弊社では主にAmazon Web Service（AWS）を使ってサービスを構築、運用しており、そのサービスの監視にMackerelを利用しています。 Amazon CloudWatchのメトリクスのうち主要なものはfluentd（fluent-plugin-cloudwatch、fluent-plugin…
この記事はTech KAYAC Advent Calendar 2017の1日目の記事です。 昨日に引き続きハイサイ〜！ ソーシャルゲーム事業部 で ぼくらの甲子園！ポケット のサーバサイドの担当をしております 谷脇 です。インターネットではマコピーだとか、 mackee だとか @mack…
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、自分の好きなCloudFrontの「Lambda@Edge」について書きます。 Lambda@Edgeとは 基本的にはここに使い方が書いてありますが、 開発者ガイド > AWS Lam…
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、クライアントワークで運用している、テストサイトの仕組みに関して書きます。 「テストサイト」の概要 クライアントワークでは、日々たくさんの案件…
こんにちは。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、とある「歩いていると付近の情報が通知されるアプリ」に関して書きます。 「歩いていると付近の情報が通知されるアプリ」のサービス概要 今回は、サー…
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、とある動画生成サイトに関して書きます。 動画生成サイトのサービス内容 ユーザーの撮影した写真と、サイト内でいくつかの選択肢を選ぶと、オリジナ…
Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontの…
