aws

Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた

こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察…

NuxtJS製のWebサービスをECSに移行したはなし

SREチームの長田です。 Advent Calendar Migration Track 22日目の記事です。 今回は弊社で運用しているLobiというサービスの、Webブラウザ版(Web版)をECSに移行したはなしです。 web.lobi.co なぜ移行したのか おなじみ、Amazon Linux1 EoL対応です。 すべ…

AWS Lambda Node.js runtime の EoL に疲れたので Go にしていっている話

SREチームの藤原です。Tech Kayac Advent Calendar Migration Track 19日目の記事です。いよいよ年も押し詰まってきましたね…! AWS Lambda、使ってますか?最近はサーバーレスという文脈で取り上げられることも多い Lambda ですが、カヤックではそこまでサー…

オリジナルのS3バケットのバックアップシステムをCross Region Replicationに移行したはなし

SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主…

Amazon S3 Signature V2 廃止対応にまつわるあれこれ

SRE チームの藤原です。Tech Kayac Advent Calendar Migration Track 13日目の記事です。 AWS を使っていれば、ほぼ100%なんらかの形で S3 と関わっているでしょう。仮に自分で明示的に S3 にアクセスしなくても、EC2 などのスナップショットは実際には S3 …

opencv-python を AWS Lambda で実行してみた

この記事はTech KAYAC Advent Calendar 2019の8日目の記事です。 こんにちは!技術部の ひめの です。 クライアントワーク事業部のフロントエンドで2年半 → サーバーサイドエンジニアで1年ちょっと働いています。趣味でラーメンを食べ漁っています。 つい先…

runc脆弱性に対応するためにうっかりECSからFargateにしました

こんにちは、ソーシャルゲーム事業部ゲーム技研チームの谷脇です。今日は一石n鳥の話、もしくは桶屋が儲かる話をします。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの2日目の記事です。1日目はMongoDBであるメリットが無くなってしまった…

月間1600万PVを誇るECサイトの裏側を聞く!クラシコム×カヤック合同勉強会

こんにちわ、こんばんわ、おはようございます、谷脇です。 今回は、北欧、暮らしの道具店を運営している株式会社クラシコムさんとカヤックで、合同勉強会を行いました。この記事では、その模様をお伝えします。 クラシコムさんの社内勉強会「ヒュッゲ」 クラ…

Lobiの画像変換サーバーをImageFlux+Lambda@Edgeで置き換えたはなし

SREチームの長田です。 先日Lobiの画像変換サーバーをImageFluxに移行したので、その過程を紹介します。 画像変換って? Lobiはチャットを主軸としたコミュニティサービスです。 ユーザーはチャットメッセージに画像を添付することができます。 また、ユーザ…

WEB+DB PRESSでカヤックSREチームによる連載が始まりました!

SREチームの長田です。 先日技術評論社様から発売されたWEB+DB PRESS vol.111にて、 カヤックのSREチームメンバーによる連載が開始されました。 WEB+DB PRESS Vol.111作者: 松田明,y-yagi,佐藤建太,夜道,村田賢太,伊藤英明,見川孝太,新井剛,関陽介,海老原圭…

Amazon CloudWatchのアラームをMackerelアラートにする仕組み

SREチームの吉村です。 弊社では主にAmazon Web Service(AWS)を使ってサービスを構築、運用しており、そのサービスの監視にMackerelを利用しています。 Amazon CloudWatchのメトリクスのうち主要なものはfluentd(fluent-plugin-cloudwatch、fluent-plugin…

ぼくポケ公式サイトをAWS Lambda@Edgeを使って移行してみました

この記事はTech KAYAC Advent Calendar 2017の1日目の記事です。 昨日に引き続きハイサイ〜! ソーシャルゲーム事業部 で ぼくらの甲子園!ポケット のサーバサイドの担当をしております 谷脇 です。インターネットではマコピーだとか、 mackee だとか @mack…

CloudFront と Lambda@Edge で出来ること

はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、自分の好きなCloudFrontの「Lambda@Edge」について書きます。 Lambda@Edgeとは 基本的にはここに使い方が書いてありますが、 開発者ガイド > AWS Lam…

DynamoDB + Lambda + SSM でテストサーバーをポコポコつくる仕組み

はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、クライアントワークで運用している、テストサイトの仕組みに関して書きます。 「テストサイト」の概要 クライアントワークでは、日々たくさんの案件…

サーバーで付近の情報を通知するサービスのつくり方

こんにちは。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、とある「歩いていると付近の情報が通知されるアプリ」に関して書きます。 「歩いていると付近の情報が通知されるアプリ」のサービス概要 今回は、サー…

サーバーで動画生成するサービスのつくり方

はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、とある動画生成サイトに関して書きます。 動画生成サイトのサービス内容 ユーザーの撮影した写真と、サイト内でいくつかの選択肢を選ぶと、オリジナ…

Lobiで画像のWebp変換による通信量削減と調査のためにAWS Athenaを利用した話

Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontの…

スケーラブル tail -f | grep on AWS

こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事…

Lobiのログ集約・解析のはなし

Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている…

AWS Lambdaを使ってベンチサーバー無しで社内ISUCONを運営したはなし

新人研修担当の長田です。 今年も新人研修の締めとして社内ISUCONを行いました。 昨年はプログラミング基礎の講師をやったのですが、 今年はその実績を買われて(?)社内ISUCONの出題を担当することになりました。 過去のISUCON準備の様子を傍から見ていた身と…

#20 Amazon CloudSearchで検索サジェスト機能を作った話

tech.kayac.com Advent Calendar 2014 20日目を担当する@ken39argです。 近況報告 お久しぶりです。 前回ブログを書いたのが、2012年のアドベントカレンダーでしたので、2年ぶりということになります。 前回のブログの出だしが、 「最近子供が産まれた」 で…

AmazonのMySQLホスティングサービス RDSの利点と欠点

こないだ初めてスノボ体験しました。agoです。 弊社ではAmazon Web サービスを利用してmixi、モバゲーアプリを提供していますが、その中でも今日はRDS(MySQLホスティングサービス)の利点と欠点を紹介したいと思います。 利点 設定が容易 my.cnfを設定せず…