カヤックSREチームの今です。
5/14(金)に3社合同のSRE勉強会をオンライン開催しました。
参加企業は、カヤック、クラシコム様、primeNumber様です。
SREはまだまだ一般的ではなく、知見の少ない役職です。また企業内での人数も少ないこともあり、普段同じ技術領域について話す人があまりいません。
そこで今回のSRE勉強会は、企業の垣根を越えた知見の共有と同役職者同士の親睦を深めよう、という趣旨で開催されました。
その発表資料と一部を抜粋してご紹介します。
GitHub Actionsに「強い」AWSの権限を渡したい (カヤック 藤原)
terraform applyなどの強い権限を必要とする操作をGitHub Actions等で継続的に実行するためには強い権限をもたせる必要がありますが、セキュリティ上の懸念点も増えることになります。 そこで、強い権限を一時的に渡すため考えた2通りのアプローチを紹介しました。
デプロイ頻度を高めるための自動化と、権限の強いアカウントのクレデンシャルの保護はサービスの信頼に繋がるものなので、悩みの種なのは各社同じなようでした。
GitHub Actionsは便利になる機能が続々リリースされているので、これからの新機能の動向も気になります。
trocco SREチームの概要と取り組みについて(primeNumber 百々さん)
primeNumberで運用しているデータ統合自動化SaaS「trocco」では数多くのデータソースをサポートしており、その特徴から障害の原因も多岐にわたります。 その中、安定して稼働させるためにSREチームが行っている内容を紹介していただきました。
モニタリングやダッシュボードの強化から始まり、エンジニアリングチームを越えてCSチームや営業チームまで幅広く関わって安定稼働のための活動をしているとのことでした。 チームを横断しての活動は座組を組むことが難しいことが多いのですが、しっかり連携して安定性・ユーザーの満足度の向上のための活動が出来ているのが流石でした。
SLI/SLOに関する雑多な悩み(カヤック 池田)
(スライド非公開)
SREチームの活動指標となるSLI/SLOの設定について、カヤックで運営している大会運営サービス「Tonamel」で起きた困り事について紹介しました。
本当にユーザーから見える可用性は計測が難しいのでサーバーのメトリクスをSLIとして利用しますが、サービスの種類によってはメトリクスから算出するものが困難であったり、例としてGraphQLはエラー時に200を返すのでエラーレートをSLIとして扱うのが難しい、などの問題に直面しました。
SLI/SLO設定の難しさとは長い付き合いになりそうです、積極的に会社を越えて知見を共有していきたい話題でした。
北欧、暮らしの道具店のAWSマルチアカウント運用(クラシコム 佐々木さん)
開発の"歴史"により1VPCに本番・ステージング・テスト環境が混在したり、アカウントに過剰な権限が付与されている状態から整理して、マルチアカウントで適切な権限、環境の小分けをしてわかった利点、また苦労したことについて発表していただきました。
発祥不明なリソースが本番環境のすぐ側にあった、などの経験は多くのインフラエンジニアが体験していると思います。確認の手間が増えたり、事故の原因にもなるので恐ろしいですよね。
細かくなったIAMロールが増えて管理が大変になる問題には、AWSコンソールではWeb拡張のAWS Extend Switch Roles、aws-cliにはaws-vaultを利用することで管理を楽にできるとのことです。
aws-vaultは今回初めて知ったのですが、シークレットを.aws/credentials
に平文で書かずOSのkeychainに保存できるのが気持ち的に楽なのでいいなぁとなりました。
発表後には懇親会も開催されました。
おすすめのお酒の話から、発表内容についてもう少し深堀りした内容を話したり、最近行われた弊社の新卒研修についての話をしてみたりした気がします(記憶がない)。
SRE Nextなどの大きいイベントはありましたが、SREとして集まって少人数でより深く話せる会は貴重な時間でした。
AWSアカウントの管理、SLI/SLOの設定についてのあるある話に花を咲かせた初回でした。
また次回の勉強会も企画中なので、また面白い話(あるいはつらかった話)が聞けるのを楽しみにしています。
カヤックでは合同勉強会を開催していただける会社さんを募集しております。興味がありましたら、カヤックお問い合わせフォームまで是非ご連絡ください。
まだまだ業界を通して知見が浅いSREという役職ですが、お互いのサービスをより良くするための情報共有ができると嬉しいです。
また、一緒にお仕事をする仲間も随時募集しています!
https://www.kayac.com/recruit/career
以上、カヤックSREチームの今でした。