Akatsuki Hackers Lab | 株式会社アカツキ(Akatsuki Inc.)

Akatsuki Hackers Labは株式会社アカツキが運営しています。

S3 ExportされたAuroraのデータをAWS Glueを使ってDBに書き戻す

Amazon AuroraのS3エクスポート機能

AuroraのS3エクスポート機能は、DBクラスターの現在のデータやスナップショットのデータをS3にApache Parquet形式で出力する機能です。
Apache Parquet形式は、スキーマ情報を内包している・列志向で分析用途にも適している・高効率な圧縮が可能・複雑なデータ構造にも対応しているといった特徴を備えたデータ形式です。AthenaやRedshift、あるいはBigQueryへの取り込みに利用することができ、これらを使ったDB内のデータ分析が可能になります。

高効率さについての実験として、試しに手元の64GBのクラスタースナップショットをS3エクスポートしてみたところ、出力されたParquetファイルの合計サイズは約4GBと、なんと1/16にも圧縮されました。特に毎日何TBもの大容量データをリージョン外に転送するようなケースではネットワーク転送費が月百万円オーダーになるため、圧縮効率も重要になってきます。

そんなS3エクスポートにも欠点はあります。Aurora自身はParquet形式のデータインポート機能を備えておらず、エクスポートしたデータを読み込めません。*1
とはいえ書き出したデータをAuroraに復元できると有効活用できるシーンもあるため、これをAWS Glueを使うことで簡単に実現できないか検討してみました。

構成

*1:「Aurora S3エクスポート 復元」などのキーワードで検索すると無慈悲にも「復元はできない」と書かれた記事がヒットします。

続きを読む

SIGGRAPH 2023参加レポート

おはようございます!!!!

株式会社アカツキゲームスでクライアントエンジニアしているスーです。

最近の趣味はピクミン4です。

 

今年の8月6日〜10日にロサンゼルスに開催された SIGGRAPH 2023 にXR開発研究部のサポータとして参加してきたので、レポートと感想をお送りします。

SIGGRAPH とは?

SIGGRAPH(シーグラフ)とは、1967年に Sam Matsa 氏がプライベートで開催したInteractive Computer Graphics のセミナーが最初で、1974年から正式にカンファレンスとして開催されているとのことです。

今は毎年夏にアメリカで開催されるコンピュータグラフィックスのトップカンファレンスとなっています。

最新の Computer Graphics(CG) と Interactive Techniques に関した論文と技術がここで発表され、デモの展示がされます。また、CGに関する講義とアニメーションの展示もあるのがポイントです。

一言というと、SIGGRAPH はみんなでCGの話をワイワイするお祭りです!

会場にある大きくて映えるSIGGRAPH文字です。

続きを読む

アカツキゲームスでATLASチームのインターンシップに参加しました

こんにちは。

株式会社アカツキゲームスで ATLAS というチームに所属してゲーム内通貨管理基盤の開発及び運用を行っています、なかひこくん (@takanakahiko) です。 最近は、某メカアクションゲームの発売が待ち遠しくてたまりません。

私の担当するゲーム内通貨管理基盤の開発現場で、インターン生を受け入れました。 ありがたいことに、匿名ではありますが、そのインターン生がブログ向けに参加レポートを書いてくれたので私の方から代理投稿させていただきます。

上記の通り、この記事は代理投稿となります。 投稿者と執筆者は異なるのでご承知ください。

続きを読む

GitHub の merge queue で 「マージ待ち」を解消した話

こんにちは。

株式会社アカツキゲームスで ATLAS というチームに所属してゲーム内通貨管理基盤の開発及び運用を行っています、なかひこくん (@takanakahiko) です。 最近バイクを買いました。

私の担当するゲーム内通貨管理基盤の開発現場では、「マージ待ち」なるものが存在しました。 今回は、その課題を GitHub の新機能である merge queue で解決した方法を紹介します。

続きを読む

Lanyard Sponsorとして協賛したRubyKaigiに行ってきました!

こんにちは、セキュリティチーム所属の小竹(aka tkmru)です。 最近は内製CSPMの運用・開発がメインの仕事になりつつあります。 5/11-13にRubyKaigiに参加してきました。本記事はそのレポートです。

RubyKaigiとは

RubyKaigiは、Rubyコミュニティ主催のRubyに関する国際会議で、毎年開催されています。 今年は長野県の松本での開催でした。 弊社は今年度のRubyKaigiでは、Lanyard Sponsor として、参加者全員が首に掛けるネックストラップを準備させていただきました。

私自身もケース部分に穴を開けストラップ部分と繋げるお仕事をGW前に少し手伝いました。 作成に携わったアカツキゲームスのロゴが入ったネックストラップを会場で皆さんが首から下げているのを見るのは感慨深かったです。

続きを読む