はじめに 以下の記事で、AWS Glue と Iceberg を用いて分析基盤を作成してみました。 本記事では、この分析基盤に対して 1万〜15万件 のデータを取り込み、以下の観点で検証します。 Glue Job の処理時間（XML パース → Iceberg MERGE）の計測 データ量に対…

はじめに データレイクのテーブルフォーマット Apache Iceberg というものがあると知りました。 Icebergは、大規模な分析テーブル向けの高性能フォーマットです。IcebergはSQLテーブルの信頼性と簡便性をビッグデータにもたらすと同時に、Spark、Trino、Flin…

こんにちは、ENECHANGEのエンジニア深澤です。 現在、AIを活用したソフトウェア設計ドキュメントの生成や整備がどこまで現実的に可能なのか、実験的に模索しています。 本記事では、その取り組みの一例をご紹介していきたいと思います。 背景と課題 多くの開…