ENECHANGE Developer Blog

ENECHANGE開発者ブログ

データ処理の効率化:AIに処理を"させる" vs "書かせる"

はじめに

Energy Marketing Devチームの青木です。今回は、AIエージェントを活用したデータ処理の効率化について、実際の業務で行った検証結果を共有いたします。

検証の背景

私のチームでは、手動でのデータ登録作業が発生することがあります。具体的には、登録の対象となるデータを既存データと照合し、合致するキーを特定のファイルに記述する作業です。

アウトプットの例を載せると下記のようになります。

A:
  area_a:
    provider_a:
      - product_a
      - product_b
    provider_b:
      - product_c
      - product_d
B:
  area_a:
    provider_a:
      - product_a
      - product_b
    provider_b:
      - product_c
      - product_d

従来の手動処理では、データ量が多いほど登録作業に時間がかかり、1〜2日ほどかかることもありました。また、人的ミスのリスクが高く、同じ処理を繰り返す際の効率性が低いという課題がありました。これらの課題を解決するため、AIエージェントを活用したデータ処理の効率化を検証することにしました。

検証の目的

今回の検証では、以下の2つのアプローチの効率性を比較検証しました:

  1. AI直接処理方式: AIエージェントにデータを読み込ませ、直接ファイルを生成してもらう方法
  2. スクリプト生成方式: AIエージェントにデータ処理スクリプトを作成してもらい、それを実行する方法

検証データの詳細

登録対象データ

  • データ量: タスクによって異なる。数行〜数十行のデータ
  • データ構造: 登録対象となるデータ

既存データ

  • データ量: 約8,000行 × 40列
  • データ構造: 既存システムで管理されている標準化されたデータ

出力データ

登録対象データと既存データを照合し、合致するキーを例で示した構造でファイルに記述する。

検証の実施

検証1: AI直接処理方式

1回目のプロンプトの内容

登録対象データのスクショを読み込ませて、以下の処理を行わせました。スクショを採用したのは、登録対象データの形式依存をなくすためです。

1. スクショのキーと合致するものを既存データから探し出す
2. 出力データの例のように、探し出したデータを記述する

1回目のプロンプトの結果

成功した点: 約80%のデータに関しては登録に成功

失敗した点:

  1. 文字認識の問題: カタカナの「カ」と漢字の「力」の混同、伸ばし棒の「ー」と漢数字の「一」の混同など
  2. データ照合の精度問題: 登録対象データに誤りがあっても、既存データから似ているキーを見つけ出して登録してしまう
  3. 処理速度と理解度の問題: エリアごとに分割されている既存データであっても、キーが重複していると、AIはエリアごとでの分割を忘れ、ファイルへの記述順序が守らなくなってしまう

2回目のプロンプトの内容

1回目の問題を改善するため、以下の対応を行いました。

1. スクショから登録対象データのファイルを直接読み込むかたちに変更
2. ファイルへの記述順序を指定
   - 各エリアごとに分割して記述すること
   - 重複しているキーが存在していても、すでに記述済みのエリアは修正しないこと

2回目のプロンプトの結果

文字の認識や読み取りの問題は解消されましたが、ファイルへの記述順序は改善されませんでした。既存データの複雑さとファイル構成内容の分かりにくさが原因だと考えられます。

スクリプト生成に切り替えた理由

AI直接処理方式で1.5時間ほどAIへの指示を詳細に行いましたが、完全な解決には至りませんでした。効率性を重視してスクリプト生成でのアプローチを試すことにしました。

検証2: スクリプト生成方式

使用言語: Ruby(既存システムとの親和性を重視)

使用したプロンプト: AI直接処理方式の時と同様の要件を提示

1. 登録対象データのファイル読み込み
2. 既存データとの照合処理
3. 出力データの例のようなファイル生成
4. 各エリアごとの分割記述

結果

期待していた機能を持つスクリプトが、15分ほどで大体完成しました。その後、データの読み取りの微調整を行って完璧なものが出来上がり、精度・処理効率も問題ありませんでした。

方式選択の重要性

状況に応じて使い分けが必要ですが、難しいデータ処理では、AIに直接処理をさせるより、AIに処理を考えさせてスクリプトに起こす方が効率的です。また、AIへのプロンプトを考えること自体に時間を要するため、時間の効率を考えて方式を選択することも重要です。

今後のステップ

出力データにはさらに複雑な登録形式が存在するので、その形式にも合うような対応をスクリプト生成方式で取り組む予定です。

全体のまとめ

今回の検証を通じて、AIエージェントを活用したデータ処理において、「AI直接処理方式」「スクリプト生成方式」 の使い分けの重要性が明確になりました。

検証で得られた知見

  1. AI直接処理方式 は、単純な処理には適しているが、複雑なデータ処理には時間と精度の面で課題がある
  2. スクリプト生成方式 は、初回の作成に時間がかかるものの、再利用性が高く、処理速度と精度の両面で優れている
  3. 方式選択の判断基準 として、データの複雑性、処理の頻度、時間効率を総合的に考慮することが重要

各方式の効率性比較

  • 手動処理: 1〜2日ほどかかる
  • AI直接処理方式: 1.5時間ほどかかり、完成度は80%程度
  • スクリプト生成方式: スクリプト生成だけで15分ほど、スクリプトを利用してファイルを出力するのも含めて計30分ほどで完了

実務への応用

手動でのデータ登録作業において、従来1〜2日かかっていた作業が30分程度で完了できるようになりました。これは、人的ミスの削減と処理の標準化を同時に実現する大きな成果です。

今後の展望

AI技術の進化に伴い、より効率的な対応が可能になることが期待されます。しかし、現時点では 「適切な方式選択」「人間の判断力」 を組み合わせることで、より適切な業務効率化が実現できることを実感しました。

この記事は、AIエージェント活用リレー形式ブログの一環として執筆されています。