Python | 実際のログ解析での bisect と pandas の使い分け

ログ解析の現場では「軽量に処理したい場面」と「複雑な分析をしたい場面」があり、bisect と pandas の得意分野が分かれます。

bisect を使うケース（サーバーログなど）

• 特徴: 標準ライブラリだけで動く、軽量・高速
• 向いている場面:
  • サーバー監視やリアルタイム処理
  • 「特定の時間帯のログをすぐ取り出したい」など単純な範囲検索
  • メモリに収まる程度の小〜中規模ログ
• 例:

import bisect
from datetime import datetime

logs = sorted(log_timestamps)  # ソート済み
start = datetime(2025, 11, 29, 10, 0)
end   = datetime(2025, 11, 29, 11, 0)

s = bisect.bisect_left(logs, start)
e = bisect.bisect_right(logs, end)
subset = logs[s:e]

import bisect
from datetime import datetime

logs = sorted(log_timestamps)  # ソート済み
start = datetime(2025, 11, 29, 10, 0)
end   = datetime(2025, 11, 29, 11, 0)

s = bisect.bisect_left(logs, start)
e = bisect.bisect_right(logs, end)
subset = logs[s:e]

👉 「10:00〜11:00 のログだけ取り出す」といった軽量処理に最適。

pandas を使うケース（分析用データなど）

• 特徴: 表形式で扱える、複雑な条件検索や統計処理に強い
• 向いている場面:
  • 大規模ログ解析（数百万件〜）
  • 複数列を組み合わせた条件検索（例: 時刻＋エラーレベル＋ユーザーID）
  • 集計・統計・可視化を伴う分析
• 例:

import pandas as pd

df = pd.DataFrame({
    "timestamp": log_timestamps,
    "level": log_levels,
    "user": log_users
})

subset = df[df["timestamp"].between("2025-11-29 10:00", "2025-11-29 11:00")]
errors = subset[subset["level"] == "ERROR"]

import pandas as pd

df = pd.DataFrame({
    "timestamp": log_timestamps,
    "level": log_levels,
    "user": log_users
})

subset = df[df["timestamp"].between("2025-11-29 10:00", "2025-11-29 11:00")]
errors = subset[subset["level"] == "ERROR"]

👉 「10:00〜11:00 の ERROR ログをユーザー別に集計」といった複雑な分析に最適。

使い分けの目安

まとめ

• サーバーログのリアルタイム監視や軽量処理 → bisect
• 分析用データの複雑な条件検索や集計 → pandas

👉 実務では「まず軽量にフィルタリング → 必要なら pandas で分析」という二段構えがよく使われます。