基礎から学ぶPython入門 90日コース | Web・API - Day 60:Web/APIプロジェクト

Python 90日で身につけるPython
スポンサーリンク
スポンサーリンク

Python実践レベルになるまでの最短90日ロードマップ Day 60:Web/APIプロジェクト

Day 60では、これまで学んできたWeb・APIの知識をまとめて、1本の「データ収集・分析ツール」として完成させます。今回の流れは、APIからデータを取得し、必要な形へ加工し、CSVやExcelへ保存し、集計し、最後にレポートを作成するところまでです。ここまで来ると、単発のAPIサンプルコードではなく、実際に業務自動化や情報整理に近い形のプログラムを書けるようになります。

今回の段階で最も大切なのは、処理を1つずつ分けて考えることです。初心者の方は、全部を1本の長いコードへ詰め込みがちです。しかし実務では、API取得、データ加工、保存、集計、レポート作成を役割ごとに分けたほうが、圧倒的に読みやすく、直しやすく、再利用しやすくなります。Day 60は、まさにその「小さな実務プロジェクトの作り方」を学ぶ日です。

今回作るプロジェクトの目的

今回は、学習用の公開APIからデータを取得し、次のような流れで1本のツールを作ります。

  • APIからデータを取得することです。
  • 必要な項目だけを取り出して加工することです。
  • CSVへ保存することです。
  • Excelへ保存することです。
  • ユーザーごとの件数などを集計することです。
  • 集計結果をもとに簡単なレポートを作ることです。

今回は初心者向けに、投稿データとユーザーデータを取得し、誰が何件投稿しているかを分析するツールを作ります。題材としては、学習用の公開APIを使う想定です。考え方としては、ニュース、商品、売上、問い合わせ、在庫などに置き換えてもまったく同じです。

Day 60のゴール

  • API取得からレポート作成までの全体像を理解することです。
  • 処理を関数ごとに分ける意味を理解することです。
  • データ加工の重要性を理解することです。
  • CSV保存とExcel保存の違いを理解することです。
  • 集計結果を見やすくまとめる考え方を理解することです。
  • 1本の実践的なミニプロジェクトを完成させることです。

今回のプロジェクト全体像

今回の処理の流れを、まず文章で整理します。

  • 設定を用意することです。
  • APIから投稿データを取得することです。
  • APIからユーザーデータを取得することです。
  • 2つのデータを結び付けることです。
  • 必要な列だけに整理することです。
  • CSVへ保存することです。
  • Excelへ保存することです。
  • ユーザーごとの投稿件数などを集計することです。
  • 集計結果を文章としてレポート化することです。

この流れが見えると、コード全体も理解しやすくなります。

今回扱うデータのイメージ

今回のサンプルでは、次の2種類のAPIデータを使うと考えます。

  • 投稿データです。
  • ユーザーデータです。

投稿データには、たとえば次のような情報があります。

  • 投稿IDです。
  • ユーザーIDです。
  • タイトルです。
  • 本文です。

ユーザーデータには、たとえば次のような情報があります。

  • ユーザーIDです。
  • ユーザー名です。
  • メールアドレスです。
  • 会社名です。

この2つを userId のような共通キーでつなぐと、「どのユーザーがどんな投稿をしたか」を1つの表として扱えるようになります。

なぜこの題材がよいのか

この題材は、Web/API学習の総合練習としてとても優れています。

  • APIを複数回呼ぶ練習になることです。
  • データ統合の練習になることです。
  • 文字列の長さや件数など、簡単な分析がしやすいことです。
  • CSV保存とExcel保存の両方を試しやすいことです。
  • レポート作成まで自然につなげられることです。

使用するライブラリ

今回使う主なライブラリは次の通りです。

  • requests はAPI呼び出しに使います。
  • csv はCSV保存に使えますが、今回は主に pandas でまとめて扱います。
  • pandas は表形式データの加工、集計、CSV保存、Excel保存に使います。
  • openpyxl はExcelファイル保存のために使います。
  • logging はログ出力に使います。
  • pathlib は保存先フォルダの作成に使います。

インストール

まずは必要なライブラリを入れます。

# requests、pandas、openpyxl をインストールする
pip install requests pandas openpyxl

最初に理解したいこと:このプロジェクトは「分析のための前処理」が大切です

初心者の方は、APIから取れたデータをそのまま保存して満足しがちです。しかし実際には、データは取った直後のままだと使いにくいことが多いです。たとえば次のような問題があります。

  • 欲しい列だけに絞れていないことです。
  • ユーザー名と投稿データが別々で見にくいことです。
  • 列名が扱いにくいことです。
  • 集計に必要な項目がまだないことです。

つまり、分析しやすい形へ変える「データ加工」が非常に重要です。

完成形のイメージ

最終的には、次のような成果物ができる状態を目指します。

  • posts_processed.csv という加工済みCSVです。
  • posts_processed.xlsx という加工済みExcelです。
  • summary.csv という集計結果CSVです。
  • report.txt という簡単な分析レポートです。

これができると、「取得しただけ」ではなく、「後で見返せる・共有できる・報告できる」データになります。

ステップバイステップで考える処理設計

設定をまとめる

まずは設定値を1か所へ集めます。これはとても大事です。URLや保存先がバラバラに散らばると、修正が大変になります。

# 設定を返す関数
def get_config():
    # このプロジェクトで使う設定値をまとめて返す
    return {
        "posts_url": "https://jsonplaceholder.typicode.com/posts",
        "users_url": "https://jsonplaceholder.typicode.com/users",
        "output_dir": "output/day60",
        "timeout": 10
    }
Python

APIからデータを取得する

API呼び出しは共通化しておくと便利です。

# requests を読み込む
import requests


# APIからJSONデータを取得する関数
def fetch_json(url, timeout=10):
    # GETリクエストを送る
    response = requests.get(url, timeout=timeout)

    # HTTPエラーがあれば例外にする
    response.raise_for_status()

    # JSONデータを返す
    return response.json()
Python

投稿データとユーザーデータを結び付ける

ここが今回の要です。投稿データだけでは、誰の投稿かわかりにくいので、ユーザー名などを付け加えます。

# 投稿データとユーザーデータを統合する関数
def merge_posts_and_users(posts, users):
    # userId をキーにして、ユーザー情報をすぐ探せる辞書を作る
    user_map = {}

    # 各ユーザーを辞書へ登録する
    for user in users:
        user_map[user["id"]] = user

    # 統合結果を入れるリスト
    merged_rows = []

    # 各投稿を順番に処理する
    for post in posts:
        # 投稿の userId に対応するユーザーを取得する
        user = user_map.get(post["userId"], {})

        # 必要な情報だけをまとめて追加する
        merged_rows.append({
            "post_id": post["id"],
            "user_id": post["userId"],
            "user_name": user.get("name"),
            "email": user.get("email"),
            "company": user.get("company", {}).get("name"),
            "title": post["title"],
            "body": post["body"]
        })

    # 統合結果を返す
    return merged_rows
Python

加工用の列を追加する

分析しやすくするために、タイトル文字数や本文文字数を追加します。

# 加工済みデータを作る関数
def add_analysis_columns(df):
    # タイトル文字数を追加する
    df["title_length"] = df["title"].str.len()

    # 本文文字数を追加する
    df["body_length"] = df["body"].str.len()

    # タイトル先頭20文字を追加する
    df["title_preview"] = df["title"].str[:20]

    # 加工後のDataFrameを返す
    return df
Python

保存する

CSVとExcelへ保存します。Excel保存には openpyxl が必要です。

# pathlib を読み込む
from pathlib import Path


# DataFrame を CSV と Excel へ保存する関数
def save_dataframe(df, output_dir, base_name):
    # 保存先フォルダを作成する
    Path(output_dir).mkdir(parents=True, exist_ok=True)

    # CSV保存先を作る
    csv_path = Path(output_dir) / f"{base_name}.csv"

    # Excel保存先を作る
    excel_path = Path(output_dir) / f"{base_name}.xlsx"

    # CSVへ保存する
    df.to_csv(csv_path, index=False, encoding="utf-8-sig")

    # Excelへ保存する
    df.to_excel(excel_path, index=False)

    # 保存先を返す
    return csv_path, excel_path
Python

集計する

ユーザーごとの投稿件数や平均文字数を出します。

# 集計用DataFrameを作る関数
def summarize_posts(df):
    # user_name ごとに件数や平均文字数を集計する
    summary_df = df.groupby("user_name", as_index=False).agg(
        post_count=("post_id", "count"),
        avg_title_length=("title_length", "mean"),
        avg_body_length=("body_length", "mean")
    )

    # 平均値を小数第2位で丸める
    summary_df["avg_title_length"] = summary_df["avg_title_length"].round(2)
    summary_df["avg_body_length"] = summary_df["avg_body_length"].round(2)

    # 投稿件数の多い順に並べる
    summary_df = summary_df.sort_values(
        by="post_count",
        ascending=False
    )

    # 集計結果を返す
    return summary_df
Python

レポートを作る

最後に、文章で結果をまとめます。これはとても大切です。データを持っているだけではなく、「何がわかったか」を人が読める形にすることで、ツールとしての価値が上がります。

# レポートを作成する関数
def create_report(summary_df, output_dir):
    # レポート保存先を作る
    report_path = Path(output_dir) / "report.txt"

    # 全体件数を取得する
    total_users = len(summary_df)
    total_posts = int(summary_df["post_count"].sum())

    # 一番投稿数が多いユーザーを取得する
    top_user = summary_df.iloc[0]

    # レポート本文を作る
    report_text = f"""データ収集・分析レポート

対象ユーザー数: {total_users}
総投稿数: {total_posts}

最も投稿数が多いユーザー:
- 名前: {top_user['user_name']}
- 投稿数: {int(top_user['post_count'])}
- 平均タイトル文字数: {top_user['avg_title_length']}
- 平均本文文字数: {top_user['avg_body_length']}

ユーザー別集計:
"""

    # 各ユーザーの集計結果を追記する
    for _, row in summary_df.iterrows():
        report_text += (
            f"- {row['user_name']}: "
            f"投稿数={int(row['post_count'])}, "
            f"平均タイトル文字数={row['avg_title_length']}, "
            f"平均本文文字数={row['avg_body_length']}\n"
        )

    # レポートを保存する
    with open(report_path, "w", encoding="utf-8") as f:
        f.write(report_text)

    # 保存先を返す
    return report_path
Python

完成版コード

ここまでの流れを1本のスクリプトへまとめた完成版です。コードにはコメントを入れてあります。

# requests を読み込む
import requests

# pandas を読み込む
import pandas as pd

# logging を読み込む
import logging

# Path を読み込む
from pathlib import Path


# ログ設定を行う
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s %(levelname)s %(message)s"
)


# 設定を返す関数
def get_config():
    # このプロジェクトで使う設定値をまとめる
    return {
        "posts_url": "https://jsonplaceholder.typicode.com/posts",
        "users_url": "https://jsonplaceholder.typicode.com/users",
        "output_dir": "output/day60",
        "timeout": 10
    }


# APIからJSONデータを取得する関数
def fetch_json(url, timeout=10):
    # APIへGETリクエストを送る
    response = requests.get(url, timeout=timeout)

    # HTTPエラーがあれば例外にする
    response.raise_for_status()

    # JSONをPythonのデータとして返す
    return response.json()


# 投稿データとユーザーデータを統合する関数
def merge_posts_and_users(posts, users):
    # ユーザー検索を速くするための辞書を作る
    user_map = {}

    # 各ユーザーを user id をキーにして登録する
    for user in users:
        user_map[user["id"]] = user

    # 統合後データを入れるリスト
    merged_rows = []

    # 各投稿を順番に処理する
    for post in posts:
        # 投稿の userId に対応するユーザーを取得する
        user = user_map.get(post["userId"], {})

        # 必要な情報だけを辞書として追加する
        merged_rows.append({
            "post_id": post["id"],
            "user_id": post["userId"],
            "user_name": user.get("name"),
            "email": user.get("email"),
            "company": user.get("company", {}).get("name"),
            "title": post["title"],
            "body": post["body"]
        })

    # 統合後データを返す
    return merged_rows


# DataFrameへ分析用列を追加する関数
def add_analysis_columns(df):
    # タイトル文字数を追加する
    df["title_length"] = df["title"].str.len()

    # 本文文字数を追加する
    df["body_length"] = df["body"].str.len()

    # タイトル冒頭20文字を追加する
    df["title_preview"] = df["title"].str[:20]

    # 加工済みDataFrameを返す
    return df


# CSVとExcelへ保存する関数
def save_dataframe(df, output_dir, base_name):
    # 保存先フォルダを作成する
    Path(output_dir).mkdir(parents=True, exist_ok=True)

    # 保存先パスを作る
    csv_path = Path(output_dir) / f"{base_name}.csv"
    excel_path = Path(output_dir) / f"{base_name}.xlsx"

    # CSVへ保存する
    df.to_csv(csv_path, index=False, encoding="utf-8-sig")

    # Excelへ保存する
    df.to_excel(excel_path, index=False)

    # 保存先を返す
    return csv_path, excel_path


# ユーザーごとの投稿集計を行う関数
def summarize_posts(df):
    # groupby で user_name ごとに集計する
    summary_df = df.groupby("user_name", as_index=False).agg(
        post_count=("post_id", "count"),
        avg_title_length=("title_length", "mean"),
        avg_body_length=("body_length", "mean")
    )

    # 平均値を小数第2位で丸める
    summary_df["avg_title_length"] = summary_df["avg_title_length"].round(2)
    summary_df["avg_body_length"] = summary_df["avg_body_length"].round(2)

    # 投稿数の多い順に並べる
    summary_df = summary_df.sort_values(
        by="post_count",
        ascending=False
    )

    # 集計結果を返す
    return summary_df


# レポートを作成する関数
def create_report(summary_df, output_dir):
    # レポート保存先を作る
    report_path = Path(output_dir) / "report.txt"

    # 全体件数を計算する
    total_users = len(summary_df)
    total_posts = int(summary_df["post_count"].sum())

    # 投稿数トップのユーザーを取得する
    top_user = summary_df.iloc[0]

    # レポート本文を作成する
    report_text = f"""データ収集・分析レポート

対象ユーザー数: {total_users}
総投稿数: {total_posts}

最も投稿数が多いユーザー:
- 名前: {top_user['user_name']}
- 投稿数: {int(top_user['post_count'])}
- 平均タイトル文字数: {top_user['avg_title_length']}
- 平均本文文字数: {top_user['avg_body_length']}

ユーザー別集計:
"""

    # 各ユーザーの結果を追記する
    for _, row in summary_df.iterrows():
        report_text += (
            f"- {row['user_name']}: "
            f"投稿数={int(row['post_count'])}, "
            f"平均タイトル文字数={row['avg_title_length']}, "
            f"平均本文文字数={row['avg_body_length']}\n"
        )

    # テキストファイルへ保存する
    with open(report_path, "w", encoding="utf-8") as f:
        f.write(report_text)

    # 保存先を返す
    return report_path


# メイン処理
def main():
    try:
        # 設定を取得する
        config = get_config()

        # 開始ログを出す
        logging.info("プロジェクト開始")

        # 投稿データを取得する
        logging.info("投稿データ取得開始")
        posts = fetch_json(config["posts_url"], timeout=config["timeout"])
        logging.info(f"投稿データ取得完了 件数={len(posts)}")

        # ユーザーデータを取得する
        logging.info("ユーザーデータ取得開始")
        users = fetch_json(config["users_url"], timeout=config["timeout"])
        logging.info(f"ユーザーデータ取得完了 件数={len(users)}")

        # データを統合する
        logging.info("データ統合開始")
        merged_rows = merge_posts_and_users(posts, users)
        logging.info(f"データ統合完了 件数={len(merged_rows)}")

        # DataFrameへ変換する
        df = pd.DataFrame(merged_rows)

        # 分析用の列を追加する
        logging.info("データ加工開始")
        df = add_analysis_columns(df)
        logging.info("データ加工完了")

        # 加工済みデータを保存する
        processed_csv, processed_excel = save_dataframe(
            df,
            config["output_dir"],
            "posts_processed"
        )
        logging.info(f"加工済みデータ保存完了 CSV={processed_csv}")
        logging.info(f"加工済みデータ保存完了 Excel={processed_excel}")

        # 集計する
        logging.info("集計開始")
        summary_df = summarize_posts(df)
        logging.info("集計完了")

        # 集計結果を保存する
        summary_csv, summary_excel = save_dataframe(
            summary_df,
            config["output_dir"],
            "summary"
        )
        logging.info(f"集計データ保存完了 CSV={summary_csv}")
        logging.info(f"集計データ保存完了 Excel={summary_excel}")

        # レポートを作成する
        logging.info("レポート作成開始")
        report_path = create_report(summary_df, config["output_dir"])
        logging.info(f"レポート作成完了 path={report_path}")

        # 完了メッセージを表示する
        print("プロジェクトが完了しました")
        print(f"加工済みCSV: {processed_csv}")
        print(f"加工済みExcel: {processed_excel}")
        print(f"集計CSV: {summary_csv}")
        print(f"集計Excel: {summary_excel}")
        print(f"レポート: {report_path}")

    except requests.exceptions.RequestException as e:
        # API通信系エラーを表示する
        logging.error(f"APIエラー: {e}")
        print(f"APIエラーが発生しました: {e}")

    except Exception as e:
        # その他の予期しないエラーを表示する
        logging.error(f"予期しないエラー: {e}")
        print(f"予期しないエラーが発生しました: {e}")


# このファイルが直接実行されたときだけ main() を動かす
if __name__ == "__main__":
    main()
Python

この完成版で学ぶべきこと

  • main関数は処理の流れだけを読む場所になっていることです。
  • API取得、統合、加工、保存、集計、レポート作成が分離されていることです。
  • 途中結果をCSVとExcelの両方で残していることです。
  • 集計結果をさらにレポートへ変換していることです。

各工程をもう少し深掘りして理解する

API取得で大事なこと

  • タイムアウトを付けることです。
  • raise_for_status() でHTTPエラーを見逃さないことです。
  • 取得件数をログに残すことです。

API取得は、成功して当たり前ではありません。通信失敗、相手サーバーエラー、JSON形式の変化などが起こる前提で考えるべきです。

データ加工で大事なこと

  • 必要な列だけに絞ることです。
  • あとで集計しやすい列を追加することです。
  • 列名をわかりやすく整えることです。

初心者の方は、加工を軽く見がちですが、分析のしやすさはここで大きく変わります。

CSV保存とExcel保存の違い

  • CSVは軽くて扱いやすいことです。
  • Excelは見やすく、共有しやすいことです。
  • CSVはシステム連携向き、Excelは人間確認向きと考えるとわかりやすいです。

つまり、両方出すと「機械にも人にも優しい」成果物になります。

集計で大事なこと

  • 何を知りたいかを最初に決めることです。
  • 件数、平均、最大、最小などの基本指標から始めることです。
  • いきなり複雑な分析をしないことです。

初心者の段階では、まず「件数を数える」「平均を出す」だけでも十分立派です。

レポート作成で大事なこと

  • 数字だけで終わらず、文章で意味づけすることです。
  • 誰が読んでもわかる書き方にすることです。
  • 一番重要な結果を最初に書くことです。

レポートは、データの見た目を整えるだけではありません。「この結果から何が言えるか」を伝える役割があります。

初心者が特につまずきやすいポイント

  • API取得から保存までを1つの関数に全部書いてしまうことです。
  • データ加工をせず、そのまま集計しようとして列が扱いにくくなることです。
  • CSV保存だけで満足し、集計やレポートまで進まないことです。
  • Excel保存に必要な openpyxl を入れ忘れることです。
  • ログを残さず、どこで失敗したか追いにくくなることです。
  • 列名の意味をあいまいなまま進めることです。

特に重要な注意点

公開APIでも取得ルールを意識することです

今回は学習用の公開APIを想定していますが、実際の業務では、APIの利用規約、レート制限、認証方式などを必ず確認する必要があります。

個人情報や秘密情報の扱いに注意することです

APIキー、Bearer Token、メールアドレス、顧客情報などを扱う場合は、ログやレポートへ無造作に出さないことが重要です。

「とりあえず動く」より「後で直しやすい」を意識することです

Day 60ではここが特に大事です。短いコードで済ませることより、役割ごとに分けて読みやすくすることのほうが、実践レベルでは価値があります。

初心者向けの最小テンプレート

もし完成版が長く感じる場合は、まずは次の最小版から始めてもよいです。

# requests と pandas を読み込む
import requests
import pandas as pd


# APIから投稿一覧を取得する
posts = requests.get(
    "https://jsonplaceholder.typicode.com/posts",
    timeout=10
).json()

# DataFrameへ変換する
df = pd.DataFrame(posts)

# 先頭5件を表示する
print(df.head())

# CSVへ保存する
df.to_csv("posts.csv", index=False, encoding="utf-8-sig")
Python

この小さなコードでも、「取得 → 表へ変換 → 保存」の流れは体験できます。その後で、ユーザー統合、集計、レポートへ広げると理解しやすいです。

Day 60の仕上げ課題

  • 完成版コードをそのまま動かして、成果物ファイルを確認することです。
  • 投稿データとユーザーデータを統合する流れを、自分の言葉で説明することです。
  • title_length と body_length を追加する意味を説明してみることです。
  • 集計項目を1つ追加することです。たとえば最大本文文字数などです。
  • レポート本文に「投稿件数トップ3」を追加してみることです。
  • 保存先フォルダ名やファイル名を変えて再実行してみることです。
  • CSVだけ保存する版、Excelだけ保存する版も試して違いを確認することです。

Day 60で覚えるべき最重要ポイントの整理

  • Web/APIプロジェクトは、取得、加工、保存、集計、レポート作成に分けて考えると整理しやすいです。
  • APIから取った生データは、そのままでは使いにくいことが多いため、加工が重要です。
  • 複数APIのデータは、共通キーで結び付けると価値が上がります。
  • CSV保存は軽くて扱いやすく、Excel保存は見やすく共有しやすいです。
  • 集計では、件数や平均など基本指標から始めると理解しやすいです。
  • レポートは、数値を人が読める形へ変える大切な工程です。
  • 処理を関数ごとに分けることで、読みやすく、直しやすいプロジェクトになります。

ここまでで身についた力

Day 60まで到達すると、次のような力がかなり身についています。

  • WebページやAPIからデータを取得する力です。
  • 必要な情報だけを抜き出して整える力です。
  • CSV、JSON、SQLite、Excelなどへ保存する力です。
  • 複数データを統合する力です。
  • 分析しやすい形へ前処理する力です。
  • 簡単な集計とレポート作成を行う力です。

これは、単なる文法学習ではなく、かなり実務に近い力です。

次につながる学び

Day 60ができるようになると、次はさらに実践的な方向へ進みやすくなります。

  • 定期実行して毎日データを収集することです。
  • SQLiteへ蓄積して時系列比較することです。
  • グラフを自動生成することです。
  • メールやチャットへ自動通知することです。
  • 複数APIやスクレイピング結果をまとめて分析することです。
タイトルとURLをコピーしました