Python

スポンサーリンク
Python

Python | 自動化:タイムアウト処理

概要(タイムアウト処理は「いつまでも待たない」ための保険)タイムアウト処理は、「相手(外部サービス・コマンド・ファイル処理など)がいつまでたっても返事してこないときに、一定時間で“もう待つのをやめる”...
Python

Python | 自動化:コルーチン

概要(コルーチンは「途中で一旦止まって、あとで再開できる関数」)コルーチン(coroutine)は、めちゃくちゃざっくり言うと「自分の途中経過(状態)を持ったまま、一旦止まって、あとでそこから再開でき...
Python

Python | 自動化:await / async

概要(async / await は「同時進行のための文法」)async / await は、「Python に“ここは待ち時間だから、その間ほかの仕事をしていいよ”と伝えるための文法」です。asyn...
Python

Python | 自動化:aiohttp

概要(aiohttp は「非同期版 requests」だと思うと入りやすい)aiohttp は、「asyncio と一緒に使うための HTTP クライアントライブラリ」です。雑に言うと、request...
Python

Python | 自動化:非同期 asyncio

概要(asyncio は「1人で同時進行する」仕組み)マルチスレッドやマルチプロセスは「人を増やす」イメージでした。asyncio はちょっと違っていて、「1人なんだけど、待ち時間のあいだに別の作業に...
Python

Python | 自動化:concurrent.futures

概要(concurrent.futures は「並列処理をいい感じにラップしてくれる道具」)concurrent.futures は、「マルチスレッド」「マルチプロセス」を、初心者でも扱いやすい形にし...
Python

Python | 自動化:マルチプロセス

概要(マルチプロセスは「CPUを増やしてゴリゴリ計算させる」仕組み)前回のマルチスレッドは「待ち時間のあいだに別の仕事をする」話でした。マルチプロセスはもう一歩踏み込んで、「CPU のコアをフルに使っ...
Python

Python | 自動化:マルチスレッド

概要(マルチスレッドは「待ち時間のあいだに、別の仕事を回す」仕組み)Python のマルチスレッドは、「1つのプログラムの中で、複数の“流れ(スレッド)”を同時進行させる」仕組みです。自動化の世界だと...
Python

Python | 自動化:Web API 集計 BOT

概要(Web API 集計 BOT は「データを取って、すぐに意味のある形にするロボット」)Web API 集計 BOT は、単なる「データ収集 BOT」から一歩進んで、「取ってきたデータをその場で集...
Python

Python | 自動化:データ収集 BOT

概要(データ収集BOTは「決まった場所から、決まった情報を黙々と集めてくれるロボット」)データ収集 BOT は、「毎日このサイトの価格をチェック」「このAPIから定期的にデータを取得」といった“繰り返...
Python

Python | 自動化:Selenium ログイン自動化

概要(Selenium ログイン自動化は「ブラウザ操作を人間の代わりにやらせる」)Selenium は「ブラウザをコードで操作するロボット」です。URL を開く、ID・パスワードを入力する、ボタンをク...
Python

Python | 自動化:ファイル変換自動化

概要(「○○を置いたら自動で△△に変換」を型にする)ファイル変換自動化は、「特定のフォルダにファイルを置くだけで、Python が自動で別形式に変えてくれる」仕組みです。例えば、Excel → CSV...
Python

Python | 自動化:PDF 自動生成

概要(PDF自動生成は「レポートや帳票を押印前まで自動で作る」)Python で PDF 自動生成ができると、こんなことができます。日次・月次レポートを PDF で自動出力見積書・請求書・領収書などの...
Python

Python | 自動化:Excel レポート自動作成

概要(「決まった Excel レポート」を毎回ボタン一発にする)Excel レポート自動作成は、「毎月・毎週・毎日、ほぼ同じレイアウトの Excel を作る仕事」をPython に肩代わりさせることで...
Python

Python | 自動化:CSV のクリーニング

概要(CSV のクリーニングは「人力のチェックを Python に任せる」作業)CSV のクリーニングは、ざっくり言うと余計な空白や文字の揺れを揃える数値・日付をちゃんと数値・日付として扱えるように直...
Python

Python | 自動化:API 定期取得

概要(API定期取得は「決まった時間にデータを取りに行くロボット」)API定期取得は、「毎朝9時にレポートAPIを叩く」「10分ごとにセンサーAPIから値を取る」といった処理を Python で自動実...
Python

Python | 自動化:Python バッチ

概要(「決まった処理をまとめてやるスクリプト」がバッチ)ここで言う「Pythonバッチ」は、「人がボタンを押さなくても、決まった処理をまとめて実行するスクリプト」のことです。例えば、毎朝こんなことを勝...
Python

Python | 自動化:cron / タスクスケジューラ

概要(「決まった時間にPythonを勝手に動かす」仕組み)cron(Linux / Mac)やタスクスケジューラ(Windows)は、「毎朝9時にこのPythonスクリプトを実行して」「1時間ごとに定...
Python

Python | 自動化:フォルダ監視

概要(フォルダ監視は「ファイルが増えた瞬間に自動で動く仕組み」)フォルダ監視は、「あるフォルダにファイルが置かれたら、自動で処理を走らせる」ための仕組みです。例としては、ダウンロードフォルダにPDFが...
Python

Python | 自動化:Excel テンプレ自動集計

概要(「決まったExcel」ならPythonで一気に集計できる)毎月・毎店舗・毎担当者から、同じ形式のExcelが集まってきて、それを手でコピペして集計していませんか。「テンプレが決まっているExce...
Python

Python | データ処理:pandas のインデックス管理

概要(インデックス管理は「行ラベルを設計して、選択・結合・時系列操作を安定化」する)pandasのインデックスは“行のラベル”です。単なる番号ではなく、選択(loc)、結合(join/merge)、並...
Python

Python | データ処理:pandas の join

概要(pandas の join は「インデックスで横に結合」する最短ルート)DataFrame.join は、“インデックス”をキーにして横方向(列を増やす)へ結合します。SQL の JOIN に似...
Python

Python | データ処理:フィルタリング

概要(フィルタリングは「欲しい行だけを、短く正確に抜く」ための基本)pandasのフィルタリングは、条件式でTrue/Falseのマスクを作り、Trueの行だけを抽出するのが基本形です。重要なのは「ブ...
Python

Python | データ処理:欠損値可視化

概要(欠損値可視化は「どこで、どれだけ、どう偏っているか」を一目で掴むための入口)欠損値は“壊れたデータ”ではなく“情報が抜けている状態”です。可視化の目的は、列ごとの欠損量、行方向の偏り(特定期間・...
Python

Python | データ処理:正規化

概要(正規化は「値の範囲を揃えて比較・学習を安定化」する前処理)正規化(Normalization)は、特徴量の値を一定の範囲にスケーリングする処理です。最も基本的な手法は Min–Max 正規化で、...
Python

Python | データ処理:データの標準化

概要(標準化は「平均0・標準偏差1」に揃えて、比較と学習を安定させる)データの標準化(Standardization)は、各特徴量を平均0・標準偏差1に変換する処理です。スケールが揃うことで、距離や勾...
Python

Python | データ処理:行列計算

概要(行列計算は「配列の形をそろえて、演算子と線形代数APIに載せる」)NumPyの行列計算は、2次元配列(ndarray)を使って加算・減算・要素積・行列積・転置・逆行列・行列式・固有値・連立方程式...
Python

Python | データ処理:ベクトル演算

概要(ベクトル演算は「配列同士を一発で計算」できる最短ルート)NumPyのベクトル演算は、forループを使わずに配列(一次元配列=ベクトル)をまとめて計算します。足し算・引き算・要素ごとの掛け算、内積...
Python

Python | データ処理:配列計算の高速化

概要(配列計算の高速化は「Pythonのループを捨て、NumPyのベクトル化へ乗り換える」)配列計算の高速化の要は、NumPy配列(ndarray)に処理を寄せることです。Pythonのforループや...
Python

Python | データ処理:numpy random

概要(numpy randomは「乱数で“試す・検証する・生成する”」ための基礎道具)NumPyの乱数は、データのシミュレーション、重みの初期化、サンプリング、シャッフル、ノイズ付与などに使います。初...
Python

Python | データ処理:グラフの保存

概要(グラフの保存は「見せたい品質で出力」を実現する最後の一歩)matplotlib(pandasのplotの裏側)なら、画像形式や解像度、余白、透明背景などを細かく制御して保存できます。初心者は「f...
Python

Python | データ処理:複数グラフの描画

概要(複数グラフは「比較」と「文脈」を一枚で伝えるための基本スキル)複数グラフの描画は、指標の関係や推移を“並べて”見せることで理解を一気に深めます。pandasとmatplotlibを使えば、サブプ...
Python

Python | データ処理:ヒートマップ

概要(ヒートマップは「2次元の表を色で読み解く」最短ルート)ヒートマップは、2次元の数値テーブルを色の濃淡で表現するグラフです。相関(どの列同士が関係強い?)、クロス集計(店舗×月の売上)、時系列のパ...
Python

Python | データ処理:ヒストグラム

概要(ヒストグラムは「値の分布」を一目でつかむための入口)ヒストグラムは、数値データを区間(ビン)に分け、各区間に何件入ったかを棒で表すグラフです。平均や中央値では見えない「偏り」「裾の重さ」「外れ値...
Python

Python | データ処理:散布図

概要(散布図は「2つの変数の関係」を直感で掴むための基本グラフ)散布図は、横軸にX(説明変数)、縦軸にY(目的変数)を置き、各行を点としてプロットします。点の並びから、正の相関・負の相関・無相関、外れ...
Python

Python | データ処理:棒+折れ線

概要(棒+折れ線は「量と推移」を一枚で伝える定番の複合グラフ)棒グラフは“量”の比較、折れ線グラフは“推移”や“傾向”の読み取りに向いています。2つを重ねることで「月別売上の量(棒)とユーザー数の推移...
Python

Python | データ処理:グラフの複合化

概要(グラフの複合化は「一枚で複数の視点」を重ねて伝える技)pandasとmatplotlibを組み合わせると、折れ線と棒グラフの重ね合わせ、二重軸、複数サブプロットなどを簡潔に作れます。複合化のポイ...
Python

Python | データ処理:時系列処理の基礎

概要(時系列の“型”を整えて、時間軸で正しく集計・解析する)時系列処理の基礎は、日付や時刻をdatetime型へ変換し、時間順に並べてから「期間集計」「移動統計」「シフトや差分」などの操作を行うことで...
Python

Python | データ処理:rolling

概要(rollingは「直近の一定区間で連続計算する」ための移動窓)pandasのrollingは、直近N件や一定時間幅(例:過去7日など)のデータを“窓”として切り出し、その窓ごとに平均・合計・標準...
Python

Python | データ処理:resample

概要(resampleは「時系列の頻度を変えて、期間ごとに集計・補間する」)pandasのresampleは、時系列データを別の時間間隔(例:日→週、分→時)へ変換するためのメソッドです。ダウンサンプ...
Python

Python | データ処理:datetime 変換

概要(datetime変換は「文字列の日付を“時系列のエンジン”に乗せる最初の一歩」)pandasで日付・時刻を扱うときは、まず文字列をdatetime型へ変換します。datetimeにしておくと、並...
Python

Python | データ処理:dtype

概要(dtypeは「列の型」。正しく揃えると計算・集計・可視化が安定する)pandasのdtype(データ型)は、各列が「数値・文字列・日時・真偽値・カテゴリなどのどれか」を表すラベルです。型がズレて...
Python

Python | データ処理:describe

概要(describeは「列ごとの要約統計を一瞬で確認する」入口)pandasのdescribeは、数値列やカテゴリ列の“基本統計”をまとめて表示するメソッドです。数値なら件数・平均・標準偏差・最小/...
Python

Python | データ処理:ソート sort_values

概要(sort_valuesは「列の値で並べ替えて“見やすく・計算しやすく”する基本操作)pandasのsort_valuesは、指定した列の値を基準にDataFrameを並べ替えるメソッドです。昇順...
Python

Python | データ処理:重複 drop_duplicates

概要(drop_duplicatesは「重複行を安全に取り除いて、件数や集計を正しくする」)pandasのdrop_duplicatesは、DataFrameやSeriesから“重複したデータ”を削除...
Python

Python | データ処理:欠損値 fillna

概要(fillnaは「欠損値を意図した値で埋めて分析を続行する」ための入口)pandasのfillnaは、DataFrameやSeriesに含まれる欠損値(NaN/None/pd.NA)を、固定値・前...
Python

Python | データ処理:lambda と組み合わせ

概要(lambdaは「その場で小さな関数」を作り、データ処理を短く書くための道具)lambda(無名関数)は、名前を付けずに1行で小さな関数を作る仕組みです。短い変換・条件分岐・並べ替えのキー指定など...
Python

Python | データ処理:pandas の apply

概要(applyは「行や列ごとに関数を適用して柔軟に加工する」)pandasのapplyは、SeriesやDataFrameに対して「各要素」「各行」「各列」へ関数を適用するための基本メソッドです。f...
Python

Python | データ処理:loc / iloc

概要(loc/ilocは「行・列の取り出し方が違う」二大基本操作)pandasのlocとilocは、DataFrameから行・列・セルを取り出すための代表的な方法です。locはラベル(行名・列名)で指...
Python

Python | データ処理:melt

概要(meltは「横持ちの列を縦に溶かして整然データへ変換する」)pandasのmeltは、ワイド形式(横持ち)をロング形式(縦持ち)へ変換するためのメソッドです。列として並んだ複数の計測値(例: M...
Python

Python | データ処理:pivot_table

概要(pivot_tableは「集計しながら縦長データを行×列へ再配置する」)pandasのpivot_tableは、Excelのピボットテーブルと同じ発想で「行(index)」「列(columns)...
Python

Python | データ処理:pivot

概要(pivotは「縦長データを横に広げて“見やすい表”に再配置する」)pandasのpivotは、行ラベル・列ラベル・値列を指定して、縦に並んだレコードを「行×列」の表へ並べ替えるメソッドです。Ex...
Python

Python | データ処理:pandas merge

概要(pandas.mergeは「共通キーで行を突き合わせる」SQLライクな結合)pandas.mergeは、2つのDataFrameを共通するキー(列やインデックス)を基準に結合します。SQLのJO...
Python

Python | データ処理:pandas concat

概要(pandas.concatは「複数の表を縦・横にまとめる」ための基本ツール)pandas.concatは、複数のDataFrameやSeriesを連結して1つのDataFrameにまとめる関数で...
Python

Python | データ処理:pandas read_json

概要(pandas.read_jsonは「JSONを表に変換する入口」)pandasのread_jsonは、JSON文字列・ファイル・URLなどを読み込み、分析しやすいDataFrameへ変換する関数...
Python

Python | OOP:クラス単位のテスト

概要(クラス単位のテストは「1つの責務を独立して検証する」)クラス単位のテストは、クラスの公開メソッドと外部との約束を中心に「入れたらこう返る」を独立して確かめる手法です。狙いは、仕様のズレや副作用の...
Python

Python | OOP:コード分割

概要(コード分割は「役割ごとに小さな部品へ分け、見通しと変更を楽にする」)コード分割は、1つの巨大ファイルや巨大クラスに詰め込まず、責務ごとにモジュール・パッケージ・クラスへ分ける設計です。目的は読み...
Python

Python | OOP:単一責任の原則

概要(単一責任の原則は「そのクラスを変える理由をひとつに絞る」)単一責任の原則(Single Responsibility Principle, SRP)は、「クラス(モジュール)が変更される理由はひ...
Python

Python | OOP:デザインパターン(Factory)

概要(Factoryは「作り方をひとまとめにして差し替える窓口」)Factory(ファクトリ)パターンは、オブジェクトの“生成方法”を呼び手から切り離し、共通の窓口にまとめる設計です。呼び手は「何を作...
Python

Python | OOP:デザインパターン(Strategy)

概要(Strategyは「アルゴリズムを入れ替える差し替え口」を用意する設計)Strategy(ストラテジー)パターンは、処理のアルゴリズムを独立した“戦略オブジェクト”に切り出し、実行時に差し替えら...
スポンサーリンク