Python

スポンサーリンク
Python

Python | 自動化:concurrent.futures

概要(concurrent.futures は「並列処理をいい感じにラップしてくれる道具」)concurrent.futures は、「マルチスレッド」「マルチプロセス」を、初心者でも扱いやすい形にし...
Python

Python | 自動化:マルチプロセス

概要(マルチプロセスは「CPUを増やしてゴリゴリ計算させる」仕組み)前回のマルチスレッドは「待ち時間のあいだに別の仕事をする」話でした。マルチプロセスはもう一歩踏み込んで、「CPU のコアをフルに使っ...
Python

Python | 自動化:マルチスレッド

概要(マルチスレッドは「待ち時間のあいだに、別の仕事を回す」仕組み)Python のマルチスレッドは、「1つのプログラムの中で、複数の“流れ(スレッド)”を同時進行させる」仕組みです。自動化の世界だと...
Python

Python | 自動化:Web API 集計 BOT

概要(Web API 集計 BOT は「データを取って、すぐに意味のある形にするロボット」)Web API 集計 BOT は、単なる「データ収集 BOT」から一歩進んで、「取ってきたデータをその場で集...
Python

Python | 自動化:データ収集 BOT

概要(データ収集BOTは「決まった場所から、決まった情報を黙々と集めてくれるロボット」)データ収集 BOT は、「毎日このサイトの価格をチェック」「このAPIから定期的にデータを取得」といった“繰り返...
Python

Python | 自動化:Selenium ログイン自動化

概要(Selenium ログイン自動化は「ブラウザ操作を人間の代わりにやらせる」)Selenium は「ブラウザをコードで操作するロボット」です。URL を開く、ID・パスワードを入力する、ボタンをク...
Python

Python | 自動化:ファイル変換自動化

概要(「○○を置いたら自動で△△に変換」を型にする)ファイル変換自動化は、「特定のフォルダにファイルを置くだけで、Python が自動で別形式に変えてくれる」仕組みです。例えば、Excel → CSV...
Python

Python | 自動化:PDF 自動生成

概要(PDF自動生成は「レポートや帳票を押印前まで自動で作る」)Python で PDF 自動生成ができると、こんなことができます。日次・月次レポートを PDF で自動出力見積書・請求書・領収書などの...
Python

Python | 自動化:Excel レポート自動作成

概要(「決まった Excel レポート」を毎回ボタン一発にする)Excel レポート自動作成は、「毎月・毎週・毎日、ほぼ同じレイアウトの Excel を作る仕事」をPython に肩代わりさせることで...
Python

Python | 自動化:CSV のクリーニング

概要(CSV のクリーニングは「人力のチェックを Python に任せる」作業)CSV のクリーニングは、ざっくり言うと余計な空白や文字の揺れを揃える数値・日付をちゃんと数値・日付として扱えるように直...
Python

Python | 自動化:API 定期取得

概要(API定期取得は「決まった時間にデータを取りに行くロボット」)API定期取得は、「毎朝9時にレポートAPIを叩く」「10分ごとにセンサーAPIから値を取る」といった処理を Python で自動実...
Python

Python | 自動化:Python バッチ

概要(「決まった処理をまとめてやるスクリプト」がバッチ)ここで言う「Pythonバッチ」は、「人がボタンを押さなくても、決まった処理をまとめて実行するスクリプト」のことです。例えば、毎朝こんなことを勝...
Python

Python | 自動化:cron / タスクスケジューラ

概要(「決まった時間にPythonを勝手に動かす」仕組み)cron(Linux / Mac)やタスクスケジューラ(Windows)は、「毎朝9時にこのPythonスクリプトを実行して」「1時間ごとに定...
Python

Python | 自動化:フォルダ監視

概要(フォルダ監視は「ファイルが増えた瞬間に自動で動く仕組み」)フォルダ監視は、「あるフォルダにファイルが置かれたら、自動で処理を走らせる」ための仕組みです。例としては、ダウンロードフォルダにPDFが...
Python

Python | 自動化:Excel テンプレ自動集計

概要(「決まったExcel」ならPythonで一気に集計できる)毎月・毎店舗・毎担当者から、同じ形式のExcelが集まってきて、それを手でコピペして集計していませんか。「テンプレが決まっているExce...
Python

Python | データ処理:pandas のインデックス管理

概要(インデックス管理は「行ラベルを設計して、選択・結合・時系列操作を安定化」する)pandasのインデックスは“行のラベル”です。単なる番号ではなく、選択(loc)、結合(join/merge)、並...
Python

Python | データ処理:pandas の join

概要(pandas の join は「インデックスで横に結合」する最短ルート)DataFrame.join は、“インデックス”をキーにして横方向(列を増やす)へ結合します。SQL の JOIN に似...
Python

Python | データ処理:フィルタリング

概要(フィルタリングは「欲しい行だけを、短く正確に抜く」ための基本)pandasのフィルタリングは、条件式でTrue/Falseのマスクを作り、Trueの行だけを抽出するのが基本形です。重要なのは「ブ...
Python

Python | データ処理:欠損値可視化

概要(欠損値可視化は「どこで、どれだけ、どう偏っているか」を一目で掴むための入口)欠損値は“壊れたデータ”ではなく“情報が抜けている状態”です。可視化の目的は、列ごとの欠損量、行方向の偏り(特定期間・...
Python

Python | データ処理:正規化

概要(正規化は「値の範囲を揃えて比較・学習を安定化」する前処理)正規化(Normalization)は、特徴量の値を一定の範囲にスケーリングする処理です。最も基本的な手法は Min–Max 正規化で、...
Python

Python | データ処理:データの標準化

概要(標準化は「平均0・標準偏差1」に揃えて、比較と学習を安定させる)データの標準化(Standardization)は、各特徴量を平均0・標準偏差1に変換する処理です。スケールが揃うことで、距離や勾...
Python

Python | データ処理:行列計算

概要(行列計算は「配列の形をそろえて、演算子と線形代数APIに載せる」)NumPyの行列計算は、2次元配列(ndarray)を使って加算・減算・要素積・行列積・転置・逆行列・行列式・固有値・連立方程式...
Python

Python | データ処理:ベクトル演算

概要(ベクトル演算は「配列同士を一発で計算」できる最短ルート)NumPyのベクトル演算は、forループを使わずに配列(一次元配列=ベクトル)をまとめて計算します。足し算・引き算・要素ごとの掛け算、内積...
Python

Python | データ処理:配列計算の高速化

概要(配列計算の高速化は「Pythonのループを捨て、NumPyのベクトル化へ乗り換える」)配列計算の高速化の要は、NumPy配列(ndarray)に処理を寄せることです。Pythonのforループや...
Python

Python | データ処理:numpy random

概要(numpy randomは「乱数で“試す・検証する・生成する”」ための基礎道具)NumPyの乱数は、データのシミュレーション、重みの初期化、サンプリング、シャッフル、ノイズ付与などに使います。初...
Python

Python | データ処理:グラフの保存

概要(グラフの保存は「見せたい品質で出力」を実現する最後の一歩)matplotlib(pandasのplotの裏側)なら、画像形式や解像度、余白、透明背景などを細かく制御して保存できます。初心者は「f...
Python

Python | データ処理:複数グラフの描画

概要(複数グラフは「比較」と「文脈」を一枚で伝えるための基本スキル)複数グラフの描画は、指標の関係や推移を“並べて”見せることで理解を一気に深めます。pandasとmatplotlibを使えば、サブプ...
Python

Python | データ処理:ヒートマップ

概要(ヒートマップは「2次元の表を色で読み解く」最短ルート)ヒートマップは、2次元の数値テーブルを色の濃淡で表現するグラフです。相関(どの列同士が関係強い?)、クロス集計(店舗×月の売上)、時系列のパ...
Python

Python | データ処理:ヒストグラム

概要(ヒストグラムは「値の分布」を一目でつかむための入口)ヒストグラムは、数値データを区間(ビン)に分け、各区間に何件入ったかを棒で表すグラフです。平均や中央値では見えない「偏り」「裾の重さ」「外れ値...
Python

Python | データ処理:散布図

概要(散布図は「2つの変数の関係」を直感で掴むための基本グラフ)散布図は、横軸にX(説明変数)、縦軸にY(目的変数)を置き、各行を点としてプロットします。点の並びから、正の相関・負の相関・無相関、外れ...
スポンサーリンク