Python
Python（パイソン）はプログラミング言語の一種です。最近は機械学習でよく用いられます。ここではPython 3.xを使って統計・機械学習の計算・グラフ描画をします。Rを使った統計・データ解析の姉妹編を目指しています。
[2024-04-07] コード部分をクリックするとクリップボードにコピーされるようにしました。
お品書き
- はじめの前に / PEP 8
- インストール / venvによる仮想環境
- 実行 / Google Colaboratory / EIN（アイン） / Docker / ipynbを公開する方法
- Pythonの初歩 / Collatzの問題 / 配列 / 基数変換 / ゼロ除算
- グローバル変数とローカル変数
- プロット / 図のラスタライズ / seabornによるプロット / Plotly / プロットをデータに
- 棒グラフ・積み重ね棒グラフ / 帯グラフ
- 曲線を描く / 正規分布の密度関数を描く
- ヒストグラム / 都道府県人口のヒストグラム / ドットプロット / ヒストグラムから中央値・分位数とその信頼区間を求める / 2軸グラフ
- 基本統計量 / 2項検定 / 正規分布（中心極限定理も） / さいころと中心極限定理 / t 検定 / Fisherの検定
- データの読み書き / CSVファイルの作法 / 気象庁の「世界の年平均気温偏差」データ / 気象庁の二酸化炭素濃度データ
- datatableによるデータの読み込み / PopplerでPDFを読む / pypdfでPDFを読む / PyMuPDFでPDFを読む / pypdfium2でPDFを読む / DoclingでPDFを読む
- MarkItDownで何でもMarkdownに変換
- pandasによるクエリ（最後に横棒グラフ・Clevelandのドットプロットも追加） / DuckDBでSQL
- 日時
- OpenCVによる画像処理（未完） / OpenCVによる画像の2値化 / OpenCVによる蚊の検知（未完）
- scikit-learnによる機械学習（未完）
- TensorFlow（Keras）による機械学習（未完）
- あやめ（iris）（主成分分析・決定木） / 特異値分解と主成分分析
- パーマーペンギン（palmerpenguins）（箱ひげ図、ストリッププロット、バイオリンプロット、スウォームプロット、シーナプロット）
- Sinaplot（シーナプロット）
- ROC曲線とPR曲線
- ツイッターのフォロワー数の推移をプロット
- メキシカンハット（3Dグラフ、等高線） / 円をたくさん描く
- Web API / 気象庁のアメダスのデータ
- タートルグラフィックス / Tkinterによる簡単なGUI
- FizzBuzz 以前 / 素数の判定 / エラトステネスのふるい
- 並べ替え（整列） / 並べ替え（整列）の時間
- ワードクラウド
- 『改訂第3版 基礎からわかる情報リテラシー』第13章のPython版（改訂第4版にはPython版が含まれています）
- 日本地図
- QRコード / QRコード名刺
- MNIST / MNIST (PyTorch) / EMNIST / ETL文字データベース
Twitter (python-twitter) / Twitter (tweepy)- TwitterのIDの仕組み / Twitterデータ
- Numba
- TALIS 2018 / PISA 2018 / PISA 2022
- NHK世論調査
- 乱数 / 安全な乱数 / 文科省教材：確率モデルのシミュレーション / 円周率をモンテカルロ法で / モンテカルロ法でeを求める / 差分プライバシーとランダマイズド・レスポンス
- 十進多倍長計算 / mpmath / Rumpの例題
- 老衰による死亡率の推移
- Pythonと色
- SymPyによる数式処理
- Bokehによるプロット（未完）
- Pythonからrpy2でRを使う
- Fitbit
- 2019参院選の山田太郎票と山本太郎票
- 情報処理学会の会員数の推移
- 日本人の平均寿命 / 都道府県ごとの平均寿命
- 全国学力テストの都道府県別正答率（2019年版） / 全国学力テストの都道府県別正答率（2021年版） / 全国学力テストの都道府県別正答率（2022年版） / 全国学力テストの都道府県別正答率（2024年版）
- 周産期死亡率
- 白血病罹患率地図
- 標準入力を1行ずつ処理する
- FlickrのURL
- 文字コード / Zipファイルのクラック
- キャッシュレス消費者還元事業登録リストのCSV化
- スクレイピング / HTMLの表のスクレイピング・MultiIndex / 気温のスクレイピング
- Apple Watch / Apple Watchで心電図
- 顔のランドマーク検出 / 顔認識 / DeepFaceによる顔認識
- pygame（書きかけ）
- 身長と体重の関係
- 一括置換 / バイナリ編集
- PythonTeX
- 相関係数 / 回帰 / 気象庁の「世界の年平均気温偏差」データの回帰分析 / ロジスティック回帰
- 選択的夫婦別姓
- ABO血液型
- DeepDream
- Google Flu Trends のプロット
- 歩行中の交通事故の7歳ピーク
- COVID-19関係は2023-05-08ですべて更新を止めました→ 東京都のCOVID-19 / 厚労省のCOVID-19オープンデータ NHKの新型コロナデータ / JHU CSSEのCOVID-19データ / COVID-19 東京のオープンデータ / COVID-19 番外編1 / COVID-19 番外編2 / COVID-19 番外編3 / クルーズ船ダイヤモンド・プリンセス号 / 三重大学のCOVID-19 / 東洋経済のCOVID-19データ / 新型コロナワクチンの接種実績 / WorldometersのCOVID-19表のスクレイピング
- 日本の超過死亡？ （以下は更新をさぼってます→ 東京の超過死亡？ / 大阪市の超過死亡？ / 岩手県の超過死亡？ / 感染研の超過死亡データ）
- COVID-19による死者数
- データの整然化 / データの整然化の例
- NHKニュースのRSS
- 標準入力から3個の整数を読んで・・・
- 時系列のグラフを描く
- Leafletとfolium
- 郵便番号CSV
- 平面曲線を描く / ドラゴンカーブを描く
- PISA「盗難事件」問題のシミュレーション / 待ち行列のシミュレーション
- ドント方式 / アダムズ方式
- 増え方のシミュレーション / SIRモデル
- 正規表現（書きかけ） / 16進をバイト列に
- 統計表における機械判読可能なデータの表記方法
- 探索アルゴリズム
- シーザー暗号 / 情報I試作問題のシミュレーション / 情報I試作問題の回帰・相関・因果
- 仮説検定・p値
- タイタニック号沈没事故
- センター試験モニター調査
- 全国学力テスト模擬データ
- COCOAデータを読む
- ライフゲーム（Game of Life）
- 音
- デバッグ出力
- 誕生日の問題とユニークな識別子
- ハッシュ関数 / チェックディジット
- 出生性比
- マイナンバーカード普及状況
- 最長共通部分列問題
- 平均身長の推移
- 自殺統計
- 人口ピラミッドと男女比（2020年版）
- 安定マッチングの問題 / 接種枠を埋める問題
- 寿命と配偶関係
- Mandelbrot集合
- 接種率とコロナ
- 6□4□5□2□1で0〜35を作る問題
- Exifデータを読む
- 情報I試作問題 第4問
- Webサイトのreferer
- LLM API比較 / OpenAIのAPIを使う / Gemini APIを使う / ClaudeのAPIを使う / xAIのAPIを使う /
- OllamaでローカルLLM / MLXでローカルLLM
- 非推移的さいころ
- Polars（pandasより高速なライブラリ）
- PythonでOCR
- 情報科全教科書用語
- 富の分布
- Webページ監視
- 監視カメラ
- メールを送る
- Blueskyに自動投稿
- JPEGの色数の上限は？
- テキストをPNGに
- ラーメン店と脳卒中
- 大学進学率 / 出生率と合計特殊出生率
- Diffie-Hellmanの鍵共有 / RSA暗号
- 共通テスト（2024年）
- 2024年の東京都知事選 / 2024年の衆議院選
- アクセスログ解析
- Zoom画面をキャプチャー
- 国立大学運営費交付金の推移
- 2025年共通テスト数学Iのデータ分析の問題
- 2025年共通テスト情報IのStanine度数分布
- 一対比較法 / Eloレーティング
- ランダムな文字列をLLMに出力させる
- LLMによる分類
リンク
- Python 3.x documentation
- Matplotlib / pandas / NumPy / SciPy / SymPy / StatsModels / scikit-learn / TensorFlow / PyTorch
- 文科省高等学校情報科の情報I・情報IIの教員研修用教材（本編）はPythonを使っています（必ずしもお手本となるようなPythonコードばかりではありません…かなり酷いです）
- プログラミング演習 Python 2023（京大 喜多先生ほか）
- Pythonプログラミング入門（東大 数理・情報教育研究センター）
- ゼロから学ぶPython（@kaityo256 先生）
- Automate the Boring Stuff with Python
- Python Data Science Handbook
- Jay Alammar さんのサイトは図解が秀逸。例：A Visual Intro to NumPy and Data Representation，邦訳 図解でわかるNumPyとデータ表現
- AtCoderの問題を分類しました（Pythonの大量のサンプルコードを分類）
- Scipy Lecture Notes
- Statistics and Machine Learning in Python
- 機械学習帳（東工大 岡崎直観先生）
- Python for Data Analysis
- Think Python 2e / ThinkPythonの日本語版ページ
- Jake VanderPlas: Python Data Science Handbook（やや古い第1版だけ無料公開）
- An Introduction to Statistical Learning（R版・Python版）
- Abhishek Thakur: Approaching (Almost) Any Machine Learning Problem