Goodな生活

経済学→環境コンサル→データサイエンティスト

北海道・大雪山で学んだ登山道整備の意義

2021年7月~9月にかけて北海道・大雪山での登山道整備プログラムに参加しました。 登山道整備とは 大雪山での登山道整備に参加した経緯 登山道整備プログラムの内容とスケジュール オンライン講習の振り返り 大雪山の登山道浸食と管理体制の課題 近自然工法と…

実験計画法(5)2水準の直交表

直交表とは 実験に用いる因子の数が多くなると、水準との組み合わせの数が増え、必要な実験回数が増えてしまう。例えば因子が10個、水準が2つの場合、因子と水準との組み合わせの数はとなり、少なくとも回の実験が必要になってしまう。企業の製品開発などで…

【2021年7月】統計検定準1級の受験振り返り

統計検定を受験しました 試験の手ごたえ やったこと これからやること CBT方式が始まってた 統計検定を受験しました 先月6月21日(日)統計検定準1級を受けてきました。2020年の試験が新型コロナウイルス対策のため中止になり、今年の受験に向けてゆるゆると…

実験計画法(4)分割法

分散分析、乱塊法に引き続き実験計画法についてのメモ。 分割法の考え方 完全無作為法による1次因子の繰り返し 乱塊法による1次因子の繰り返し 分割法の検定精度 参考文献 分割法の考え方 あるコーヒー農園で次のような実験を行う。3つの品種(A,B,C)と2つ…

実験計画法(3)乱塊法

乱塊法の構造式(モデル) 乱塊法の検定精度 参考文献 乱塊法の構造式(モデル) 乱塊法では実験条件が同一であるブロック因子を、実験結果に影響を与える1つの因子だと考える。分散分析の構造式にブロック因子を足せばよい。一元配置分散分析の構造式は、 …

実験計画法(2)分散分析

分散分析とは 一元配置分散分析 構造式(モデル) 帰無仮説 検定統計量の算出 水準ごとの平均値の点推定 (補足)TSS = BSS + WSSの証明 二元配置分散分析 構造式(モデル) 分散分析表 帰無仮説と検定統計量 参考文献 分散分析とは 分散分析は実験計画法の1…

実験計画法(1)フィッシャーの三原則と乱塊法

実験計画法 フィッシャーの実験の3原則 3原則を満たす乱塊法のイメージ 実験計画法 実験計画法(experimental design)とは、取り上げる対称についての結果とそれに影響しそうな要因との関係を調べるため、時間・コスト等の制約を考慮しながら計画的に実験を…

マルコフ連鎖

推移確率行列 定常分布 確率推移のイメージ 極限分布 MCMC メトロポリス法 推移確率行列 確率変数がマルコフ連鎖であるとき、1期前の状態のみに依存し、それ以前の状態には依存しないことを意味する。過去のすべての履歴が直前の状態に集約される、とも言え…

ベイズ判別

条件付き確率とベイズの定理 正規分布のベイズ判別 判別関数 参考文献 条件付き確率とベイズの定理 ベイズ判別の基本的な考え方はベイズの定理に基づく。例えばある患者の発熱という症状について風邪かインフルエンザのどちらの原因で生じたかを判断したいと…

サポートベクターマシン

線形判別ではデータの平均ベクトルや分散共分散行列を用いて判別法を構成した。サポートベクターマシンはこれらの判別法とは全く異なる考え方に基づく。 サポートベクターマシン(SVM) 最適化問題の立式 サポートベクターマシン(SVM)のカーネル法 高次元…

クラスター分析(階層型分類法の基本事項)

クラスター分析は異なる性質が混ざった多数の個体を、個体間の類似度に基づいて似たものの集まり(クラスター)を作るための手法。判別分析ではどの群に属するかがあらかじめわかっているデータに基づいて判別関数(判別方法)を構成したのに対し、クラスタ…

判別分析(2)マハラノビスの距離

フィッシャーの線形判別関数は、青(1群)と赤(2群)から観測されたデータを、変数の線形結合で表される軸上へ射影し、それぞれの群の分離度を表す群間分散と、各群内のデータのばらつき度合いを示す郡内分散の比を最大にする軸(直線)を最適な射影軸とす…

判別分析(1)線形判別関数

線形判別分析 判別分析の目的は量的なデータを元に質的な結果を予想すること。例えば身長や体重、血圧といった量的なデータを元に、その人が健康か不健康かを判断する。線形判別とはデータを直線で分け、データが直線の左右どちらにあるかを判別する。図1は2…

【統計検定準1級】因子分析の直感的理解

主成分分析と因子分析の違い 1因子モデル 1因子モデルの図示 因子についての仮定条件 連立方程式を解く 2因子モデル 2因子モデルの図示 因子についての仮定条件 共通性 独自性 因子の回転 参考文献 主成分分析と因子分析の違い 主成分分析と同様、因子分析も…

【統計検定準1級】主成分分析の直感的理解

最大化問題の立式 最大化問題を解く 寄与率 データの標準化 主成分負荷量(因子負荷量) 主成分得点 参考文献 最大化問題の立式 主成分分析の目的はデータの要約。の2変量のデータの散布図に、直交する2直線を引く。 図1このデータの特徴は座標という2次元の…