統計検定を受験しました 試験の手ごたえ やったこと これからやること CBT方式が始まってた 統計検定を受験しました 先月6月21日（日）統計検定準1級を受けてきました。2020年の試験が新型コロナウイルス対策のため中止になり、今年の受験に向けてゆるゆると…

分散分析、乱塊法に引き続き実験計画法についてのメモ。 分割法の考え方 完全無作為法による1次因子の繰り返し 乱塊法による1次因子の繰り返し 分割法の検定精度 参考文献 分割法の考え方 あるコーヒー農園で次のような実験を行う。3つの品種（A,B,C）と2つ…

乱塊法の構造式（モデル） 乱塊法の検定精度 参考文献 乱塊法の構造式（モデル） 乱塊法では実験条件が同一であるブロック因子を、実験結果に影響を与える1つの因子だと考える。分散分析の構造式にブロック因子を足せばよい。一元配置分散分析の構造式は、 …

分散分析とは 一元配置分散分析 構造式（モデル） 帰無仮説 検定統計量の算出 水準ごとの平均値の点推定 （補足）TSS = BSS + WSSの証明 二元配置分散分析 構造式（モデル） 分散分析表 帰無仮説と検定統計量 参考文献 分散分析とは 分散分析は実験計画法の1…

実験計画法 フィッシャーの実験の3原則 3原則を満たす乱塊法のイメージ 実験計画法 実験計画法（experimental design）とは、取り上げる対称についての結果とそれに影響しそうな要因との関係を調べるため、時間・コスト等の制約を考慮しながら計画的に実験を…

推移確率行列 定常分布 確率推移のイメージ 極限分布 MCMC メトロポリス法 推移確率行列 確率変数がマルコフ連鎖であるとき、1期前の状態のみに依存し、それ以前の状態には依存しないことを意味する。過去のすべての履歴が直前の状態に集約される、とも言え…

条件付き確率とベイズの定理 正規分布のベイズ判別 判別関数 参考文献 条件付き確率とベイズの定理 ベイズ判別の基本的な考え方はベイズの定理に基づく。例えばある患者の発熱という症状について風邪かインフルエンザのどちらの原因で生じたかを判断したいと…

線形判別ではデータの平均ベクトルや分散共分散行列を用いて判別法を構成した。サポートベクターマシンはこれらの判別法とは全く異なる考え方に基づく。 サポートベクターマシン（SVM） 最適化問題の立式 サポートベクターマシン（SVM）のカーネル法 高次元…

クラスター分析は異なる性質が混ざった多数の個体を、個体間の類似度に基づいて似たものの集まり（クラスター）を作るための手法。判別分析ではどの群に属するかがあらかじめわかっているデータに基づいて判別関数（判別方法）を構成したのに対し、クラスタ…

フィッシャーの線形判別関数は、青（1群）と赤（2群）から観測されたデータを、変数の線形結合で表される軸上へ射影し、それぞれの群の分離度を表す群間分散と、各群内のデータのばらつき度合いを示す郡内分散の比を最大にする軸（直線）を最適な射影軸とす…

線形判別分析 判別分析の目的は量的なデータを元に質的な結果を予想すること。例えば身長や体重、血圧といった量的なデータを元に、その人が健康か不健康かを判断する。線形判別とはデータを直線で分け、データが直線の左右どちらにあるかを判別する。図1は2…

主成分分析と因子分析の違い 1因子モデル 1因子モデルの図示 因子についての仮定条件 連立方程式を解く 2因子モデル 2因子モデルの図示 因子についての仮定条件 共通性 独自性 因子の回転 参考文献 主成分分析と因子分析の違い 主成分分析と同様、因子分析も…

最大化問題の立式 最大化問題を解く 寄与率 データの標準化 主成分負荷量（因子負荷量） 主成分得点 参考文献 最大化問題の立式 主成分分析の目的はデータの要約。の2変量のデータの散布図に、直交する2直線を引く。 図1このデータの特徴は座標という2次元の…

線形回帰モデルの問題点 過学習を避けるための方法 変数増減 縮小推定 次元削減 正則化 L1(Lasso)正則化とL2(Ridge)正則化 Elastic Net推定 参考 2022/08/27 統計検定準1級の学習時に内容修正 線形回帰モデルの問題点 回帰モデルの説明変数の数が大きくなり…

アンケートの自由記述欄などの文字列のデータに対して、特定の文字列を含むかどうかでダミー変数を作成する場合のコード。例えば頻出語句やキーワードなどをあらかじめ指定しておけば、アンケート回答者の属性にとって頻出傾向の違い等を分析することができ…