Goodな生活

経済学→環境コンサル→データサイエンティスト

2021-01-01から1年間の記事一覧

ホテルオークラ第31期ワインアカデミー

ホテルオークラのワインアカデミー第31期「各国ワインの捉え方」(全4回)に参加しました。4回の受講が無事終了したため、感じたことを簡単にまとめます。日常的にワインを飲む習慣や、何か資格取得の必要などはまったくなく、「教養としてワインを知ろう」…

2020年に読んだ21冊+観た1本

2020年に読んだ本と観た映画の紹介です。そもそもですが読んだ本、観た映画の定義が人によってかなり違う気がします。本なら紙の書籍、映画なら映画館で観る必要はなく、Amazonなどのサブスクを利用すれば全編にわたって目を通さなくても好きな箇所だけ楽し…

『Python実践データ分析100本ノック』を2周やってみて調べたこと

Python実践データ分析100本ノック作者:下山輝昌,松田雄馬,三木孝行秀和システムAmazon「とりあえずPython勉強しないとやばい」という焦りと勢いに任せ、100本ノック(正確には60本ノック)やりました。 第1,2章のデータ加工、第3-5章の機械学習、第10章の言…

北海道・大雪山で学んだ登山道整備の意義

2021年7月~9月にかけて北海道・大雪山での登山道整備プログラムに参加しました。 登山道整備とは 大雪山での登山道整備に参加した経緯 登山道整備プログラムの内容とスケジュール オンライン講習の振り返り 大雪山の登山道浸食と管理体制の課題 近自然工法と…

実験計画法(5)2水準の直交表

直交表とは 実験に用いる因子の数が多くなると、水準との組み合わせの数が増え、必要な実験回数が増えてしまう。例えば因子が10個、水準が2つの場合、因子と水準との組み合わせの数はとなり、少なくとも回の実験が必要になってしまう。企業の製品開発などで…

【2021年7月】統計検定準1級の受験振り返り

統計検定を受験しました 試験の手ごたえ やったこと これからやること CBT方式が始まってた 統計検定を受験しました 先月6月21日(日)統計検定準1級を受けてきました。2020年の試験が新型コロナウイルス対策のため中止になり、今年の受験に向けてゆるゆると…

実験計画法(4)分割法

分散分析、乱塊法に引き続き実験計画法についてのメモ。 分割法の考え方 完全無作為法による1次因子の繰り返し 乱塊法による1次因子の繰り返し 分割法の検定精度 参考文献 分割法の考え方 あるコーヒー農園で次のような実験を行う。3つの品種(A,B,C)と2つ…

実験計画法(3)乱塊法

乱塊法の構造式(モデル) 乱塊法の検定精度 参考文献 乱塊法の構造式(モデル) 乱塊法では実験条件が同一であるブロック因子を、実験結果に影響を与える1つの因子だと考える。分散分析の構造式にブロック因子を足せばよい。一元配置分散分析の構造式は、 …

実験計画法(2)分散分析

分散分析とは 一元配置分散分析 構造式(モデル) 帰無仮説 検定統計量の算出 水準ごとの平均値の点推定 (補足)TSS = BSS + WSSの証明 二元配置分散分析 構造式(モデル) 分散分析表 帰無仮説と検定統計量 参考文献 分散分析とは 分散分析は実験計画法の1…

実験計画法(1)フィッシャーの三原則と乱塊法

実験計画法 フィッシャーの実験の3原則 3原則を満たす乱塊法のイメージ 実験計画法 実験計画法(experimental design)とは、取り上げる対称についての結果とそれに影響しそうな要因との関係を調べるため、時間・コスト等の制約を考慮しながら計画的に実験を…

マルコフ連鎖

推移確率行列 定常分布 確率推移のイメージ 極限分布 MCMC メトロポリス法 推移確率行列 確率変数がマルコフ連鎖であるとき、1期前の状態のみに依存し、それ以前の状態には依存しないことを意味する。過去のすべての履歴が直前の状態に集約される、とも言え…

ベイズ判別

条件付き確率とベイズの定理 正規分布のベイズ判別 判別関数 参考文献 条件付き確率とベイズの定理 ベイズ判別の基本的な考え方はベイズの定理に基づく。例えばある患者の発熱という症状について風邪かインフルエンザのどちらの原因で生じたかを判断したいと…

サポートベクターマシン

線形判別ではデータの平均ベクトルや分散共分散行列を用いて判別法を構成した。サポートベクターマシンはこれらの判別法とは全く異なる考え方に基づく。 サポートベクターマシン(SVM) 最適化問題の立式 サポートベクターマシン(SVM)のカーネル法 高次元…

クラスター分析(階層型分類法の基本事項)

クラスター分析は異なる性質が混ざった多数の個体を、個体間の類似度に基づいて似たものの集まり(クラスター)を作るための手法。判別分析ではどの群に属するかがあらかじめわかっているデータに基づいて判別関数(判別方法)を構成したのに対し、クラスタ…

判別分析(2)マハラノビスの距離

フィッシャーの線形判別関数は、青(1群)と赤(2群)から観測されたデータを、変数の線形結合で表される軸上へ射影し、それぞれの群の分離度を表す群間分散と、各群内のデータのばらつき度合いを示す郡内分散の比を最大にする軸(直線)を最適な射影軸とす…

判別分析(1)線形判別関数

線形判別分析 判別分析の目的は量的なデータを元に質的な結果を予想すること。例えば身長や体重、血圧といった量的なデータを元に、その人が健康か不健康かを判断する。線形判別とはデータを直線で分け、データが直線の左右どちらにあるかを判別する。図1は2…

【統計検定準1級】因子分析の直感的理解

主成分分析と因子分析の違い 1因子モデル 1因子モデルの図示 因子についての仮定条件 連立方程式を解く 2因子モデル 2因子モデルの図示 因子についての仮定条件 共通性 独自性 因子の回転 参考文献 主成分分析と因子分析の違い 主成分分析と同様、因子分析も…

【統計検定準1級】主成分分析の直感的理解

最大化問題の立式 最大化問題を解く 寄与率 データの標準化 主成分負荷量(因子負荷量) 主成分得点 参考文献 最大化問題の立式 主成分分析の目的はデータの要約。の2変量のデータの散布図に、直交する2直線を引く。 図1このデータの特徴は座標という2次元の…

【統計検定準1級】線形回帰モデルと正則化

線形回帰モデルの問題点 過学習を避けるための方法 変数増減 縮小推定 次元削減 正則化 L1(Lasso)正則化とL2(Ridge)正則化 Elastic Net推定 参考 2022/08/27 統計検定準1級の学習時に内容修正 線形回帰モデルの問題点 回帰モデルの説明変数の数が大きくなり…

【R】特定の文字の含有有無によるダミー変数の作成[paste][str_detect]

R

アンケートの自由記述欄などの文字列のデータに対して、特定の文字列を含むかどうかでダミー変数を作成する場合のコード。例えば頻出語句やキーワードなどをあらかじめ指定しておけば、アンケート回答者の属性にとって頻出傾向の違い等を分析することができ…

【R】記述統計量の算出[summary][describe][describeBy]

記述統計量(基本統計量)を算出する方法。最もオーソドックスなのはsummary関数。Rのデフォルトデータセットのirisを使う。連続値データは四分位点、カテゴリカルデータはサンプル数が表示される。 > data(iris) > summary(iris) Sepal.Length Sepal.Width …

【R】分位数を決めてデータをカテゴリー化する[quantile][cut]

R

分位数に従ってデータのカテゴリー化(連続値→離散値)する方法。データの情報量を落とす操作なので使う場面は相当限られる(なんらかの理由で表ではなくグラフを作成する場合など?) [quantile]を使ったデータのカテゴリー化 Rのデフォルトデータセットiri…

【R】ゼロを含む先頭n桁を取り出す[formatC][substr]

R

連番の数字の先頭2桁を取り出すときのコード。 例えばxを995から1005までの整数とし、ゼロを含む先頭2桁を取り出す。 > x <- 995:1005 > x [1] 995 996 997 998 999 1000 1001 1002 1003 1004 1005 > class(x) [1] "integer" はじめの5つのみ3桁の整数なので…

GESHARY COFFEE ゲイシャ体験セミナー『精製による味の違い』

日比谷のゲシャリーコーヒーさんのセミナーに参加しました。講師は阪本義治さんでした。一昨年にスペシャルティコーヒーを飲み始めてから、生産国・地域とは別に「ナチュラル」やら「ウォッシュト」という言葉を目にするようになり、体系的に学ぶ良い機会だ…

東京湾から600kmの鳥島にアホウドリを見に行った

にっぽん丸に乗って鳥島へ 鳥島クルーズの特徴 鳥島レクチャー 鳥島周遊 最後に 参考 にっぽん丸に乗って鳥島へ かねてからお世話になっている方から「鳥島を見に行くツアーがある」と聞き、迷わず参加を決めました。このツアーは商船三井客船「にっぽん丸」…

にっぽん丸を食べ尽くす~船内飲食サービスの完全制覇を目指して~

商船三井客船「にっぽん丸」の2泊3日のクルーズに参加しました。にっぽん丸との出会いは大学生時の東ア船事業です。その後1回クルーズに参加したので、今回は3度目の乗船です。前回の乗船時に、船内の飲食サービスの充実ぶりに非常に驚きました。レストラン…

職務経歴書は友人や家族に見てもらったほうがいい

初めて転職活動された(される)方なら分かっていただけるかもしれません。職務経歴書って以外と面倒なんです。「これまでの経歴書くだけ、すぐ終わる」「就活の時ESたくさん書いたし慣れてる」なんて思ってました。しかし転職活動を振り返ると、職務経歴書…

転職活動で聞かれる4つの質問

転職活動の面接で聞かれる質問はだいたい決まっています。 1次面接で聞かれる4つ質問 1次面接の対策方法 1.今までどんな仕事をしてきて、何が得意か 2.なぜ転職するのか 3.なぜこの会社がよいか&4.この会社で何がしたいのか 2次面接(最終面接)で聞かれる…

『写真家ドアノー/音楽/パリ』

フランスの写真家ロベール・ドアノーの写真展に行ってきた。渋谷Bunkamuraで3月31日まで開催されている。www.bunkamura.co.jp今回はパリの音楽をテーマにした展示。入口ではパンフレットと、展示作品にまつわる音楽を解説したペーパーをもらった。 パリの音楽…

親へのプレゼントは旅行がいい

母親が東京に遊びに来た。 来月引っ越すことになったため、 東京にいるうちに案内するなら今のうち、 と伝えると二つ返事で来ると言った。6年間も東京に住んでいながら、 遊びにおいでと言ったのは初めてだった。忙しくなかったと言えばそれも違うが、 そん…