「ハンバーガー統計学にようこそ！」をPythonでお勉強 4.4まで

こちらのサイトを利用してPython (Anaconda) でデータ解析の勉強をさせてもらおうと思います。
ハンバーガー統計学にようこそ！

4.4　実践編：ポテトの評価は？

import pandas as pd

url='http://kogolab.chillout.jp/elearn/hamburger/chap4/sec4.html'
dframe_list = pd.io.html.read_html(url, encoding="sjis")

#df = dframe_list[0]
df = grade_data

len(df)

nofloat = []
for i in range(len(df)):
    try:
        print(df.ix[:,i])
        df.ix[:,i]=df.ix[:,i].astype(float)
    except:
        nofloat.append(i)
        print('float convert Error', i)

df.ix[1][3] + df.ix[1][1]
type(df.ix[1][3])

1    1.0
2    2.0
3    3.0
4    4.0
5    5.0
6    6.0
7    7.0
8    8.0
Name: 0, dtype: float64
1    80.0
2    75.0
3    80.0
4    95.0
5    90.0
6    80.0
7    85.0
8    90.0
Name: 1, dtype: float64
1    1.0
2    2.0
3    3.0
4    4.0
5    5.0
6    6.0
7    7.0
8    8.0
Name: 2, dtype: float64
1    75.0
2    65.0
3    80.0
4    85.0
5    75.0
6    80.0
7    80.0
8    70.0
Name: 3, dtype: float64
float convert Error 4
float convert Error 5
float convert Error 6
float convert Error 7

numpy.float64

まず、帰無仮説を立てます。
帰無仮説：(未)
次に、その逆である対立仮説を立てます。
対立仮説：(未)

df.columns = ['ワクワクポテトを食べた女子高生','ワクワクの点数', 'モグモグポテトを食べた女子高生', 'モグモグの点数']
df

import numpy as np

# ワクワクの平均
waku_mean_val = np.mean(df['ワクワクの点数'])
waku_std = np.std(df['ワクワクの点数'])
waku_var = np.var(df['ワクワクの点数'])
print("ワクワクの平均 = {}".format(waku_mean_val))
print("ワクワクの標準偏差 = {}".format(waku_std))
print("ワクワクの分散 = {}".format(waku_var))
# モグモグの平均
mogu_mean_val = np.mean(df['モグモグの点数'])
mogu_std = np.std(df['モグモグの点数'])
mogu_var = np.var(df['モグモグの点数'])
print("モグモグの平均 = {}".format(mogu_mean_val))
print("ワクワクの標準偏差 = {}".format(mogu_std))
print("ワクワクの分散 = {}".format(mogu_var))

ワクワクの平均 = 84.375
ワクワクの標準偏差 = 6.343057228182637
ワクワクの分散 = 40.234375
モグモグの平均 = 76.25
ワクワクの標準偏差 = 5.994789404140899
ワクワクの分散 = 35.9375

# 自由度を求める

# サンプル数
waku_count = len(df['ワクワクの点数'])
mogu_count = len(df['モグモグの点数'])
# 自由度を計算
degree_of_freedom = (waku_count - 1) + (mogu_count - 1)
print("自由度 = {}".format(degree_of_freedom))

自由度 = 14

# tを求める
# t＝（標本平均の差）／（差の標本標準誤差）

import math

# 標本平均の差
_mean_val = mogu_mean_val - waku_mean_val
print("標本平均の差 = {}".format(_mean_val))

# 推定母分散
_var = ( (waku_var * waku_count) + (mogu_var * mogu_count) ) / ( (waku_count - 1) + (mogu_count - 1) )
print("推定母分散 = {}".format(_var))

# 差の標本標準誤差
_margin = math.sqrt( _var * (1/waku_count + 1/mogu_count) )
print("差の標本標準誤差 = {}".format(_margin))

it = _mean_val / _margin
print("it = {}".format(it))

標本平均の差 = -8.125
推定母分散 = 43.526785714285715
差の標本標準誤差 = 3.2987416431984227
it = -2.463060426921489

t_data = dframe_list[2].drop([0])
t_data.columns = ["自由度", "有意水準5%", "有意水準1%"]
t_data

# 有意水準は5%という条件なので
print("5%の列の自由度 = {}".format(t_data['有意水準5%'].ix[degree_of_freedom]))

5%の列の自由度 = 2.145

from scipy.stats import t
x = np.linspace(-5,5,100)
import matplotlib.pyplot as plt
%matplotlib inline

rv = t(degree_of_freedom)

print("自由度14のt分布")
plt.plot(x, rv.pdf(x))

自由度14のt分布

[<matplotlib.lines.Line2D at 0x1132b1940>]

it(=2.463) > t(=2.145)なので仮説は棄却・・・だと思うけどこの辺の考え方はもっと勉強しなければいまいちピンとこないな・・・。

関連記事:

「ハンバーガー統計学にようこそ！」をPythonでお勉強 2.3まで 「ハンバーガー統計学にようこそ！」をPythonでお勉強 3.3まで 「ハンバーガー統計学にようこそ！」をPythonでお勉強 2.4まで 「ハンバーガー統計学にようこそ！」をPythonでお勉強 1.9まで 「ハンバーガー統計学にようこそ！」をPythonでお勉強 3.4まで 「ハンバーガー統計学にようこそ！」をPythonでお勉強 2.2まで