学習塾を運営するのに最適なのはどこ？ オープンデータを活用して実践的なスキルを身に付ける：ITエンジニアのためのデータサイエンティスト養成講座（特別編）（2/3 ページ）

# 必要なライブラリの読み込み
import pandas as pd
import datetime
# 各配列および定数の定義
wardlist = ['han', 'ina', 'mid', 'mih', 'tyu', 'wak']
yearlist = ['05', '06', '07', '08', '09', '10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20', '21', '22', '23', '24', '25']
month = '03'
# データフレームの定義
dfall = pd.DataFrame(columns=['year', 'month', 'ward', 'town', 'gender', 'age', 'num'])
# Excelファイルからデータを読み込みデータフレームに格納
for ward in wardlist: # 区毎のループ処理
    for year in yearlist: # 年毎のループ処理
        filename = ward + '_tyo' + year + month + '.xls'
        xls = pd.ExcelFile(filename)
        df = xls.parse(xls.sheet_names[0], skiprows=2, parse_cols="B:DE")
        df['year'] = 1988+int(year)
        df['month'] = int(month)
        # 文字列前後の空白の除去
        df['ward'] = df.iloc[:,0].fillna(method='ffill').apply(lambda x: x.strip())
        df['town'] = df.iloc[:,1].fillna(method='ffill').apply(lambda x: x.strip())
        df['gender'] = df.iloc[:,2].fillna(method='ffill').apply(lambda x: x.strip())
        #
        print datetime.datetime.now(), ward, year
        # 0歳から100歳以上までの各列を処理
        for i in range(0,101):
            df['age'] = i
            df['num'] = df.iloc[:,i+7].fillna(0).apply(lambda x: int(x))
            dfall = pd.concat([dfall, df.iloc[3:, 108:]])
            #
# 総数行の削除
dfall = dfall[dfall['gender'] != unicode('総数', 'utf-8')]
# CSVへの書き出し
dfall.to_csv('all_tyo.csv', index=False, encoding='UTF-8')
#