Pandas 初階

前言

Pandas 是 Python 的一個套件，用來處理 table 類的資料。舉例來說，底下的表格示範了一個金磚國 (brics) 的資訊。

country	capital	area	population
Brazil	brasilia	8.516	200.40
Russia	Moscow	17.100	143.50
India	New Delhi	3.286	1252.00
China	Beijing	9.597	1357.00
South Africa	Pretoria	1.221	52.98

這個表格就可以使用 Pandas 來表示。

這篇文章是一系列 Pandas 的第一篇，主要是談 Pandas 中的資料結構如何建立，以及如何存取 Pandas 所建立的資料。

以上面金磚國為例，這篇文章會談到如何在 Pandas 中建立起這樣的表格，如何存取每個 column 及 row 的資料，如何取出子表格，以及如何存取每個格子 (cell) 的資料。

這篇文章參考了許多線上的資料，請翻到文章的最後看看我的參考文獻。

和 Numpy Array 不同之處

Numpy 的 array 也可以處理 table 類的資料，但 numpy array 有一個 限制，那就是要求資料要「同一型別」。

要求同一型別主要是為了最佳化的關係，如此一來， numpy 可以高效的處理資料。但同時也喪失了彈性。

由前面的表格可以看到，表格中包含了字串資料，浮點數資料…如果混在一起，就無法使用 Numpy array 來處理了。

因此就有 Pandas 的出現。它是架構在 Numpy 之上，提供了一個彈性的框架，可以處理 table 類的資料，又可以混用型別。

Pandas 的資料結構

Pandas 中有兩個主要的資料結構，一個叫 Series，一個叫 DataFrame。

Series

Series 翻譯過來叫序列。

它可以被視為「一維，且有標籤的陣列」。

舉例來說，鴻海 2014 年到 2018 年的現金股利，就可以用一個 series 來表示 (粗略來說，可以視為一時間序列)。

底下的程式碼就可以產生鴻海 2014 到 2018 年的現金股利的時間序列。

程式碼第1行是匯入 Pandas 套件。第 4 行是產生一個 series，而 index 指定了這個 series 的標籤 (如果不指定的話，那 Pandas 預設用流水號由 0 開始編號)。

執行結果如下所示。

上述 Series 的第 1 個 column 為標籤，下一個 column 則為對應的值。

DataFrame

DataFrame 就是我們說的二維表格了。類比來說，就像是微軟 Excel 的試算表。

Pandas 提供許多的方式來建構 DataFrame，其中一種常見的方式就是透過 dictionary。底下是示範的程式碼。

3-7 行建立了一個 dictionary，第 8 行則呼叫 Pandas 的函式，建立了一個 DataFrame，這個 DataFrame 展示了金磚國的資訊。結果如下圖所示。

可以看到，這是一個二維表格。表格的第 1 個 column 則是標籤 (紅框處)。由於我們在建立 DataFrame 時沒有指定 index，所以這 column 的標籤就使用流水號，由 0 開始編號。

上圖的藍框處為 column index，也就是 column 的標籤。

如果想要建立 row 標籤的話，只要把第 8 行修改如下即可：

brics = pd.DataFrame(dict, index = ["BR", "RU", "IN", "CH", "SA"])

為什麼要特別提標籤？

可能你會很好奇，幹嘛特別把標籤這個東西拿出來說明？

這是因為 Pandas 除了像傳統程式語言一樣，使用 index 來取資料，也提供使用標籤的方式來取資料。這種取資料的方式提供了許多的彈性，讓我們節省許多時間。這部分等後面資料存取時再加以說明。

由 CSV 檔案中匯入 DataFrame

另一個建議 DataFrame 的方式，是由 csv 檔案中匯入。這也是許多資料科學家常使用的方式。

假設你有 brics.csv，內容如下 (這個資料是來自 DataCamp 的課程)

你只要使用 

brics = pd.read_csv('brics.csv', index_col = 0)

即可匯入產生名為 brics 的 DataFrame。

index_col = 0 是指定第 0 個 column 處為 row 的標籤。

如何取得 Series 中的資料？

回顧一下，series 代表了一個 1 維的陣列。

你可以將它視為一個 ndarray 來存取資料。例如

s = pd.Series([1,2,3,4,5], index=['a', 'b', 'c', 'd', 'e'])

s 的內容如下

a   1
b   2
c   3
d   4
e   5

s[0] 即可取得索引值為 0 的資料。
s[:3] 取得索引值 0-2 的資料。
s[1:3] 取得索引值 1-2 的資料。

你也可以將 series 視為一個 dict-like 的資料結構  (也就是可以透過標籤來取得資料)

s['a'] 取得標籤為 'a' 的資料
s['a':'c'] 取得標籤 'a' - 'c' 的資料。

如何取得 DataFrame 中的資料？

這節要談談如何由 DataFrame 中取得資料。
我們會想取得：

• 取得 column 中的資料
• 某個 column 的資料
• 多個 columns 的資料
• 取得 row 的資料
• 某個 row 的資料
• 多個 rows 的資料
• 某個格子的資料

底下會一個一個談到如何取得資料。

取得 column 的資料

依 Pandas 的教學文件來看， Pandas 官方建議使用 [] 運算子來取得 column 的資料。

若要取得 row 的資料，則建議使用 loc 以及 iloc 兩個函式。

下圖展示了官方教學文件中建議的資料存取方式。可以看出，存取 column 建議使用 []，而取 row，則建議使用 loc 以及 iloc。

Pandas 官方文件中，建議的資料存取方式

取得某個 column 的資料

可以透過 [] 加上 label 來取得某個 column 的資料。例如

brics["country"]

上述程式碼取得 country 的內容。結果如下


而 brics[‘country’] 是一個 Series 型別，代表一個 1 維的 array。

我們可以透過底下的程式碼觀察 brics[‘country’] 的型別。



那如果要取得多個 column 的資料呢？

那就在 [] 中傳入一個 list 即可。

取得多個 columns

底下的程式碼可以取得 country 以及 capital 兩個 column 的內容。

brics[['country', 'capital']]

結果如下：

這個結果可視為原本 table 的一個 子table。

所以 brics[[‘country’, ‘capital’]] 其實也是個 DataFrame。

注意事項，以及可能犯的錯

要注意，中括號中還有一個中括號！

另一個要注意的是，Pandas 用中括號時，是取得 column 的資料，但我們一般在存取 2 維陣列時，若給中括號，取的是 row 的資料。這點 Pandas 和我們的習慣不一樣，要注意。

此外，Pandas 不支援底下的語法！(雖然我們很直覺會這麼用)

• brics[0]: 取得第 0 個 column (再次說明，沒有這種語法)
• brics[[0, 1]]: 取得第 0 及第 1 個 column (再次說明，沒有這種語法)

取得 row 的資料

取得 row 的資料，也可以使用 []，但還是建議使用 loc 以及 iloc。

取得一個 row 的資料

使用 slice 的語法即可，例如想取得索引值為 1 的 row。

brics[1:2]

取得多個 rows 的資料

我們可以用 slice 的語法取得某些 rows 的資料。

brics[1:3]

會將索引值 1~2 的 rows 取出來，成為一個 DataFrame。

使用 loc 以及 iloc 取得 DataFrame 中的資料

loc 以及 iloc 主要用來取得 DataFrame 中 row 的資料。這兩個的差別如下：

• loc 是 label-based 的取資料方式：需要使用標籤來取得 row 的資料。
• iloc 則是 index-based 的取資料方式：使用數字的索引來取得 row 的資料，這點和其他語言比較像。

開始說明前，再來回顧一下我們的範例資料.

	row index	0	1	2	3
column index	column/row label	country	capital	area	population
0	BR	Brazil	brasilia	8.516	200.40
1	RU	Russia	Moscow	17.100	143.50
2	IN	India	New Delhi	3.286	1252.00
3	CH	China	Beijing	9.597	1357.00
4	SA	South Africa	Pretoria	1.221	52.98

使用 loc 取得 row 的資料

取得某一個 row 的資料，可以使用底下的語法

#取得 BR 這個 row 的資料
brics.loc['BR']

結果如下圖所示

可以看出，要取得資料時，要指定一個標籤 (label)，這就是為什麼 loc 為 label-based 的取資料的方式。

上面取得的資料是一個 series。如果要取得 DataFrame，那就要使用兩個 []。

#注意有兩個 []
brics.loc[['BR']]

結果如下。

可以看出來，DataFrame 的方式比較友善，取得一個 row，就是用橫的方式展示，不像是取得 series 的方式，是以直行的方式來展示。

我們也可以取得多個 rows 的資料。例如想取得 ‘BR’, ‘RU’, 以及 ‘CH’ 三列的資料，可以用如下的語法。

brics.loc[['BR', 'RU', 'CH']]

結果如下所示

使用 iloc 取得資料

iloc 是使用 index 來取得資料的方式，和其他程式語言存取陣列資料的方式十分相似。

iloc 和 loc 很像，只是把 label 換成對應的 index 即可。

取得 row 的資料

#注意有兩個 []
brics.loc[['BR']]
#對應的 iloc 寫法
brics.iloc[[0]]

取得多個 row 的資料

# loc 的語法
brics.loc[['BR', 'RU', 'CH']]
# iloc 的語法
brics.loc[[0, 1, 3]]

取得 row 及 column 的資料

loc 的作法

只要指定 row 以及 column，即可得到特定 row 及 column 的資料。

brics.loc[['BR', 'RU', 'CH'], ['area', 'country']]

結果如下所示

那如果想取得特定的 column 呢？把 row 的部分用 : 取代即可。

brics.loc[:, ['area', 'country']]

結果如下

iloc 的作法

# loc 的語法 brics.loc[['BR', 'RU', 'CH'], ['area', 'country']] # iloc 的語法 brics.loc[[0, 1, 3], [2, 0]]

取得特定 column 的 iloc 語法

同樣使用 slice 來處理

#loc 語法
brics.loc[:, ['area', 'country']]
#iloc 語法
brics.loc[:, [2, 0]]

整理 

使用 [] 來取得資料

1. 用 [] 只能用來取 column 的資料。 
2. [] 預設是取得 column 的資料。
3. 如果想取得 row 的資料，只能用 slice 的方式來取得。 

loc 以及 iloc 取得資料 

1. loc 取得資料的方式比較彈性，可以取得 row，column，或是 row+column 的方式取得資料。
2. loc 預設是取得 row 的資料。  
3. loc 比起 [] 的另一個優勢是，它的語義是接近傳統存取二維陣列的取法。也就是 row 的存取優先，然後再指定 column。 

取得 Series 或是 DataFrame 無論是 [], loc 或是 iloc 的方式，取得 DataFrame 都需要使用兩個 []。

參考資料

• BookData
• Pandas Cheat Sheet: Data Science and Data Wrangling in Python
• Python Pandas Tutorial 2: Dataframe Basics。這是個 Youtube 頻道，有數位人訂閱
• DataCamp Pandas 的課程
• Pandas 的官方說明文件