源： AI入門學習

作者：小伍哥

apply()堪稱Pandas中最好用的方法，其使用方式跟map()很像，主要傳入的主要參數都是接受輸入返回輸出。

但相較于昨天介紹的map()針對單列Series進行處理，一條apply()語句可以對單列或多列進行運算，覆蓋非常多的使用場景。

參考上篇：Pandas中的寶藏函數-map

基本語法：

DataFrame.apply(func, axis=0, raw=False, result_type=None, 
args=(), **kwargs)

參 數：

func : function 應用到每行或每列的函數。

axis ：{0 or 'index', 1 or 'columns'}, default 0 函數應用所沿著的軸。

0 or index : 在每一列上應用函數。

1 or columns : 在每一行上應用函數。

raw : bool, default False 確定行或列以Series還是ndarray對象傳遞。

False : 將每一行或每一列作為一個Series傳遞給函數。

True : 傳遞的函數將接收ndarray 對象。如果你只是應用一個 NumPy 還原函數，這將獲得更好的性能。

result_type : {'expand', 'reduce', 'broadcast', None}, default None 只有在axis=1列時才會發揮作用。

expand : 列表式的結果將被轉化為列。

reduce : 如果可能的話，返回一個Series，而不是展開類似列表的結果。這與 expand 相反。

broadcast : 結果將被廣播到 DataFrame 的原始形狀，原始索引和列將被保留。

默認行為(None)取決于應用函數的返回值：類似列表的結果將作為這些結果的 Series 返回。但是，如果應用函數返回一個 Series ，這些結果將被擴展為列。

args : tuple 除了數組/序列之外，要傳遞給函數的位置參數。

**kwds: 作為關鍵字參數傳遞給函數的附加關鍵字參數。

官方：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

先構造一個數據集

data=pd.DataFrame(
{"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],
"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],
"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}
                     ) 
data
 name gender  age
0   Jack      F   25
1  Alice      M   34
2   Lily      F   49
3  Mshis      F   42
4   Gdli      M   28
5  Agosh      F   23
6   Filu      M   45
7   Mack      M   21
8   Lucy      F   34
9   Pony      F   29

1）單列數據

這里我們參照2.1向apply()中傳入lambda函數：

data.gender.apply(lambda x:'女性' if x is 'F' else '男性')
0    女性
1    男性
2    女性
3    女性
4    男性
5    女性
6    男性
7    男性
8    女性
9    女性

可以看到這里實現了跟map()一樣的功能。

2）輸入多列數據

apply()最特別的地方在于其可以同時處理多列數據，我們先來了解一下如何處理多列數據輸入單列數據輸出的情況。

譬如這里我們編寫一個使用到多列數據的函數用于拼成對于每一行描述性的話，并在apply()用lambda函數傳遞多個值進編寫好的函數中

注意：當調用DataFrame.apply()時，apply()在串行過程中實際處理的是每一行數據，而不是Series.apply()那樣每次處理單個值，在處理多個值時要給apply()添加參數axis=1

def fun_all(name, gender, age):
    gender='女性' if gender is 'F' else '男性'
    return '有個名字叫{}的人，性別為{}，年齡為{}。'.format(name, gender, age)




data.apply(lambda row:fun_all(row['name'],row['gender'],row['age']), axis=1)
0     有個名字叫Jack的人，性別為女性，年齡為25。
1    有個名字叫Alice的人，性別為男性，年齡為34。
2     有個名字叫Lily的人，性別為女性，年齡為49。
3    有個名字叫Mshis的人，性別為女性，年齡為42。
4     有個名字叫Gdli的人，性別為男性，年齡為28。
5    有個名字叫Agosh的人，性別為女性，年齡為23。
6     有個名字叫Filu的人，性別為男性，年齡為45。
7     有個名字叫Mack的人，性別為男性，年齡為21。
8     有個名字叫Lucy的人，性別為女性，年齡為34。
9     有個名字叫Pony的人，性別為女性，年齡為29。

def intro(r):
    #r代指dataframe中的任意行，是series類型數據，擁有類似字典的使用方法。
    return '大家好，我是{name},性別是{gender}，今年{age}歲了！'.format(name=r['name'], gender=r['gender'],age=r['age'])


data.apply(intro, axis=1)
Out[81]: 
0     大家好，我是Jack,性別是F，今年25歲了！
1    大家好，我是Alice,性別是M，今年34歲了！
2     大家好，我是Lily,性別是F，今年49歲了！
3    大家好，我是Mshis,性別是F，今年42歲了！
4     大家好，我是Gdli,性別是M，今年28歲了！
5    大家好，我是Agosh,性別是F，今年23歲了！
6     大家好，我是Filu,性別是M，今年45歲了！
7     大家好，我是Mack,性別是M，今年21歲了！
8     大家好，我是Lucy,性別是F，今年34歲了！
9     大家好，我是Pony,性別是F，今年29歲了！
dtype: object


#其實這樣寫也是可以的，更簡單些
def intro(r):
    return '大家好，我是{},性別是{}，今年{}歲了！'.format(r['name'], r['gender'],r['age'])




data.apply(intro, axis=1)

3）輸出多列數據

有些時候我們利用apply()會遇到希望同時輸出多列數據的情況，在apply()中同時輸出多列時實際上返回的是一個Series，這個Series中每個元素是與apply()中傳入函數的返回值順序對應的元組。

比如下面我們利用apply()來提取name列中的首字母和剩余部分字母：

data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)
0     (J, ack)
1    (A, lice)
2     (L, ily)
3    (M, shis)
4     (G, dli)
5    (A, gosh)
6     (F, ilu)
7     (M, ack)
8     (L, ucy)
9     (P, ony)

可以看到，這里返回的是單列結果，每個元素是返回值組成的元組，這時若想直接得到各列分開的結果，需要用到zip(*zipped)來解開元組序列，從而得到分離的多列返回值：

a, b=zip(*data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1))


a
('J', 'A', 'L', 'M', 'G', 'A', 'F', 'M', 'L', 'P')
b
('ack', 'lice', 'ily', 'shis', 'dli', 'gosh', 'ilu', 'ack', 'ucy', 'ony')

4）結合tqdm給apply()過程添加進度條

我們知道apply()在運算時實際上仍然是一行一行遍歷的方式，因此在計算量很大時如果有一個進度條來監視運行進度就很舒服。

tqdm:用于添加代碼進度條的第三方庫

tqdm對pandas也是有著很好的支持。

我們可以使用progress_apply()代替apply()，并在運行progress_apply()之前添加tqdm.tqdm.pandas(desc='')來啟動對apply過程的監視。

其中desc參數傳入對進度進行說明的字符串，下面我們在上一小部分示例的基礎上進行改造來添加進度條功能：

from tqdm import tqdm
def fun_all(name, gender, age):
    gender='女性' if gender is 'F' else '男性'
    return '有個名字叫{}的人，性別為{}，年齡為{}。'.format(name, gender, age)
    
#啟動對緊跟著的apply過程的監視
from tqdm import tqdm
tqdm.pandas(desc='apply')
data.progress_apply(lambda row:fun_all(row['name'],row['gender'],
                  row['age']), axis=1)


apply: 100%|██████████| 10/10 [00:00<00:00, 5011.71it/s]


0     有個名字叫Jack的人，性別為女性，年齡為25。
1    有個名字叫Alice的人，性別為男性，年齡為34。
2     有個名字叫Lily的人，性別為女性，年齡為49。
3    有個名字叫Mshis的人，性別為女性，年齡為42。
4     有個名字叫Gdli的人，性別為男性，年齡為28。
5    有個名字叫Agosh的人，性別為女性，年齡為23。
6     有個名字叫Filu的人，性別為男性，年齡為45。
7     有個名字叫Mack的人，性別為男性，年齡為21。
8     有個名字叫Lucy的人，性別為女性，年齡為34。
9     有個名字叫Pony的人，性別為女性，年齡為2

可以看到在jupyter lab中運行程序的過程中，下方出現了監視過程的進度條，這樣就可以實時了解apply過程跑到什么地方了。

結合tqdm_notebook()給apply()過程添加美觀進度條，熟悉tqdm的朋友都知道其針對jupyter notebook開發了ui更加美觀的tqdm_notebook()。而要想在jupyter notebook/jupyter lab平臺上為pandas的apply過程添加美觀進度條，可以參照如下示例：

實是一個很簡單的東西，認真看十分鐘就從一臉懵B 到完全 理解！

先看明白下面：

例 1

obj.objAge;  // 17
obj.myFun()  // 小張年齡 undefined

例 2

shows()  // 盲僧　

比較一下這兩者 this 的差別，第一個打印里面的 this 指向 obj，第二個全局聲明的 shows() 函數 this 是 window ；

1，call()、apply()、bind() 都是用來重定義 this 這個對象的！

如：

obj.myFun.call(db)；　　　　// 德瑪年齡 99
obj.myFun.apply(db);　　　 // 德瑪年齡 99
obj.myFun.bind(db)();　　　// 德瑪年齡 99

以上出了 bind 方法后面多了個 () 外 ，結果返回都一致！

由此得出結論，bind 返回的是一個新的函數，你必須調用它才會被執行。

2，對比call 、bind 、 apply 傳參情況下

obj.myFun.call(db,'成都','上海')；　　　　 // 德瑪 年齡 99  來自 成都去往上海
obj.myFun.apply(db,['成都','上海']);      // 德瑪 年齡 99  來自 成都去往上海  
obj.myFun.bind(db,'成都','上海')();       // 德瑪 年齡 99  來自 成都去往上海
obj.myFun.bind(db,['成都','上海'])();　　 // 德瑪 年齡 99  來自 成都, 上海去往 undefined

微妙的差距！

從上面四個結果不難看出:

call 、bind 、 apply 這三個函數的第一個參數都是 this 的指向對象，第二個參數差別就來了：

call 的參數是直接放進去的，第二第三第 n 個參數全都用逗號分隔，直接放到后面 obj.myFun.call(db,'成都', ... ,'string' )。

apply 的所有參數都必須放在一個數組里面傳進去 obj.myFun.apply(db,['成都', ..., 'string' ])。

bind 除了返回是函數以外，它 的參數和 call 一樣。

當然，三者的參數不限定是 string 類型，允許是各種類型，包括函數 、 object 等等！