字，每天一起學 Python，文末領送書福利

作者：Benedikt Droste

編譯：1+1=6@QIML編輯部

推薦 | 編程派公眾號（ID：codingpy）

前言

如果你使用Python和Pandas進行數據分析，循環是不可避免要使用的。然而，即使對于較小的DataFrame來說，使用標準循環也是非常耗時的，對于較大的DataFrame來說，你懂的

。今天，公眾號為大家分享一個關于Pandas提速的小攻略，助你一臂之力！

相關文章

1、30倍！使用Cython加速Python代碼

2、CuPy：將Numpy提速700倍！

3、10個提高工作效率的Pandas小技巧

4、高逼格使用Pandas加速代碼，向for循環說拜拜！

標準循環

Dataframe是Pandas對象，具有行和列。如果使用循環，你將遍歷整個對象。Python不能利用任何內置函數，而且速度非常慢。 我們創建了一個包含65列和1140行的Dataframe。它包含了2016-2019賽季的足球比賽結果。我們希望創建一個新列，用于標注某個特定球隊是否打了平局。

正如你看到的，這個循環非常慢，花了20.7秒。讓我們看看如何才能更有效率。

iterrows：快321倍

在第一個例子中，我們循環遍歷了整個DataFrame。Iterrows為每一行返回一個 Series，因此它以索引對的形式遍歷DataFrame，以Series的形式遍歷目標列。這使得它比標準循環更快：

該代碼運行時間為87毫秒，比標準循環快321倍。

但是，我們建議不要使用它，因為有更快的選擇，而且iterrows不能保留行之間的 dtype。這意味著，如果你在dataframe dtypes上使用iterrows ，它會被更改，這可能會導致很多問題。如果一定要保留dtypes，也可以使用itertuple。這里我們不詳細討論，你可以在這里找到官方文件：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.itertuples.html?source=post_page-----805030df4f06----------------------

Apply：快811倍

apply本身并不快，但與DataFrame結合使用時，它具有很大的優勢。這取決于apply表達式的內容。 如果它可以在Cython中執行，那么apply要快得多。

我們可以在Lambda函數中使用apply。 所要做的就是指定軸，使用axis=1，因為我們希望執行按列操作：

這段代碼甚至比以前的方法更快，時間為27毫秒。

Pandas Vectorization：快9280倍

我們利用向量化的優勢來創建真正高效的代碼。關鍵是要避免案例1中那樣的循環代碼：

我們再次使用了開始時構建的函數。我們所要做的就是改變輸入。我們直接將Pandas Series傳遞給我們的功能，這使我們獲得了巨大的速度提升。

Nump Vectorization：快71803倍

在前面的示例中，我們將Pandas Series傳遞給函數。通過adding.values，我們得到一個Numpy數組：

Numpy數組是如此之快，因為我們引用了局部性的好處：

訪問局部性（locality of reference）

在計算機科學中，訪問局部性，也稱為局部性原理，是取決于存儲器訪問模式頻繁訪問相同值或相關存儲位置的現象的術語。訪問局部性有兩種基本類型——時間和空間局部性。時間局部性是指在相對較小的持續時間內對特定數據和/或資源的重用?？臻g局部性是指在相對靠近的存儲位置內使用數據元素。當數據元素被線性地排列和訪問時，例如遍歷一維數組中的元素，發生順序局部性，即空間局部性的特殊情況。

局部性只是計算機系統中發生的一種可預測的行為。展示強訪問局部性的系統是通過使用諸如在處理器核心的流水線級處的高速緩存，用于存儲器的預取和高級分支預測器的技術的性能優化的良好候選者。

代碼運行了0.305毫秒，比開始時使用的標準循環快了71803倍！

總結

我們比較了五種不同的方法，并根據一些計算將一個新列添加到我們的DataFrame中。我們注意到了速度方面的巨大差異：

請記住：

1、如果確定需要使用循環，則應始終選擇apply方法。

2、否則，vectorization總是更好的，因為它更快！

文章參考

[1] https://stackoverflow.com/questions/52673285/performance-of-pandas-apply-vs-np-vectorize-to-create-new-column-from-existing-c

[2 ] https://en.wikipedia.org/wiki/Locality_of_reference

# 文末送書活動 #

活動規則大家請一定要查看，點擊這篇推文哦：從今天起，每天至少送大家一本書

這篇推文的福利贈書，改為：《Python 編程快速上手》，送給本篇文章點贊最多、且符合活動要求的精選留言者。

回復下方「關鍵詞」，獲取優質資源

回復關鍵詞「 pybook03」，立即獲取主頁君與小伙伴一起翻譯的《Think Python 2e》電子版

回復關鍵詞「書單02」，立即獲取主頁君整理的 10 本 Python 入門書的電子版

回復關鍵詞「book 數字」，將數字替換成 0 及以上數字，有驚喜好禮哦~

題圖：pexels，CC0 授權。

TML 中使用 <input> 元素表示單行輸入框和 <textarea> 元素表示多行文本框。

HTML中使用的 <input> 元素在 JavaScript 中對應的是 HTMLInputElement 類型。HTMLInputElement 繼承自 HTMLElement 接口：

interface HTMLInputElement extends HTMLElement {
    ...
}

HTMLInputElement 類型有一些獨有的屬性和方法：

• name：表示 <input> 元素的名稱。
• disabled：表示 <input> 元素是否禁止使用。在表單提交時不會包含被禁止的 <input> 元素。
• autofocus：表示頁面加載時，該元素是否會自動獲得焦點。
• required：表示表單提交時，該 <input>元素是否為必填。
• value：表示該 <input> 元素的值。
• validity：返回一個 ValidityState 對象，表示 <input> 元素的校驗狀態。是只讀屬性。
• validationMessage：表示 <input> 元素校驗失敗時，用戶看到的報錯信息。如果該元素不需要校驗，或者通過校驗，該屬性為空字符串。是只讀屬性。
• willValidate：表示表單提交時，<input> 元素是否會被校驗。是只讀屬性。
• select()：選中 <input> 元素內部的所有文本。
• click()：模擬鼠標點擊當前的 <input> 元素。

而在上述介紹 HTMLInputElement 類型中的屬性時，type 屬性要特別關注一下，因為根據 type 屬性的改變，可以改變<input>的屬性。

省略 type 屬性與 type="text"效果一樣， <input> 元素顯示為文本框。

當 type 的值為text/password/number/時，會有以下屬性對 <input> 元素有效。

下面創建一個 type="text" ，一次顯示 25 個字符，但最多允許顯示 50 個字符的文本框：

<input type="text" size="25" maxlength="50" value="initial value">

HTML 使用的 <textarea> 元素在 JavaScript 中對應的是 HTMLTextAreaElement 類型。HTMLTextAreaElement類型繼承自 HTMLElement 接口：

interface HTMLTextAreaElement extends HTMLElement {
    ...
}

HTMLTextAreaElement 類型有一些獨有的屬性和方法：

• form：只讀屬性，返回對父表單元素的引用。如果此元素未包含在表單元素中，則它可以是同一文檔中 id 屬性同 form 值的 <form> 元素，如果沒有，該值為 null。
• type：只讀屬性，返回字符串textarea。
• value：string類型，返回/設置控件中包含的原始值。
• textLength：只讀屬性，long類型，返回<textarea>元素的value值的長度。與 value.length 相同。
• defaultValue：string類型，返回/設置textarea元素的默認值。
• placeholder：string類型，返回/設置 textarea 元素的占位符，作為對輸入內容的提示。
• rows：unsigned long類型，返回/設置textarea元素的可見文本行數。
• cols：unsigned long類型，返回/設置 textarea 元素的可見寬度。
• autofocus：boolean類型，返回/設置textarea元素在頁面加載時自動獲取焦點。
• name：返回/設置 textarea 元素的名稱。
• disabled：boolean類型，返回/設置 textarea 元素是否應當被禁用。
• HTMLTextAreaElement.labels：NodeList類型，返回與此select元素關聯的標簽元素列表。
• maxLength：long類型，返回/設置元素可以輸入的最大字符數。僅在值更改時才評估此約束。
• minLength：long類型，返回/設置元素可以輸入的最小字符數。僅在值更改時才評估此約束。
• accessKey：boolean類型，返回/設置訪問 textarea 的鍵盤快捷鍵。
• readOnly：boolean類型，返回/設置 textarea 元素是否為只讀。
• required：boolean 類型，返回/設置 textarea 元素是否為必填項。
• tabIndex：long類型，返回/設置 textarea 元素的 tab 鍵導航順序中元素的位置。

下面創建一個高度為 25，寬度為 5 的 <textarea> 多行文本框。它與 <input> 不同的是，初始值顯示在 <textarea>...</textarea> 之間：

<textarea rows="25" cols="5">initial value</textarea>

注意：處理文本框值的時候最好不要使用 DOM 方法，而應該使用 value 屬性。

選擇文本

<input> 與 <textarea> 都支持 select() 方法，該方法用于選中文本框中的所有內容。該方法的語法為：

select(): void

下面看一個示例：

let textbox=document.forms[0].elements["input-box"];
textbox.select();

也可以在文本框獲得焦點時，選中文本框的內容：

textbox.addEventListener("focus", (event)=> {
    event.target.select();
});

select 事件

當選中文本框中的文本或使用 select() 方法時，會觸發 select 事件。

let textbox=document.forms[0].elements["textbox1"];
textbox.addEventListener("select", (event)=> {
    console.log(`Text selected: ${textbox.value}`);
});

取得選中的文本

HTML5 對 select 事件進行了擴展，通過 selectionStart 和 selectionEnd 屬性獲取文本選區的起點偏移量和終點偏移量。如下所示：

function getSelectedText(textbox){
    return textbox.value.substring(textbox.selectionStart,
textbox.selectionEnd);
}

注意：在 IE8 及更早版本不支持這兩個屬性。

選中部分文本

HTML5 提供了 setSelectionRange() 方法用于選中部分文本：

setSelectionRange(start, end, direction): void;

• start：被選中的第一個字符的位置索引，從 0 開始。如果這個值比元素的 value 長度還大，則會被看做 value 最后一個位置的索引。
• end：被選中的最后一個字符的下一個位置索引。如果這個值比元素的 value 長度還大，則會被看做 value 最后一個位置的索引。
• direction：該參數是可選的字符串類型，表示選擇方向，可以傳入 “forward”/“backward”/“none” 三個值。

下面看一個例子：

<input type="text" id="text-sample" size="20" value="Hello World!">
<button onclick="selectText()">選中部分文本</button>
<script>
    function selectText() {
        let input=document.getElementById("text-sample");
        input.focus();
        input.setSelectionRange(4, 8);    // o Wo
    }
</script>

如果想要看到選中效果，必須讓文本框獲得焦點。

輸入過濾

不同文本框經常需要保證輸入特定類型或格式的數據，或許數據需要包含特定字符或必須匹配某個特定模式。而文本框并未提供驗證功能，因此要配合 JavaScript 腳本實現輸入過濾功能。

屏蔽字符

有些輸入框需要出現或不出現特定字符。如果想要將輸入框變成只讀的，只需要使用 preventDefault()方法將按鍵都屏蔽：

input.addEventListener("keypress", (event)=> {
    event.preventDefault();
});

而要屏蔽特定字符，就需要檢查事件的 charCode 屬性。如下所示，使用正則表達式實現只允許輸入數字的輸入框：

input.addEventListener("keypress", (event)=> {
    if (!/\d/.test(event.key)) {
        event.preventDefault();
    }
});

還有一個問題需要處理：復制、粘貼及涉及Ctrl 鍵的其他功能。在除IE 外的所有瀏覽器中，前面代碼會屏蔽快捷鍵Ctrl+C、Ctrl+V 及其他使用Ctrl 的組合鍵。因此，最后一項檢測是確保沒有按下Ctrl鍵，如下面的例子所示：

textbox.addEventListener("keypress", (event)=> {
if (!/\d/.test(String.fromCharCode(event.charCode)) &&
event.charCode > 9 &&
!event.ctrlKey){
event.preventDefault();
}
});

最后這個改動可以確保所有默認的文本框行為不受影響。這個技術可以用來自定義是否允許在文本框中輸入某些字符。

處理剪貼板

IE 是第一個實現了剪切板相關的事件以及通過JavaScript訪問剪切板數據的瀏覽器，其它瀏覽器在后來也都支持了相同的事件和剪切板的訪問，后來 HTML5 將其納入了規范。以下是與剪切板相關的 6 個事件：

• beforecopy：發生復制操作前觸發。
• copy：發生復制操作時觸發。
• beforecut：發生剪切操作前觸發。
• cut：發生剪切操作時觸發。
• beforepaste：發生粘貼操作前觸發。
• paste：發生粘貼操作時觸發。

剪切板事件的行為及相關對象會因瀏覽器而異。在 Safari、Chrome 和 Firefox 中，beforecopy、beforecut 和 beforepaste 事件只會在顯示文本框的上下文菜單時觸發，但 IE 不僅在這種情況下觸發，也會在 copy、cut 和 paste 事件在所有瀏覽器中都會按預期觸發。

在實際的事件發生之前，通過beforecopy、beforecut 和 beforepaste 事件可以在向剪貼板發送或從中檢索數據前修改數據。不過，取消這些事件并不會取消剪貼板操作。要阻止實際的剪貼板操作，必須取消 copy、cut和 paste 事件。

剪貼板的數據通過 clipboardData 對象來獲取，且clipboardData 對象提供 3 個操作數據的方法：

• getData(format)：從剪貼板獲取指定格式的數據，接收的參數為指定獲取的數據格式，如果沒有指定數據格式或指定數據格式不存在，則此方法返回一個空字符串。
• setData(format, data)：給剪貼板賦予指定格式的數據，第一個參數指定數據格式，第二個參數為第一個參數賦予數據。如果指定數據格式不存在，則將其添加到數據存儲的末尾；如果指定數據格式存在，則將數據替換在指定數據格式的位置。
• clearData(format)：刪除指定格式的數據，接收的參數為指定要刪除的數據格式，如果指定格式不存在，則此方法不執行任何操作；如果此參數為空字符串或未提供，則將刪除所有格式的數據。

而 clipboardData 對象在 IE 中使用 window 獲取，在 Firefox、Safari 和 Chrome 中使用 event 獲取。為防止未經授權訪問剪貼板，只能在剪貼板事件期間訪問 clipboardData 對象；IE 會在任何時候都暴露 clipboardData 對象。因此，要兼容兩者，最好在剪貼板事件期間使用該對象。

function getClipboardText(event){
    var clipboardData=(event.clipboardData || window.clipboardData);
    return clipboardData.getData("text");
}
function setClipboardText (event, value){
    if (event.clipboardData){
        return event.clipboardData.setData("text/plain", value);
    } else if (window.clipboardData){
        return window.clipboardData.setData("text", value);
    }
}

如果文本框只有數字，那剪貼時，就需要使用paste事件檢查剪貼板上的文本是否無效。如果無效，可以取消默認行為：

input.addEventListener("paste", (event)=> {
    let text=getClipboardText(event);
    if (!/^\d*$/.test(text)){
        event.preventDefault();
    }
});

注意：Firefox、Safari和Chrome只允許在onpaste事件中訪問getData()方法。

自動切換

在 JavaScript 中，可以用在當前字段完成時自動切換到下一個字段的方式來增強表單字段的易用性。比如，常用手機號分為國家好加手機號。因此，我們設置 2 個文本框：

<form>
    <input type="text" name="phone1" id="phone-id-1" maxlength="4">
    <input type="text" name="phone2" id="phone-id-2" maxlength="11">
</form>

當文本框輸入到最大允許字符數后，就把焦點移到下一個文本框，這樣可以增加表單的易用性并加速數據輸入。如下所示：

<script>
    function tabForward(event){
        let target=event.target;
        if (target.value.length==target.maxLength){
            let form=target.form;
            for (let i=0, len=form.elements.length; i < len; i++) {
                if (form.elements[i]==target) {
                    if (form.elements[i+1]) {
                        form.elements[i+1].focus();
                    }
                    return;
                }
            }
        }
    }
    let inputIds=["phone-id-1", "phone-id-2"];
    for (let id of inputIds) {
        let textbox=document.getElementById(id);
        textbox.addEventListener("keyup", tabForward);
    }
</script>

這里，tabForward() 函數通過比較用戶輸入文本的長度與 maxLength 屬性的值來檢測輸入是否達到了最大長度。如果兩者相等，就通過循環表中的元素集合找到當前文本框，并把焦點設置到下一個元素。

注意：上面的代碼只適用于之前既定的標記，沒有考慮可能存在的隱藏字段。

HTML5

HTML5 新增了一些表單提交前，瀏覽器會基于指定的規則進行驗證，并在出錯時顯示適當的錯誤信息。而驗證會基于某些條件應用到表單字段中。

必填字段

表單字段中添加 required 屬性，用于標注該字段是必填項，不填則無法提交。該屬性適用于<input>、<textarea>和<select>。如下所示：

<input type="text" name="account" required>

也可以通過 JavaScript 檢測對應元素的 required 屬性來判斷表單字段是否為必填項：

let isRequired=document.forms[0].elements["account"].required;

也可以檢測瀏覽器是否支持 required 屬性：

let isRequiredSupported="required" in document.createElement("input");

注意：不同瀏覽器處理必填字段的機制不同。Firefox、Chrome、IE 和Opera 會阻止表單提交并在相應字段下面顯示有幫助信息的彈框，而Safari 什么也不做，也不會阻止提交表單。

更多輸入類型

HTML5 為 <input> 元素增加了幾個新的 type 值。如下所示：

這些輸入表名字段應該輸入的數據類型，并且提供了默認驗證。如下所示：

<input type="email" name="email">
<input type="url" name="homepage">

要檢測瀏覽器是否支持新類型，可以在 JavaScript 中創建 <input> 并設置 type 屬性，之后讀取它即可。老版本中會將我只類型設置為 text，而支持的會返回正確的值。如下所示：

let input=document.createElement("input");
input.type="email";
let isEmailSupported=(input.type=="email");

數值范圍

而上面介紹的幾個如 number/range/datetime/datetime-local/date/month/week/time 幾個填寫數字的類型，都可以指定 min/max/step 等幾個與數值有關的屬性。step 屬性用于規定合法數字間隔，如 step="2"，則合法數字應該為 0、2、4、6，依次類推。如下所示：

<input type="number" min="0" max="100" step="5" name="count">

上面的例子是<input>中只能輸入從 0 到 100 中 5 的倍數。

也可以使用 stepUp() 和 stepDown() 方法對 <input> 元素中的值進行加減，它倆會接收一個可選參數，用于表示加減的數值。如下所示：

input.stepUp(); // 加1
input.stepUp(5); // 加5
input.stepDown(); // 減1
input.stepDown(10); // 減10

輸入模式

HTML5 還為文本添加了 pattern 屬性，用于指定一個正則表達式。這樣就可以自己設置 <input> 元素的輸入模式了。如下所示：

<input type="text" pattern="\d+" name="count">

注意模式的開頭和末尾分別假設有^和$。這意味著輸入內容必須從頭到尾都嚴格與模式匹配。

與新增的輸入類型一樣，指定 pattern 屬性也不會阻止用戶輸入無效內容。模式會應用到值，然后瀏覽器會知道值是否有效。通過訪問 pattern 屬性可以讀取模式：

let pattern=document.forms[0].elements["count"].pattern;

使用如下代碼可以檢測瀏覽器是否支持pattern 屬性：

let isPatternSupported="pattern" in document.createElement("input");

檢測有效性

HTML5 新增了 checkValidity() 方法，用來檢測表單中任意給定字段是否有效。而判斷的條件是約束條件，因此必填字段如果沒有值會被視為無效，字段值不匹配 pattern 屬性也會被視為無效。如下所示：

if (document.forms[0].elements[0].checkValidity()){
    // 字段有效，繼續
} else {
    // 字段無效
}

要檢查整個表單是否有效，可以直接在表單上調用checkValidity()方法。這個方法會在所有字段都有效時返回true，有一個字段無效就會返回false：

if(document.forms[0].checkValidity()){
    // 表單有效，繼續
} else {
    // 表單無效
}

validity 屬性會返回一個ValidityState 對象，表示 <input> 元素的校驗狀態。返回的對象包含一些列的布爾值的屬性：

• customError：如果設置了 setCustomValidity() 就返回 true，否則返回false。
• patternMismatch：如果字段值不匹配指定的 pattern 屬性則返回true。
• rangeOverflow：如果字段值大于 max 的值則返回true。
• rangeUnderflow：如果字段值小于 min 的值則返回true。
• stepMisMatch：如果字段值與 min、max 和 step 的值不相符則返回true。
• tooLong：如果字段值的長度超過了 maxlength 屬性指定的值則返回true。
• typeMismatch：如果字段值不是 "email" 或"url" 要求的格式則返回true。
• valid：如果其他所有屬性的值都為false 則返回true。與checkValidity()的條件一致。
• valueMissing：如果字段是必填的但沒有值則返回true。

因此，通過 validity 屬性可以檢查表單字段的有效性，從而獲取更具體的信息，如下所示：

if (input.validity && !input.validity.valid){
    if (input.validity.valueMissing){
        console.log("請指定值.")
    } else if (input.validity.typeMismatch){
        console.log("請指定電子郵件地址.");
    } else {
        console.log("值無效.");
    }
}

禁用驗證

通過指定 novalidate 屬性可以禁止對表單進行任何驗證：

<form method="post" action="/signup" novalidate>
    <!-- 表單元素 -->
</form>

也可以在 JavaScript 通過 noValidate 屬性設置，為 true 表示屬性存在，為 false 表示屬性不存在：

document.forms[0].noValidate=true; // 關閉驗證

如果一個表單中有多個提交按鈕，那么可以給特定的提交按鈕添加formnovalidate 屬性，指定通過該按鈕無需驗證即可提交表單：

<form method="post" action="/foo">
    <!-- 表單元素 -->
    <input type="submit" value="注冊提交">
    <input type="submit" formnovalidate name="btnNoValidate"
value="沒有驗證的提交按鈕">
</form>

也可以使用 JavaScript 設置 formNoValidate 屬性：

// 關閉驗證
document.forms[0].elements["btnNoValidate"].formNoValidate=true;

總結

以上總結了 <input> 和 <textarea> 兩個元素的一些功能，主要是 <input> 元素可以通過設置 type 屬性獲取不同類型的輸入框，可以通過監聽鍵盤事件并檢測要插入的字符來控制文本框的內容。

還有一些與剪貼板相關的事件，并對剪貼的內容進行檢測。還介紹了一些 HTML5 新增的屬性和方法和新增的更多的 <input> 元素的類型，和一些與驗證相關的屬性和方法。