不常見的Pandas小竅門：我打賭一定有你不知道的
本文轉載自公眾號“讀芯術”(ID：AI_Discovery)。
作為一名數據分析師或數據科學家，不了解Python中的Pandas庫是無論如何說不過去的，它已經成為Python中用來整理、清理數據的標準工具了。
然而，關于Pandas，你確定自己完全掌握了嘛?本文將分享一些少見但有用的Pandas技巧，它們能提升工作效率，讓生活更輕松。
用剪貼板創建數據框
眾所周知，Pandas可以使用SQLAlchemy從CSV、JSON甚至直接從數據庫輕松讀取數據，但你知道Pandas還可以從所用操作系統的剪貼板讀取數據嗎?假設有一個包含多個數據表的Excel文件。現在，需要在Python中處理其中一個表的部分數據。你通常會怎么做?
- 從數據表中復制需要在Python中處理的數據。
- 將其粘貼到另一個數據表中。
- 將當前工作表保存到CSV文件中。
- 獲取新CSV文件的路徑。
- 在Python中，使用pd.read_csv('path/to/csv/file')將文件讀入一個Pandas數據框架。
當然，其實有種更簡單的方法——pd.read_clipboard()。
- 復制所需數據區域
- 在Python中，使用pd.read_clipboard()
如上所示，如果只是想要將一些數據加載到Pandas中，那么無需CSV或Excel的分離文件。
在該函數中還有一些小竅門。例如，當遇到帶有日期格式的數據時，可能無法正確加載，如下所示：
訣竅就是，為Pandas注明哪一列是需要解析的日期格式。
- df = pd.read_clipboard(parse_dates=['dob'])
使用測試方法生成虛擬數據
有時可能需要生成一些樣本數據幀，最常見的方法應該是使用NumPy生成一個具有隨機值的數組，然后從該數組生成數據幀。
如果數據需要具有一定的分布，比如正態分布，就必須使用這種方法。但是，大多數情況下，數據是否呈正態分布并不重要，只要有數據就好。在這種情況下，有一種更簡單的方法，即使用pandas.util.testing測試包生成樣本數據幀。
- pd.util.testing.makeDataFrame()
數據幀的索引將使用隨機字符串生成，默認情況下將有4列30行。
如果需要數量相當的行和列，可以將testing.N定義為行數，并將testing.K定義為列數。
- pd.util.testing.N = 10
- pd.util.testing.K = 5
- pd.util.testing.makeDataFrame()
將數據幀輸出至壓縮文件
圖源：unsplash
數據幀可以輕松輸出至文件，例如以df.to_csv()、df.to_json()等形式。但有時，為節省磁盤空間或另作它用，需要壓縮文件。例如，作為一名數據工程師，為了將Pandas數據幀輸出到CSV文件中，并將其傳輸到遠程服務器，在發送前需要壓縮文件以節省空間和帶寬。
通常，一貫的解決方案是在所用調度工具(如Airflow或Oozie)中多操作一步，但Pandas可以直接輸出壓縮文件。所以，解決方案幾步就可完成，更加簡潔明了。
先使用第二個小竅門生成隨機數據幀吧：
- pd.util.testing.N = 100000
- pd.util.testing.K = 5
- df = pd.util.testing.makeDataFrame()
在該例子中，僅需要一個數據框架，其中的值可完全不計。現在，將數據幀保存到一個CSV文件中，并檢查其大小。
- import osdf.to_csv('sample.csv')os.path.getsize('sample.csv')
然后，可以試試將相同的數據幀輸出到壓縮文件中，并檢查文件的大小。
- df.to_csv('sample.csv.gz', compression='gzip')os.path.getsize('sample.csv.gz')
可以看到，壓縮文件小于正常CSV文件的一半。
這可能不是一個好例子，因為該隨機數據幀中沒有任何重復值。在實踐中，如果存在分類值，壓縮率會非常高!順便一提，如你所想，Pandas可以直接將壓縮文件讀入數據幀，無須在文件系統中解壓它。
- df = pd.read_csv('sample.csv.gz', compression='gzip', index_col=0)
gzip是優先選擇，因為它默認存在于大多數Linux系統中。Pandas還支持其它壓縮格式，比如“zip”和“bz2”。
多列獲取DateTime(時間日期)
圖源：unsplash
在Pandas中，你一定用過pd.to_datetime()方法將某種字符串轉換為DateTime格式，這通常用于處理諸如%Y%m%d的格式字符串。然而，也有時可能會使用下方所示的數據框架作為原始數據。
- df = pd.DataFrame({
- 'year': np.arange(2000, 2012),
- 'month': np.arange(1, 13),
- 'day': np.arange(1, 13),
- 'value': np.random.randn(12)
- })
在數據框架中，將年、月、日作為單獨列分隔開來屢見不鮮，可以使用pd.to_dateframe()將其一步轉換為DateTime列。
- df['date'] = pd.to_datetime(df[['year', 'month', 'day']])
本文分享了一些關于Pandas Python庫的省時小竅門。簡而言之，人生苦短，Python值得。
