python读parquet文件 pandas读parquet文件

python读parquet文件 pandas读parquet文件

如何使用gzip压缩后的parquet文件

今天我们来学习使用python读取parquet文件

背景

有一个parquet文件，而且还用gzip压缩了。

那该如何读取呢？ 准备工作

安装

pandas和pyarrow

# 安装 pandas and pyarrow: pip3 install pandas pyarrow 读取 # 使用 read_parquet 加载parquet文件 import pandas as pd from pandas import read_parquet data = read_parquet("myFile.parquet.gzip") print(data.count()) data.head()