Python之fastparquet：fastparquet的简介、安装、使用方法之详细攻略

Python之fastparquet：fastparquet的简介、安装、使用方法之详细攻略

目录

fastparquet的简介

fastparquet的安装

fastparquet的使用方法

1、读取

2、写入

fastparquet的简介

    fastparquet是parquet格式的python实现，旨在集成到基于python的大数据工作流中。并非拼花地板格式的所有部分都已实现或测试，例如，请参阅下面链接的TODO。也就是说，fastparquet能够读取parquet compatibility项目中的所有数据文件。

fastparquet的安装

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastparquet

fastparquet的使用方法

1、读取

您可以指定要加载哪些列，哪些列作为类别保留（如果数据使用字典编码）。文件路径可以是单个文件、指向其他数据文件的元数据文件或包含数据文件的目录（树）。后者通常由hive/spark输出。

  

   

    

     

    
    

     

      from fastparquet import ParquetFile
     
    
   

    

     

    
    

     

      pf = ParquetFile('myfile.parq')
     
    
   

    

     

    
    

     

      df = pf.to_pandas()
     
    
   

    

     

    
    

     

      df2 = pf.to_pandas(['col1', 'col2'], categories=['col1'])
     
    
  
 

2、写入

默认情况下，生成一个具有单个行组（即逻辑段）且不压缩的单个输出文件。目前，只支持简单的数据类型和普通编码，因此期望性能与numpy.savez公司.

  

   

    

     

    
    

     

      from fastparquet import write
     
    
   

    

     

    
    

     

      write('outfile.parq', df)
     
    
   

    

     

    
    

     

      write('outfile2.parq', df, row_group_offsets=[0, 10000, 20000],
     
    
   

    

     

    
    

     

       compression='GZIP', file_scheme='hive')
     
    
  
 

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/104404948