编程技术网

关注微信公众号,定时推送前沿、专业、深度的编程技术资料。

 找回密码
 立即注册

QQ登录

只需一步,快速开始

极客时间

如何将 PySpark 中的表数据框导出到 csv?:How to export a table dataframe in PySpark to csv?

Avihai Marchia spark 2022-5-7 16:40 11人围观

腾讯云服务器
如何将 PySpark 中的表数据框导出到 csv?的处理方法

我使用的是 Spark 1.3.1 (PySpark) 并且我使用 SQL 查询生成了一个表.我现在有一个 DataFrame 对象.我想将这个 DataFrame 对象(我称之为表")导出到一个 csv 文件,以便我可以操作它并绘制列.如何将 DataFrame表"导出到 csv 文件?

I am using Spark 1.3.1 (PySpark) and I have generated a table using a SQL query. I now have an object that is a DataFrame. I want to export this DataFrame object (I have called it "table") to a csv file so I can manipulate it and plot the columns. How do I export the DataFrame "table" to a csv file?

谢谢!

问题解答

如果数据框适合驱动程序内存并且您想保存到本地文件系统,您可以转换 Spark DataFrame 到本地 Pandas DataFrame 使用 toPandas 方法,然后简单地使用 to_csv:

If data frame fits in a driver memory and you want to save to local files system you can convert Spark DataFrame to local Pandas DataFrame using toPandas method and then simply use to_csv:

df.toPandas().to_csv('mycsv.csv') 

否则你可以使用 spark-csv:

  • Spark 1.3

  • Spark 1.3

df.save('mycsv.csv', 'com.databricks.spark.csv') 
  • Spark 1.4+

  • Spark 1.4+

    df.write.format('com.databricks.spark.csv').save('mycsv.csv') 
  • 在 Spark 2.0+ 中你可以直接使用 csv 数据源:

    In Spark 2.0+ you can use csv data source directly:

    df.write.csv('mycsv.csv') 

    这篇关于如何将 PySpark 中的表数据框导出到 csv?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程技术网(www.editcode.net)!

    腾讯云服务器

    相关推荐

    阿里云服务器
    关注微信
    ^