编程技术网

关注微信公众号,定时推送前沿、专业、深度的编程技术资料。

 找回密码
 立即注册

QQ登录

只需一步,快速开始

极客时间

使用 Hadoop Pig 从文本文件中加载数据,每条记录位于多行?:Use Hadoop Pig to load data from text file w/ each record on multiple lines?

Юрий Ярвинен hadoop 2022-5-7 16:28 15人围观

腾讯云服务器
使用 Hadoop Pig 从文本文件中加载数据,每条记录位于多行?的处理方法

我的数据文件格式如下:

I have my data file in the following format:

U: john T: 2011-03-03 12:12:12 L: san diego, CA U: john T: 2011-03-03 12:12:12 L: san diego, CA 

使用 Hadoop/pig/任何内容读取此文件以进行分析的最佳方法是什么?

What's the best way to read this file w/ Hadoop/pig/whatever for analysis?

问题解答

有什么方法可以控制写入数据的方式吗?编写一个将其移至制表符分隔的流程将有助于您开箱即用.

Is there any way you can control the way the data is being written? Writing an process that moves this to tab separated would help you do this out of the box.

否则,编写自定义记录阅读器(在 Pig 或 Java MapReduce 中)可能是您唯一的选择.两者都不难.

Otherwise, writing a custom record reader (in Pig or Java MapReduce) might be your only option. Neither is very hard.

这篇关于使用 Hadoop Pig 从文本文件中加载数据,每条记录位于多行?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程技术网(www.editcode.net)!

腾讯云服务器

相关推荐

阿里云服务器
关注微信
^