最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程

来源:动视网 责编:小采 时间:2020-11-09 14:14:29
文档

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程:承接上节课,现在说说导出教程 检查连接 先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个 sqoop:000 show connector --all1 connector(s) to show: Connector with id 1: Name: generic-jdbc-
推荐度:
导读Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程:承接上节课,现在说说导出教程 检查连接 先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个 sqoop:000 show connector --all1 connector(s) to show: Connector with id 1: Name: generic-jdbc-


承接上节课,现在说说导出教程 检查连接 先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个 sqoop:000 show connector --all1 connector(s) to show: Connector with id 1: Name: generic-jdbc-connector Class: org.apache.sqoop.c

承接上节课,现在说说导出教程

检查连接

先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个

sqoop:000> show connector --all
1 connector(s) to show: 
Connector with id 1:
 Name: generic-jdbc-connector 
 Class: org.apache.sqoop.connector.jdbc.GenericJdbcConnector
 Version: 1.99.3-cdh5.0.1
 Supported job types: [EXPORT, IMPORT]
 Connection form 1:


后面还有很长的输出我就不贴了,如果有就继续往下做

准备数据

mysql数据表准备

先在mysql 里面建立一个表 employee
CREATE TABLE `employee` ( 
 `id` int(11) NOT NULL, 
 `name` varchar(20) NOT NULL, 
 PRIMARY KEY (`id`) 
) ENGINE=MyISAM DEFAULT CHARSET=utf8; 

hadoop文件准备

在hadoop里面建立数据文件 先建立一个文件 part-m-00000 内容是
1,'michael'

把他们放到hadoop里面
# hdfs dfs -mkdir /user/alex
# hdfs dfs -put part-m-00000 /user/alex/
# hdfs dfs -ls /user/alex
Found 1 items
-rw-r--r-- 2 root supergroup 20 2014-11-27 18:26 /user/alex/part-m-00000

导出

create job --xid 1 --type export

接下来按照提示输入

sqoop:000> create job --xid 1 --type export
Creating job for connection with id 1
Please fill following values to create new job object
Name: export to employee

Database configuration

Schema name: 
Table name: employee
Table SQL statement: 
Table column names: 
Stage table name: 
Clear stage table: 

Input configuration

Input directory: /user/alex

Throttling resources

Extractors: 
Loaders: 
New job was successfully created with validation status FINE and persistent id 3

执行这个任务

sqoop:000> start job --jid 3
Submission details
Job ID: 3
Server URL: http://localhost:12000/sqoop/
Created by: root
Creation date: 2014-11-27 18:29:27 CST
Lastly updated by: root
External ID: job_1406097234796_0008
	http://xmseapp01:8088/proxy/application_1406097234796_0008/
2014-11-27 18:29:27 CST: BOOTING - Progress is not available

然后等一会儿,再去看mysql的employee表就有一条michael 的记录了

下节课说下sqoop跟Hbase之间的通讯



后面还有很长的输出我就不贴了,如果有就继续往下做

文档

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程:承接上节课,现在说说导出教程 检查连接 先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个 sqoop:000 show connector --all1 connector(s) to show: Connector with id 1: Name: generic-jdbc-
推荐度:
标签: 导出 教程 菜鸟
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top