最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

关于Redis批量写入的介绍

来源:动视网 责编:小采 时间:2020-11-09 06:50:12
文档

关于Redis批量写入的介绍

关于Redis批量写入的介绍:下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!最近测试redis性能,需要批量插入1千万条以上的数据,就简单进行了研究,大概有以下几种方法:一:java程序调用,简单的for循环,通过Jedis的方法,直接插入, 至于速度,不用看
推荐度:
导读关于Redis批量写入的介绍:下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!最近测试redis性能,需要批量插入1千万条以上的数据,就简单进行了研究,大概有以下几种方法:一:java程序调用,简单的for循环,通过Jedis的方法,直接插入, 至于速度,不用看


下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!

最近测试redis性能,需要批量插入1千万条以上的数据,

就简单进行了研究,大概有以下几种方法:

一:java程序调用,简单的for循环,通过Jedis的方法,直接插入,

至于速度,不用看,不用试,根本不行,就不给实现了。

二:通过shell脚本,也比较简单,但也是因为要通过port端口的形式,

连接到redis,速度也是慢的不行,放弃。

三:通过redis提供管道,感觉这种方法是最靠谱的,一下是实现:

步骤1:首先简单写一个shell脚本:

for((i=1;i<=1000000;i++)) doecho "set k$i v$i" >> /tmp/_t.txt done

目的是生成一个用批量插入的脚本文件,

步骤2:这里linux或者windows上生成的文件不能直接当做redis语句来跑,

简单来说,就是因为linux,windows和dos的换行并不一样,

所以需要简单转换一下:

转换的方法有好多种:

1:一般Linux发行版中都带有这个小工具,只能把DOS转换为UNIX文件,命令如下:

# unix2dos dosfile.txt

上面的命令会去掉行尾的^M符号。(如果机器上没有安装nuix2dos,直接用方法2即可)

2:用vim,vim是vi的改进版本,使用方式:

#vim file.txt
:set fileformat=dos
::wq

一行命令即可,保存退出,

步骤3:就是跑脚本了,通过redis提供的管道--pipe形式,

cat redisTest.txt | redis-cli -h reids.aliyuncs.com -p 6379 -a xxxx --pipe

三步即可,完成redis的批量插入,速度,在2000万条的情况下,生成脚本的速度稍慢,插入的速度还在几分钟,

速度可以说是非常快了~

文档

关于Redis批量写入的介绍

关于Redis批量写入的介绍:下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!最近测试redis性能,需要批量插入1千万条以上的数据,就简单进行了研究,大概有以下几种方法:一:java程序调用,简单的for循环,通过Jedis的方法,直接插入, 至于速度,不用看
推荐度:
标签: 批量 介绍 简介
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top