最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

mysql实现百万的数据快速创建索引

来源:动视网 责编:小采 时间:2020-11-09 08:43:24
文档

mysql实现百万的数据快速创建索引

mysql实现百万的数据快速创建索引:测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。开始准备工作,user表结构:CREATE TABLE `users` ( `id`
推荐度:
导读mysql实现百万的数据快速创建索引:测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。开始准备工作,user表结构:CREATE TABLE `users` ( `id`
 测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。

开始准备工作,

user表结构:

CREATE TABLE `users` (
 `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
 `name` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL,
 `add_time` int(11) DEFAULT NULL, PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1000001 DEFAULT CHARSET=latin1;

尝试在navicat中使用 into outfile导出数据的时候出现错误:

select * from users into outfile 'users.txt'; //users.txt文件在mysql的dat

如下图:

上网查了一下是mysql设置的权限,可以使用

show variables like '%secure%';查看 secure-file-priv 当前的值是什么?

可以看到secure-file-priv参数是用来LOAD DATA, SELECT ... OUTFILE, and LOAD_FILE()传到哪个指定目录的。 当secure_file_priv的值为null ,表示mysqld 不允许导入|导出 当secure_file_priv的值为/tmp/ ,表示mysqld 的导入|导出只能发生在/tmp/目录下 当secure_file_priv的值没有具体值时,表示不对mysqld 的导入|导出做.

导出的数据必须是这个值的指定路径才可以导出,默认有可能是NULL(我这里查看的是null)就代表禁止导出,所以需要设置一下

由于我使用的是phpstudy,mysql安装路径下的my.ini文件,设置一下路径:

注意:路径名加双引号" "
重启后再次执行错误依旧.....

mysql.cnf中没有对这个参数进行设定,就说明这个参数默认便是null

所以再尝试修改mysql.cnf中的[mysqld]加入secure_file_priv =

最终如下:

再次重启mysql

可以看到users.txt生成在同级test数据库目录。。
接着执行:

truncate users;

创建索引:

create index name using BTREE on users(name);

索引的方式有:BTREE、RTREE、HASH、FULLTEXT、SPATIAL,这里不再赘述他们的区别,网上有很多关于这块的介绍啦

导入文件到相应表users。

load data infile 'users.txt' into table users;

此方式在write 锁住情况下,或对外服务暂停时使用,线上不可能直接这样玩了。

相关推荐:

MySQL创建索引和删除索引的方法

文档

mysql实现百万的数据快速创建索引

mysql实现百万的数据快速创建索引:测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。开始准备工作,user表结构:CREATE TABLE `users` ( `id`
推荐度:
标签: 创建 快速 内容
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top