2KB项目,专业的源码交易网站 帮助 收藏 每日签到

java开发中遇到的问题-阅历有限找不到现有的解决方案

  • 时间:2019-01-23 02:19 编辑:2KB 来源:2KB.COM 阅读:566
  • 扫一扫,手机访问
  • 分享
摘要: 公司需要完成一个功能  将100亿数据(大概)存入数据库 , 一条数据有 手机号码  地址 姓名 等等大概30个字段。 数据是保存在本地csv文件中的每个文件有50000条数据

公司需要完成一个功能  将100亿数据(大概)存入数据库 , 一条数据有 手机号码  地址 姓名 等等大概30个字段。

数据是保存在本地csv文件中的每个文件有50000条数据,  现在是统计这些数据  因为手机号有重复的 

相同的地址 相同的姓名这些会统计成一条数据  比如同一个号码  姓名张三  出现次数3次,

数据库选择的是mongodb 但是由于这个业务存在大量的更新操作mongodb更新速度太慢,  插入速度 5000条/秒

(因为单条数据比较大),更新速度 200条/秒(索引什么的都建了) 由于达不到项目需求现在卡在这里了,有什么数据库能

支持大批量的数据更新的最少 3000条/秒的更新速度,测试了mongodb的速度在字段在10个以内时

插入30000条/秒  更新8000条/秒  单条文档越大速度越慢 ,大哥们我应该怎么做。。。。。。

 


2KB项目(www.2kb.com,源码交易平台),提供担保交易、源码交易、虚拟商品、在家创业、在线创业、任务交易、网站设计、软件设计、网络兼职、站长交易、域名交易、链接买卖、网站交易、广告买卖、站长培训、建站美工等服务

  • 全部评论(0)
资讯详情页最新发布上方横幅
最新发布的资讯信息
【计算机/互联网|】Nginx出现502错误(2020-01-20 21:02)
【计算机/互联网|】网站运营全智能软手V0.1版发布(2020-01-20 12:16)
【计算机/互联网|】淘宝这是怎么了?(2020-01-19 19:15)
【行业动态|】谷歌关闭小米智能摄像头,因为窃听器显示了陌生人家中的照片(2020-01-15 09:42)
【行业动态|】据报道谷歌新闻终止了数字杂志,退还主动订阅(2020-01-15 09:39)
【行业动态|】康佳将OLED电视带到美国与LG和索尼竞争(2020-01-15 09:38)
【行业动态|】2020年最佳AV接收机(2020-01-15 09:35)
【行业动态|】2020年最佳流媒体设备:Roku,Apple TV,Firebar,Chromecast等(2020-01-15 09:31)
【行业动态|】CES 2020预览:更多的流媒体服务和订阅即将到来(2020-01-08 21:41)
【行业动态|】从埃隆·马斯克到杰夫·贝佐斯,这30位人物定义了2010年代(2020-01-01 15:14)
联系我们

Q Q: 7090832

电话:400-0011-990

邮箱:7090832@qq.com

时间:9:00-23:00

联系客服
商家入住 服务咨询 投拆建议 联系客服
0577-67068160
手机版

扫一扫进手机版
返回顶部