公司需要完成一个功能 将100亿数据(大概)存入数据库 , 一条数据有 手机号码 地址 姓名 等等大概30个字段。
数据是保存在本地csv文件中的每个文件有50000条数据, 现在是统计这些数据 因为手机号有重复的
相同的地址 相同的姓名这些会统计成一条数据 比如同一个号码 姓名张三 出现次数3次,
数据库选择的是mongodb 但是由于这个业务存在大量的更新操作mongodb更新速度太慢, 插入速度 5000条/秒
(因为单条数据比较大),更新速度 200条/秒(索引什么的都建了) 由于达不到项目需求现在卡在这里了,有什么数据库能
支持大批量的数据更新的最少 3000条/秒的更新速度,测试了mongodb的速度在字段在10个以内时
插入30000条/秒 更新8000条/秒 单条文档越大速度越慢 ,大哥们我应该怎么做。。。。。。
2KB项目(www.2kb.com,源码交易平台),提供担保交易、源码交易、虚拟商品、在家创业、在线创业、任务交易、网站设计、软件设计、网络兼职、站长交易、域名交易、链接买卖、网站交易、广告买卖、站长培训、建站美工等服务