×

Loading...
Ad by
  • 最优利率和cashback可以申请特批,好信用好收入offer更好。请点链接扫码加微信咨询,Scotiabank -- Nick Zhang 6478812600。
Ad by
  • 最优利率和cashback可以申请特批,好信用好收入offer更好。请点链接扫码加微信咨询,Scotiabank -- Nick Zhang 6478812600。

基于文档的MongoDB能用来解决我这个ETL问题吗?

公司有很多客户,每个客户都有很多文档通过SFTP的方式发给我们要进行分析处理:
文档基本都是excel,现在的做法是下载了每个excel后,手工import到SQL里面。基本上是每个文件的每个sheet都建一个单独的表。非常繁琐。
数据全部导入后,通过普通的SQL命令(join,group,pivot之类的)进行分析,得到结果后导出为excel,做一些格式上的美化后完成任务,或者通过BI软件连接SQL进行后期分析。

我在想MongoDB是否可以解决这个导入的问题,能不能把excel文件全部导入到MongoDB里面,从MongoDB做类似SQL的那些分析,同样得到结果后导出为excel,做一些格式上的美化后完成任务。或者通过BI软件连接MongoDB进行后期分析?

谢谢。
Report

Replies, comments and Discussions:

  • 工作学习 / 学科技术 / 基于文档的MongoDB能用来解决我这个ETL问题吗?
    公司有很多客户,每个客户都有很多文档通过SFTP的方式发给我们要进行分析处理:
    文档基本都是excel,现在的做法是下载了每个excel后,手工import到SQL里面。基本上是每个文件的每个sheet都建一个单独的表。非常繁琐。
    数据全部导入后,通过普通的SQL命令(join,group,pivot之类的)进行分析,得到结果后导出为excel,做一些格式上的美化后完成任务,或者通过BI软件连接SQL进行后期分析。

    我在想MongoDB是否可以解决这个导入的问题,能不能把excel文件全部导入到MongoDB里面,从MongoDB做类似SQL的那些分析,同样得到结果后导出为excel,做一些格式上的美化后完成任务。或者通过BI软件连接MongoDB进行后期分析?

    谢谢。
    • 每个客户的Excel sheet 格式一样的吗。。数据类似,可以整合?
    • 这玩意用什么数据库吗,纯粹多此一举,自己折磨自己,c#十几行语句完事儿的活。。我曾经接过的活类似你这种,比你描述的复杂得多,公司一开始用数据库,后来发现纯粹就是自己作死。全让我改成c#项目,又快又好,还容易维护
    • MongoDB 是基于文档的数据库不假,但是如果我理解正确的话它是面向JSON而不是Office 文档。从描述的情况来看,Python/R应该是将这一手工过程自动化不错的选择。当然,看热闹的不怕事大,做合同工的不怕系统设计的大。。。
    • 你的问题不在于任何存储excel的数据,而是如何一致地描述表达excel文档的schema。有了schema,无论导入SQL还是Mongo,还是以后的分析,都可以自动化。 +1