awesome-data-engineering, 面向软件开发人员的数据工程工具的精选列表

分享于 

16分钟阅读

GitHub

  繁體 雙語
A curated list of data engineering tools for software developers
  • 源代码名称:awesome-data-engineering
  • 源代码网址:http://www.github.com/igorbarinov/awesome-data-engineering
  • awesome-data-engineering源代码文档
  • awesome-data-engineering源代码下载
  • Git URL:
    git://www.github.com/igorbarinov/awesome-data-engineering.git
    Git Clone代码到本地:
    git clone http://www.github.com/igorbarinov/awesome-data-engineering
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/igorbarinov/awesome-data-engineering
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    出色的数据工程

    面向软件开发人员的数据工程工具的精选Awesome

    内容列表

    数据获取文件系统序列化格式流处理批处理
    • Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop easily在大型的。容错的方式上并行地编写大量数据的应用程序
    • Spark
    • AWS EMR web服务,使快速和低成本处理大量数据变得容易。
    • 是一个开放源代码的可以扩展批处理和数据流数据处理平台。
    • Tez 应用程序框架,允许复杂的任务directed-acyclic-graph处理数据。
    图表和仪表板
    • 使用纯JavaScript编写的图表库,为你的网站或者web应用程序提供了一种简单的方式添加交互图表。
    • ZingChart 任何数据集的快速JavaScript图表。
    • C3.js D3-based可以重用图表库。
    • D3.js 基于数据操作文档的JavaScript库。
      • D3Plus,易于使用。 你可以直接插入数据的预定义模板。
    • SmoothieCharts 用于流数据的JavaScript图表库。
    • PyXley python 帮助器,用于使用 Flask 和响应构建仪表板
    • python Plotly Flask,JS和CSS样板,用于基于web的可视化可视化应用
    • 是一个现代化的企业智能网络应用
    • 元数据库数据库是你公司中所有人提出问题和学习数据的简单。开源的途径。
    工作流弹性 Logstash Kibana
    • docker-logstash 一个高度可以配置的logstash ( 1.4.4 ) Docker 映像,运行 Elasticsearch ( 1.7.0 ) 和 Kibana ( 3.1.2 )。
    • 用于Elasticsearch的Elasticsearch JDBC
    • ZomboDB Postgres,允许创建由Elasticsearch支持的索引
    Docker数据集

    实时实时

    数据转储

    • 从年起,GitHub GitHub的档案库 public updated更新每小时更新一次
    • 通用爬网 web爬网数据的开放源代码存储库
    • 维基百科维基百科的维基百科拷贝,以wikitext源代码和XML格式嵌入 XML。 SQL窗体中的许多原始数据库表也可用。
    监视器

    Prometheus

    • 一种开放源代码服务监控系统与时序数据库
    • HAProxy导出简单服务器抓取HAProxy统计数据,并通过HTTP的HTTP导出它们,用于普罗米修斯消费
    社区

    论坛

    会议

    • DataEngConf DataEngConf是第一个技术会议,它桥接数据科学家,数据工程师和数据分析人员之间的鸿沟。

    恭喜数据工程生态系统: 交互式地图

    awesome下拉列表激发。Insight数据工程师创建。

    许可证

    CC0

    在法律可能的范围内,Igor Barinov 放弃了所有的版权和相关或者邻接的权利。

    Bitdeli Badge


    数据  tool  lis  列表  
    相关文章