大数据时代的数据管理可以使用哪些软件？

数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览器里的搜索、点击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop，可以在Hadoop集群上运行R代码。更具体的自己搜索吧。
可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。
Tableau、Impure都有可视化功能。R语言也可以绘图。
还有很多可以用来在网页上实现可视化输出的框架或者控件。
大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比较喜欢d3(Data-Driven Documents)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。

大数据时代的数据管理可以使用哪些软件？根据你的需求，建议你使用敬业签，因为它支持你分类整理记录的数据内容，而且还有日志时间轴的功能，既可以将记录的内容按时间线串联起来，又能保证内容的完整储存。

传统的数据管理，通常要根据业务需要，设计一个基于关系数据库的应用程序。这样的系统可以根据一个或者多个数据的特征以及组合关联进行查询和分析，但是缺点是表结构固定、扩展困难、也不通用、只能局限在特定的专有应用场景。在强关联的数据应用场景下，海量数据条目难以分库分表，查询效率会急剧下降，遇到数十亿数据条目的时候有可能永远也得不到结果。
进化型的数据管理采用分布式的半结构化数据库，（比如使用文档数据库MongoDB，KV数据库Cassendra或者Redis），这样看起来扩展性好很多，但是当面临大规模强关联数据进行关联分析和查询的时候异常困难。
但是如果文件系统包含了数十亿的文件和数亿的目录，想要快速发现数据，还需要对于数据特征的标准特征（例如名字、路径、大小、访问时间等）或者应用定义的特征标签关联组合，有效管理数据。
极道的数据管理系统Metaview通过高级的图引擎来解决这个问题。Metaview把数据和数据特征都作为点，所有的特征和数据的关联，以及数据和数据的关联作为边构成了一个庞大的复杂图。这个图里面有数十亿个点，也有数十亿条边，通过把这个图切分成多个小局部图，分布式的存储在多个计算资源上，在局部图和局部图的关联之处做特殊处理，利用高级算法进行并行分析，可以实现大规模、强关联数据特征的实时分析。
存储系统原生的数据感知系统MetaHunter既不需要进行存储系统扫描，也不需要网关，系统能够自动将所有的数据特征和变化动作捕捉到Metaview的后端图引擎中进行索引。但这需要数据管理系统和存储系统紧密配合，因为数据管理的特征感知系统Metahunter的一部分逻辑是在存储系统中实现的。
数据管理系统Metaview, 1秒内能够从10亿个文件、1亿个目录的文件系统中，根据任意标签、名字等复杂组合条件快速发现任意指定数据，全量数据统计20秒完成，复杂全量数据分析5分钟内完成。
极道数据管理系统MetaView结合计算数据流系统Achelous、分布式存储系统ANNA/ALAMO组成的“三驾马车”彼此相互配合协同，能够有效将企业级用户应用产生的海量数据转化为数据资产。

大数据是互联网发展的方向，大数据人才是未来的高薪贵族。随着大数据人才的供不应求，大数据人才的薪资待遇也在不断提升。大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。综合以下是10家专门从事大数据构建或相关业务的企业所提供的应用程序，有需要的可以直接收藏了！
1. Domo
Omniture公司前首席执行官Josh James于2010年创立了Domo公司，为企业提供了一种方法，可以从不同来源、不同的孤岛中查看数据。它自动从电子表格、社交媒体、内部存储、数据库，基于云的应用程序，以及数据仓库中提取数据，并在可定制仪表板上显示信息。它以其易用性以及几乎任何人都可以建立和使用它而闻名，而不仅仅是数据科学家采用。它配备了许多预加载的图表和数据源设计，可以快速移动。
2. Teradata Database
从Teradata Database 15开始，该公司增加了Teradata统一数据架构等新的大数据功能，使企业能够跨多个系统访问和处理分析查询，其中包括从Hadoop导入和导出双向数据。它还添加了地理空间数据的3D显示和处理，以及增强的工作负载管理和系统可用性。支持AWS和Azure的基于云计算的版本称为Teradata Everywhere，它在基于公共云的数据和本地部署的数据之间提供了大规模的并行处理分析。
3. Hitachi Vantara
Hitachi Vantara的大数据产品是建立一些流行的开源工具基础上。Hitachi Vantara成立于2017年，是日立数据系统公司的存储和数据中心基础设施业务部门，是由Hitachi Insight集团物联网业务和日立Pentaho大数据业务组合成的一家合资公司。 Pentaho基于Apache Spark内存计算框架和Apache Kafka消息系统。Pentaho 8.0还增加了对Apache Knox Gateway的支持，以对用户进行身份验证，并强制访问大数据存储库的访问规则。它还增加了对依靠Docker容器构建分析应用程序的支持。
4. TIBCO公司的Statistica
TIBCO公司的Statistica是针对各种规模企业的预测分析软件，使用Hadoop技术对结构化和非结构化数据执行数据挖掘，解决物联网数据，能够在全球任何地方的设备和网关上部署分析，并支持数据库内分析来自Apache Hive、MySQL、Oracle、Teradata等平台的功能。它使用模板来设计完整的分析，因此只有较少的技术用户可以进行自己的分析，并且可以将模型从电脑导出到其他设备。
5. Panoply
Panoply公司依靠使用人工智能来销售所谓的智能云数据仓库，以消除转换、集成和管理数据所需的开发和编码。该公司声称，其智能云数据仓库实质上提供了数据管理即服务，能够在无需任何干预的情况下消费和处理高达1PB的数据。其机器学习算法可以检查来自任何数据源的数据，并对该数据执行查询和可视化。
6. IBM Watson Analytics
Watson Analytics是IBM公司的基于云计算的分析服务。当用户将数据上传到Watson时，它会根据数据分析向用户提供可帮助回答的问题，并立即提供关键数据可视化。它还可以进行简单分析、预测分析、智能数据发现，并提供各种自助服务仪表板。IBM公司还有另一种分析产品SPSS，可用于从数据中发现模式，并查找数据点之间的关联。
7. SAS Visual Analytics
Statistical Analysis System (SAS)创建于1976年，比大数据的创建还要早，就是为了处理大量数据。它可以从各种来源中挖掘、更改、管理和检索数据，并对所述数据执行统计分析，然后将其呈现在一系列方法中，如统计数据、图表等，或将数据写入其他文件。它支持所有类型的数据预测和分析要点，并附带预测工具来分析和预测流程。
8. Sisense商业智能软件
Sisense公司声称其提供了唯一的商业智能软件，使用户可以依靠从商品服务器硬件上的多个源进行来准备、分析和可视化复杂数据。Sisense的片上高性能数据引擎可以在一秒钟内完成对TB级数据的查询，并且为不同行业提供了一批模板。
9. Talend的大数据工作室
Talend一直专注于为Hadoop生成干净的原生代码，无需手动编写所有代码。它为各种大数据存储库提供接口，如Cloudera，MapR，Hortonworks和Amazon EMR。它近期添加了一个数据准备应用程序，可以让客户创建一个通用字典，并使用机器学习，自动执行数据清理过程，以便在更短的时间内为数据处理准备好数据。
10. Cloudera
Apache Hadoop公司是很受欢迎的提供商和支持者，它与戴尔、英特尔、甲骨文、SAS、德勤和凯捷等公司都有合作关系。它由五个主要应用程序组成：核心数据管理平台Cloudera Essentials，数据管理平台Cloudera Enterprise Data Hub，用于商业智能和基于SQL的分析的Cloudera Analytic DB; 高度可扩展的NoSQL数据库Cloudera Operational DB，以及Cloudera Data Science and Engineering，在Core Essentials平台上运行的数据处理、数据科学和机器学习。

有很多呀，应用商店你可以找