-
未来的信息化，就是挖掘企业数据、提升战略决策
所属栏目：[大数据] 日期：2021-02-21 来源：DaWei
企业的发展，离不开信息化的支撑。 不少企业在推进信息化进程过程中，会遇到这样的问题：开发效率低；业务需求多样且紧迫、系统多，开发人员学习困难。久而久之就会形成企业的信息数据壁垒，领导不能及时查看企业运营状况。 那么该如何解决这类问题呢? 这里[详细]
-
1块钱|2小时掌握快捷的数据处理工具与方法
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
优才学院线上公开课 公众号内回复 “20160730” 报名 ? 7月30日（周六）20:00 直播 ? 本次课为7月28日《Shell和PHP高效处理大数据》的第二部分，也是核心部分，已经报过名的童鞋不用再报名，新报名的童鞋可免费获得上一节课的视频回放，同时免费获得大福袋。[详细]
-
我是如何进行文件操作类漏洞挖掘的？
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
0x00前言: 作者：李斌，现汽车之家高级安全工程师。曾职于奇虎360多年，熟悉代码审计、渗透测试等Web安全领域。乌云核心白帽子。 不知不觉代码审计的艺术系列已经陪大家走到了第十季，该系列文章已经有九篇非常经典的文章， 之前没有看过的同学可以看看以下[详细]
-
大数据处理常用的数据结构
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
随着互联网的兴起，越来越多的内容被放到互联网中，从而导致海量数据处理受到更多人的重视，尤其是在百度、腾讯等这些涉及海量数据的公司。下面我们简单谈一下关于海量数据处理的一些常用数据结构。包括哈希、bitmap、Bloom filter、堆、mapreduce、trie树。[详细]
-
数据处理之—reshape2
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
reshape2是用来做数据处理的拓展包，它可以用来实现宽格式数据与长格式数据之间的互 转。如果你熟悉结构化数据库查询，那你一定知道列转行与行转列，我这里所说的宽长数据之间互转与之类似；如果你不熟悉的也没关系，它很简单，接着往下看你就能很快熟悉并掌[详细]
-
UVA 11582 巨大数的斐波那契数列 (大数取模，幂取模，模的计算方
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
Problem F: Colossal Fibonacci Numbers! The? i 'th Fibonacci number? f?(i) ?is recursively defined in the following way: f?(0) = 0 ?and? f?(1) = 1 f?(i+2) = f?(i+1) + f?(i) ??for every? i?≥?0 Your task is to compute some values of this seq[详细]
-
【1】文本挖掘的主要概念
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
转自 NLP论坛 http://www.threedweb.cn/thread-1281-1-1.html 什么是文本挖掘 文本挖掘可以广义地定义知识密集的处理过程，其中用户使用一套分析工具与文档集合动态（随着时间的推移）交互。在类似于数据挖掘的方式，文本挖掘旨在通过识别令人感兴趣的模式来[详细]
-
【3】 文本挖掘方法论
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
转自 NLP论坛 http://www.threedweb.cn/thread-1284-1-1.html http://www.threedweb.cn/thread-1285-1-1.html http://www.threedweb.cn/thread-1286-1-1.html 文本挖掘流程 第1阶段：确定研究目的 像任何其他项目一样，文本挖掘的研究开始于研究目的的决策。[详细]
-
【4】构建基于scikit-learn的文本挖掘学习系统
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
转自 NLP论坛 http://www.threedweb.cn/thread-1293-1-1.html 配置开发环境 构建基于scikit-learn的文本挖掘学习系统 1. 下载和安装 python - 2.7 .8 for win32 2. 下载和安装 numpy - 1.9 .0 -win32 -superpack -python2 .7 3. 下载和安装 scipy - 0.14 .0[详细]
-
大数的四则运算
所属栏目：[大数据] 日期：2021-02-20 来源：DaWei
项目名称：《大数的四则运算》 ? 开发环境：windows、vs2013 ? 开发技术：string、c++? ? 项目描述： ● 大数计算的底层采用string存储，将整形数据转换成字符串进行存储和运算? ● 运算的加减采用逐位加减，设置标记位，标记每一次加减的进位与借位，每 一[详细]
-
自动机+高斯消元 ifrog1025 Magic boy Bi Luo with his excited
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
传送门：点击打开链接 题意：告诉你ｎ个串，现在随机写字符，直到之前的字典里某个差un是当前写的串的子串时停止，问期望次数是多少． 思路：玲珑套路杯，求个自动机发现next数组就是接下来的状态,套个高斯消元就做完了.. #include map#include set#include[详细]
-
HHUOJ 1003 数字整除（模拟大数整除）
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
1003: 数字整除 时间限制: 1 Sec?? 内存限制: 128 MB 提交: 10?? 解决: 7 题目描述 定理：把一个至少两位的正整数的个位数字去掉，再从余下的数中减去个位数的5倍。当且仅当差是17的倍数时，原数也是17的倍数 。 例如，34是17的倍数，因为3-20=-17是17的倍数[详细]
-
【报名】工业大数据深度挖掘应用与技术实现——清华大数据“技术
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
大数据与工业数据的结合，使制造过程能进行分析、推理、判断、构思和决策等。通过人与机器的合作共事，去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。它把制造自动化的概念更新，扩展到柔性化、智能化和高度集成化。然而，这一切又都必须服从企[详细]
-
阶乘的精确值（大数）
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
首先确定阶乘的位数。 我们知道整数n的位数的计算方法为：log10(n)+1 故n!的位数为log10(n!)+1 ? 如果要求出n!的具体值，对很大的n（例如n=1000000）来说，计算会很慢，如果仅仅是求阶乘的位数，可以用斯特林(Stirling)公式求解 ? 斯特林（Stirling）公式：[详细]
-
LSHForest进行文本相似性计算
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
LSH Forest: Locality Sensitive Hashing forest,局部敏感哈希森林， 是最近邻搜索方法的代替，排序实现二进制搜索和32位定长数组和散列，使用hash家族的随机投影方法近似余弦距离。 随机投影树，对所有的数据进行划分，将每次搜索与计算的点的数目减小到一[详细]
-
【R语言数据处理】一步一步来分析数据之不知哪位收集的淘宝推荐
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
文件名：淘宝最全年货大促特价整理 数据我先传百度云了，分享一下，你们看了就知道是什么样子的了，我改了一下名字，文件名：tbtj.xls 360云盘：https://yunpan.cn/cMTiN2Lyk5MpK 访问密码 d2cc 百度云：http://pan.baidu.com/s/1hsBHuGO 我们先来看下里面是[详细]
-
DB、ETL、DW、OLAP、DM、BI关系结构图
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的[详细]
-
R语言-数据处理
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
Reading Data 读取表格数据的函数read.table()以及read.csv() readLines()用于逐行读取文本文件 source()读取R代码的重要函数 dget()用来读取R代码文件 load()和unserialize()用于把二进制对象读入R Writing Data write.table() writeLines() dump() dput()[详细]
-
简单粗暴的“大数据“解决方案
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
这里说“大数据”确实有点哗众取宠，但确确实实是解决一些大数据量的情况。比如常用的布隆过滤器(BloomFilter)、常用的文本相似比较算法SimHash等，这里介绍的都是看上去是简单粗暴的方法，但当你深入了解后你就会发现什么叫简约而不简单，掌握这些常用的手[详细]
-
连续属性离散化
所属栏目：[大数据] 日期：2021-02-08 来源：DaWei
1. 离散化技术分类 连续属性的离散化方法也可以被称为分箱法，即将一组连续的值根据一定的规则分别放到其术语的集合中。 离散化技术可以根据如何对数据进行离散化加以分类，可以根据是否使用类信息或根据进行方向(即自顶向下或自底向上)分类。 如果离散化过[详细]
-
【重！磅！干！货
所属栏目：[大数据] 日期：2021-02-07 来源：DaWei
查看之前文章请点击右上角 ， 关注 并且 查看历史消息 ，还可以在文章最后评论留言。谢谢您的支持！ 回复【 文本挖掘 】 或者 【 点击阅读原文 】 获取链接与代码附录 一、 功能概述 ? ? ? ?关键词词频网络图是以股票论坛、 个股新闻、研究报告三个网站作为[详细]
-
51Nod－1116－K进制下的大数
所属栏目：[大数据] 日期：2021-02-07 来源：DaWei
ACM模版 描述 题解 这里我们通过样例可以发现 A1A 的数位和是21，刚好是 K-1 的倍数，所以我们不妨多举几组数据测试一下，发现竟然都符合这个规律(￣┰￣*)，那么AC就不远了。 可是这里需要强调的是，K的最小值，如果K清一色的都是从2开始枚举，那么不用想了[详细]
-
开源ETL工具kettle系列之常见问题
所属栏目：[大数据] 日期：2021-02-07 来源：DaWei
摘要 本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 问题 Join 我得到A 数据流（不管是基于文件或数据库），A包含field1,field2,field3 字段，然后我还有一个B数据流，B[详细]
-
开源ETL工具kettle系列之在应用程序中集成
所属栏目：[大数据] 日期：2021-02-07 来源：DaWei
摘要 本文主要讨论如何在你自己的Java应用程序中集成Kettle 集成 如果你需要在自己的Java应用程序中集成Kettle,一般来说有两种应用需求，一种是通过纯设计器来设计ETL转换任务，然后保存成某种格式，比如xml或者在数据库中都可以，然后自己调用程序解析这个[详细]
-
开源ETL工具kettle系列之增量更新设计
所属栏目：[大数据] 日期：2021-02-07 来源：DaWei
前言 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也[详细]
