数据采集的基本方法？

Question

如题所述

Answer 1

常见的数据采集方式有问卷调查、查阅资料、实地考查、试验。
1、问卷调查：问卷调查是数据收集最常用的一种方式，因为它的成本比较低，而且得到的信息也会比较全面。
2、查阅资料：查阅资料是最古老的数据收集的方式，通过查阅书籍，记录等资料来得到自己想要的数据。
3、实地考查：实地考察是到指定的地方去做研究，指为明白一个事物的真相，势态发展流程，而去实地进行直观的，局部进行详细的调查。
4、实验：实验收集数据的优点是数据的准确性很高，而缺点是未知性很大，不管实验的周期还是实验的结果都是不确定性的。

Answer 2

数据采集方式按照线上采集，线下采集两大类进行分类，下面对于每种采集方式及相关技术进行简单的介绍。

1. 线上采集

1）开放数据

开放数据指的是互联网中面向所有人公开的数据，其中包括面向特定行业公开的数据，各级政府公开的数据以及网页中相关的内容数据。

获取开放类数据，我们可以使用爬虫技术，这里简单介绍一下爬虫技术。

爬虫技术是一种可以使开发人员自动化，系统化收集互联网上相关数据的技术，爬虫不是内容的生产者，而是内容的搬运者。关于爬虫技术的各类学习资料在网上可以说是“汗 牛充 栋”，在这里就不展开说了，但是这里关于爬虫要讲的就是爬虫的安全问题，一定要遵守相关法律，切记不要触碰红线。

a. 个人信息，商业 秘 密与国 家秘 密是数据爬取的红线。

b. 遵守职业道德，控制爬虫访问频次，不要干扰被爬方的正常业务活动。

c. 遵守robots协议，做到什么能爬，什么不能爬。

2）第三方平台数据

比如说开发者想获取相关各类金融数据，除了可以利用爬虫技术外，我们可以通过某第三方平台提供的API接口来调取相关数据。

曾接到过这样一个任务，获取某市所有的禁止机动车左转，禁止机动车右转，禁止机动车掉头的路段，在没有条件获取准确的数据时，我们可以通过高德或百度的地图开放平台的API接口，分别在路口处设置起讫点，通过对比机动车与步行的路径规划距离来分析该路口是否禁左，禁右，禁掉头。对应的功能有相应的服务文档讲解如何使用，大家有兴趣可以打开网址进行尝试。

3）物理数据

物理数据指的是用户在物理世界产生的数据，例如用户使用手机时手机的各类传感器（指纹传感器：记录用户指纹用于解锁手机或支付等行为，陀螺仪：通过角动量守恒原理记录角速度用于手机导航等行为）

相较于日常应用，物理数据大量存在于传统制造业中，一般有如下几类数据采集方式：

各类传感器：

正如上面提到的手机中各类传感器，传统制造业中的传感器品类繁多，涵盖光敏，气敏，力敏，磁敏，声敏等不同类别的工业传感器，这部分的数据尽管单条数据内容很少，但是频率非常高。