python爬虫是干嘛的？好学吗？

学计算机好还是大数据好 哪个更吃香

什么是爬虫？

实质是一种计算机程序，通过计算机语言开发而来，它的行为看起来就一只蜘蛛在网上面爬行工作一样，蜘蛛的英文单词：spider-爬虫的别名。

百度蜘蛛，Google蜘蛛实质就是一个或一套爬虫程序。

爬虫就是进行数据爬取，并可以进行简单的数据处理（数据清洗）操作的特殊应用程序。

爬取来源：一般是通过互联网展开而来

python爬虫是干嘛的？好学吗？

爬虫可以做什么？

• 1：收集数据

最直接，最常用的使用方法

• 2：尽职调查

是否在尽职的工作，很多时间，我们讲的话，写的内容，或多或少都会有一定的水份，数据是不会说谎的，可以通过“爬虫”来对发生的数据进行获取，并最终形成结果，以验证过程是否如数据所言。

• 3：刷流量和秒杀

爬虫的开发技术？

爬虫的开发一般有两个层面

• 1：“技”：通过各程语言和框架的使用来完成这个功能，这个层面更像是软件文档，目前市面上的教程大多停留在这个只教你如果通过技术来实现爬虫
• 2：“术”：就是方法，比如遇到反爬虫的问题，遇到一些特殊情况时，技只是支撑实现功能的基础，而术就是提供解决这些问题的思路，所以术更强调思想，流程调度。

目前要实现爬虫的语言很多，java,php,c#,python……都能够实现爬虫，为什么多采用python实现？原因是语法相对与其他语言简单，相对于其他语言够直接，语法简单，入门容易，有强大的库支持

两个重要的库：requests、scrapy

学计算机好还是大数据好 哪个更吃香

学大数据好一些。首先，当前计算机科学与技术和大数据这两个专业的热度都比较高，这两个专业本身也没有所谓的好坏之分，而且这两个专业本身也有非常紧密的联系，当前计算机专业也是培养大数据研究生的主要专业之一。

计算机和大数据专业哪个更好

不少同学纠结到底是选计算机还是大数据，这两个专业之间有联系也有区别，选哪个好还是看个人的取舍。

计算机专业我们一般把它看成一个大类领域，具体到二级学科有计算机科学与技术、软件工程、网络工程、信息安全、物联网技术等等。

而大数据是符合现在趋势的新兴技术学科，全称是数据科学与大数据技术，属于交叉学科，有的学校把它归类在计算机专业里面，有的学校则把它放在数学专业里面。

大数据专业学习的内容涉及到计算机、数学、统计学等多个学科的知识综合运用，包括但不限于JavaSE核心技术、Python爬虫、云平台的开发技术等等。

有人担心学大数据专业，未来会不会热度过去了就不好找工作了。这里要肯定一点，现在人工智能正在一点一滴的进入我们的生活，大数据起码在十年内都还是红利期。而十年后的世界会怎样谁也不知道，大数据有可能被新的技术更新换代也不一定。

相对而言，计算机专业则显得更传统，毕竟计算机的网络技术是大数据发展的基础，怎么也不至于失业。在本科阶段选择偏重打基础的计算机专业，对同学们未来的职业发展未必不是一件好事。

大数据和计算机的区别

计算机科学与技术专业主要针对计算机领域的知识来设置课程体系，整体的知识面比较广，学生未来的选择空间也相对比较大，不论选择读研还是参加工作，选择计算机科学与技术专业都是比较稳妥的选择。另外，由于计算机科学与技术专业是比较传统的计算机专业之一，课程体系和实践场景都比较完善，学生也会有一个比较好的学习体验。

大数据专业是新设立的专业之一，而且未来大数据领域的人才需求潜力也比较大，所以选择大数据专业也是顺应时代发展的选择。大数据专业是一个典型的交叉学科专业，涉及到数学、统计学和计算机三大块内容，所以大数据专业的学习压力往往要大一些，而且大数据专业对于数学基础的要求更高一些，这一点要引起足够的重视。

大数据专业对于实践场景的要求比较高，通常需要数据中心的支撑，这对于教育资源整合能力相对较弱的高校来说，是一个不小的挑战。从当前的人才需求情况来看，目前大数据技术依然处在落地应用的初期，行业人才需求往往更注重高端人才，所以当前选择大数据专业，最好读一下研究生。