爬虫是搜索引擎的第一步也是最容易的一步。

03、用什么语言写爬虫？

C，C++：高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长

脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取。

04、为什么最终选择Python？

用c#,java写的爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。Python优势很多，总结两个要点：

1、抓取网页本身的接口

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2、网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。

Life is short， u need python.

2、web开发

01、什么是web开发呢？

WEB开发就比较好理解了，就是开发网页程序，不需要安装桌面程序直接通过浏览器进行操作的程序。

WEB框架是指那些为了提高WEB程序开发效率而开发出来的中间件基础平台，开发人员不需要从0开始写代码，而是通过调用框架来开发程序，以节省时间和成本。

02、那web开发需要用到哪些知识呢？

1、python基础，最基础的知识点：条件判断，循环，函数，类这些知识；

2、数据库基础知识，数据存在哪里？就是在数据库里，数据库的增删改查是会使用到的。

补充一点，Django和Flask等基于Python的Web框架最近在Web开发中非常流行。

这些Web框架可以帮助你用Python编写服务器端代码(后端代码)。这是在你的额服务器上运行的代码，而不是运行在用户设备和浏览器的代码(前端代码)。

3、人工智能

01、人工智能是什么？

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。

02、人工智能的核心语言-python

对于有希望进入AI及大数据行业的人来说，把鸡蛋放在 Python 这个篮子里不但是安全的，而且是必须的。

或者换个方式说，如果你将来想成为下一个时代——人工智能时代的先行者，而不是被这个时代追着往前赶的话，什么都不用想，先闭着眼睛把 Python 学会了。

当然，Python不是没有它的问题和短处，你可以也应该有另外一种甚至几种语言与 Python 形成搭配，但是Python 将坐稳数据分析和 AI 第一语言的位置，这一点毫无疑问。

我甚至认为，由于 Python 坐稳了这个位置，由于这个行业未来需要大批的从业者，更由于Python正在迅速成为全球大中小学编程入门课程的首选教学语言，这种开源动态脚本语言非常有机会在不久的将来成为第一种真正意义上的编程世界语。

普通人学习Python的好处？

学习Python可以提高工作效率，使用Python，用几十行代码写一个简单的爬虫工具，几分钟就能自动抓取指定网站上的成千上万条数据，让你的工作效率得到很大的提升。如果你以后想做程序员，一定要学习Python，Python相对于其他语言来说比较简单，即使是零基础的普通人也能很快的掌握，一些本来十分繁琐的工作，用Python可以节省一半时间以上。

普通人如果学会了Python，许多机械重复的麻烦事就会变得简单，比如客服可以用Python编写自动回复系统，回复大部分常规性问题，大学生可以利用Python写一些程序，帮助自己自动收集大量的相关资料并自动归类和分析，对写论文有很大的帮助。

以上就是本次分享的全部内容，想学习更多编程技巧，欢迎持续关注六星教育！返回搜狐，查看更多