|
记：本项目是在实验楼上看到的，但是上面的代码由于没有及时维护，爬虫文件的代码不再能完整的把所有房源信息爬取下来，我根据最新的58同城官网进行了研究，现在的官网的房源信息已经不是分页的了，而是拉到最后自动进行加载，所以一些地方的代码也需要做一些修改。其次是爬取出来的文件在偶数行是空行的问题也得到了解决，在打开文件的时候添加一个参数即可。目前未解决的问题时字体加密问题，于是我删掉了money参数，仅供参考，后期有时间再研究字体加密怎么解决。希望得到大佬的在线指教。。。
1、摘要：
利用一些开放平台的API可以很方便的进行编程，早在考研时期就面临找房困难、房源信息混乱以及不清楚房源周边的交通情况。近期在跟廖雪峰老师学习python的过程中看到有类似的项目，在学习了该项目之后，也想把郑州的房源根据价格区间爬取出房源信息存储到csv文件中，然后利用高德地图的API接口进行位置上的标识和交通路线的规划。
2、最终的结果图：
3、实现流程图：
本项目主要有三个文件，分别是：crawl.py、rent2.csv、index.html。其中用到的几个API文档为：高德地图JavaScript API帮助文档和示例中心、Requests:Http for Humans、Beautiful Soup 4.2.0文档。
crawl.py：爬虫脚本，用来爬取房源信息
Rent2.csv：由crawl.py生成的房源信息文件
Index.html：地图显示房源和路径规划文件
要爬取的房源网站：https://zz.58.com/pinpaigongyu
4、爬取房源实现
（1）分析要爬取的页面发现网站路径规律应该为：/pinpaigongyu/?minprice={min_price}_{max_price}，因为现在的58网站没有分页设置，直接是拉到最后自动进行加载，所以去掉了分页参数。
（2）找到房源信息列表，以list元素为标记，循环访问list元素里每一个li元素中的房源信息，提取出有效的房源信息。
（3）编写爬虫脚本文件：由于运行脚本文件后，爬取的时间间隔较小，原房源网站会弹出确认窗口，此时按规定进行确认，之后再重新进行爬取。
from bs4 import BeautifulSoup
import requests
import csv
import time
import lxml
url = "https://zz.58.com/pinpaigongyu/?minprice=1000_2000"
csv_file = open("rent2.csv","w",newline="",encoding='utf-8')
csv_writer = csv.writer(csv_file, delimiter=',')
while True:
print("fetch: ", url)
time.sleep(2)
response = requests.get(url)
html = BeautifulSoup(response.text,features="lxml")
house_list = html.select(".list > li")
# 循环在读不到新的房源时结束
if not house_list:
break
for house in house_list:
house_title = house.select("h2")[0].string.strip()
house_url = house.select("a")[0]["href"]
house_info_list = house_title.split()
# 如果第二列是公寓名则取第一列作为地址
if "公寓" in house_info_list[1] or "青年社区" in house_info_list[1]:
house_location = house_info_list[0]
else:
house_location = house_info_list[1]
csv_writer.writerow([house_title, house_location, house_url])
csv_file.close()
 
5、调用高德地图API：
直接在高德地图API示例中心把要用的地图的前端框架复制下来，在根据示例和手册对API中的方法进行调用，在这里主要是阅读高德地图的示例和参考手册。在使用高德地图的API之前需要先拥有一个key，在加载地图的时候使用。
完整代码：
毕业生租房
.control-panel {
position: absolute;
top: 30px;
right: 20px;
}
.control-entry {
width: 280px;
background-color: rgba(119, 136, 153, 0.8);
font-family: fantasy, sans-serif;
text-align: left;
color: white;
overflow: auto;
padding: 10px;
margin-bottom: 10px;
}
.control-input {
margin-left: 120px;
}
.control-input input[type="text"] {
width: 160px;
}
.control-panel label {
float: left;
width: 120px;
}
/* 路径规划面板 */
#transfer-panel {
position: absolute;
background-color: white;
max-height: 80%;
overflow-y: auto;
top: 30px;
left: 20px;
width: 250px;
}
选择工作地点：
选择通勤方式：
公交+地铁
地铁
导入房源文件：
// 地图初始化城市和地图的一些属性
var map = new AMap.Map("container", {
resizeEnable: true,
zoomEnable: true,
center: [113.65, 34.7],
zoom: 11
});
// 添加标尺
var scale = new AMap.Scale();
map.addControl(scale);
var arrivalRange = new AMap.ArrivalRange(); //公交到达圈
var x, y, t, vehicle = "SUBWAY,BUS"; //经纬度和交通方式
var workAddress, workMarker; //工作地点和工作标记
var rentMarkerArray = []; //房源标记队列
var polygonArray = []; //多边形队列，存储公交到达的计算结果
var amapTransfer; //路径规划
// 信息窗体对象
var infoWindow = new AMap.InfoWindow({
offset: new AMap.Pixel(0, -30)
});
// 地址自动补全对象
var auto = new AMap.Autocomplete({
input: "work-location"
});
// 在选择完地址后自动调用worklocationselected方法
AMap.event.addListener(auto, "select", workLocationSelected);
function takeBus(radio) {
vehicle = radio.value;
loadWorkLocation()
}
function takeSubway(radio) {
vehicle = radio.value;
loadWorkLocation()
}
// 触发房源信息
function importRentInfo(fileInfo) {
var file = fileInfo.files[0].name;
loadRentLocationByFile(file);
}
function workLocationSelected(e) {
workAddress = e.poi.name;
loadWorkLocation(); //调用加载1小时内到达的区域方法
}
// 工作地点标记（标记为红色）
function loadWorkMarker(x, y, locationName) {
workMarker = new AMap.Marker({
map: map,
title: locationName,
icon: 'http://webapi.amap.com/theme/v1.3/markers/n/mark_r.png',
position: [x, y]
});
}
// 加载范围域
function loadWorkRange(x, y, t, color, v) {
arrivalRange.search([x, y], t, function(status, result) {
if (result.bounds) {
for (var i = 0; i < result.bounds.length; i++) {
var polygon = new AMap.Polygon({
map: map,
fillColor: color,
fillOpacity: "0.4",
strokeColor: color,
strokeOpacity: "0.8",
strokeWeight: 1
});
polygon.setPath(result.bounds[i]);
polygonArray.push(polygon);
}
}
}, {
policy: v
});
}
function addMarkerByAddress(address) {
var geocoder = new AMap.Geocoder({
city: "郑州",
radius: 1000
});
geocoder.getLocation(address, function(status, result) {
if (status === "complete" && result.info === 'OK') {
var geocode = result.geocodes[0];
rentMarker = new AMap.Marker({
map: map,
title: address,
icon: 'http://webapi.amap.com/theme/v1.3/markers/n/mark_b.png',
position: [geocode.location.getLng(), geocode.location.getLat()]
});
rentMarkerArray.push(rentMarker);
rentMarker.content = "房源：" + address + ""
rentMarker.on('click', function(e) {
infoWindow.setContent(e.target.content);
infoWindow.open(map, e.target.getPosition());
if (amapTransfer) amapTransfer.clear();
amapTransfer = new AMap.Transfer({
map: map,
policy: AMap.TransferPolicy.LEAST_TIME,
city: "郑州市",
panel: 'transfer-panel'
});
amapTransfer.search([{
keyword: workAddress
}, {
keyword: address
}], function(status, result) {})
});
}
})
}
function delWorkLocation() {
if (polygonArray) map.remove(polygonArray);
if (workMarker) map.remove(workMarker);
polygonArray = [];
}
function delRentLocation() {
if (rentMarkerArray) map.remove(rentMarkerArray);
rentMarkerArray = [];
}
function loadWorkLocation() {
delWorkLocation();
var geocoder = new AMap.Geocoder({
city: "郑州",
radius: 1000
});
geocoder.getLocation(workAddress, function(status, result) {
if (status === "complete" && result.info === 'OK') {
var geocode = result.geocodes[0];
x = geocode.location.getLng();
y = geocode.location.getLat();
loadWorkMarker(x, y);
loadWorkRange(x, y, 60, "#3f67a5", vehicle);
map.setZoomAndCenter(12, [x, y]);
}
})
}
// 加载房源位置
function loadRentLocationByFile(fileName) {
delRentLocation();
var rent_locations = new Set();
$.get(fileName, function(data) {
data = data.split("\n");
data.forEach(function(item, index) {
rent_locations.add(item.split(",")[1]);
});
rent_locations.forEach(function(element, index) {
addMarkerByAddress(element); //为房源添加标记
});
});
}
6、项目演示步骤和效果：
在终端输入python -m http.server 3000启动服务器，然后在浏览器输入http://localhost:3000查看效果，在右上角的panel中输入工作地点，交通方式，房源信息文件查看效果。
|