本文共 4509 字，大约阅读时间需要 15 分钟。

很多北漂都是通过自如来租房，自如网站提供了地图找房的功能，可以在地图上找到附近的房源，但是这样还是不够直观，这时候爬虫就派上用场了，可以帮助找房者快速的找到需要的房子，节省找房的时间。

开发环境

• Firefox 开发版
• VSCode 编辑器
• Anaconda3 (python3环境)
• Mongodb 用于存储数据

爬虫原理

首先打开浏览器的开发者选项，观察一下自如的地图找房api接口

在浏览器中打开自如地图找房首页 http://www.ziroom.com/map/，将地图大小设置为14，点击减号，在network中查找前后端交互的请求， 请求如下图所示 url为http://www.ziroom.com/map/room/count?min_lng=116.236046&max_lng=116.443016&min_lat=39.934614&max_lat=40.02617&clng=116.339531&clat=39.980407&zoom=14 提交GET参数为

{
       "min_lng": "116.236046",#最小的经度    "max_lng": "116.443016",#最大的经度    "min_lat": "39.934614",#最小的纬度    "max_lat": "40.02617",#最大的纬度    "clng": "116.339531",#中心的经度    "clat": "39.980407",#中心的纬度    "zoom": "14"#地图放大的级别}

返回的数据为

点击小区进去（比如望京）

HTTP请求url为http://www.ziroom.com/map/room/count?min_lng=116.444611&max_lng=116.496353&min_lat=39.989225&max_lat=40.012107&clng=116.470482&clat=40.000667&zoom=16 参数为

{
       "min_lng": "116.444611",    "max_lng": "116.496353",    "min_lat": "39.989225",    "max_lat": "40.012107",    "clng": "116.470482",#与上面图中的一致    "clat": "40.000667",#与上面图中一致    "zoom": "16"}

小区的最大最小经纬度如何确定的，不知道，再点开一个小区（这是亚运村小营），提交的参数为

{
       "min_lng": "116.394021",    "max_lng": "116.445763",    "min_lat": "39.980199",    "max_lat": "40.003084",    "clng": "116.419892",    "clat": "39.991642",    "zoom": "16"}

不难发现这两组参数中的max_lng-clng和max-clat为一个固定值

这样通过clng和clat就可以确定min_lng,max_lng,min_lat,max_lat的值了

代码实现

下面直接上代码

#-*- coding:utf-8 -*-import requests,re,pickle,sys,jsonfrom bs4 import BeautifulSoup from requests.packages import urllib3import pandas as pdurllib3.disable_warnings()from pymongo import MongoClient#mongodb数据库，用于将爬取的租房信息存下来mongo = MongoClient('localhost',27017).zufang.ziru#全局变量room_info_list = []headers = {
       'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',    'Origin':'http://www.ziroom.com'}#requests的会话对象s = requests.Session()#爬取每个小区的租房信息def spider(info):    room_info_list = []    #当前页    pg = 1    #总的页数    pages = 1    url = 'http://www.ziroom.com/map/room/list'    #自如将地图划分成一个个矩形的小格子，每个小格式表示一个小区的范围，小格子的区域使用经纬度来表示     #提交的参数    #通过观察可以发现所有提交的参数中，格子边界距离中心的距离为固定值，这样就比较容易构造参数了    lat_diff = 0.011443    lng_diff = 0.025871    #这里所有参数值均为字符串    params = {
           "max_lng": "%.6f" % (info['touch_lng'] + lng_diff),#最大经度        "min_lng": "%.6f" % (info['touch_lng'] - lng_diff),#最小经度        "max_lat": "%.6f" % (info['touch_lat'] + lat_diff),#最大纬度        "min_lat": "%.6f" % (info['touch_lat'] - lat_diff),#最小纬度        "clng": "%.6f" % info['touch_lng'],        "clat": "%.6f" % info['touch_lat'],        "zoom":"16",        "p":"1"    }     while pg <= pages:        params['p']  = str(pg)        r = s.get(url=url, params=params,headers=headers)        if r.status_code == 200:                 data = r.json()            pages = data['data']['pages']                        for item in data['data']['rooms']:                try:                    #将结果存入数据库                    mongo.update(                        {
   "id":item['id']},                        {
                               '$set':item                        },                        upsert = True                    )                    #将结果存储为csv格式                    item['location'] = item['location'][0]['name']                    for k,v in item.items():                        #将list类型转化为str类型                        if str(type(v)) == "
   
    ":                            item[k] = str(v)                                                #将//开关的url转化为http://开头                        if str(type(v)) == "
    
     " and v.startswith('//'):                            item[k] = 'http:' + v                    room_info_list.append(item)                    print(item['name'])                except:                    pass        print(info['name'],pg,pages)        pg += 1    #将结果导入为csv格式，每个小区一个csv文件，方便筛选    if room_info_list:        pickle.dump(room_info_list,open('ziru_result/%s.db' % info['name'],'wb'))        df = pd.DataFrame(room_info_list)[['name','desc','price','location','detail_url']]        df.to_excel('ziru_result/%s.xls' % info['name'])                                    def main():    #获取北京所有小区的租房信息,    url = 'http://www.ziroom.com/map/room/count?min_lng=116.228373&max_lng=116.486653&min_lat=40.019069&max_lat=40.123091&clng=116.357513&clat=40.0711&zoom=14'    r = s.get(url,headers = headers)    if r.status_code == 200:        data = r.json()['data']        for item in data:            #爬取每个小区的租房信息            print(item)            spider(item)main()
    
   

结果

转载地址：http://lhqlf.baihongyu.com/