网站出现乱码的原因梧州专业网站推广

网站出现乱码的原因,梧州专业网站推广,一站式网站建设 t云,代理公司网站备案文章目录前言分析展示一、北上广租房房源分布可视化二、北上广内区域租金分布可视化三、房源距地铁口租金的关系可视化四、房屋大小与租金关系可视化结论租个人房源好还是公寓好北上广深租房时都看重什么部分实现代码前言 马上元旦放假#xff0c;大家都开始忙着确定毕设题目…文章目录前言分析展示一、北上广租房房源分布可视化二、北上广内区域租金分布可视化三、房源距地铁口租金的关系可视化四、房屋大小与租金关系可视化结论租个人房源好还是公寓好北上广深租房时都看重什么部分实现代码前言马上元旦放假大家都开始忙着确定毕设题目了吧今天学长向大家推荐一个基于python大数据分析的毕设基于python大数据分析的北上广住房数据分析。PS 任何同学如果对毕设选题毫无头绪或者对自己课题有不明白的都可以与学长讨论学长都会详细讲解的。 **选题指导, 项目分享见文末**分析展示一、北上广租房房源分布可视化租房分布也就是租房房源都在城市的哪个区域更多。我们把北上广深四个城市的房源都以小点的形式投射在地图上先来看看北京的。结论北京的租房房源有18012条可以看到除了周边的昌平、顺义、通州、大兴、房山、门头沟等区中心有集中房源外北京的房子主要集中在二环外四环内当然这片区域也是最贵的。其中朝阳区的房源最多占了整个北京房源的1/3要不咋说朝阳群众666呢。海淀、丰台次之。结论上海也一样除了周边的宝山、嘉定、青浦、松江、奉贤等区中心有房源外房源主要集中在中心城区浦东地铁网范围内。总共27311条房源浦东就有7000多条比例超过1/4。结论广州房源在四个城市中是最多的共有39457条主要集中在白云、天河、越秀、荔湾以及海珠和番禺。其中白云、天河和番禺房源都超过6000条选择丰富不过看图也知道3号线通勤压力巨大。结论深圳的房源共有20054条更集中在各区除了四个新区零星分布的房源外主要还是分布在宝安、南山科技园、福田、罗湖、龙岗区中心以及坂田、布吉、3号线沿线11号线沿线是市中心的租金太贵了吧二、北上广内区域租金分布可视化租房房源分布透露出来的信息其实不多我们更关心的是各区域的价格。为此我们计算了各房源每平米每月的租金并绘制了热力地图先来看北京的。可以看到北京市每平米租金大于100元的房子集中在四环以内以及四环东北边。租金最贵的房子集中在西城区金融街、东城区王府井、朝阳区朝阳公园、海淀区北大。想要花2000块钱租一间20平的房子要么去五环外要么去西南边上。按商圈来看每平米平均租金前50的商圈中北京就占了27个上海和深圳分别是11和10个广州最少只有2个。北京每平米平均租金前10的商圈租金在每平米200元左右徘徊。最贵的商圈东单每平米要239元也就意味着在东单租一个30平的房子一个月需要7170块钱租一个80平的房子一个月需要19120元。可见上海每平米租金大于100元的房源主要集中在静安、黄浦、长宁、徐汇和浦东。中心市区几乎没有每平米租金低于100元的。出了市区房价低于100元可选择的区域还是比较多的。上海每平米平均租金前10的商圈较北京要好一些租金在170元左右徘徊。其中租金最高的商圈新天地每平米租金为213元。相较北京和上海广州每平米月租金明显以100元以下的房源占主导。100元以上的比较零星主要分布在体育中心、跑马场、以及岗顶站周围荔湾、越秀中心也有一些。看来广州还是一个租房比较友好的城市啊。另外可以看到位于南边的番禺区房源多而且基本每平米租金都在50元以内2000元内能租一个40平的房子番禺广场坐地铁到体育西只需半个小时票价7元6折4.2元这也不失为一个选择只是坐3号线可能被挤扁。三、房源距地铁口租金的关系可视化租房其中一个终点考虑的因素就是距离地铁的远近。我们把个城市房源距离最近地铁站的距离跟每平米租金进行了回归分析并且计算了相关系数。可以看到最近地铁距离和每平米租金之间当然是有相关性的距离地铁越近租金越贵。北上广深的相关系数分别是-0.13-0.17-0.12-0.13可见上海地铁站的距离对租金的影响最大广州最小。我们还计算了各城市地铁距离每100米的租金均价。可见北京市只要地铁在900以内每平米租金变化不大。900米和1000米租金差距为12.5元也就是说租一个20平的房子距离地铁站900米和1000米的租金差距是250元。上海市只要地铁在700以内每平米租金变化不大700以上租金开始明显下降。广州市每平米租金明显比其它城市低。同样只要地铁在900以内租金变化不大。900米和1000米租金差距为12元。深圳市只要地铁在400以内租金变化不大。400米和500米租金差距为17.6元。也就是说租一个20平的房子距离地铁站400米和500米的租金差距是352元。四、房屋大小与租金关系可视化先来看这么一张图我们把各城市房源的面积和每平米均价绘制出关系图。可以看到不管是哪个城市出租面积在15平米以内的房子每平米租金都是最贵的当然这里不排除租金贵的区域有更多单独出租的小房间这个原因。但是还是可以看出来如果有认识的好友一起租大房子不仅每平米的租金更便宜而且还可以有一个大点的公用客厅。结论租个人房源好还是公寓好现在公寓房越来越多我们在面临选择的时候都会想是租个人房源好还是公寓好呢个人房源质量参差不齐遇上好的真不容易。而公寓统一装修风格现代但是却有各种各样的问题甲醛、隔音、乱收费等。这里给大家提供另一维度的思考价格。广州和深圳公寓数量占总房源数量的20%和51%深圳怎么那么多公寓。可见广州和深圳公寓都要比个人房源贵一些广州平均每平米贵12元深圳贵2元。北上广深租房时都看重什么统计了北上广深各城市房源最多的3种户型。可见北上广都偏爱2室1厅1卫的房子而深圳却是1室0厅1卫的房子最多看来在深圳奋斗的人能住带厅的房子已经不容易了。不过四个城市都是小户型出租的居多。最后我们对每个房源的标签进行了统计并且绘制了词云图可以看出各城市租房时思考的侧重点。数据库爆炸图部分实现代码importosimportreimporttimeimportrequestsfrompymongoimportMongoClientfrominfoimportrent_type,city_infoclassRent(object): 初始化函数获取租房类型整租、合租、要爬取的城市分区信息以及连接mongodb数据库 def__init__(self):self.rent_typerent_type self.city_infocity_info hostos.environ.get(MONGODB_HOST,127.0.0.1)# 本地数据库portos.environ.get(MONGODB_PORT,27017)# 数据库端口mongo_urlmongodb://{}:{}.format(host,port)mongo_dbos.environ.get(MONGODB_DATABASE,Lianjia)clientMongoClient(mongo_url)self.dbclient[mongo_db]self.db[zufang].create_index(m_url,uniqueTrue)# 以m端链接为主键进行去重defget_data(self): 爬取不同租房类型、不同城市各区域的租房信息 :return: None forty,type_codeinself.rent_type.items():# 整租、合租forcity,infoinself.city_info.items():# 城市、城市各区的信息fordist,dist_pyininfo[2].items():# 各区及其拼音res_bcrequests.get(https://m.lianjia.com/chuzu/{}/zufang/{}/.format(info[1],dist_py))pa_bcrdata-type\bizcircle\>re.findall(pa_bc,res_bc.text)self._write_bc(bc_list)bc_listself._read_bc()# 先爬取各区的商圈最终以各区商圈来爬数据如果按区爬每区最多只能获得2000条数据iflen(bc_list)0:forbc_nameinbc_list:idx0has_more1whilehas_more:try:urlhttps://app.api.lianjia.com/Rentplat/v1/house/list?city_id{}condition{}\/rt{}limit30offset{}request_ts{}scenelist.format(info[0],bc_name,type_code,idx*30,int(time.time()))resrequests.get(urlurl,timeout10)print(成功爬取{}市{}-{}的{}第{}页数据.format(city,dist,bc_name,ty,idx1))item{city:city,type:ty,dist:dist}self._parse_record(res.json()[data][list],item)totalres.json()[data][total]idx1iftotal/30idx:has_more0# time.sleep(random.random())except:print(链接访问不成功正在重试)def_parse_record(self,data,item): 解析函数用于解析爬回来的response的json数据 :param data: 一个包含房源数据的列表 :param item: 传递字典 :return: None iflen(data)0:forrecindata:item[bedroom_num]rec.get(frame_bedroom_num)item[hall_num]rec.get(frame_hall_num)item[bathroom_num]rec.get(frame_bathroom_num)item[rent_area]rec.get(rent_area)item[house_title]rec.get(house_title)item[resblock_name]rec.get(resblock_name)item[bizcircle_name]rec.get(bizcircle_name)item[layout]rec.get(layout)item[rent_price_listing]rec.get(rent_price_listing)item[house_tag]self._parse_house_tags(rec.get(house_tags))item[frame_orientation]rec.get(frame_orientation)item[m_url]rec.get(m_url)item[rent_price_unit]rec.get(rent_price_unit)try:res2requests.get(item[m_url],timeout5)pa_lonrlongitude: (.*),pa_latrlatitude: (.*)pa_distancerspan class\fr\(\d*)米/spanitem[longitude]re.findall(pa_lon,res2.text)[0]item[latitude]re.findall(pa_lat,res2.text)[0]distancere.findall(pa_distance,res2.text)iflen(distance)0:item[distance]distance[0]else:item[distance]Noneexcept:item[longitude]Noneitem[latitude]Noneitem[distance]Noneself.db[zufang].update_one({m_url:item[m_url]},{$set:item},upsertTrue)print(成功保存数据:{}!.format(item))staticmethoddef_parse_house_tags(house_tag): 处理house_tags字段相当于数据清洗 :param house_tag: house_tags字段的数据 :return: 处理后的house_tags iflen(house_tag)0:stfortaginhouse_tag:sttag.get(name) returnst.strip()staticmethoddef_write_bc(bc_list): 把爬取的商圈写入txt为了整个爬取过程更加可控 :param bc_list: 商圈list :return: None withopen(bc_list.txt,w)asf:forbcinbc_list:f.write(bc\n)staticmethoddef_read_bc(): 读入商圈 :return: None withopen(bc_list.txt,r)asf:return[bc.strip()forbcinf.readlines()]if__name____main__:rentRent()rent.get_data() 项目分享:大家可自取用于参考学习获取方式见文末!