Skip to content

Commit

Permalink
重构整个项目
Browse files Browse the repository at this point in the history
  • Loading branch information
jiangwei1995910 committed Jul 3, 2019
1 parent 1d9c6c1 commit 1fc7491
Show file tree
Hide file tree
Showing 43 changed files with 2,721 additions and 4,707 deletions.
1 change: 0 additions & 1 deletion .gitignore

This file was deleted.

201 changes: 0 additions & 201 deletions LICENSE

This file was deleted.

20 changes: 16 additions & 4 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,17 +1,29 @@
# 逃离北上广

>[项目主页](https://jiangwei1995910.github.io/getAwayBSG/)
> 本项目仅供学习研究,禁止用于任何商业项目

## 2019-03-03 Update Log

添加了一个抢自如房子的脚本,grabZiroom.py,定时脚本设置为2分钟运行一次,会自动检查某个房屋是否可以下单,能下单则发邮件通知

## 2019-07-03 Update Log


为了能够在树莓派(没错,我就是拿树莓派跑爬虫服务的)上面有更好的运行效率,使用了Golang语言重构了整个项目,数据库换为MongoDB




爬取数据源修改:链家改为爬取二手房数据,而不是以前的二手房交易记录

另外,Golang程序也更方便部署了,**现在,这应该是你在Github上能找到的运行最简单的爬虫项目!** 如果你想要运行这个项目,在[releases](https://github.com/jiangwei1995910/getAwayBSG/releases)里面下载你需要的操作系统平台,修改配置文件,双击运行,搞定!

> 重要提醒! 因为部署运行零难度,请大家运行的时候为被爬方考虑下!尽量不要爬全站。请在配置文件中设置你需要的城市爬取即可!


## 2019-02-23 Update Log

添加了自如租房的爬虫,只爬取了北京的数据。目前服务器已经运行了一个月了,总共抓取了链家约120万的数据量,抓取智联招聘约40万的数据量。
目前服务器已经运行了一个月了,总共抓取了链家约120万的数据量,抓取智联招聘约40万的数据量。

## What!

Expand Down
Loading

0 comments on commit 1fc7491

Please sign in to comment.