Airbnb Scraper 使用教程

Airbnb Scraper 使用教程

airbnb-scraper Airbnb Scraper: Advanced Airbnb Search using Scrapy 项目地址: https://gitcode.com/gh_mirrors/ai/airbnb-scraper

1. 项目的目录结构及介绍

Airbnb Scraper 是一个使用 Scrapy 框架编写的开源项目，用于从 Airbnb 网站抓取房源信息。以下是项目的目录结构及各个部分的简要介绍：

• deepbnb/: 项目的主目录，包含了所有的代码和资源文件。
  • deepbnb/spiders/: 存放爬虫的目录，包含了用于爬取 Airbnb 数据的爬虫类。
  • deepbnb/pipelines/: 存放数据管道的目录，用于处理爬取到的数据。
  • deepbnb/middlewares/: 存放中间件的目录，用于处理请求和响应。
  • deepbnb/settings.py: 项目的配置文件，用于设置爬虫的各种参数。
  • deepbnb/items.py: 定义爬取数据的结构。
  • deepbnb/__init__.py: 初始化文件，确保 Python 识别 deepbnb 为一个包。
• requirements.txt: 包含项目运行所需的 Python 包列表。
• README.md: 项目说明文件，介绍了项目的使用方法和注意事项。
• LICENSE: 项目许可证文件，本项目采用 GPL-3.0 许可。

2. 项目的启动文件介绍

项目的启动主要是通过命令行执行 Scrapy 命令。以下是一个简单的启动例子：

scrapy crawl airbnb -a query="城市, 国家" -o 输出文件名.xlsx

这条命令会启动名为 airbnb 的爬虫，其中 -a query="城市, 国家" 指定了搜索的地点，-o 输出文件名.xlsx 指定了输出的文件名。

在执行上述命令前，确保你已经设置了环境变量 AIRBNB_API_KEY，这个 API 密钥可以通过在 Airbnb 网站上进行搜索，并在浏览器的开发者工具中查看网络请求获取。

3. 项目的配置文件介绍

项目的配置文件为 deepbnb/settings.py，该文件中包含了一系列可以调整的设置，以下是一些重要的配置项：

• AIRBNB_API_KEY: 用于访问 Airbnb API 的密钥。
• FIELDS_TO_EXPORT: 指定导出的字段列表，可以注释掉不需要导出的字段。
• CANNOT_HAVE 和 MUST_HAVE: 正则表达式，用于过滤掉不符合条件的房源。
• MINIMUM_MONTHLY_DISCOUNT 和 MINIMUM_WEEKLY_DISCOUNT: 指定最低的月折扣和周折扣。
• ROOM_TYPES: 房源类型列表，用于过滤特定的房源类型。
• SKIP_LIST: 包含不需要爬取的房源 ID 列表。
• WEB_BROWSER: 指定用于打开房源链接的浏览器路径。

根据具体的使用需求，可以修改这些配置项来调整爬虫的行为。

airbnb-scraper Airbnb Scraper: Advanced Airbnb Search using Scrapy 项目地址: https://gitcode.com/gh_mirrors/ai/airbnb-scraper