mirror of
https://github.com/RYDE-WORK/MediaCrawler.git
synced 2026-02-06 08:53:21 +08:00
doc: 修改项目代码结构tree
This commit is contained in:
parent
94b5030ef0
commit
519165ceec
32
README.md
32
README.md
@ -96,9 +96,8 @@
|
|||||||
```
|
```
|
||||||
MediaCrawler
|
MediaCrawler
|
||||||
├── base
|
├── base
|
||||||
│ ├── base_crawler.py # 项目的抽象类
|
│ └── base_crawler.py # 项目的抽象类
|
||||||
│ └── proxy_account_pool.py # 账号与IP代理池
|
├── browser_data # 换成用户的浏览器数据目录
|
||||||
├── browser_data # 浏览器数据目录
|
|
||||||
├── config
|
├── config
|
||||||
│ ├── account_config.py # 账号代理池配置
|
│ ├── account_config.py # 账号代理池配置
|
||||||
│ ├── base_config.py # 基础配置
|
│ ├── base_config.py # 基础配置
|
||||||
@ -109,24 +108,23 @@ MediaCrawler
|
|||||||
│ └── stealth.min.js # 去除浏览器自动化特征的JS
|
│ └── stealth.min.js # 去除浏览器自动化特征的JS
|
||||||
├── media_platform
|
├── media_platform
|
||||||
│ ├── douyin # 抖音crawler实现
|
│ ├── douyin # 抖音crawler实现
|
||||||
│ │ ├── client.py # httpx 请求封装
|
│ ├── xhs # 小红书crawler实现
|
||||||
│ │ ├── core.py # 核心实现
|
│ ├── bilibili # B站crawler实现
|
||||||
│ │ ├── exception.py # 异常处理
|
│ └── kuaishou # 快手crawler实现
|
||||||
│ │ ├── field.py # 字段定义
|
|
||||||
│ │ └── login.py # 登录实现
|
|
||||||
│ └── xiaohongshu # 小红书crawler实现
|
|
||||||
│ ├── client.py # API httpx 请求封装
|
|
||||||
│ ├── core.py # 核心实现
|
|
||||||
│ ├── exception.py # 异常处理
|
|
||||||
│ ├── field.py # 字段定义
|
|
||||||
│ ├── help.py # 辅助函数
|
|
||||||
│ └── login.py # 登录实现
|
|
||||||
├── modles
|
├── modles
|
||||||
│ ├── douyin.py # 抖音数据模型
|
│ ├── douyin.py # 抖音数据模型
|
||||||
│ └── xiaohongshu.py # 小红书数据模型
|
│ ├── xiaohongshu.py # 小红书数据模型
|
||||||
|
│ ├── kuaishou.py # 快手数据模型
|
||||||
|
│ └── bilibili.py # B站数据模型
|
||||||
├── tools
|
├── tools
|
||||||
│ └── utils.py # 工具函数
|
│ ├── utils.py # 暴露给外部的工具函数
|
||||||
|
│ ├── crawler_util.py # 爬虫相关的工具函数
|
||||||
|
│ ├── slider_util.py # 滑块相关的工具函数
|
||||||
|
│ ├── time_util.py # 时间相关的工具函数
|
||||||
|
│ └── easing.py # 模拟滑动轨迹相关的函数
|
||||||
|
├── db.py # DB ORM
|
||||||
├── main.py # 程序入口
|
├── main.py # 程序入口
|
||||||
|
├── var.py # 上下文变量定义
|
||||||
└── recv_sms_notification.py # 短信转发器的HTTP SERVER接口
|
└── recv_sms_notification.py # 短信转发器的HTTP SERVER接口
|
||||||
```
|
```
|
||||||
## 数据持久化
|
## 数据持久化
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user