a spider admin based scrapyd api and APScheduler
Project description
SpiderAdmin
功能介绍
-
对Scrapyd 接口进行可视化封装,对Scrapy爬虫项目进行删除 和 查看
-
并没有实现修改,添加功能, 部署推荐使用
$ scrapyd-deploy -a
- 对爬虫设置定时任务,支持apscheduler 的3中方式和随机延时,共计4中方式
- 单次运行 date
- 周期运行 corn
- 间隔运行 interval
- 随机运行 random
- 基于Flask-BasicAuth 做了简单的权限校验
启动运行
$ pip3 install spideradmin
$ spideradmin init # 初始化,可选配置,也可以使用默认配置
$ spideradmin # 启动服务
页面截图
TODO
增加登录页面做权限校验增加定时设置的多样性增加定时随机运行
部署Scrapyd注意版本问题
- Scrapyd==1.2.0
- Scrapy==1.6.0
- Twisted==18.9.0
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
SpiderAdmin-0.0.16.tar.gz
(1.8 MB
view hashes)
Built Distribution
SpiderAdmin-0.0.16-py3-none-any.whl
(781.0 kB
view hashes)
Close
Hashes for SpiderAdmin-0.0.16-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | a1e915ad96b7dd6f8df80997c7d42c34d223026e3b675d087ef378875bdc7621 |
|
MD5 | 539ecdefcaa062c2e3fd7c78308aa12e |
|
BLAKE2b-256 | 2af3ec40a0c9af10c77fe85c21492af6c0b72b8e30684e0a7479527e16c8fa28 |