一个高效、稳定的小蓝本网站数据采集工具，可自动提取公司和集团等信息，为了方便进行SRC信息收集-华盟网

工具介绍

这是一个用于采集小蓝本网站数据的自动化工具。可以采集公司和集团的产品、媒体、网站、股东等相关信息。支持自动处理弹窗、智能重试和错误恢复。

自动草稿

环境要求

Python 3.8+
Chrome浏览器
ChromeDriver（与Chrome版本匹配）

ChromeDriver配置

首次使用前，请按以下步骤配置ChromeDriver：

查看Chrome版本

打开Chrome浏览器
点击右上角三个点
点击”帮助” -> “关于Google Chrome”
记下版本号（例如：115.0.5790.171）

下载ChromeDriver

访问：https://sites.google.com/chromium.org/driver/
下载与Chrome版本匹配的chromedriver_win32.zip

配置驱动

解压下载的zip文件
将chromedriver.exe放入项目的drivers目录下
确保文件名为”chromedriver.exe”

注意：如果更新了Chrome浏览器，需要重新下载对应版本的ChromeDriver。

依赖安装

pip install -r requirements.txt

配置文件

在运行程序前，请先配置 config.json 文件：

{     "username": "您的小蓝本账号",     "password": "您的小蓝本密码",     "login_url": "https://sou.xiaolanben.com/login" }

命令行参数说明

程序支持以下命令行参数：

必需参数（二选一）

-g, –group: 集团页面的URL，例如：https://sou.xiaolanben.com/group/xxx
-c, –company: 公司页面的URL，例如：https://sou.xiaolanben.com/company/xxx

可选参数

-f, –filename: 输出Excel文件名（不需要包含.xlsx扩展名）
–all: 提取所有可用数据（默认选项）
–shareholders: 仅提取集团股东数据
–products: 仅提取产品数据（APP、Media、Website）
–recursive: 递归提取集团成员的公司数据
–members-output: 集团成员数据输出文件名（不需要包含.xlsx扩展名），默认为”xiaolanben_companys_in_group”

参数使用示例

# 提取集团所有数据 python main.py -g https://sou.xiaolanben.com/group/xxx --all  # 提取公司数据并指定输出文件名 python main.py -c https://sou.xiaolanben.com/company/xxx --all -f custom_name  # 仅提取集团股东数据 python main.py -g https://sou.xiaolanben.com/group/xxx --shareholders  # 递归提取集团成员数据并指定输出文件名 python main.py -g https://sou.xiaolanben.com/group/xxx --recursive --members-output custom_members

使用方法

采集集团数据

python main.py -g https://sou.xiaolanben.com/group/xxx --all

采集公司数据

python main.py -c https://sou.xiaolanben.com/company/xxx --all

自定义输出文件

python main.py -g https://sou.xiaolanben.com/group/xxx --all -f custom_name

这将生成 custom_name.xlsx 作为输出文件。

选择性采集

# 仅采集股东数据 python main.py -g https://sou.xiaolanben.com/group/xxx --shareholders  # 仅采集产品数据 python main.py -g https://sou.xiaolanben.com/group/xxx --products