171 Commits

Author	SHA1	Message	Date
Relakkes	f2cf864c27	fix: zhihu article url error #564	2025-03-03 18:18:41 +08:00
Relakkes	678ce1bfac	fix: bilibili bugfix	2025-02-10 17:13:37 +08:00
翟持江	0364b23b5b	Update core.py，为爬取类型为detail和creator的任务，添加了和search任务一样的，用于转存up主信息的bilibili_store.update_up_info的函数调用 ... 正如`search`函数中一样，在调用`get_video_info_task`后，`bilibili_video`和`bilibili_up_info`信息都将获得。 原先的`get_specified_videos`在`detail`任务中仅保存了指定`bilibili_video`的信息，而`bilibili_up_info`信息尚未保存，`creator`任务的`get_creator_videos`中也调用了`get_specified_videos`获取指定创作者下所有的视频信息，同理也未保存`bilibili_up_info`信息。 所以只需为`get_specified_videos`添加一句`await bilibili_store.update_up_info(video_detail)`即可和`search`任务下获得的数据文件个数保持一致，不会缺少对应up主的个人信息。 已测试： - 原先仅`search`任务下产生`*_creator.csv`、`*_contents.csv`、`*_comments.csv`，而`detail`和`creator`任务下缺少`*_creator.csv`文件。 - 此次提交后将使三种模式下的数据文件个数一致。	2025-01-19 19:55:18 +08:00
翟持江	2d93ec5a82	Update core.py，更改了错误的缩进	2025-01-15 18:33:12 +08:00
翟持江	d2ecd3b11d	Update client.py，将search_video_by_keyword中post_data错误的请求参数进行更新 ... `pubtime_begin`更改为`pubtime_begin_s`，`pubtime_end`更改为`pubtime_end_s`。已测试	2025-01-15 18:21:03 +08:00
翟持江	f2b41b573b	Update core.py，以实现按照 START_DAY 至 END_DAY ，每一天进行筛选，这样能够突破 1000 条视频的限制，最大程度爬取该关键词下的所有视频 ... 添加了`get_pubtime_datetime`函数用以获取`pubtime_begin_s`和`pubtime_end_s`参数，并为`search`函数添加了`ALL_DAY`选项，若`ALL_DAY`未开启，则保留原先的搜索策略，但每个关键词最多返回 1000 条数据，若`ALL_DAY`已开启，则使用新策略，按照 START_DAY 至 END_DAY 按照每一天进行筛选，这样能够突破 1000 条视频的限制，最大程度爬取该关键词下的所有视频，新添加的`get_pubtime_datetime`函数仅在`search`中使用，需要用户按安装`datetime`和`pandas`模块。已测试完毕	2025-01-15 18:18:36 +08:00
翟持江	0118621a79	将微博评论爬取函数get_note_all_comments的max_id_type便为可变请求参数 ... 除了原先的max_id参数外，max_id_type参数也附加在上一次api结果的解析中，初始为0，但随着获取的评论越来越多，会更改为1。 此外，修改了WeiboClient类的request函数，将返回的ok_code异常处理进行了优化，细分为0，1，else...。这样即便获取到的max_id和max_id_type为None，也不会触发像'>' not supported between instances of 'NoneType' and 'int'这样模棱两可的异常提示，方便溯源问题所在，即api响应错误。 对于评论的数据获取不全的情况，在浏览器中获取显示的评论数量为1000+，更改此次提交前获取的个数为308条，更改后为319条，使用网页端打开手动刷评论的最后一条和程序获取的最后一条内容一致，可能是微博默认开启的精选评论功能导致无法获取所有的微博...	2025-01-10 19:20:01 +08:00
Relakkes	fbbead814a	fix: 贴吧创作者bug修复	2025-01-02 20:29:05 +08:00
Relakkes	ea5223c708	feat: 知乎支持详情模式	2024-12-26 17:36:33 +08:00
liudongkai	33e7ef016d	feat: xhs 非代理模式下增加随机等待间隔, db存储模式下增加存储xsec_token字段	2024-12-05 21:10:31 +08:00
leantli	e830ada574	feat: xhs comments add xsec_token	2024-12-03 18:25:21 +08:00
Trojx	f9eedc59b1	fix：微博根据creator爬取note时，爬取评论失败。原因是解析的参数key有误	2024-11-29 10:47:40 +08:00
Relakkes	ca9b47ef63	fix: xhs 帖子详情优化	2024-11-27 09:41:24 +08:00
Relakkes	43dffeb2d1	feat: xhs帖子详情获取优化	2024-11-26 13:37:53 +08:00
Relakkes	c12a63acb2	fix: weibo creator duplicate bug	2024-11-13 22:28:54 +08:00
Relakkes	3db2edd479	fix: weibo创作者bugfix	2024-11-06 16:01:07 +08:00
lyx0727	705b810269	fix: xhs验证码处理，跳转链接修复	2024-11-01 22:08:46 +08:00
lyx0727	1a37df4d5e	fix: xhs出现验证码时报错，增加用户手动验证	2024-11-01 18:52:16 +08:00
Relakkes	ef4eba121c	fix: 兼容windows编码问题	2024-10-28 15:26:49 +08:00
程序员阿江(Relakkes)	5a27ad089c	Merge pull request #462 from FloRainRJY/xiaohongshu_comment_number_restrict ... All_platform_comments_restrict	2024-10-24 15:31:13 +08:00
liugangdao	78c09c4ae1	fix:翻页时search id不变	2024-10-24 13:57:27 +08:00
unknown	7e53c4acfc	All_platform_comments_restrict	2024-10-23 16:32:02 +08:00
unknown	19269c66fd	xiaohongshu_comment_number_restrict	2024-10-22 20:33:10 +08:00
Relakkes	03e393949a	fix: xhs帖子详情问题更新	2024-10-20 00:59:08 +08:00
Relakkes	9fe3e47b0f	chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途	2024-10-20 00:43:25 +08:00
Relakkes	aa0f920369	feat: B站搜索接口增加发布日期筛选	2024-10-17 15:11:25 +08:00
Relakkes	da8f1c62b8	feat: 知乎支持创作者主页数据爬取(回答、文章、视频)	2024-10-16 21:02:27 +08:00
Relakkes	7b5b099636	feat: update douyin abogus params	2024-09-27 14:58:10 +08:00
Relakkes	21e0d8f393	fix: 修复知乎搜索关键词bug，相关的issue #435	2024-09-13 16:01:34 +08:00
Relakkes	b7e57da0d2	feat: 知乎支持（关键词、评论）	2024-09-08 00:00:04 +08:00
Relakkes	6dd3420743	fix: #423	2024-09-02 22:57:28 +08:00
Relakkes	d6fb255bdf	fix: xhs note detail error	2024-09-02 21:45:12 +08:00
Relakkes Yang	acb29add28	feat: 百度贴吧支持创作者主页帖子爬取	2024-08-24 11:03:23 +08:00
Relakkes	8adb593ba6	temp commit	2024-08-24 09:12:03 +08:00
Relakkes	65699aa1cb	feat: xhs支持获取评论的点赞数量	2024-08-24 06:07:33 +08:00
Relakkes	ab7d8142af	feat: weibo支持指定创作者主页	2024-08-24 05:52:11 +08:00
Relakkes	c70bd9e071	feat: 增加搜索词来源渠道	2024-08-23 08:29:24 +08:00
Relakkes	04cbe549af	fix: 修复抖音关键词搜索bug	2024-08-20 03:09:42 +08:00
Relakkes	f371675d47	fix: xhs指定笔记ID获取方式增加解析html方式，原来的由于xsec_token导致失效	2024-08-11 22:37:10 +08:00
Relakkes	3f42368c02	feat: 百度贴吧done	2024-08-08 14:19:32 +08:00
Relakkes	df0f5c1113	feat: 百度贴吧子评论done	2024-08-07 04:13:15 +08:00
Relakkes	1208682a9a	fix: 评论移除html标签内容	2024-08-07 02:39:50 +08:00
Relakkes	026d81e131	feat: 百度贴吧一级评论done	2024-08-07 02:34:56 +08:00
Relakkes	3c98808409	feat: 贴吧搜索重构	2024-08-07 01:01:21 +08:00
Relakkes	1b585cb215	temp commit	2024-08-06 19:21:34 +08:00
Relakkes	d347cf5a2c	feat: 帖子搜索 & 移除登录代码使用IP代理	2024-08-06 03:37:55 +08:00
Relakkes	a87094f2fd	feat: 百度贴吧架子 & 登录done	2024-08-05 18:51:51 +08:00
Relakkes	1c2237a66f	fix: 微博登录问题修复 ... feat: 微博二级评论	2024-08-05 00:48:42 +08:00
Relakkes	7229d29123	feat: xhs update	2024-08-04 14:54:03 +08:00
Wenbo Lu	9fb8f42f69	fetch_creator_notes_detail, id ->note_id	2024-07-26 21:55:31 +08:00