可以使用tqdm库来实现进度条的显示。同时，为了避免每次爬取都需要重新打开文件，可以将文件对象作为参数传递给函数，这样就可以在函数内部直接操作文件。
修改后的代码如下：
```python
import requests
import time
from bs4 import BeautifulSoup
from tqdm import tqdm
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39'
}
def crawl_chapter(book_url, file):
response = requests.get(book_url, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')
content = soup.find(attrs={'id': 'chaptercontent'})
if not content:
return
content = content.get_text()
title = soup.h1.string
file.write(f'{title}\n\n{content}\n\n')
time.sleep(3)
if __name__ == '__main__':
with open('斗罗大陆.txt', 'a', encoding='utf-8') as f:
for i in tqdm(range(1, 472)):
# 网站链接
base_url = 'https://www.qimao5.com'
# 书籍链接
book_url = f'https://www.qimao5.com/book/144498/{i}.html'
# 匹配章节链接的正则表达式
crawl_chapter(book_url, f)
```
修改说明：
1. 将爬取章节的代码封装成了一个函数`crawl_chapter()`，该函数接受两个参数：书籍链接和文件对象；
2. 在主程序中使用`tqdm`库来显示进度条，同时调用`crawl_chapter()`函数爬取章节并将内容写入到文件中。
AI助手
资讯
常用工具
网站模板