如果章节标题重复，可以在写入文件之前判断一下是否已经存在该标题，如果存在则不写入。可以使用一个列表来保存已经写入的标题，每次写入前先判断一下是否已经存在。
修改后的代码如下：
```python
import requests
import time
from bs4 import BeautifulSoup
from tqdm import tqdm
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39'
}
def crawl_chapter(book_url, file, titles):
response = requests.get(book_url, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')
content = soup.find(attrs={'id': 'chaptercontent'})
if not content:
return
content = content.get_text()
title = soup.h1.string
if title in titles:
return
titles.append(title)
file.write(f'{title}\n\n{content}\n\n')
time.sleep(3)
if __name__ == '__main__':
with open('斗罗大陆.txt', 'a', encoding='utf-8') as f:
titles = []
for i in tqdm(range(1, 472)):
# 网站链接
base_url = 'https://www.qimao5.com'
# 书籍链接
book_url = f'https://www.qimao5.com/book/144498/{i}.html'
# 匹配章节链接的正则表达式
crawl_chapter(book_url, f, titles)
```
修改说明：
1. 在`crawl_chapter()`函数中增加了一个参数`titles`，用来保存已经写入的章节标题；
2. 在每次写入文件之前，先判断一下该标题是否已经存在于`titles`列表中，如果存在则不写入；
3. 在主程序中创建了一个空的`titles`列表，并将其作为参数传递给`crawl_chapter()`函数。
AI助手
资讯
常用工具
网站模板