[Python & 爬虫]爬取百度百科相关内容

最新推荐文章于 2022-04-30 20:15:19 发布

Abby_QI

最新推荐文章于 2022-04-30 20:15:19 发布

阅读量556

点赞数 1

CC 4.0 BY-SA版权

分类专栏： QQbot 文章标签： python 百度

本文链接：https://blog.csdn.net/qq_34916678/article/details/106990344

QQbot 专栏收录该内容

8 篇文章

订阅专栏

想找一下百度百科的API结果没有找到，据说是不开放！
需要用好像要申请？？？
无奈之下自己写了一个爬虫，爬取百度百科的相关内容。
应用到QQ机器人的效果如下图：
在这里插入图片描述
黑框程序效果：

黑框程序源码如下：

from selenium import webdriver
from lxml import html
from PIL import Image
from selenium.webdriver.support.select import Select
from lxml import etree
import requests
import re
import urllib
import time
import cv2
import pytesseract
import socket
import numpy as np


def MidString(content,startStr,endStr):                     
    startIndex = content.index(startStr)                    
    if startIndex>=0:                                       
        startIndex += len(startStr)                         
        endIndex = content.index(endStr)                    
        return content[startIndex:endIndex]                 


    
def BaiDu(Name):
    #伪装成浏览器访问，直接访问的话csdn会拒绝
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = {'User-Agent':user_agent}
    BaiKe_Url = 'https://baike.baidu.com/item/'
    Name_Code = urllib.parse.quote(Name)   #quote()将字符串进行编码
    Url = BaiKe_Url + Name_Code
    r = requests.get(Url,headers=headers)
    pattern = '"description" content=".*">'
    text = re.findall(pattern,r.text,flags=0)
    if len(text) != 0:
        print(MidString(text[0],'content=\"','\">'))
    else:
        print('?????????????????????')




if __name__ == "__main__":
    BaiDu('郁金香')