中原天气网和古诗文网实战,爬取某网的营业所

作者: 网络编程  发布:2019-11-14

4.1.中华夏儿女民共和国天气网

网址:

解析:BeautifulSoup4

爬取全数城市的最低天气

import requests
from bs4 import BeautifulSoup
import html5lib

def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
    }
    response = requests.get(url)
    text = response.content.decode('utf-8')
    # 需要用到html5lib解析器,去补全html标签
    soup = BeautifulSoup(text,'html5lib')
    conMidtab = soup.find('div',class_='conMidtab')
    tables = conMidtab.find_all('table')
    for table in tables:
        trs = table.find_all('tr')[2:]
        for index,tr in enumerate(trs):
            tds = tr.find_all('td')
            city_td = tds[0]
            if index == 0:
                city_td = tds[1]
            city = list(city_td.stripped_strings)[0]
            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            print({'city':city,'temp':temp})

def main():
    url_list = [
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/hz.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/xb.shtml',
        'http://www.weather.com.cn/textFC/xn.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml',
    ]
    for url in url_list:
        parse_page(url)

if __name__ == '__main__':
    main()

对爬取的多寡开展可视化管理

  • 按温度对都市开展排行
  • 取前10个
  • 调换直方图

代码:

import requests
from bs4 import BeautifulSoup
import html5lib
from pyecharts import Bar

ALL_DATA = []

def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
    }
    response = requests.get(url)
    text = response.content.decode('utf-8')
    # 需要用到html5lib解析器,去补全html标签
    soup = BeautifulSoup(text,'html5lib')
    conMidtab = soup.find('div',class_='conMidtab')
    tables = conMidtab.find_all('table')
    for table in tables:
        trs = table.find_all('tr')[2:]
        for index,tr in enumerate(trs):
            tds = tr.find_all('td')
            city_td = tds[0]
            if index == 0:
                city_td = tds[1]
            city = list(city_td.stripped_strings)[0]
            temp_td = tds[-2]
            temp = list(temp_td.stripped_strings)[0]
            # print({'city':city,'temp':int(temp)})
            ALL_DATA.append({'city':city,'temp':int(temp)})


def main():
    url_list = [
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/hz.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/xb.shtml',
        'http://www.weather.com.cn/textFC/xn.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml',
    ]
    for url in url_list:
        parse_page(url)
    #按天气最低进行排序,并只取10个
    ALL_DATA.sort(key=lambda data:data['temp'])
    data = ALL_DATA[0:10]
    #分别取出所有城市和温度
    cities = list(map(lambda x:x['city'],data))
    temps = list(map(lambda x:x['temp'],data))

    chart = Bar("中国天气最低气温排行榜")
    chart.add('',cities,temps)
    chart.render('temperature.html')

if __name__ == '__main__':
    main()

结果:

金沙澳门官网 1

 

背景

原先本身是做c 的,做了有2年多啊,其实也没学到哪边东西(单位是民有集团卡塔尔国,跨国集团我们综上可得,由于各个缘由就换工作了,来到了当今这家铺子转为做python爬虫。来到这里也是大器晚成种缘分吧。废话相当少说了。开端吧。
:第一次写东西,大概会很烂,初心也等于想记录一下和煦的求学和花色经过。

4.2.古诗文网

金沙澳门官网 ,网址:

深入分析:正则表明式

代码

import requests
import re

def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
    }
    response = requests.get(url,headers)
    text = response.text
    titles = re.findall(r'<divsclass="cont">.*?<b>(.*?)</b>',text,re.DOTALL)
    dynasties = re.findall(r'<p class="source">.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    authors = re.findall(r'<p class="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    contents_tags = re.findall(r'<div class="contson" .*?>(.*?)</div>',text,re.DOTALL)
    contents = []
    for content in contents_tags:
        content = re.sub(r'<.*?>','',content)
        contents.append(content.strip())
    poems = []
    for value in zip(titles,dynasties,authors,contents):
        title,dynasty,author,content = value
        poem = [
            {
                'title':title,
                'dynasties':dynasty,
                'authors':author,
                'contents':content
            }
        ]
        poems.append(poem)
    for poem  in poems:
        print(poem)
        print('---'*80)

def main():
    url = 'https://www.gushiwen.org/default_1.aspx'
    for page in range(1,101):
        url = url = 'https://www.gushiwen.org/default_%s.aspx'%page
        parse_page(url)

if __name__ == '__main__':
    main()

 

爬取某网公司公司库

项目须求

  • 由此某网-热点产物分类-公司和详细的情况页抓取相关数据。

项目分析

  • 爬虫用到scrapy框架, 优点:对于爬取来讲轻巧 轻便且强大
  • 解析网页内容:xpath 相近 轻便且强大(前边会涉及卡塔尔
  • 非结构化的数量存款和储蓄选用mongo, 对于数据存取导出等操作极为便利,首若是在python中对运用mongo做了过多接口,实在是惠及。。
  • 规划多少个存款和储蓄库:
    1.company_url:{url,status: 0 未抓取 1 已抓取 }(url独一索引卡塔 尔(阿拉伯语:قطر‎
    2.bmlink_tbl:{需求抓取的字段} (url独一索引卡塔尔国
  • 抓取公司url程序卡塔 尔(英语:State of Qatar)通过三个进口(网站):(http://www.bmlink.com/newjoin/),遍历并保存公司的url。
  • 抓取公司音讯程序卡塔 尔(英语:State of Qatar)对url库中status为0的进展抓取,每抓取三个url对应的把url库中status 0 置为1 ,那样能够确定保障抓取程序抓完全体厂家才止住。

本文由金沙澳门官网发布于网络编程,转载请注明出处:中原天气网和古诗文网实战,爬取某网的营业所

关键词: 金沙澳门官网

上一篇:服务器获取客户端IP地址以及归属地探秘
下一篇:没有了