利用Selenium批量下载100首网易云热歌榜音乐

今日的小demo大家应用的是selenium和xpath.函数式编程采集数据.收集到的数据信息如下图所示。

01要求数据信息

网易音乐新歌榜数据信息100首歌。

02网页页面剖析

最先这一网页页面根据reuqests方式是没法获得网页页面数据信息的,因此大家这儿应用selenium,xpath方式分析数据信息。

这一table标识装了100首歌数据信息,可是这一网页页面是嵌在iframe标识中的,因此必须精准定位iframe标识,获得到里边的的內容。

 

  
url = "https://music.163.com/#/discover/toplist?id=3779629" # 新歌榜 
  
 
  
driver = webdriver.Chrome() 
  
 
  
driver.get(url) 
  
 
  
time.sleep(3) 
  
 
  
_iframe = driver.find_element_by_id('g_iframe') # 寻找iframe标识 
  
 
  
driver.switch_to.frame(_iframe) 
  
 
  
time.sleep(1) 
  
 
  
page_text = driver.execute_script("return document.documentElement.outerHTML") 
 

03分析数据信息

获得了iframe中的原素page_text,大家应用xpath。

 

  
html = etree.HTML(page_text) 
  
 
  
trs = html.xpath('//tr') 
  
id_list = [] 
  
song_name_list = [] 
  
singer_list = [] 
  
 
  
for tr in trs[1:]: 
  
    id = tr.xpath("./td[2]/div[1]/div[1]/span/@data-res-id")[0][-10:] #  
  
    id_list.append(id) 
  
    song_name = tr.xpath("./td[2]/div/div/div/span/a/b/@title")[0] 
  
    song_name_list.append(song_name) 
  
    print(id,"----",song_name) 
 

04储存数据信息

 

  
base_url = 'http://music.163.com/song/media/outer/url?id={}.mp3' 
  
try: 
  
    for index,id in enumerate(id_list): 
  
        if index == 25: # 由于这一26首歌名异常标识符,要清除,不然出错 
  
            continue 
  
        file_name = song_name_list[index] 
  
        resp = requests.get(base_url.format(id)) 
  
        with open(r'HotMusic/'  file_name   '.mp3','wb') as f: 
  
            f.write(resp.content) 
  
            print('音乐:%s免费下载取得成功' % file_name) 
  
except Exception as error: 
  
    print(error) 
 

05运作程序流程

视频程序