Python爬虫实践-爬取网易云音乐-天涯论坛

m5k1umn 发表于 2024-10-26 16:48:53

Python爬虫实践--爬取网易云音乐

<h1 style="color: black; text-align: left; margin-bottom: 10px;">前言</h1>
近期，网易的音乐非常多听不到了，刚好亦看到非常多教程，跟进学习了一下，亦集大全了吧，本来想优化一下的，然则发掘问题还是有点繁杂，最后另辟捷径，供给了简单的办法啊！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">Python + 爬虫</h1>
首要，说一下准备工作：Python：需要基本的python语法基本requests：专业用于请求处理，requests库学习文档中文版lxml：其实能够用python自带的正则表达式库re，然则为了更加简单入门，用 lxml 中的 etree 进行网页数据定位爬取。re：python正则表达式处理
json：python的json处理库而后，说一下此刻已然晓得下载链接是这般的：
http://music.163.com/song/media/outer/url?id=
id 便是歌曲的id！
因此，此刻咱们爬虫重点的工作便是找到这个id，当然为了更好的保留，亦要找到这个歌名啦！
那此刻便是要找到咱们需要爬虫的网站链接啦！我分析了一下，大概是下面三种：#歌曲名单
music_list = https://music.163.com/#/playlist?id=2412826586
#歌手排行榜
artist_list = https://music.163.com/#/artist?id=8325
#搜索列表 
search_list = https://music.163.com/#/search/m/?order=hot&cat=全部&limit=435&offset=435&s=梁静茹
倘若你已然只是想下载一首歌，例如静茹-勇气：https://music.163.com/#/song?id=254485，那你直接就用浏览器打开 http://music.163.com/song/media/outer/url?id=254485 就能够了，不必爬虫啊！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">下载歌词</h1>
倘若还要下载歌词，那亦很简单，经过接口，有歌曲的id就能够：url = http://music.163.com/api/song/lyric?id={}&lv=-1&kv=-1&tv=-1.format(song_id)
返回的json数据大概长这般{
sgc: true,
sfy: false,
qfy: false,
lrc:
{
version: 7,
lyric: "开了窗等待天亮\n看这城市悄悄的熄了光\n听风的方向\n这一刻 是不是和我同样\n孤单的飞翔\n模糊了眼眶\n广播里那首歌曲\n重复当时那条街那个你\n相同的桌椅\n不消言语就会有默契\n这份亲密\n那样熟练\n在爱里等着你\n被你疼惜有种暖意\n在梦里全是你\n不要再迟疑把我抱紧"
},
klyric:
{
version: 0,
lyric: null
},
tlyric:
{
version: 0,
lyric: null
},
code: 200
}
<h1 style="color: black; text-align: left; margin-bottom: 10px;">坑点与进阶</h1>
表面上很简单，然则需要重视的是，网易返回的链接，数据是js动态加载，亦便是爬虫得到的网页数据和浏览器得到的dom内容和结构不同样！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">坑</h1>
其中，搜索列表爬虫回来的内容，完全得不到歌曲id！！！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">处理</h1>
处理办法亦是有的！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">python模拟浏览器</h1>
运用selenium+phantomjs无界面浏览器，这两者的结合其实便是直接操作浏览器，能够获取JavaScript渲染后的页面数据。
<h1 style="color: black; text-align: left; margin-bottom: 10px;">缺点</h1>
因为是无界面浏览器，采用此方法效率极低，倘若大批量抓取不举荐。
针对异步请求并且数据在源码中并不存在的，同期亦就没法抓取到的数据。
搜索的歌曲变成歌单
例如想下载所有的某一歌手的所有音乐，用手机云音乐搜索，而后所有保留到新建一个歌单，这般就能够啦！
<h1 style="color: black; text-align: left; margin-bottom: 10px;">总结</h1>
用python，就必定要简单，我认为繁杂的东西，还是尽可能少做，能取巧就取巧，因此本文无运用selenium+phantomjs实践。
注：本文只是技术交流，请不要商场用途~ 如有违反，自己一概不负责。
所有代码又是非常简单的100行代码完事！！！
import os
import re
importjsonimport requests
from lxml import etree

def download_songs(url=None):
if url is None:
url = https://music.163.com/#/playlist?id=2384642500

url = url.replace(/#, ).replace(https, http) # 对字符串进行去空格和转协议处理
# 网易云音乐外链url接口：http://music.163.com/song/media/outer/url?id=xxxx
out_link = http://music.163.com/song/media/outer/url?id=
# 请求头
headers = {
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36,
Referer: https://music.163.com/,
Host: music.163.com
}
# 请求页面的源码
res = requests.get(url=url, headers=headers).text

tree = etree.HTML(res)
# 音乐列表
song_list = tree.xpath(//ul[@class="f-hide"]/li/a)
# 倘若是歌手页面
artist_name_tree = tree.xpath(//h2[@id="artist-name"]/text())
artist_name = str(artist_name_tree[0]) if artist_name_tree else None

# 倘若是歌单页面：
#song_list_tree = tree.xpath(//*[@id="m-playlist"]/div/div/div/div/div/div/div/table/tbody)
song_list_name_tree = tree.xpath(//h2/text())
song_list_name = str(song_list_name_tree[0]) if song_list_name_tree else None

# 设置音乐下载的文件夹为歌手名字或歌单名
folder = ./ + artist_name if artist_name else ./ + song_list_name

if not os.path.exists(folder):
os.mkdir(folder)

for i, s inenumerate(song_list):
href = str(s.xpath(./@href)[0])
song_id = href.split(=)[-1]
src = out_link + song_id # 拼接获取音乐真实的src资源值
title = str(s.xpath(./text())[0]) # 音乐的名字
filename = title + .mp3
filepath = folder + / + filename
print(起始下载第{}首音乐：{}\n.format(i + 1, filename))

try: # 下载音乐
#下载歌词
#download_lyric(title, song_id)

data = requests.get(src).content # 音乐的二进制数据

with open(filepath, wb) as f:
f.write(data)
except Exception as e:
print(e)

print({}首所有歌曲已然下载完毕！.format(len(song_list)))

def download_lyric(song_name, song_id):
url = http://music.163.com/api/song/lyric?id={}&lv=-1&kv=-1&tv=-1.format(song_id)
# 请求头
headers = {
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36,
Referer: https://music.163.com/,
Host: music.163.com
# Origin: https://music.163.com
}
# 请求页面的源码res = requests.get(url=url, headers=headers).text
json_obj = json.loads(res)
lyric = json_obj[lrc][lyric]
reg = re.compile(r\[.*\])
lrc_text = re.sub(reg, , lyric).strip()

print(song_name, lrc_text)if __name__ == __main__:
#music_list = https://music.163.com/#/playlist?id=2384642500 #歌曲名单
music_list = https://music.163.com/#/artist?id=8325 #歌手排行榜
# music_list = https://music.163.com/#/search/m/?order=hot&cat=所有&limit=435&offset=435&s=梁静茹 #搜索列表
download_songs(music_list)
如有疑问，欢迎在评论区一块讨论！如有不正确的地区，欢迎指点！
<div style="color: black; text-align: left; margin-bottom: 10px;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/01c7fc9a081b4d38a058ae74f9312991~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1729477222&x-signature=mmiLKZI7MFBxFD59ihT6s5IIUmo%3D" style="width: 50%; margin-bottom: 20px;"></div>

页: [1]

天涯论坛's Archiver

Python爬虫实践--爬取网易云音乐