用Python和BeautifulSoup在Javascript中获取图片网址

0 人关注

我正在尝试使用Python和BeautifulSoup从下面的页面中获取产品图片。图片是在javascript里面。我正在使用lxml。我创建了一个简化版本的代码，只关注图片。

我想要的图片网址是 https://lapa.co.za/pub/media/catalog/product/cache/image/700x700/e9c3970ab036de70892d86c6d221abfe/l/e/learn_to_read_l3_b05_tippie_fish_cover.jpg

import json
from bs4 import BeautifulSoup
import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
testlink = 'https://lapa.co.za/kinder-en-tienerboeke/leer-my-lees-vlak-1-grootboek-9-tippie-en-die-vis'
r = requests.get(testlink, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
title = soup.find('h1', class_='page-title').text.strip()
images = soup.find('div', class_='product-img-column')
# html_data = requests.get(testlink).text
# data = json.loads(re.search(r'window.INITIAL_REDUX_STATE=(\{.*?\});', html_data))
print(images)


         1
         
         个评论


           
            Bendik Knapstad
           
           ：


           
            你不能这样做，你需要一些东西来把javascript看成webdrivers，我通常使用selenium。


         python


         web-scraping


         beautifulsoup


         lxml


         screen-scraping


        
         
         
          Schalk Joubert
         
        
        
         发布于
         
         2021-11-01


        1
        
        个回答


          已采纳


         0
         
         人赞同


          
           json在
           
            <script>
           
           标签中。只需要把它拉出来。
          
          import json
from bs4 import BeautifulSoup
import requests
import re
headers = {
    'User-Agent': 'Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
testlink = 'https://lapa.co.za/kinder-en-tienerboeke/leer-my-lees-vlak-1-grootboek-9-tippie-en-die-vis'
r = requests.get(testlink, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
title = soup.find('h1', class_='page-title').text.strip()
images = soup.find('div', class_='product-img-column')
script = images.find('script', {'type':'text/x-magento-init'})
jsonStr = re.search(r'<script type=\"text/x-magento-init\">(.*)</script>', str(script), re.IGNORECASE | re.DOTALL).group(1)
data = json.loads(jsonStr)
image_data = data['[data-gallery-role=gallery-placeholder]']['mage/gallery/gallery']['data'][0]
image_url = image_data['full']
#image_url = image_data['img']
print(image_url)

推荐文章

很酷的墨镜 · RDP登录相关开发者社区

1 月前

强健的猕猴桃 · js和jq给select绑定onchange事件 - CSDN文库

1 月前

有腹肌的伤痕 · javascript 获取按钮事件_mob64ca12d5dd85的技术博客_

1 月前

瘦瘦的人字拖 · qtextbrowser,如何使用？添加一行，删除一行，行的背景颜色设置，请给出实际例子 - CSDN文库

1 月前

叛逆的长颈鹿 · offset commit failed with a retriable exception. you should retry committing - CSDN文库

1 月前

傻傻的针织衫 · 比快更快，极速版 IDE 框架 CodeBlitz 开源！_OpenSumi_场景_运行

4 月前

体贴的红金鱼 · 利用Python搞定期货数据，获得免费API 很早之前，Tushare就提供过期货行情等数据API，这要感谢东北证券小伙伴的努力，在最需要的时候贡献了期货数据的代码。... - 雪球

1 年前

旅途中的硬盘 · vim的插件配置文件夹的组织形式（传统方式）__佚名-2022_的博客-CSDN博客

1 年前

独立的胡萝卜 · c# - Why is the <system.serviceModel> section missing from app.config? - Stack Overflow

1 年前