用Python和BeautifulSoup在Javascript中获取图片网址

0 人关注

我正在尝试使用Python和BeautifulSoup从下面的页面中获取产品图片。图片是在javascript里面。我正在使用lxml。我创建了一个简化版本的代码，只关注图片。

我想要的图片网址是 https://lapa.co.za/pub/media/catalog/product/cache/image/700x700/e9c3970ab036de70892d86c6d221abfe/l/e/learn_to_read_l3_b05_tippie_fish_cover.jpg

import json
from bs4 import BeautifulSoup
import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
testlink = 'https://lapa.co.za/kinder-en-tienerboeke/leer-my-lees-vlak-1-grootboek-9-tippie-en-die-vis'
r = requests.get(testlink, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
title = soup.find('h1', class_='page-title').text.strip()
images = soup.find('div', class_='product-img-column')
# html_data = requests.get(testlink).text
# data = json.loads(re.search(r'window.INITIAL_REDUX_STATE=(\{.*?\});', html_data))
print(images)


         1
         
         个评论


           
            Bendik Knapstad
           
           ：


           
            你不能这样做，你需要一些东西来把javascript看成webdrivers，我通常使用selenium。


         python


         web-scraping


         beautifulsoup


         lxml


         screen-scraping


        
         
         
          Schalk Joubert
         
        
        
         发布于
         
         2021-11-01


        1
        
        个回答


          已采纳


         0
         
         人赞同


          
           json在
           
            <script>
           
           标签中。只需要把它拉出来。
          
          import json
from bs4 import BeautifulSoup
import requests
import re
headers = {
    'User-Agent': 'Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148'
testlink = 'https://lapa.co.za/kinder-en-tienerboeke/leer-my-lees-vlak-1-grootboek-9-tippie-en-die-vis'
r = requests.get(testlink, headers=headers)
soup = BeautifulSoup(r.content, 'lxml')
title = soup.find('h1', class_='page-title').text.strip()
images = soup.find('div', class_='product-img-column')
script = images.find('script', {'type':'text/x-magento-init'})
jsonStr = re.search(r'<script type=\"text/x-magento-init\">(.*)</script>', str(script), re.IGNORECASE | re.DOTALL).group(1)
data = json.loads(jsonStr)
image_data = data['[data-gallery-role=gallery-placeholder]']['mage/gallery/gallery']['data'][0]
image_url = image_data['full']
#image_url = image_data['img']
print(image_url)

推荐文章

冷静的抽屉 · 点击按钮随机生成数字_web按下按钮输出随机数-CSDN博客

5 天前

着急的回锅肉 · javascript - for循环请求接口异步怎么赋值呢？ - SegmentFault 思否

5 天前

勤奋的鸭蛋 · 悬停子元素时如何设置父元素的样式？-腾讯云开发者社区-腾讯云

5 天前

痴情的大象 · JavaScript 技术篇 - js 查看哪个元素获取了焦点，js 指定元素获取焦点方法-腾讯云开发者社区-腾讯云

4 天前

魁梧的小笼包 · JavaScript --- 在for循环中使用var和let声明变量的区别_js的for循环使用let 还是var-CSDN博客

昨天

正直的大蒜 · qtablewidget隐藏边框 - 百度

1 周前

成熟的匕首 · 如何通过Nw.js纯前端实现调用热敏打印机打印小票？ - 掘金

1 年前

纯真的长颈鹿 · numba，让python速度提升百倍 - 简书

1 年前

文质彬彬的热带鱼 · javascript - videojs.record - start/stop audio recording onclick - Stack Overflow

1 年前

豪情万千的手链 · WPF 实现TabControl 中动态添加选项卡、动态添加Frame_wpf tabcontrol 动态添加_执着的涛的博客-CSDN博客

1 年前