Wyodrębniłem linki do obrazów z https://www.topgear.com/car-reviews/ Ferrari / Laferrari za pomocą pisemu w bash, czy jest jakiś prosty sposób na zapisanie ich bez rurociągu?

scrapy shell https://www.topgear.com/car-reviews/ferrari/laferrari
response.xpath('//div[@class="carousel__content-inner"]//img/@srcset').extract()
['https://www.topgear.com/sites/default/files/styles/fit_980x551/public/cars-car/carousel/2015/02/buyers_guide_-_laf_-_front.jpg?itok=KiD7ErMe 980w',
 'https://www.topgear.com/sites/default/files/styles/fit_980x551/public/cars-car/carousel/2015/02/buyers_guide_-_laf_-_rear.jpg?itok=JMYaaJ5L 980w',
 'https://www.topgear.com/sites/default/files/styles/fit_980x551/public/cars-car/carousel/2015/02/buyers_guide_-_laf_-_interior.jpg?itok=4Z0zIdH_ 980w',
 'https://www.topgear.com/sites/default/files/styles/fit_980x551/public/cars-car/carousel/2015/02/buyers_guide_-_laf_-_side.jpg?itok=OKl2MOJ2 980w']

Dzięki za wszelką pomoc.

2
Mikhail 14 styczeń 2020, 16:19

1 odpowiedź

Najlepsza odpowiedź

Możesz użyć selektora pisemu https://docs.scrapy.org/en/lateest /topics/selectory.html. i żądania biblioteki:

from scrapy.selector import Selector
import requests
from tqdm import tqdm

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
response = requests.get('https://www.topgear.com/car-reviews/ferrari/laferrari', headers=headers)
links = Selector(text=response.text).xpath('//div[@class="carousel__content-inner"]//img/@srcset').getall()

for i, image_url in tqdm(enumerate(links)):
    try:
        response = requests.get(image_url, headers=headers)
    except:
        pass
    else:
        if response.status_code == 200:
            with open('{:02}.jpg'.format(i), 'wb') as f:
                f.write(response.content)
2
Manualmsdos 14 styczeń 2020, 13:26