Scrapy, Writing Data to Json File

Kategori: Python , 14 Eylül 2019 , JanFranco


Daha önce quotes.toscrape.com adresinden veri çekip bir txt dosyasına verileri yazmıştık. Bu yazımda aynı adresten veri çekip bir json dosyasına veri yazacağız. quotes.py dosyasını aşağıdaki şekilde düzenleyelim:


import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"

    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/'
    ]

    def parse(self, response):
        for quote in response.css("div.quote"):
            title = quote.css("span.text::text").extract_first()
            author = quote.css("small.author::text").extract_first()
            tags = quote.css("div.tags a.tag::text").extract()

            yield{
                "title": title,
                "author": author,
                "tags": tags
            }
Daha sonra settings.py dosyasını açalım ve aşağıdaki satırı ekleyelim:


FEED_EXPORT_ENCODING = 'utf-8'
Son olarak terminal sekmesinden komutu çalıştıralım:


scrapy crawl quotes -o quotes.json


Sonraki Yazı: Scrapy, Following Links
Yorumlar

Henüz bir yorum bulunmuyor.
Yorum bırakın