--- /srv/reproducible-results/rbuild-debian/r-b-build.xW3jcoMw/b1/python-scrapy_2.4.1-2+deb11u1_amd64.changes
+++ /srv/reproducible-results/rbuild-debian/r-b-build.xW3jcoMw/b2/python-scrapy_2.4.1-2+deb11u1_amd64.changes
├── Files
│ @@ -1,3 +1,3 @@
│  
│ - 6e1752b11018c80a1c1dfd6727bcbc60 709268 doc optional python-scrapy-doc_2.4.1-2+deb11u1_all.deb
│ + 2d3c29c6404180e12190e993f37f243c 709288 doc optional python-scrapy-doc_2.4.1-2+deb11u1_all.deb
│   39e5bfdc1c8b4d72e0b68b1fa3ea3d77 214112 python optional python3-scrapy_2.4.1-2+deb11u1_all.deb
├── python-scrapy-doc_2.4.1-2+deb11u1_all.deb
│ ├── file list
│ │ @@ -1,3 +1,3 @@
│ │  -rw-r--r--   0        0        0        4 2022-05-20 20:11:00.000000 debian-binary
│ │ --rw-r--r--   0        0        0     4448 2022-05-20 20:11:00.000000 control.tar.xz
│ │ --rw-r--r--   0        0        0   704628 2022-05-20 20:11:00.000000 data.tar.xz
│ │ +-rw-r--r--   0        0        0     4444 2022-05-20 20:11:00.000000 control.tar.xz
│ │ +-rw-r--r--   0        0        0   704652 2022-05-20 20:11:00.000000 data.tar.xz
│ ├── control.tar.xz
│ │ ├── control.tar
│ │ │ ├── ./md5sums
│ │ │ │ ├── ./md5sums
│ │ │ │ │┄ Files differ
│ ├── data.tar.xz
│ │ ├── data.tar
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/README.html
│ │ │ │ @@ -274,15 +274,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -90,9 +90,9 @@
│ │ │ │ │  ***** Alternative method using tox¶ *****
│ │ │ │ │  To compile the documentation to HTML run the following command:
│ │ │ │ │  tox -e docs
│ │ │ │ │  Documentation will be generated (in HTML format) inside the .tox/docs/tmp/html
│ │ │ │ │  dir.
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/index.html
│ │ │ │ @@ -284,15 +284,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -128,9 +128,9 @@
│ │ │ │ │      * scrapy.statscollectors
│ │ │ │ │      * scrapy.utils.curl
│ │ │ │ │      * scrapy.utils.log
│ │ │ │ │      * scrapy.utils.reactor
│ │ │ │ │      * scrapy.utils.trackref
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/itemadapter/adapter.html
│ │ │ │ @@ -483,15 +483,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -346,9 +346,9 @@
│ │ │ │ │          return obj.asdict()
│ │ │ │ │      elif is_item(obj):
│ │ │ │ │          return ItemAdapter(obj).asdict()
│ │ │ │ │      else:
│ │ │ │ │          return obj
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/itemadapter/utils.html
│ │ │ │ @@ -333,15 +333,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -188,9 +188,9 @@
│ │ │ │ │  (item_class.__name__, field_name))
│ │ │ │ │      elif issubclass(item_class, dict):
│ │ │ │ │          return MappingProxyType({})
│ │ │ │ │      else:
│ │ │ │ │          raise TypeError("%s is not a valid item class" % (item_class,))
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/itemloaders/processors.html
│ │ │ │ @@ -454,15 +454,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -307,9 +307,9 @@
│ │ │ │ │      def __init__(self, separator=' '):
│ │ │ │ │          self.separator = separator
│ │ │ │ │  
│ │ │ │ │      def __call__(self, values):
│ │ │ │ │          return self.separator.join(values)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/itemloaders.html
│ │ │ │ @@ -661,15 +661,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -533,9 +533,9 @@
│ │ │ │ │  
│ │ │ │ │      def _get_cssvalues(self, csss, **kw):
│ │ │ │ │          self._check_selector_method()
│ │ │ │ │          csss = arg_to_iter(csss)
│ │ │ │ │          return flatten(self.selector.css(css).getall() for css in csss)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/parsel/selector.html
│ │ │ │ @@ -624,15 +624,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -498,9 +498,9 @@
│ │ │ │ │      def __str__(self):
│ │ │ │ │          data = repr(shorten(self.get(), width=40))
│ │ │ │ │          return "<%s xpath=%r data=%s>" % (type(self).__name__, self._expr,
│ │ │ │ │  data)
│ │ │ │ │      __repr__ = __str__
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/parsel/xpathfuncs.html
│ │ │ │ @@ -280,15 +280,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -125,9 +125,9 @@
│ │ │ │ │      node_cls = replace_html5_whitespaces(' ', node_cls)
│ │ │ │ │      for cls in classes:
│ │ │ │ │          if ' ' + cls + ' ' not in node_cls:
│ │ │ │ │              return False
│ │ │ │ │      return True
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/contracts/default.html
│ │ │ │ @@ -329,15 +329,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -177,9 +177,9 @@
│ │ │ │ │                  missing = [arg for arg in self.args if arg not in ItemAdapter
│ │ │ │ │  (x)]
│ │ │ │ │                  if missing:
│ │ │ │ │                      missing_fields = ", ".join(missing)
│ │ │ │ │                      raise ContractFail(f"Missing fields: {missing_fields}")
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/contracts.html
│ │ │ │ @@ -398,15 +398,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -245,9 +245,9 @@
│ │ │ │ │              return f"[{spider}] {method.__name__} ({desc})"
│ │ │ │ │  
│ │ │ │ │      name = f'{spider}_{method.__name__}'
│ │ │ │ │      setattr(ContractTestCase, name, lambda x: x)
│ │ │ │ │      return ContractTestCase(name)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/crawler.html
│ │ │ │ @@ -563,15 +563,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -424,9 +424,9 @@
│ │ │ │ │      def _handle_twisted_reactor(self):
│ │ │ │ │          if self.settings.get("TWISTED_REACTOR"):
│ │ │ │ │              install_reactor(self.settings["TWISTED_REACTOR"], self.settings
│ │ │ │ │  ["ASYNCIO_EVENT_LOOP"])
│ │ │ │ │          super()._handle_twisted_reactor()
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/ajaxcrawl.html
│ │ │ │ @@ -312,15 +312,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -164,9 +164,9 @@
│ │ │ │ │  
│ │ │ │ │      text = html.remove_tags_with_content(text, ('script', 'noscript'))
│ │ │ │ │      text = html.replace_entities(text)
│ │ │ │ │      text = html.remove_comments(text)
│ │ │ │ │      return _ajax_crawlable_re.search(text) is not None
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/cookies.html
│ │ │ │ @@ -329,15 +329,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -178,9 +178,9 @@
│ │ │ │ │              cookies = request.cookies
│ │ │ │ │          formatted = filter(None, (self._format_cookie(c, request) for c in
│ │ │ │ │  cookies))
│ │ │ │ │          response = Response(request.url, headers={"Set-Cookie": formatted})
│ │ │ │ │          return jar.make_cookies(response, request)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/defaultheaders.html
│ │ │ │ @@ -241,15 +241,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -85,9 +85,9 @@
│ │ │ │ │          return cls(headers.items())
│ │ │ │ │  
│ │ │ │ │      def process_request(self, request, spider):
│ │ │ │ │          for k, v in self._headers:
│ │ │ │ │              request.headers.setdefault(k, v)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/downloadtimeout.html
│ │ │ │ @@ -245,15 +245,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -88,9 +88,9 @@
│ │ │ │ │          self._timeout = getattr(spider, 'download_timeout', self._timeout)
│ │ │ │ │  
│ │ │ │ │      def process_request(self, request, spider):
│ │ │ │ │          if self._timeout:
│ │ │ │ │              request.meta.setdefault('download_timeout', self._timeout)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/httpauth.html
│ │ │ │ @@ -269,15 +269,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -116,9 +116,9 @@
│ │ │ │ │                  self.domain = domain
│ │ │ │ │                  self.domain_unset = False
│ │ │ │ │              if not self.domain or url_is_from_any_domain(request.url,
│ │ │ │ │  [self.domain]):
│ │ │ │ │                  request.headers[b'Authorization'] = auth
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/httpcache.html
│ │ │ │ @@ -352,15 +352,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -204,9 +204,9 @@
│ │ │ │ │          if self.policy.should_cache_response(response, request):
│ │ │ │ │              self.stats.inc_value('httpcache/store', spider=spider)
│ │ │ │ │              self.storage.store_response(spider, request, response)
│ │ │ │ │          else:
│ │ │ │ │              self.stats.inc_value('httpcache/uncacheable', spider=spider)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/httpcompression.html
│ │ │ │ @@ -301,15 +301,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -148,9 +148,9 @@
│ │ │ │ │              # where there is content size data embedded in the frame
│ │ │ │ │              reader = zstandard.ZstdDecompressor().stream_reader(io.BytesIO
│ │ │ │ │  (body))
│ │ │ │ │              body = reader.read()
│ │ │ │ │          return body
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/httpproxy.html
│ │ │ │ @@ -294,15 +294,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -138,9 +138,9 @@
│ │ │ │ │      def _set_proxy(self, request, scheme):
│ │ │ │ │          creds, proxy = self.proxies[scheme]
│ │ │ │ │          request.meta['proxy'] = proxy
│ │ │ │ │          if creds:
│ │ │ │ │              request.headers['Proxy-Authorization'] = b'Basic ' + creds
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/redirect.html
│ │ │ │ @@ -352,15 +352,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -202,9 +202,9 @@
│ │ │ │ │          if url and interval < self._maxdelay:
│ │ │ │ │              redirected = self._redirect_request_using_get(request, url)
│ │ │ │ │              return self._redirect(redirected, request, spider, 'meta refresh')
│ │ │ │ │  
│ │ │ │ │          return response
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/retry.html
│ │ │ │ @@ -316,15 +316,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -166,9 +166,9 @@
│ │ │ │ │              logger.error("Gave up retrying %(request)s (failed %(retries)d
│ │ │ │ │  times): %(reason)s",
│ │ │ │ │                           {'request': request, 'retries': retries, 'reason':
│ │ │ │ │  reason},
│ │ │ │ │                           extra={'spider': spider})
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/robotstxt.html
│ │ │ │ @@ -328,15 +328,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -176,9 +176,9 @@
│ │ │ │ │              key = f'robotstxt/exception_count/{failure.type}'
│ │ │ │ │              self.crawler.stats.inc_value(key)
│ │ │ │ │          rp_dfd = self._parsers[netloc]
│ │ │ │ │          self._parsers[netloc] = None
│ │ │ │ │          rp_dfd.callback(None)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/stats.html
│ │ │ │ @@ -253,15 +253,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -100,9 +100,9 @@
│ │ │ │ │      def process_exception(self, request, exception, spider):
│ │ │ │ │          ex_class = global_object_name(exception.__class__)
│ │ │ │ │          self.stats.inc_value('downloader/exception_count', spider=spider)
│ │ │ │ │          self.stats.inc_value(f'downloader/exception_type_count/{ex_class}',
│ │ │ │ │  spider=spider)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/downloadermiddlewares/useragent.html
│ │ │ │ @@ -242,15 +242,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -85,9 +85,9 @@
│ │ │ │ │          self.user_agent = getattr(spider, 'user_agent', self.user_agent)
│ │ │ │ │  
│ │ │ │ │      def process_request(self, request, spider):
│ │ │ │ │          if self.user_agent:
│ │ │ │ │              request.headers.setdefault(b'User-Agent', self.user_agent)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/exceptions.html
│ │ │ │ @@ -308,15 +308,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -161,9 +161,9 @@
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  [docs]class ContractFail(AssertionError):
│ │ │ │ │      """Error raised in case of a failing contract"""
│ │ │ │ │      pass
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/exporters.html
│ │ │ │ @@ -557,15 +557,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -421,9 +421,9 @@
│ │ │ │ │      def export_item(self, item):
│ │ │ │ │          result = dict(self._get_serialized_fields(item))
│ │ │ │ │          if self.binary:
│ │ │ │ │              result = dict(self._serialize_item(result))
│ │ │ │ │          return result
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/closespider.html
│ │ │ │ @@ -287,15 +287,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -135,9 +135,9 @@
│ │ │ │ │  
│ │ │ │ │      def spider_closed(self, spider):
│ │ │ │ │          task = getattr(self, 'task', False)
│ │ │ │ │          if task and task.active():
│ │ │ │ │              task.cancel()
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/corestats.html
│ │ │ │ @@ -265,15 +265,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -111,9 +111,9 @@
│ │ │ │ │      def item_dropped(self, item, spider, exception):
│ │ │ │ │          reason = exception.__class__.__name__
│ │ │ │ │          self.stats.inc_value('item_dropped_count', spider=spider)
│ │ │ │ │          self.stats.inc_value(f'item_dropped_reasons_count/{reason}',
│ │ │ │ │  spider=spider)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/debug.html
│ │ │ │ @@ -283,15 +283,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -127,9 +127,9 @@
│ │ │ │ │              # win32 platforms don't support SIGUSR signals
│ │ │ │ │              pass
│ │ │ │ │  
│ │ │ │ │      def _enter_debugger(self, signum, frame):
│ │ │ │ │          Pdb().set_trace(frame.f_back)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/httpcache.html
│ │ │ │ @@ -591,15 +591,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -450,9 +450,9 @@
│ │ │ │ │      try:
│ │ │ │ │          date_str = to_unicode(date_str, encoding='ascii')
│ │ │ │ │          return mktime_tz(parsedate_tz(date_str))
│ │ │ │ │      except Exception:
│ │ │ │ │          return None
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/logstats.html
│ │ │ │ @@ -271,15 +271,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -114,9 +114,9 @@
│ │ │ │ │          logger.info(msg, log_args, extra={'spider': spider})
│ │ │ │ │  
│ │ │ │ │      def spider_closed(self, spider, reason):
│ │ │ │ │          if self.task and self.task.running:
│ │ │ │ │              self.task.stop()
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/memdebug.html
│ │ │ │ @@ -252,15 +252,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -97,9 +97,9 @@
│ │ │ │ │          for cls, wdict in live_refs.items():
│ │ │ │ │              if not wdict:
│ │ │ │ │                  continue
│ │ │ │ │              self.stats.set_value(f'memdebug/live_refs/{cls.__name__}', len
│ │ │ │ │  (wdict), spider=spider)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/memusage.html
│ │ │ │ @@ -345,15 +345,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -198,9 +198,9 @@
│ │ │ │ │  ---- \r\n"
│ │ │ │ │          s += "\r\n"
│ │ │ │ │          s += pformat(get_engine_status(self.crawler.engine))
│ │ │ │ │          s += "\r\n"
│ │ │ │ │          self.mail.send(rcpts, subject, s)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/statsmailer.html
│ │ │ │ @@ -253,15 +253,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -98,9 +98,9 @@
│ │ │ │ │  ().items())
│ │ │ │ │          body += f"\n\n{spider.name} stats\n\n"
│ │ │ │ │          body += "\n".join(f"{k:<50} : {v}" for k, v in spider_stats.items())
│ │ │ │ │          return self.mail.send(self.recipients, f"Scrapy stats for:
│ │ │ │ │  {spider.name}", body)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/extensions/telnet.html
│ │ │ │ @@ -333,15 +333,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -181,9 +181,9 @@
│ │ │ │ │  telnetconsole.html",
│ │ │ │ │          }
│ │ │ │ │          self.crawler.signals.send_catch_log(update_telnet_vars,
│ │ │ │ │  telnet_vars=telnet_vars)
│ │ │ │ │          return telnet_vars
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/request/form.html
│ │ │ │ @@ -436,15 +436,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -289,9 +289,9 @@
│ │ │ │ │          raise ValueError(f"Multiple elements found ({el!r}) matching the "
│ │ │ │ │                           f"criteria in clickdata: {clickdata!r}")
│ │ │ │ │      else:
│ │ │ │ │          raise ValueError(f'No clickable element matching clickdata:
│ │ │ │ │  {clickdata!r}')
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/request/json_request.html
│ │ │ │ @@ -278,15 +278,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -122,9 +122,9 @@
│ │ │ │ │          return json.dumps(data, **self._dumps_kwargs)
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  JSONRequest = create_deprecated_class("JSONRequest", JsonRequest)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/request.html
│ │ │ │ @@ -362,15 +362,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -219,9 +219,9 @@
│ │ │ │ │         """
│ │ │ │ │          request_kwargs = curl_to_request_kwargs(curl_command,
│ │ │ │ │  ignore_unknown_options)
│ │ │ │ │          request_kwargs.update(kwargs)
│ │ │ │ │          return cls(**request_kwargs)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/response/html.html
│ │ │ │ @@ -233,15 +233,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -75,9 +75,9 @@
│ │ │ │ │  from scrapy.http.response.text import TextResponse
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  [docs]class HtmlResponse(TextResponse):
│ │ │ │ │      pass
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/response/text.html
│ │ │ │ @@ -486,15 +486,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -350,9 +350,9 @@
│ │ │ │ │      href = sel.root.get('href')
│ │ │ │ │      if href is None:
│ │ │ │ │          raise _InvalidSelector(f"<{sel.root.tag}> element has no href
│ │ │ │ │  attribute: {sel}")
│ │ │ │ │      return strip_html5_whitespace(href)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/response/xml.html
│ │ │ │ @@ -233,15 +233,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -75,9 +75,9 @@
│ │ │ │ │  from scrapy.http.response.text import TextResponse
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  [docs]class XmlResponse(TextResponse):
│ │ │ │ │      pass
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/http/response.html
│ │ │ │ @@ -415,15 +415,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -267,9 +267,9 @@
│ │ │ │ │                  cb_kwargs=cb_kwargs,
│ │ │ │ │                  flags=flags,
│ │ │ │ │              )
│ │ │ │ │              for url in urls
│ │ │ │ │          )
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/item.html
│ │ │ │ @@ -377,15 +377,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -232,9 +232,9 @@
│ │ │ │ │      about fields <topics-items-fields>` for additional information.
│ │ │ │ │  
│ │ │ │ │      Unlike instances of :class:`dict`, instances of :class:`Item` may be
│ │ │ │ │      :ref:`tracked <topics-leaks-trackrefs>` to debug memory leaks.
│ │ │ │ │      """
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/link.html
│ │ │ │ @@ -272,15 +272,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -120,9 +120,9 @@
│ │ │ │ │      def __repr__(self):
│ │ │ │ │          return (
│ │ │ │ │              f'Link(url={self.url!r}, text={self.text!r}, '
│ │ │ │ │              f'fragment={self.fragment!r}, nofollow={self.nofollow!r})'
│ │ │ │ │          )
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/linkextractors/lxmlhtml.html
│ │ │ │ @@ -383,15 +383,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -232,9 +232,9 @@
│ │ │ │ │          for doc in docs:
│ │ │ │ │              links = self._extract_links(doc, response.url, response.encoding,
│ │ │ │ │  base_url)
│ │ │ │ │              all_links.extend(self._process_links(links))
│ │ │ │ │          return unique_list(all_links)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/loader.html
│ │ │ │ @@ -307,15 +307,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -160,9 +160,9 @@
│ │ │ │ │          if selector is None and response is not None:
│ │ │ │ │              selector = self.default_selector_class(response)
│ │ │ │ │          context.update(response=response)
│ │ │ │ │          super().__init__(item=item, selector=selector, parent=parent,
│ │ │ │ │  **context)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/logformatter.html
│ │ │ │ @@ -366,15 +366,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -229,9 +229,9 @@
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │      @classmethod
│ │ │ │ │      def from_crawler(cls, crawler):
│ │ │ │ │          return cls()
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/mail.html
│ │ │ │ @@ -359,15 +359,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -209,9 +209,9 @@
│ │ │ │ │  ssl.ClientContextFactory())
│ │ │ │ │          else:
│ │ │ │ │              reactor.connectTCP(self.smtphost, self.smtpport, factory)
│ │ │ │ │  
│ │ │ │ │          return d
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/pipelines/files.html
│ │ │ │ @@ -733,15 +733,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -594,9 +594,9 @@
│ │ │ │ │              media_ext = ''
│ │ │ │ │              media_type = mimetypes.guess_type(request.url)[0]
│ │ │ │ │              if media_type:
│ │ │ │ │                  media_ext = mimetypes.guess_extension(media_type)
│ │ │ │ │          return f'full/{media_guid}{media_ext}'
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/pipelines/images.html
│ │ │ │ @@ -395,15 +395,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -246,9 +246,9 @@
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │      def thumb_path(self, request, thumb_id, response=None, info=None):
│ │ │ │ │          thumb_guid = hashlib.sha1(to_bytes(request.url)).hexdigest()
│ │ │ │ │          return f'thumbs/{thumb_id}/{thumb_guid}.jpg'
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/robotstxt.html
│ │ │ │ @@ -349,15 +349,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -200,9 +200,9 @@
│ │ │ │ │  
│ │ │ │ │      def allowed(self, url, user_agent):
│ │ │ │ │          user_agent = to_unicode(user_agent)
│ │ │ │ │          url = to_unicode(url)
│ │ │ │ │          return self.rp.can_fetch(url, user_agent)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/selector/unified.html
│ │ │ │ @@ -301,15 +301,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -147,9 +147,9 @@
│ │ │ │ │              text = response.text
│ │ │ │ │              kwargs.setdefault('base_url', response.url)
│ │ │ │ │  
│ │ │ │ │          self.response = response
│ │ │ │ │          super().__init__(text=text, type=st, root=root, **kwargs)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/settings.html
│ │ │ │ @@ -684,15 +684,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -552,9 +552,9 @@
│ │ │ │ │      """Return a dict of the settings that have been overridden"""
│ │ │ │ │      for name, defvalue in iter_default_settings():
│ │ │ │ │          value = settings[name]
│ │ │ │ │          if not isinstance(defvalue, dict) and value != defvalue:
│ │ │ │ │              yield name, value
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/signalmanager.html
│ │ │ │ @@ -287,15 +287,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -134,9 +134,9 @@
│ │ │ │ │          :param signal: the signal to disconnect from
│ │ │ │ │          :type signal: object
│ │ │ │ │          """
│ │ │ │ │          kwargs.setdefault('sender', self.sender)
│ │ │ │ │          return _signal.disconnect_all(signal, **kwargs)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spiderloader.html
│ │ │ │ @@ -311,15 +311,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -157,9 +157,9 @@
│ │ │ │ │  [docs]    def list(self):
│ │ │ │ │          """
│ │ │ │ │          Return a list with the names of all spiders available in the project.
│ │ │ │ │          """
│ │ │ │ │          return list(self._spiders.keys())
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spidermiddlewares/depth.html
│ │ │ │ @@ -277,15 +277,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -120,9 +120,9 @@
│ │ │ │ │              response.meta['depth'] = 0
│ │ │ │ │              if self.verbose_stats:
│ │ │ │ │                  self.stats.inc_value('request_depth_count/0', spider=spider)
│ │ │ │ │  
│ │ │ │ │          return (r for r in result or () if _filter(r))
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spidermiddlewares/httperror.html
│ │ │ │ @@ -276,15 +276,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -122,9 +122,9 @@
│ │ │ │ │                  "Ignoring response %(response)r: HTTP status code is not
│ │ │ │ │  handled or not allowed",
│ │ │ │ │                  {'response': response}, extra={'spider': spider},
│ │ │ │ │              )
│ │ │ │ │              return []
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spidermiddlewares/offsite.html
│ │ │ │ @@ -304,15 +304,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -151,9 +151,9 @@
│ │ │ │ │      pass
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  class PortWarning(Warning):
│ │ │ │ │      pass
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spidermiddlewares/referer.html
│ │ │ │ @@ -580,15 +580,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -456,9 +456,9 @@
│ │ │ │ │                  if policy_referrer != request_referrer:
│ │ │ │ │                      if policy_referrer is None:
│ │ │ │ │                          request.headers.pop('Referer')
│ │ │ │ │                      else:
│ │ │ │ │                          request.headers['Referer'] = policy_referrer
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spidermiddlewares/urllength.html
│ │ │ │ @@ -256,15 +256,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -101,9 +101,9 @@
│ │ │ │ │                  return False
│ │ │ │ │              else:
│ │ │ │ │                  return True
│ │ │ │ │  
│ │ │ │ │          return (r for r in result or () if _filter(r))
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spiders/crawl.html
│ │ │ │ @@ -360,15 +360,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -206,9 +206,9 @@
│ │ │ │ │      def from_crawler(cls, crawler, *args, **kwargs):
│ │ │ │ │          spider = super().from_crawler(crawler, *args, **kwargs)
│ │ │ │ │          spider._follow_links = crawler.settings.getbool
│ │ │ │ │  ('CRAWLSPIDER_FOLLOW_LINKS', True)
│ │ │ │ │          return spider
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spiders/feed.html
│ │ │ │ @@ -356,15 +356,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -212,9 +212,9 @@
│ │ │ │ │          if not hasattr(self, 'parse_row'):
│ │ │ │ │              raise NotConfigured('You must define parse_row method in order to
│ │ │ │ │  scrape this CSV feed')
│ │ │ │ │          response = self.adapt_response(response)
│ │ │ │ │          return self.parse_rows(response)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spiders/sitemap.html
│ │ │ │ @@ -320,15 +320,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -165,9 +165,9 @@
│ │ │ │ │          yield d['loc']
│ │ │ │ │  
│ │ │ │ │          # Also consider alternate URLs (xhtml:link rel="alternate")
│ │ │ │ │          if alt and 'alternate' in d:
│ │ │ │ │              yield from d['alternate']
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/spiders.html
│ │ │ │ @@ -337,15 +337,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -186,9 +186,9 @@
│ │ │ │ │  
│ │ │ │ │  # Top-level imports
│ │ │ │ │  from scrapy.spiders.crawl import CrawlSpider, Rule
│ │ │ │ │  from scrapy.spiders.feed import XMLFeedSpider, CSVFeedSpider
│ │ │ │ │  from scrapy.spiders.sitemap import SitemapSpider
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/statscollectors.html
│ │ │ │ @@ -301,15 +301,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -157,9 +157,9 @@
│ │ │ │ │      def max_value(self, key, value, spider=None):
│ │ │ │ │          pass
│ │ │ │ │  
│ │ │ │ │      def min_value(self, key, value, spider=None):
│ │ │ │ │          pass
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/utils/curl.html
│ │ │ │ @@ -319,15 +319,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -162,9 +162,9 @@
│ │ │ │ │              # if the "data" is specified but the "method" is not specified,
│ │ │ │ │              # the default method is 'POST'
│ │ │ │ │              result['method'] = 'POST'
│ │ │ │ │  
│ │ │ │ │      return result
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/utils/log.html
│ │ │ │ @@ -434,15 +434,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -281,9 +281,9 @@
│ │ │ │ │      # NOTE: This also handles 'args' being an empty dict, that case doesn't
│ │ │ │ │      # play well in logger.log calls
│ │ │ │ │      args = logkws if not logkws.get('args') else logkws['args']
│ │ │ │ │  
│ │ │ │ │      return (level, message, args)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/utils/reactor.html
│ │ │ │ @@ -309,15 +309,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -153,9 +153,9 @@
│ │ │ │ │  
│ │ │ │ │  
│ │ │ │ │  def is_asyncio_reactor_installed():
│ │ │ │ │      from twisted.internet import reactor
│ │ │ │ │      return isinstance(reactor, asyncioreactor.AsyncioSelectorReactor)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/_modules/scrapy/utils/trackref.html
│ │ │ │ @@ -285,15 +285,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -132,9 +132,9 @@
│ │ │ │ │  [docs]def iter_all(class_name):
│ │ │ │ │      """Iterate over all objects of the same class by its class name"""
│ │ │ │ │      for cls, wdict in live_refs.items():
│ │ │ │ │          if cls.__name__ == class_name:
│ │ │ │ │              return wdict.keys()
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/contributing.html
│ │ │ │ @@ -466,15 +466,15 @@
│ │ │ │          <a href="news.html" class="btn btn-neutral float-left" title="Release notes" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -243,9 +243,9 @@
│ │ │ │ │  name typically resembles the full path of the module they’re testing. For
│ │ │ │ │  example, the item loaders code is in:
│ │ │ │ │  scrapy.loader
│ │ │ │ │  And their unit-tests are in:
│ │ │ │ │  tests/test_loader.py
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/faq.html
│ │ │ │ @@ -554,15 +554,15 @@
│ │ │ │          <a href="topics/webservice.html" class="btn btn-neutral float-left" title="Web Service" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -308,9 +308,9 @@
│ │ │ │ │  response. For instance, if you only need the first part of a large response and
│ │ │ │ │  you would like to save resources by avoiding the download of the whole body. In
│ │ │ │ │  that case, you could attach a handler to the bytes_received signal and raise a
│ │ │ │ │  StopDownload exception. Please refer to the Stopping_the_download_of_a_Response
│ │ │ │ │  topic for additional information and examples.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/genindex.html
│ │ │ │ @@ -3717,15 +3717,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -990,9 +990,9 @@
│ │ │ │ │        scrapy.spiders)                 method)
│ │ │ │ │      * XmlItemExporter_(class_in           o (scrapy.selector.Selector
│ │ │ │ │        scrapy.exporters)                     method)
│ │ │ │ │      * XmlResponse_(class_in               o (scrapy.selector.SelectorList
│ │ │ │ │        scrapy.http)                          method)
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/index.html
│ │ │ │ @@ -378,15 +378,15 @@
│ │ │ │          <a href="intro/overview.html" class="btn btn-neutral float-right" title="Scrapy at a glance" accesskey="n" rel="next">Next <span class="fa fa-arrow-circle-right" aria-hidden="true"></span></a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -173,9 +173,9 @@
│ │ │ │ │        See what has changed in recent Scrapy versions.
│ │ │ │ │    Contributing_to_Scrapy
│ │ │ │ │        Learn how to contribute to the Scrapy project.
│ │ │ │ │    Versioning_and_API_stability
│ │ │ │ │        Understand Scrapy versioning and API stability.
│ │ │ │ │  Next
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/intro/examples.html
│ │ │ │ @@ -239,15 +239,15 @@
│ │ │ │          <a href="tutorial.html" class="btn btn-neutral float-left" title="Scrapy Tutorial" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -73,9 +73,9 @@
│ │ │ │ │  expressions.
│ │ │ │ │  The quotesbot project is available at: https://github.com/scrapy/quotesbot. You
│ │ │ │ │  can find more information about it in the project’s README.
│ │ │ │ │  If you’re familiar with git, you can checkout the code. Otherwise you can
│ │ │ │ │  download the project as a zip file by clicking here.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/intro/install.html
│ │ │ │ @@ -461,15 +461,15 @@
│ │ │ │          <a href="overview.html" class="btn btn-neutral float-left" title="Scrapy at a glance" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -222,9 +222,9 @@
│ │ │ │ │  has a version of pyOpenSSL that your version of Twisted does not support.
│ │ │ │ │  To install a version of pyOpenSSL that your version of Twisted supports,
│ │ │ │ │  reinstall Twisted with the tls extra option:
│ │ │ │ │  pip install twisted[tls]
│ │ │ │ │  For details, see Issue_#2473.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/intro/overview.html
│ │ │ │ @@ -361,15 +361,15 @@
│ │ │ │          <a href="../index.html" class="btn btn-neutral float-left" title="Scrapy 2.4 documentation" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -172,9 +172,9 @@
│ │ │ │ │        resolver, and much more!
│ │ │ │ │  ***** What’s next?¶ *****
│ │ │ │ │  The next steps for you are to install_Scrapy, follow_through_the_tutorial to
│ │ │ │ │  learn how to create a full-blown Scrapy project and join_the_community. Thanks
│ │ │ │ │  for your interest!
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/intro/tutorial.html
│ │ │ │ @@ -912,15 +912,15 @@
│ │ │ │          <a href="install.html" class="btn btn-neutral float-left" title="Installation guide" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -624,9 +624,9 @@
│ │ │ │ │  chapter for a quick overview of the most important ones.
│ │ │ │ │  You can continue from the section Basic_concepts to know more about the
│ │ │ │ │  command-line tool, spiders, selectors and other things the tutorial hasn’t
│ │ │ │ │  covered like modeling the scraped data. If you prefer to play with an example
│ │ │ │ │  project, check the Examples section.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/news.html
│ │ │ │ @@ -4518,15 +4518,15 @@
│ │ │ │          <a href="topics/exporters.html" class="btn btn-neutral float-left" title="Item Exporters" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -3288,9 +3288,9 @@
│ │ │ │ │      * Renamed extension: DelayedCloseDomain to SpiderCloseDelay (r1861 | #121)
│ │ │ │ │      * Removed obsolete scrapy.utils.markup.remove_escape_chars function - use
│ │ │ │ │        scrapy.utils.markup.replace_escape_chars instead (r1865)
│ │ │ │ │  ***** Scrapy 0.7¶ *****
│ │ │ │ │  First release of Scrapy.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/py-modindex.html
│ │ │ │ @@ -502,15 +502,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -128,9 +128,9 @@
│ │ │ │ │                                                   manager and spider middleware
│ │ │ │ │          scrapy.statscollectors                Stats Collectors
│ │ │ │ │          scrapy.utils.log                      Logging utils
│ │ │ │ │          scrapy.utils.trackref                 Track references of live
│ │ │ │ │                                                   objects
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/search.html
│ │ │ │ @@ -230,15 +230,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -61,9 +61,9 @@
│ │ │ │ │      Scrapy
│ │ │ │ │      *  »
│ │ │ │ │      * Search
│ │ │ │ │  ===============================================================================
│ │ │ │ │  Please activate JavaScript to enable the search functionality.
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/api.html
│ │ │ │ @@ -994,15 +994,15 @@
│ │ │ │          <a href="extensions.html" class="btn btn-neutral float-left" title="Extensions" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -473,9 +473,9 @@
│ │ │ │ │          open_spider(spider)[source]¶
│ │ │ │ │              Open the given spider for stats collection.
│ │ │ │ │          close_spider(spider)[source]¶
│ │ │ │ │              Close the given spider. After this is called, no more specific
│ │ │ │ │              stats can be accessed or collected.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/architecture.html
│ │ │ │ @@ -370,15 +370,15 @@
│ │ │ │          <a href="asyncio.html" class="btn btn-neutral float-left" title="asyncio" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -159,9 +159,9 @@
│ │ │ │ │  For more information about asynchronous programming and Twisted see these
│ │ │ │ │  links:
│ │ │ │ │      * twisted:core/howto/defer-intro
│ │ │ │ │      * Twisted_-_hello,_asynchronous_programming
│ │ │ │ │      * Twisted_Introduction_-_Krondo
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/asyncio.html
│ │ │ │ @@ -263,15 +263,15 @@
│ │ │ │          <a href="coroutines.html" class="btn btn-neutral float-left" title="Coroutines" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -83,9 +83,9 @@
│ │ │ │ │  install_reactor('twisted.internet.asyncioreactor.AsyncioSelectorReactor')
│ │ │ │ │  ***** Using custom asyncio loops¶ *****
│ │ │ │ │  You can also use custom asyncio event loops with the asyncio reactor. Set the
│ │ │ │ │  ASYNCIO_EVENT_LOOP setting to the import path of the desired event loop class
│ │ │ │ │  to use it instead of the default asyncio event loop.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/autothrottle.html
│ │ │ │ @@ -369,15 +369,15 @@
│ │ │ │          <a href="deploy.html" class="btn btn-neutral float-left" title="Deploying Spiders" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -166,9 +166,9 @@
│ │ │ │ │  **** AUTOTHROTTLE_DEBUG¶ ****
│ │ │ │ │  Default: False
│ │ │ │ │  Enable AutoThrottle debug mode which will display stats on every response
│ │ │ │ │  received, so you can see how the throttling parameters are being adjusted in
│ │ │ │ │  real time.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/benchmarking.html
│ │ │ │ @@ -306,15 +306,15 @@
│ │ │ │          <a href="autothrottle.html" class="btn btn-neutral float-left" title="AutoThrottle extension" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -154,9 +154,9 @@
│ │ │ │ │  follow links, any custom spider you write will probably do more stuff which
│ │ │ │ │  results in slower crawl rates. How slower depends on how much your spider does
│ │ │ │ │  and how well it’s written.
│ │ │ │ │  In the future, more cases will be added to the benchmarking suite to cover
│ │ │ │ │  other common scenarios.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/broad-crawls.html
│ │ │ │ @@ -423,15 +423,15 @@
│ │ │ │          <a href="practices.html" class="btn btn-neutral float-left" title="Common Practices" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -206,9 +206,9 @@
│ │ │ │ │  If your broad crawl shows a high memory usage, in addition to crawling_in_BFO
│ │ │ │ │  order and lowering_concurrency you should debug_your_memory_leaks.
│ │ │ │ │  ***** Install a specific Twisted reactor¶ *****
│ │ │ │ │  If the crawl is exceeding the system’s capabilities, you might want to try
│ │ │ │ │  installing a specific Twisted reactor, via the TWISTED_REACTOR setting.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/commands.html
│ │ │ │ @@ -777,15 +777,15 @@
│ │ │ │          <a href="../intro/examples.html" class="btn btn-neutral float-left" title="Examples" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -470,9 +470,9 @@
│ │ │ │ │      'scrapy.commands': [
│ │ │ │ │        'my_command=my_scrapy_module.commands:MyCommand',
│ │ │ │ │      ],
│ │ │ │ │    },
│ │ │ │ │   )
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/contracts.html
│ │ │ │ @@ -390,15 +390,15 @@
│ │ │ │          <a href="debug.html" class="btn btn-neutral float-left" title="Debugging Spiders" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -161,9 +161,9 @@
│ │ │ │ │      name = 'example'
│ │ │ │ │  
│ │ │ │ │      def __init__(self):
│ │ │ │ │          if os.environ.get('SCRAPY_CHECK'):
│ │ │ │ │              pass  # Do some scraper adjustments when a check is running
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/coroutines.html
│ │ │ │ @@ -331,15 +331,15 @@
│ │ │ │          <a href="jobs.html" class="btn btn-neutral float-left" title="Jobs: pausing and resuming crawls" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -135,9 +135,9 @@
│ │ │ │ │      * storing data in databases (in pipelines and middlewares);
│ │ │ │ │      * delaying the spider initialization until some external event (in the
│ │ │ │ │        spider_opened handler);
│ │ │ │ │      * calling asynchronous Scrapy methods like ExecutionEngine.download (see
│ │ │ │ │        the_screenshot_pipeline_example).
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/debug.html
│ │ │ │ @@ -364,15 +364,15 @@
│ │ │ │          <a href="../faq.html" class="btn btn-neutral float-left" title="Frequently Asked Questions" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -175,9 +175,9 @@
│ │ │ │ │          # populate more `item` fields
│ │ │ │ │          return item
│ │ │ │ │      else:
│ │ │ │ │          self.logger.warning('No item received for %s', response.url)
│ │ │ │ │  For more information, check the Logging section.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/deploy.html
│ │ │ │ @@ -266,15 +266,15 @@
│ │ │ │          <a href="media-pipeline.html" class="btn btn-neutral float-left" title="Downloading and processing files and images" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -92,9 +92,9 @@
│ │ │ │ │  To deploy spiders to Scrapy Cloud you can use the shub command line tool.
│ │ │ │ │  Please refer to the Scrapy_Cloud_documentation for more information.
│ │ │ │ │  Scrapy Cloud is compatible with Scrapyd and one can switch between them as
│ │ │ │ │  needed - the configuration is read from the scrapy.cfg file just like scrapyd-
│ │ │ │ │  deploy.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/developer-tools.html
│ │ │ │ @@ -484,15 +484,15 @@
│ │ │ │          <a href="broad-crawls.html" class="btn btn-neutral float-left" title="Broad Crawls" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -280,9 +280,9 @@
│ │ │ │ │  As you can see, with a few inspections in theNetwork-tool we were able to
│ │ │ │ │  easily replicate the dynamic requests of the scrolling functionality of the
│ │ │ │ │  page. Crawling dynamic pages can be quite daunting and pages can be very
│ │ │ │ │  complex, but it (mostly) boils down to identifying the correct request and
│ │ │ │ │  replicating it in your spider.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/djangoitem.html
│ │ │ │ @@ -228,15 +228,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -65,9 +65,9 @@
│ │ │ │ │  ===============================================================================
│ │ │ │ │  ****** DjangoItem¶ ******
│ │ │ │ │  DjangoItem has been moved into a separate project.
│ │ │ │ │  It is hosted at:
│ │ │ │ │       https://github.com/scrapy-plugins/scrapy-djangoitem
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/downloader-middleware.html
│ │ │ │ @@ -1270,15 +1270,15 @@
│ │ │ │          <a href="architecture.html" class="btn btn-neutral float-left" title="Architecture overview" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -743,9 +743,9 @@
│ │ │ │ │  Default: True
│ │ │ │ │  Whether or not to enable the HttpProxyMiddleware.
│ │ │ │ │  ** HTTPPROXY_AUTH_ENCODING¶ **
│ │ │ │ │  Default: "latin-1"
│ │ │ │ │  The default encoding for proxy authentication on HttpProxyMiddleware.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/dynamic-content.html
│ │ │ │ @@ -433,15 +433,15 @@
│ │ │ │          <a href="developer-tools.html" class="btn btn-neutral float-left" title="Using your browser’s Developer Tools for scraping" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -214,9 +214,9 @@
│ │ │ │ │  ***** Using a headless browser¶ *****
│ │ │ │ │  A headless_browser is a special web browser that provides an API for
│ │ │ │ │  automation.
│ │ │ │ │  The easiest way to use a headless browser with Scrapy is to use Selenium, along
│ │ │ │ │  with scrapy-selenium for seamless integration.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/email.html
│ │ │ │ @@ -371,15 +371,15 @@
│ │ │ │          <a href="stats.html" class="btn btn-neutral float-left" title="Stats Collection" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -160,9 +160,9 @@
│ │ │ │ │  Enforce using STARTTLS. STARTTLS is a way to take an existing insecure
│ │ │ │ │  connection, and upgrade it to a secure connection using SSL/TLS.
│ │ │ │ │  **** MAIL_SSL¶ ****
│ │ │ │ │  Default: False
│ │ │ │ │  Enforce connecting using an SSL encrypted connection
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/exceptions.html
│ │ │ │ @@ -361,15 +361,15 @@
│ │ │ │          <a href="settings.html" class="btn btn-neutral float-left" title="Settings" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -131,9 +131,9 @@
│ │ │ │ │  Note
│ │ │ │ │  fail is a keyword-only parameter, i.e. raising StopDownload(False) or
│ │ │ │ │  StopDownload(True) will raise a TypeError.
│ │ │ │ │  See the documentation for the bytes_received signal and the Stopping_the
│ │ │ │ │  download_of_a_Response topic for additional information and examples.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/exporters.html
│ │ │ │ @@ -689,15 +689,15 @@
│ │ │ │          <a href="signals.html" class="btn btn-neutral float-left" title="Signals" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -379,9 +379,9 @@
│ │ │ │ │        Exports items in a Python-specific binary format (see marshal).
│ │ │ │ │          Parameters
│ │ │ │ │              file – The file-like object to use for exporting the data. Its
│ │ │ │ │              write method should accept bytes (a disk file opened in binary
│ │ │ │ │              mode, a BytesIO object, etc)
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/extensions.html
│ │ │ │ @@ -578,15 +578,15 @@
│ │ │ │          <a href="spider-middleware.html" class="btn btn-neutral float-left" title="Spider Middleware" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -292,9 +292,9 @@
│ │ │ │ │  Invokes a Python debugger inside a running Scrapy process when a SIGUSR2 signal
│ │ │ │ │  is received. After the debugger is exited, the Scrapy process continues running
│ │ │ │ │  normally.
│ │ │ │ │  For more info see Debugging_in_Python.
│ │ │ │ │  This extension only works on POSIX-compliant platforms (i.e. not Windows).
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/feed-exports.html
│ │ │ │ @@ -822,15 +822,15 @@
│ │ │ │          <a href="item-pipeline.html" class="btn btn-neutral float-left" title="Item Pipeline" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -421,9 +421,9 @@
│ │ │ │ │     2. Point FEED_URI_PARAMS to that function in your settings:
│ │ │ │ │        # myproject/settings.py
│ │ │ │ │        FEED_URI_PARAMS = 'myproject.utils.uri_params'
│ │ │ │ │     3. Use %(spider_name)s in your feed URI:
│ │ │ │ │        scrapy crawl <spider_name> -o "%(spider_name)s.jl"
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/item-pipeline.html
│ │ │ │ @@ -491,15 +491,15 @@
│ │ │ │          <a href="shell.html" class="btn btn-neutral float-left" title="Scrapy shell" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -257,9 +257,9 @@
│ │ │ │ │      'myproject.pipelines.JsonWriterPipeline': 800,
│ │ │ │ │  }
│ │ │ │ │  The integer values you assign to classes in this setting determine the order in
│ │ │ │ │  which they run: items go through from lower valued to higher valued classes.
│ │ │ │ │  It’s customary to define these numbers in the 0-1000 range.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/items.html
│ │ │ │ @@ -614,15 +614,15 @@
│ │ │ │          <a href="selectors.html" class="btn btn-neutral float-left" title="Selectors" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -304,9 +304,9 @@
│ │ │ │ │        False otherwise.
│ │ │ │ │        Alias for ItemAdapter.is_item
│ │ │ │ │  ***** Other classes related to items¶ *****
│ │ │ │ │    classscrapy.item.ItemMeta(class_name, bases, attrs)[source]¶
│ │ │ │ │        Metaclass of Item that handles field definitions.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/jobs.html
│ │ │ │ @@ -306,15 +306,15 @@
│ │ │ │          <a href="benchmarking.html" class="btn btn-neutral float-left" title="Benchmarking" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -116,9 +116,9 @@
│ │ │ │ │  except for the callback and errback values passed to their __init__ method,
│ │ │ │ │  which must be methods of the running Spider class.
│ │ │ │ │  If you wish to log the requests that couldn’t be serialized, you can set the
│ │ │ │ │  SCHEDULER_DEBUG setting to True in the project’s settings page. It is False
│ │ │ │ │  by default.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/leaks.html
│ │ │ │ @@ -493,15 +493,15 @@
│ │ │ │          <a href="dynamic-content.html" class="btn btn-neutral float-left" title="Selecting dynamically-loaded content" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -258,9 +258,9 @@
│ │ │ │ │       collector, which is able to move objects in memory. This would
│ │ │ │ │       require significant changes to the Python interpreter.
│ │ │ │ │  To keep memory consumption reasonable you can split the job into several
│ │ │ │ │  smaller jobs or enable persistent_job_queue and stop/start spider from time to
│ │ │ │ │  time.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/link-extractors.html
│ │ │ │ @@ -381,15 +381,15 @@
│ │ │ │          <a href="request-response.html" class="btn btn-neutral float-left" title="Requests and Responses" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -109,9 +109,9 @@
│ │ │ │ │                    Dont follow this one.
│ │ │ │ │                  * fragment – the part of the url after the hash symbol. From
│ │ │ │ │                    the sample, this is foo.
│ │ │ │ │                  * nofollow – an indication of the presence or absence of a
│ │ │ │ │                    nofollow value in the rel attribute of the anchor tag.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/loaders.html
│ │ │ │ @@ -873,15 +873,15 @@
│ │ │ │          <a href="items.html" class="btn btn-neutral float-left" title="Items" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -513,9 +513,9 @@
│ │ │ │ │  There are many other possible ways to extend, inherit and override your Item
│ │ │ │ │  Loaders, and different Item Loaders hierarchies may fit better for different
│ │ │ │ │  projects. Scrapy only provides the mechanism; it doesn’t impose any specific
│ │ │ │ │  organization of your Loaders collection - that’s up to you and your
│ │ │ │ │  project’s needs.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/logging.html
│ │ │ │ @@ -599,15 +599,15 @@
│ │ │ │          <a href="exceptions.html" class="btn btn-neutral float-left" title="Exceptions" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -319,9 +319,9 @@
│ │ │ │ │            format='%(levelname)s: %(message)s',
│ │ │ │ │            level=logging.INFO
│ │ │ │ │        )
│ │ │ │ │        Refer to Run_Scrapy_from_a_script for more details about using Scrapy
│ │ │ │ │        this way.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/media-pipeline.html
│ │ │ │ @@ -790,15 +790,15 @@
│ │ │ │          <a href="leaks.html" class="btn btn-neutral float-left" title="Debugging memory leaks" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -461,9 +461,9 @@
│ │ │ │ │  To enable your custom media pipeline component you must add its class import
│ │ │ │ │  path to the ITEM_PIPELINES setting, like in the following example:
│ │ │ │ │  ITEM_PIPELINES = {
│ │ │ │ │      'myproject.pipelines.MyImagesPipeline': 300
│ │ │ │ │  }
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/practices.html
│ │ │ │ @@ -448,15 +448,15 @@
│ │ │ │          <a href="contracts.html" class="btn btn-neutral float-left" title="Spiders Contracts" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -254,9 +254,9 @@
│ │ │ │ │      * use a highly distributed downloader that circumvents bans internally, so
│ │ │ │ │        you can just focus on parsing clean pages. One example of such
│ │ │ │ │        downloaders is Crawlera
│ │ │ │ │  If you are still unable to prevent your bot getting banned, consider contacting
│ │ │ │ │  commercial_support.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/request-response.html
│ │ │ │ @@ -1262,15 +1262,15 @@
│ │ │ │          <a href="feed-exports.html" class="btn btn-neutral float-left" title="Feed exports" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -715,9 +715,9 @@
│ │ │ │ │  **** XmlResponse objects¶ ****
│ │ │ │ │    classscrapy.http.XmlResponse(url[, ...])[source]¶
│ │ │ │ │        The XmlResponse class is a subclass of TextResponse which adds encoding
│ │ │ │ │        auto-discovering support by looking into the XML declaration line. See
│ │ │ │ │        TextResponse.encoding.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/scrapyd.html
│ │ │ │ @@ -228,15 +228,15 @@
│ │ │ │            </div>
│ │ │ │            <footer>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -65,9 +65,9 @@
│ │ │ │ │  ===============================================================================
│ │ │ │ │  ****** Scrapyd¶ ******
│ │ │ │ │  Scrapyd has been moved into a separate project.
│ │ │ │ │  Its documentation is now hosted at:
│ │ │ │ │       https://scrapyd.readthedocs.io/en/latest/
│ │ │ │ │  
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/selectors.html
│ │ │ │ @@ -1403,15 +1403,15 @@
│ │ │ │          <a href="spiders.html" class="btn btn-neutral float-left" title="Spiders" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -889,9 +889,9 @@
│ │ │ │ │        sel.xpath("//product")
│ │ │ │ │     2. Extract all prices from a Google_Base_XML_feed which requires registering
│ │ │ │ │        a namespace:
│ │ │ │ │        sel.register_namespace("g", "http://base.google.com/ns/1.0")
│ │ │ │ │        sel.xpath("//g:price").getall()
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/settings.html
│ │ │ │ @@ -1578,15 +1578,15 @@
│ │ │ │          <a href="link-extractors.html" class="btn btn-neutral float-left" title="Link Extractors" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -1065,9 +1065,9 @@
│ │ │ │ │      * RETRY_TIMES
│ │ │ │ │      * TELNETCONSOLE_HOST
│ │ │ │ │      * TELNETCONSOLE_PASSWORD
│ │ │ │ │      * TELNETCONSOLE_PORT
│ │ │ │ │      * TELNETCONSOLE_USERNAME
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/shell.html
│ │ │ │ @@ -511,15 +511,15 @@
│ │ │ │          <a href="loaders.html" class="btn btn-neutral float-left" title="Item Loaders" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -281,9 +281,9 @@
│ │ │ │ │  example.net> (referer: None)
│ │ │ │ │  ...
│ │ │ │ │  Note that you can’t use the fetch shortcut here since the Scrapy engine is
│ │ │ │ │  blocked by the shell. However, after you leave the shell, the spider will
│ │ │ │ │  continue crawling where it stopped, as shown above.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/signals.html
│ │ │ │ @@ -717,15 +717,15 @@
│ │ │ │          <a href="api.html" class="btn btn-neutral float-left" title="Core API" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -361,9 +361,9 @@
│ │ │ │ │                  * response (Response object) – the response downloaded
│ │ │ │ │                  * request (Request object) – the request that generated the
│ │ │ │ │                    response
│ │ │ │ │                  * spider (Spider object) – the spider for which the response
│ │ │ │ │                    is intended
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/spider-middleware.html
│ │ │ │ @@ -746,15 +746,15 @@
│ │ │ │          <a href="downloader-middleware.html" class="btn btn-neutral float-left" title="Downloader Middleware" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -400,9 +400,9 @@
│ │ │ │ │        Filters out requests with URLs longer than URLLENGTH_LIMIT
│ │ │ │ │        The UrlLengthMiddleware can be configured through the following settings
│ │ │ │ │        (see the settings documentation for more info):
│ │ │ │ │                 * URLLENGTH_LIMIT - The maximum URL length to allow for
│ │ │ │ │                   crawled URLs.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/spiders.html
│ │ │ │ @@ -1087,15 +1087,15 @@
│ │ │ │          <a href="commands.html" class="btn btn-neutral float-left" title="Command line tool" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -695,9 +695,9 @@
│ │ │ │ │      def parse_shop(self, response):
│ │ │ │ │          pass # ... scrape shop here ...
│ │ │ │ │  
│ │ │ │ │      def parse_other(self, response):
│ │ │ │ │          pass # ... scrape other here ...
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/stats.html
│ │ │ │ @@ -334,15 +334,15 @@
│ │ │ │          <a href="logging.html" class="btn btn-neutral float-left" title="Logging" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -132,9 +132,9 @@
│ │ │ │ │        A Stats collector which does nothing but is very efficient (because it
│ │ │ │ │        does nothing). This stats collector can be set via the STATS_CLASS
│ │ │ │ │        setting, to disable stats collect in order to improve performance.
│ │ │ │ │        However, the performance penalty of stats collection is usually marginal
│ │ │ │ │        compared to other Scrapy workload like parsing pages.
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/telnetconsole.html
│ │ │ │ @@ -440,15 +440,15 @@
│ │ │ │          <a href="email.html" class="btn btn-neutral float-left" title="Sending e-mail" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -189,9 +189,9 @@
│ │ │ │ │  The username used for the telnet console
│ │ │ │ │  **** TELNETCONSOLE_PASSWORD¶ ****
│ │ │ │ │  Default: None
│ │ │ │ │  The password used for the telnet console, default behaviour is to have it
│ │ │ │ │  autogenerated
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/topics/webservice.html
│ │ │ │ @@ -234,15 +234,15 @@
│ │ │ │          <a href="telnetconsole.html" class="btn btn-neutral float-left" title="Telnet Console" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -67,9 +67,9 @@
│ │ │ │ │  ===============================================================================
│ │ │ │ │  ****** Web Service¶ ******
│ │ │ │ │  webservice has been moved into a separate project.
│ │ │ │ │  It is hosted at:
│ │ │ │ │       https://github.com/scrapy-plugins/scrapy-jsonrpc
│ │ │ │ │  Next Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.
│ │ │ ├── ./usr/share/doc/python-scrapy-doc/html/versioning.html
│ │ │ │ @@ -279,15 +279,15 @@
│ │ │ │          <a href="contributing.html" class="btn btn-neutral float-left" title="Contributing to Scrapy" accesskey="p" rel="prev"><span class="fa fa-arrow-circle-left" aria-hidden="true"></span> Previous</a>
│ │ │ │      </div>
│ │ │ │  
│ │ │ │    <hr/>
│ │ │ │  
│ │ │ │    <div role="contentinfo">
│ │ │ │      <p>
│ │ │ │ -        &#169; Copyright 2008–2024, Scrapy developers.
│ │ │ │ +        &#169; Copyright 2008–2025, Scrapy developers.
│ │ │ │        <span class="lastupdated">
│ │ │ │          Last updated on May 20, 2022.
│ │ │ │        </span>
│ │ │ │  
│ │ │ │      </p>
│ │ │ │    </div>
│ │ │ │ ├── html2text {}
│ │ │ │ │ @@ -101,9 +101,9 @@
│ │ │ │ │  14th 2021 or before that.
│ │ │ │ │  Any new Scrapy release after a year may remove support for that deprecated
│ │ │ │ │  feature.
│ │ │ │ │  All deprecated features removed in a Scrapy release are explicitly mentioned in
│ │ │ │ │  the release_notes.
│ │ │ │ │  Previous
│ │ │ │ │  ===============================================================================
│ │ │ │ │ -© Copyright 2008–2024, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │ +© Copyright 2008–2025, Scrapy developers.  Last updated on May 20, 2022.
│ │ │ │ │  Built with Sphinx using a theme provided by Read_the_Docs.