Introducción

Pyscrap3 es un mini framework orientado originalmente para web scraping, cuyo objetivo es desarrollar y empaquetar proyectos hechos en python 3 (no es compatible con python2.x) separando en dos capas el manejo de la información - en web scraping, la capa de extracción definida en una clase heredada de ‘pyscrap3.Spider’ y la de capa de almacenamiento definida en pipeline.py-.

Toda clase en el proyecto que herede de pyscrap3.Spider tendrá una función/generador ‘parse()’ donde retornará una serie de Items o ListItems.

Cada Item o ListItem tendrá una función que se definirá en pipeline.py con el objeto de procesar o almacenar dichos items.

El archivo donde se ubica la clase heredada de pyscrap3.Spider no necesita pipeline.py obligatoriamente para funcionar dado que no existen import explicitos de un archivo al otro, de modo que ambas capas están a la vista del programador, separadas.

Instalación:

$ pip3 install pyscrap3

Véase el proyecto de ejemplo ejecutando:

$ wscrap3.3

Nota: Por defecto los proyectos se crean con la licencia apache 2.0.

Tema anterior

Bienvenido a la documentación de Pyscrap3

Próximo tema

Guía

Esta página