1001 Freelance Projects -- web scraping solution

Latest Projects from Freelance Marketplaces

Today is: 29-Mar-2025 07:52 GMT

View this project in detail (Note: you will be redirected to external marketplace)
Project title:	web scraping solution
Posted by:	External project from PeoplePerHour
Started:	10-Dec-2024 04:53 GMT
Description:	Requerimiento: Solución de Web Scraping para Portales de Medios de Información Objetivo del Proyecto Diseñar e implementar una solución automatizada de web scraping para recopilar información de portales de medios de información. Los datos recolectados deberán ser almacenados en una base de datos mediante la ejecución de un procedimiento almacenado (stored procedure) en SQL. ________________________________________ Alcance 1. Realizar scraping en sitios web de medios de información predefinidos, incluyendo, pero no limitado a: o Noticias nacionales o Noticias internacionales o Deportes o Entretenimiento o Economía 2. Recolectar información clave, como: o Título de la noticia o Fecha de publicación o Autor (si está disponible) o Resumen o encabezado o Contenido completo del artículo o Categoría o sección del portal o URL de la noticia o Fuente del medio 3. Guardar los datos en una base de datos SQL mediante un stored procedure que permita: o Validar la integridad de los datos antes de insertarlos. o Evitar duplicidad de registros. ________________________________________ Requerimientos Funcionales 1. Extracción de Datos: o Implementar un módulo para realizar scraping de páginas HTML dinámicas y estáticas. o Manejar sitios con diferentes estructuras HTML, incluyendo aquellos que requieran interacción con JavaScript. 2. Gestión de Acceso: o Incorporar control de acceso para sitios protegidos (si aplica), como inicios de sesión. o Considerar técnicas anti-bloqueo (User-Agent Rotation, IP Proxy). 3. Almacenamiento de Datos: o Diseñar un esquema en SQL que soporte la información recolectada. o Implementar un procedimiento almacenado para insertar los datos en la base de datos, manejando validaciones como:  Verificación de duplicados por URL.  Registro de errores o inconsistencias en una tabla de logs. 4. Escalabilidad: o Posibilidad de agregar nuevos portales sin modificar significativamente el código base. 5. Frecuencia: o Programar ejecuciones automáticas en intervalos configurables (diario, semanal, etc.). ________________________________________ Requerimientos Técnicos 1. Lenguaje de Programación: o Python (preferiblemente) o Node.js, utilizando frameworks como Beautiful Soup, Scrapy o Puppeteer. 2. Base de Datos: o SQL Server o un motor compatible que permita la ejecución de procedimientos almacenados. 3. Integración con la Base de Datos: o El programa de scraping debe ejecutar el stored procedure tras procesar cada lote de datos. 4. Manejo de Excepciones: o Registro detallado de errores durante el scraping, almacenamiento o ejecución de stored procedures. 5. Compatibilidad: o Diseñar la solución para que sea compatible con sistemas operativos Windows y Linux. ________________________________________ Criterios de Aceptación 1. La solución debe ser capaz de recolectar y almacenar información de al menos 5 portales de noticias iniciales. 2. La inserción en la base de datos debe completarse sin errores y siguiendo las validaciones establecidas. 3. El sistema debe ser modular para facilitar la adición de nuevos portales. 4. Los datos deben ser accesibles para consultas SQL tras su almacenamiento. ________________________________________
Project ID:	3411981
Project category:
Project budget:
View this project in detail (Note: you will be redirected to external marketplace)

Project	Started
Editing of horse training videos for online courses	29-Mar-2025 02:57 GMT
I need a press release manager who can get my articles posted	29-Mar-2025 02:56 GMT
Test CountBricks android app	29-Mar-2025 02:55 GMT
ROM Decompilation – Assembly-Level Projects	29-Mar-2025 02:52 GMT
UK Solicitor to read Will Trust Deed & answer a few questions	29-Mar-2025 02:43 GMT
I need help with fashion trend image research / image curation	29-Mar-2025 02:43 GMT
My Facebook and Instragram can not login please help me	29-Mar-2025 02:43 GMT
design a proffesional shopify shop	29-Mar-2025 02:43 GMT
I need data scraped of medical professionals. Fast turn around.	29-Mar-2025 02:43 GMT
My wordpress website needs redesign and mobile friendly version	29-Mar-2025 02:40 GMT
Allen 123[sharp]522	29-Mar-2025 02:39 GMT
Simple, yet functional website for events	28-Mar-2025 20:42 GMT
Agentic AI Assistant for Lead Engagement & Enquiry Management	28-Mar-2025 20:42 GMT
Creating an Amazon brand and packaging for a new product	28-Mar-2025 20:30 GMT
PLATFORM WITH PUBLIC LABEL RIGHTS COURSES	28-Mar-2025 20:08 GMT

Browse All Projects

Projects by Skills ...
Projects for 'android' Projects for 'ajax' Projects for 'asp' Projects for 'aspnet' Projects for 'cms' Projects for 'cpp' Projects for 'csharp' Projects for 'css' Projects for 'delphi' Projects for 'design' Projects for 'drupal'	Projects for 'excel' Projects for 'facebook' Projects for 'flash' Projects for 'html' Projects for 'java' Projects for 'javascript' Projects for 'joomla' Projects for 'iphone' Projects for 'mysql' Projects for 'photoshop' Projects for 'php' Projects for 'python'	Projects for 'ruby' Projects for 'seo' Projects for 'sql' Projects for 'sysadm' Projects for 'translate' Projects for 'typing' Projects for 'twitter' Projects for 'vbnet' Projects for 'xml' Projects for 'wordpress' Projects for 'writing'
Read RSS feeds ... New!
RSS feed for 'android' RSS feed for 'ajax' RSS feed for 'asp' RSS feed for 'aspnet' RSS feed for 'cms' RSS feed for 'cpp' RSS feed for 'csharp' RSS feed for 'css' RSS feed for 'delphi' RSS feed for 'design' RSS feed for 'drupal'	RSS feed for 'excel' RSS feed for 'facebook' RSS feed for 'flash' RSS feed for 'html' RSS feed for 'java' RSS feed for 'javascript' RSS feed for 'joomla' RSS feed for 'iphone' RSS feed for 'mysql' RSS feed for 'photoshop' RSS feed for 'php' RSS feed for 'python'	RSS feed for 'ruby' RSS feed for 'seo' RSS feed for 'sql' RSS feed for 'sysadm' RSS feed for 'translate' RSS feed for 'typing' RSS feed for 'twitter' RSS feed for 'vbnet' RSS feed for 'xml' RSS feed for 'wordpress' RSS feed for 'writing'

New!
Проекты на русском (Projects in Russian)	Short URL: 1001fp.com	Mobile version: m.1001freelanceprojects.com