1001 Freelance Projects
Latest Projects from Freelance Marketplaces
Today is: 29-Nov-2025 17:20 GMT
View Project
View this project in detail (Note: you will be redirected to external marketplace)
Project title: web scraping solution
Posted by: External project from PeoplePerHour
Started: 10-Dec-2024 04:53 GMT
Description: Requerimiento: Solución de Web Scraping para Portales de Medios de Información
Objetivo del Proyecto
Diseñar e implementar una solución automatizada de web scraping para recopilar información de portales de medios de información. Los datos recolectados deberán ser almacenados en una base de datos mediante la ejecución de un procedimiento almacenado (stored procedure) en SQL.
________________________________________
Alcance
1. Realizar scraping en sitios web de medios de información predefinidos, incluyendo, pero no limitado a:
o Noticias nacionales
o Noticias internacionales
o Deportes
o Entretenimiento
o Economía
2. Recolectar información clave, como:
o Título de la noticia
o Fecha de publicación
o Autor (si está disponible)
o Resumen o encabezado
o Contenido completo del artículo
o Categoría o sección del portal
o URL de la noticia
o Fuente del medio
3. Guardar los datos en una base de datos SQL mediante un stored procedure que permita:
o Validar la integridad de los datos antes de insertarlos.
o Evitar duplicidad de registros.
________________________________________
Requerimientos Funcionales
1. Extracción de Datos:
o Implementar un módulo para realizar scraping de páginas HTML dinámicas y estáticas.
o Manejar sitios con diferentes estructuras HTML, incluyendo aquellos que requieran interacción con JavaScript.
2. Gestión de Acceso:
o Incorporar control de acceso para sitios protegidos (si aplica), como inicios de sesión.
o Considerar técnicas anti-bloqueo (User-Agent Rotation, IP Proxy).
3. Almacenamiento de Datos:
o Diseñar un esquema en SQL que soporte la información recolectada.
o Implementar un procedimiento almacenado para insertar los datos en la base de datos, manejando validaciones como:
 Verificación de duplicados por URL.
 Registro de errores o inconsistencias en una tabla de logs.
4. Escalabilidad:
o Posibilidad de agregar nuevos portales sin modificar significativamente el código base.
5. Frecuencia:
o Programar ejecuciones automáticas en intervalos configurables (diario, semanal, etc.).
________________________________________
Requerimientos Técnicos
1. Lenguaje de Programación:
o Python (preferiblemente) o Node.js, utilizando frameworks como Beautiful Soup, Scrapy o Puppeteer.
2. Base de Datos:
o SQL Server o un motor compatible que permita la ejecución de procedimientos almacenados.
3. Integración con la Base de Datos:
o El programa de scraping debe ejecutar el stored procedure tras procesar cada lote de datos.
4. Manejo de Excepciones:
o Registro detallado de errores durante el scraping, almacenamiento o ejecución de stored procedures.
5. Compatibilidad:
o Diseñar la solución para que sea compatible con sistemas operativos Windows y Linux.
________________________________________
Criterios de Aceptación
1. La solución debe ser capaz de recolectar y almacenar información de al menos 5 portales de noticias iniciales.
2. La inserción en la base de datos debe completarse sin errores y siguiendo las validaciones establecidas.
3. El sistema debe ser modular para facilitar la adición de nuevos portales.
4. Los datos deben ser accesibles para consultas SQL tras su almacenamiento.
________________________________________
Project ID: 3411981
Project category:
Project budget:
View this project in detail (Note: you will be redirected to external marketplace)
Last Projects / Browse Projects
  Project Started
Ongoing Website UI/UX Design
Category: Adobe XD, Figma, Graphic Design, Prototyping, UI / User Interface, User Interface / IA, UX / User Experience, Web Design, Web Development
Budget: ₹12500 - ₹37500 INR
29-Nov-2025
17:02 GMT
Female English WhatsApp Sales Caller
Category: Customer Service, English (US) Translator, English Tutoring, Lead Generation, Sales, Telemarketing, Telephone Handling, Voice Talent
Budget: ₹12500 - ₹37500 INR
29-Nov-2025
17:00 GMT
C[sharp] Employee Management System Polish
Category: .NET, ADO.NET, ASP.NET MVC, C#, Programming, Database Development, Database Management, Microsoft SQL Server, Software Development, SQL, Visual Studio
Budget: $10 - $30 USD
29-Nov-2025
16:59 GMT
Family Photo Enhancement
Category: Background Removal, Graphic Design, Image Consultation, Image Processing, Photo Editing, Photo Retouching, Photography, Photoshop, Photoshop Design
Budget: $10 - $30 USD
29-Nov-2025
16:58 GMT
Commission-Driven Sales Partnership Needed
Category: Account Management, Affiliate Marketing, Business Development, Influencer Marketing, Internet Marketing, Lead Generation, Marketing, Sales, Social Media Marketing
Budget: $250 - $750 CAD
29-Nov-2025
16:58 GMT
4-Minute iQOO 15 Review Edit
Category: A / V Editing, Adobe Premiere Pro, After Effects, Animation, Final Cut Pro, Graphic Design, Video Editing, Video Production
Budget: ₹100 - ₹400 INR
29-Nov-2025
16:58 GMT
Realistic Humanoid 3D Model Creation
Category: 3D Animation, 3D Design, 3D Modelling, 3D Rendering, 3D Rigging, Blender
Budget: ₹1500 - ₹12500 INR
29-Nov-2025
16:57 GMT
Excel Social Statistics Analysis
Category: Data Analysis, Data Analytics, Data Processing, Data Visualization, Excel, SPSS Statistics, Statistical Analysis, Statistics
Budget: $15 - $25 USD
29-Nov-2025
16:57 GMT
iOS App & AI Algorithm Optimization
Category: AI Development, Full Stack Development, IOS Development, IPhone, Mobile App Development, Node.js, Objective C, Swift
Budget: min ₹2500 INR
29-Nov-2025
16:56 GMT
3D Cartoon Nasheed Animation
Category: 3D Animation, 3D Design, 3D Modelling, 3D Rendering, 3D Rigging, 3D Visualization, Animation, Blender
Budget: $30 - $250 CAD
29-Nov-2025
16:56 GMT
Event App & Website Build
Category: Android, Flutter, Graphic Design, IPhone, Mobile App Development, UI / User Interface, UX / User Experience, Web Development
Budget: ₹75000 - ₹150000 INR
29-Nov-2025
16:56 GMT
Birthday Party Reel Creation
Category: Adobe Premiere Pro, After Effects, Animation, Commercials, Creative Design, Final Cut Pro, Video Editing, Video Production
Budget: ₹100 - ₹400 INR
29-Nov-2025
16:53 GMT
Get Sample Transcript From Audio to English APPs
Category: AI Chatbot Development, AI Content Creation, AI Development, AI Text To Speech, AI Writing, Audio Processing, Excel, Powerpoint, Software Architecture, Word
Budget: ₹1500 - ₹12500 INR
29-Nov-2025
16:51 GMT
Lead-Gen Social Media Campaign
Category: Ad Planning & Buying, Content Marketing, Facebook Marketing, Instagram Marketing, Internet Marketing, Lead Generation, Marketing, Social Media Marketing
Budget: $30 - $250 USD
29-Nov-2025
16:49 GMT
Mulching Hammer Specs CSV Import
Category: Data Collection, Data Entry, Excel, Image Processing, Web Scraping, WooCommerce, WordPress
Budget: €8 - €30 EUR
29-Nov-2025
16:48 GMT
Browse All Projects
Projects by Skills ...
Projects for 'android'
Projects for 'ajax'
Projects for 'asp'
Projects for 'aspnet'
Projects for 'cms'
Projects for 'cpp'
Projects for 'csharp'
Projects for 'css'
Projects for 'delphi'
Projects for 'design'
Projects for 'drupal'
Projects for 'excel'
Projects for 'facebook'
Projects for 'flash'
Projects for 'html'
Projects for 'java'
Projects for 'javascript'
Projects for 'joomla'
Projects for 'iphone'
Projects for 'mysql'
Projects for 'photoshop'
Projects for 'php'
Projects for 'python'
Projects for 'ruby'
Projects for 'seo'
Projects for 'sql'
Projects for 'sysadm'
Projects for 'translate'
Projects for 'typing'
Projects for 'twitter'
Projects for 'vbnet'
Projects for 'xml'
Projects for 'wordpress'
Projects for 'writing'
Read RSS feeds ... New!
RSS feed for 'android'
RSS feed for 'ajax'
RSS feed for 'asp'
RSS feed for 'aspnet'
RSS feed for 'cms'
RSS feed for 'cpp'
RSS feed for 'csharp'
RSS feed for 'css'
RSS feed for 'delphi'
RSS feed for 'design'
RSS feed for 'drupal'
RSS feed for 'excel'
RSS feed for 'facebook'
RSS feed for 'flash'
RSS feed for 'html'
RSS feed for 'java'
RSS feed for 'javascript'
RSS feed for 'joomla'
RSS feed for 'iphone'
RSS feed for 'mysql'
RSS feed for 'photoshop'
RSS feed for 'php'
RSS feed for 'python'
RSS feed for 'ruby'
RSS feed for 'seo'
RSS feed for 'sql'
RSS feed for 'sysadm'
RSS feed for 'translate'
RSS feed for 'typing'
RSS feed for 'twitter'
RSS feed for 'vbnet'
RSS feed for 'xml'
RSS feed for 'wordpress'
RSS feed for 'writing'
New!
Проекты на русском
(Projects in Russian)

Short URL:
1001fp.com
Mobile version:
m.1001freelanceprojects.com
Copyright © 2005-2024 1001 Freelance Projects