22 KiB
22 KiB
fundamnit
A crawler for funda.nl, the largest Dutch real estate website.
Status
- Crawler: Works - Scrapes listing data to
storage/datasets/listings/*.json - Rest of pipeline: May be broken - Sling replication and dbt transformations likely need fixes
Quick Start
bun install
docker compose up -d
bun run start
Example Extract
{
"globalId": 6392750,
"objectType": "Apartment",
"offeringType": "Sale",
"labels": [],
"address": {
"addressTitle": "SPOT Amsterdam | Crystal (Bouwnr. 39)",
"addressSubtitle": "1101 DA Amsterdam",
"neighborhoodIdentifier": "amsterdam/amstel-iii-deel-a-b-noord",
"neighborhood": {
"id": "amsterdam/amstel-iii-deel-a-b-noord",
"name": "Amstel III deel A/B-Noord"
},
"city": "Amsterdam",
"postcode": "1101DA",
"houseNumber": "0",
"province": "Noord-Holland",
"country": "Nederland",
"isInternational": false
},
"googleMapsObjectUrl": "https://www.google.nl/maps/place/SPOT+Amsterdam+%7c+Crystal+1101DA+Amsterdam",
"description": {
"title": "Omschrijving",
"content": "SPOT Amsterdam - bouwnummer A1-39 \n\nOPEN HUIS \nBeleef SPOT! Om de week op vrijdag (oneven weken) tussen 12:00 - 14:00 uur, kun je zonder afspraak binnen komen lopen bij het verkoopcentrum op de bouwplaats van SPOT aan de Hogehilweg 3 in Amsterdam.\n\nKomt je met de auto, dan kun je het beste parkeren bij P10 aan de Hondsrugweg. Vanaf daar is het 5 minuten lopen naar het verkoopcentrum van SPOT Amsterdam.\n\nYour home SPOT\nSPOT Amsterdam bestaat uit zeven energiezuinige en stoere woontorens, in hoogte variërend en direct aan het Hondsrugpark. Er is een divers aanbod van in totaal 1.090 koop- en huurwoningen in allerlei prijsklassen. De indrukwekkende woongebouwen van SPOT zijn een landmark midden in het grootste stadspark. Vanuit je appartement heb je een schitterend uitzicht over de groene en stadse omgeving. Voor jong en ouder. Van city apartments en grand apartments tot penthouses. Het is een eigentijdse plek waar wonen, werken en leven samenkomen in een groen park. En met al het leuke van de stad dichtbij. \n\nCrystal\nCrystal is een stoer woongebouw van 31 verdiepingen met in totaal 179 stijlvolle koopwoningen. Je kunt kiezen uit diverse woonoppervlaktes en indelingen. Van comfortabele appartementen tot riante penthouses. Ideaal voor stedelingen die alleen of samen en met of zonder kinderen wonen.\n\nBijzonderheden Grand appartement bouwnummer A1-39\n\n• Woonoppervlakte van ca. 72m2\n• Balkon van ca. 7,5m2 op het NW/NO\n• 2 slaapkamers\n• Gelegen op de 7e verdieping\n• Sanitair inclusief; in de SPOT HUB kun je een model badkamer bekijken\n• Grote raampartijen met veel lichtinval;\n• Gasloos, duurzaam v.v. vloerverwarming en vloerkoeling;\n• Lage erfpacht, AB 2000;\n• Energielabel A++\n• Bouw is gestart;\n• Snelle oplevering, prognose oplevering Q2 2026\n• Goede bereikbaarheid met het OV en auto;\n• Alle voorzieningen binnen handbereik.\n\nPARKEREN\nDit appartement heeft geen parkeerrecht toegewezen gekregen, de gemeente verleent geen parkeervergunningen meer bij nieuwbouw projecten.\n\nDe woningen zijn van alle gemakken voorzien en tot in de puntjes afgewerkt. Ook hebben ze één, twee of drie slaapkamers, een goede indeling, mogelijk parkeerrecht in de ondergrondse garage en een mooie buitenruimte. Van fijne balkons (soms zelfs twee) en lichte loggia’s tot fraaie dakterrassen. Op de begane grond van het gebouw komen boetieks, horeca, sportvoorzieningen en daarboven 2 lagen kantoor. Binnen SPOT Amsterdam komt ook een kinderdagverblijf.\n\nGERENOMMEERD ONTWERP\nDe eigentijdse woningen voldoen aan de modernste energie- en duurzaamheidseisen en worden ontworpen door gerenommeerde architecten. Naast fantastisch wonen, is er veel aandacht voor groen, sport en beweging in de openbare ruimten. De exacte invulling en uitwerking van de grootscheepse gebiedstransformatie zijn nog volop in ontwikkeling. Naar verwachting worden de eerste woningen medio 2025 opgeleverd.\n\nOMGEVING EN LIGGING\nHondsrugpark wordt een prachtig biodivers stadspark van maar liefst zeven voetbalvelden groot. Met alles erop en eraan. Een wervelende wijk in ontwikkeling, waar alles uit de kast wordt gehaald om betaalbaar en goed te wonen, te werken en te ontspannen. Zo woon je in een autoluwe omgeving met volop fiets- en wandelroutes, verblijfsplekken aan het water en talrijke sportfaciliteiten. Hondsrugpark – en ook SPOT – is een pionierende woon- en werkwijk. De komende jaren wordt het gebied ontwikkeld tot dé ideale plek in Amsterdam om te wonen, te werken en te leven. Een levendige en gemengde stadswijk met woningen, kantoorruimte en allerlei voorzieningen voor de circa 2.500 nieuwe bewoners. \nOok kent SPOT Amsterdam snelle verbindingen met het centrum. Binnen 15 minuten sta je met de metro of trein in hartje Amsterdam en in no time zit je op de Ring A10 of de snelwegen A2 en A9 naar Utrecht, Den Bosch, Schiphol of Den Haag.\n\nINTERESSE?\nNeem contact op met de makelaar of schrijf je in via de project website spotamsterdam.nl voor de appartementen van jouw voorkeur! \n\n\"Deze informatie is door ons met de nodige zorgvuldigheid samengesteld. Onzerzijds wordt echter geen enkele aansprakelijkheid aanvaard voor enige onvolledigheid, onjuistheid of anderszins, dan wel de gevolgen daarvan. Alle opgegeven maten en oppervlakten zijn indicatief. Van toepassing zijn de NVM voorwaarden.\""
},
"price": {
"sellingPrice": "€ 464.500 v.o.n.",
"isAuction": false,
"numericPrice": 464500
},
"parentProject": {
"globalId": 6360558,
"city": "Amsterdam",
"title": "SPOT Amsterdam | Crystal, Amsterdam",
"type": "nieuwbouwproject",
"url": "https://www.funda.nl/nieuwbouw/amsterdam/project-42715911-spot-amsterdam-crystal/"
},
"isSoldOrRented": false,
"featuresFastView": {
"livingArea": "72 m²",
"numberOfBedrooms": "2"
},
"canonicalUrl": "https://www.funda.nl/detail/koop/amsterdam/appartement-spot-amsterdam-crystal-bouwnr-39/42747113/",
"reportErrorUrl": "https://help.funda.nl:443/s/mef?globalID=6392750&returnURL=https%3a%2f%2fwww.funda.nl%2fdetail%2fkoop%2famsterdam%2fappartement-spot-amsterdam-crystal-bouwnr-39%2f42747113%2f&brokerID=24705",
"media": {
"layout": {
"mediaViewerIsVisible": true,
"mainPhotoThumbnailIsVisible": false
},
"photos": {
"mediaBaseUrl": "https://cloud.funda.nl/valentina_media/{id}.jpg",
"thumbnailBaseUrl": "https://cloud.funda.nl/valentina_media/{id}.jpg",
"items": [
{
"id": "159/938/514"
},
{
"id": "218/957/968"
},
{
"id": "159/938/607"
},
{
"id": "159/938/515"
},
{
"id": "159/938/604"
},
{
"id": "159/938/519"
},
{
"id": "159/938/490"
},
{
"id": "159/938/489"
},
{
"id": "159/938/611"
},
{
"id": "159/938/506"
},
{
"id": "159/938/509"
},
{
"id": "159/938/608"
},
{
"id": "159/938/516"
},
{
"id": "159/938/546"
},
{
"id": "159/938/544"
}
]
},
"videos": {
"mediaBaseUrl": "https://customer-vzk8jgcsaz84e8sb.cloudflarestream.com/{id}/manifest/video.m3u8",
"thumbnailBaseUrl": "https://customer-vzk8jgcsaz84e8sb.cloudflarestream.com/{id}/thumbnails/thumbnail.jpg",
"items": [
{
"id": "4ee9b38d2bf5d77071836525bdfeb326"
}
]
},
"legacyPhotos360": {
"mediaBaseUrl": "https://cloud.funda.nl/valentina_media",
"thumbnailBaseUrl": "https://cloud.funda.nl/valentina_media/{id}_groot.jpg",
"items": [
{
"displayName": "foto1",
"id": "159/948/176",
"photo": {
"name": "foto1",
"displayName": "foto1",
"id": "159/948/176",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/176/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/176/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/176/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/176/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
},
{
"displayName": "foto2",
"id": "159/948/177",
"photo": {
"name": "foto2",
"displayName": "foto2",
"id": "159/948/177",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/177/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/177/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/177/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/177/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
},
{
"displayName": "foto3",
"id": "159/948/178",
"photo": {
"name": "foto3",
"displayName": "foto3",
"id": "159/948/178",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/178/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/178/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/178/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/178/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
},
{
"displayName": "foto4",
"id": "159/948/179",
"photo": {
"name": "foto4",
"displayName": "foto4",
"id": "159/948/179",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/179/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/179/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/179/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/179/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
},
{
"displayName": "foto5",
"id": "159/948/180",
"photo": {
"name": "foto5",
"displayName": "foto5",
"id": "159/948/180",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/180/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/180/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/180/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/180/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
},
{
"displayName": "foto6",
"id": "159/948/181",
"photo": {
"name": "foto6",
"displayName": "foto6",
"id": "159/948/181",
"verticalFieldOfView": 90,
"initialHorizontalViewingAngle": 0,
"initialVerticalViewingAngle": 0,
"tiledImageSetsTileSize": 512,
"tiledImageSetsBaseIndex": 1,
"tileImageSets": {
"mobile": {
"path": "/159/948/181/mobile_%s.jpg",
"width": 480,
"height": 480
},
"tablet": {
"path": "/159/948/181/tablet_%s.jpg",
"width": 1280,
"height": 1280
},
"zoomLevelOne": {
"path": "/159/948/181/tile.l1_%s_%00y_%00x.jpg",
"width": 512,
"height": 512
},
"zoomLevelTwo": {
"path": "/159/948/181/tile.l2_%s_%00y_%00x.jpg",
"width": 1024,
"height": 1024
}
},
"hotspots": [],
"infospots": []
}
}
]
},
"brochureUrl": "https://cloud.funda.nl/valentina_media/159/938/487.pdf"
},
"features": [
{
"Index": 1,
"Id": "overdracht",
"Title": "Overdracht",
"KenmerkenList": [
{
"Index": 0,
"Id": "overdracht-aangeboden-sinds",
"Label": "Aangeboden sinds",
"Value": "6+ maanden",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 0,
"Label": "Aanvaarding",
"Value": "In overleg",
"LabelStyle": "None"
},
{
"Index": 1,
"Id": "overdracht-vraagprijs",
"Label": "Vraagprijs",
"Value": "€ 464.500 vrij op naam",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"PriceTooltip": {
"Price": "€ 464.500",
"LivingSpace": "72 m²",
"PriceIcon": "Information"
},
"Index": 2,
"Id": "overdracht-vraagprijsperm2",
"Label": "Vraagprijs per m²",
"Value": "€ 6.451",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 5,
"Id": "overdracht-status",
"Label": "Status",
"Value": "Beschikbaar",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 2,
"Id": "bouw",
"Title": "Bouw",
"KenmerkenList": [
{
"Index": 1,
"Id": "bouw-soortobject",
"Label": "Soort appartement",
"Value": "Portiekflat (appartement)",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 2,
"Id": "bouw-soortbouw",
"Label": "Soort bouw",
"Value": "Nieuwbouw",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 3,
"Id": "bouw-bouwjaar",
"Label": "Bouwjaar",
"Value": "2021",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 6,
"Id": "bouw-dak",
"Label": "Soort dak",
"Value": "Plat dak bedekt met bitumineuze dakbedekking",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 3,
"Id": "afmetingen",
"Title": "Oppervlakten en inhoud",
"KenmerkenList": [
{
"Index": 1,
"Label": "Gebruiksoppervlakten",
"LabelStyle": "Title",
"KenmerkenList": [
{
"Index": 1,
"Id": "afmetingen-gebruiksoppervlakten-wonen",
"Label": "Wonen",
"Value": "72 m²",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 3,
"Id": "afmetingen-gebruiksoppervlakte-gebouwgebondenbuitenruimte",
"Label": "Gebouwgebonden buitenruimte",
"Value": "9 m²",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 3,
"Id": "afmetingen-inhoud",
"Label": "Inhoud",
"Value": "188 m³",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 4,
"Id": "indeling",
"Title": "Indeling",
"KenmerkenList": [
{
"Index": 1,
"Id": "indeling-totalrooms",
"Label": "Aantal kamers",
"Value": "3 kamers (2 slaapkamers)",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 2,
"Id": "indeling-totalbathroom",
"Label": "Aantal badkamers",
"Value": "1 badkamer en 1 apart toilet",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 3,
"Id": "indeling-bathroom",
"Label": "Badkamervoorzieningen",
"Value": "Inloopdouche, toilet, vloerverwarming, en wastafel",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 4,
"Id": "indeling-totalstories",
"Label": "Aantal woonlagen",
"Value": "1 woonlaag",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 5,
"Id": "indeling-generalfacilities",
"Label": "Voorzieningen",
"Value": "Lift, mechanische ventilatie, natuurlijke ventilatie, en schuifpui",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 6,
"Id": "indeling-locatedat",
"Label": "Gelegen op",
"Value": "7e woonlaag",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 5,
"Id": "energie",
"Title": "Energie",
"KenmerkenList": [
{
"Index": 1,
"Id": "energie-energielabel",
"Label": "Energielabel",
"Value": "Niet beschikbaar",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 2,
"Id": "energie-isolatie",
"Label": "Isolatie",
"Value": "Volledig geïsoleerd",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 3,
"Id": "energie-verwarming",
"Label": "Verwarming",
"Value": "Gehele vloerverwarming",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 4,
"Id": "energie-warmwater",
"Label": "Warm water",
"Value": "Centrale voorziening",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 7,
"Id": "buitenruimte",
"Title": "Buitenruimte",
"KenmerkenList": [
{
"Index": 1,
"Id": "buitenruimte-ligging",
"Label": "Ligging",
"Value": "In woonwijk",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 2,
"Id": "buitenruimte-tuin",
"Label": "Tuin",
"Value": "Zonneterras",
"LabelStyle": "None",
"KenmerkenList": []
},
{
"Index": 5,
"Id": "buitenruimte-balkonterras",
"Label": "Balkon/dakterras",
"Value": "Balkon aanwezig",
"LabelStyle": "None",
"KenmerkenList": []
}
]
},
{
"Index": 8,
"Id": "bergruimte",
"Title": "Bergruimte",
"KenmerkenList": [
{
"Index": 0,
"Label": "Schuur/berging",
"Value": "Inpandig",
"LabelStyle": "None"
}
]
},
{
"Index": 9,
"Id": "garage",
"Title": "Garage",
"KenmerkenList": [
{
"Index": 0,
"Label": "Soort garage",
"Value": "Parkeerkelder",
"LabelStyle": "None"
}
]
},
{
"Index": 10,
"Id": "parkeergelegenheid",
"Title": "Parkeergelegenheid",
"KenmerkenList": [
{
"Index": 0,
"Label": "Soort parkeergelegenheid",
"Value": "Betaald parkeren en parkeergarage",
"LabelStyle": "None"
}
]
}
],
"highlights": null,
"coordinates": {
"lat": 52.307087,
"lng": 4.9467883
},
"cadastralMapBaseUrl": "https://service.pdok.nl/kadaster/kadastralekaart/wms/v5_0",
"promo": {
"openHouseDates": [
{
"text": "Vrijdag 7 november van 12:00 tot 14:00"
},
{
"text": "Vrijdag 21 november van 12:00 tot 14:00"
},
{
"text": "Vrijdag 5 december van 12:00 tot 14:00"
}
],
"nvmOpenHouseDates": []
},
"advertising": {
"targetingOptions": {
"taal": "nl",
"cat42": "0",
"soortaanbod": "koop",
"globalid": "6392750",
"cat1": "noordholland",
"cat2": "amsterdam",
"cat3": "1101da",
"cat4": "0",
"cat5": "ong",
"cat6": "464500",
"cat7": "appartement",
"cat8": "3",
"cat9": "72",
"cat11": "24705",
"cat13": "nieuwbouw",
"cat24": "0",
"cat26": "nvm",
"cat28": "0",
"cat29": "2021",
"cat30": "450000",
"cat33": "koop",
"cat35": "42747113",
"cat36": "1",
"cat38": "gemeenteamsterdam",
"cat39": "amsteliiideelabnoord",
"cat43": "0",
"cat44": "0",
"postcode": "1101da",
"plaats": "amsterdam",
"provincie": "noordholland",
"huisnummer": "0",
"huisnummertoevoeging": "ong",
"woonoppervlakte": "72",
"vraagprijs": "464500",
"aantalkamers": "3",
"soortobject": "appartement",
"hoofdaanbieder": "24705",
"bouwvorm": "nieuwbouw",
"bedrijfsruimte": "false",
"branchevereniging": "nvm",
"dakterras": "false",
"tuin": "false",
"balkon": "true",
"soortaanbieding": "koop",
"tinyid": "42747113",
"vraagprijsrange": "450000",
"bouwjaar": "2021",
"openhuis": "true",
"gemeente": "amsterdam",
"buurt": "amsteliiideelabnoord",
"monumentalestatus": "false",
"rijksmonument": "false",
"kluswoning": "false",
"adgroup": "a",
"status": "beschikbaar",
"zonnepanelen": "false",
"parkeergelegenheidopafgeslotenterrein": "false",
"parkeergelegenheidopeigenterrein": "false",
"warmtepomp": "false"
}
},
"tracking": {
"global_id": 6392750,
"listing_askingprice": 464500,
"listing_offering_type": "koop",
"listing_type": "apartment",
"listing_status": "beschikbaar",
"listing_postal_code": "1101DA",
"listing_house_no": 0,
"listing_house_no_addition": "ong",
"listing_place": "Amsterdam",
"brokers": [
{
"broker_id": 24705,
"broker_association": "nvm"
},
{
"broker_id": 24122,
"broker_association": "nvm"
}
],
"broker_id": 24705,
"broker_association": "nvm",
"main_broker_id": 24705,
"main_broker_association": "nvm"
},
"publicationDate": "2022-06-10T00:00:00",
"friendlyUrlSlug": "/detail/koop/amsterdam/appartement-spot-amsterdam-crystal-bouwnr-39/42747113/",
"objectInsights": {
"views": "21.507",
"saves": "73"
}
}