A Modernization Journey: From Open Source to a Cloud Data Platform – with Fuad Bayrak, BiTaksi
Oct 28, 2024
auto_awesome
Fuad Bayrak, Data Science and Analytics Manager bei BiTaksi, spricht über den Transformationsprozess des Unternehmens zu einer modernen Cloud-Datenplattform. Erörtert werden die Herausforderungen beim Wechsel von einer Open-Source-Datenarchitektur sowie die strategischen Vorteile durch die Integration von Machine Learning in den Taxi-Bestellprozess. Zusätzlich beleuchtet Fuad, wie neue Datenvisualisierungstools die Einsichten verbessern und welche Rolle generative KI in der Zukunft von BiTaksi spielen soll. Ein spannender Austausch über Effizienzsteigerung und Innovation in der Datenwelt!
Die Migration von einer Open-Source-Dateninfrastruktur zu AWS Redshift verbesserte die Abfragegeschwindigkeit und die Verarbeitung großer Datenmengen erheblich.
Die Integration von maschinellem Lernen in die Betriebsabläufe steigerte die Effizienz und ermöglichte besseren Zugang zu datenbasierten Einblicken für das gesamte Unternehmen.
Deep dives
Modernisierung der Dateninfrastruktur
Die Umstellung von einer Open-Source-Dateninfrastruktur auf eine cloud-basierte Lösung war notwendig, um bestehende Leistungsprobleme zu überwinden. Ursprünglich bestand die Infrastruktur aus PostgreSQL und verschiedenen ETL-Prozessen, die jeweils mehrere Stunden für Datenlade- und Abfragezeiten benötigten. Die Migration zu einem hyperskalierenden Anbieter wie AWS Redshift verbesserte nicht nur die Geschwindigkeit der Abfragen erheblich, sondern führte auch zu einer effizienteren Handhabung von großen Datensätzen. Diese Umstellung ermöglichte es dem Unternehmen, die Datenverarbeitung in Echtzeit zu optimieren, was für deren Betriebsabläufe entscheidend ist.
Auswahl des richtigen Cloud-Anbieters
Die sorgfältige Evaluierung der drei großen Cloud-Anbieter Microsoft Azure, Google Cloud Platform und AWS war essenziell für die Entscheidungsfindung. Das Team führte zahlreiche Tests durch, bei denen die Performance jeder Plattform im Hinblick auf Abfragen und Datenverarbeitung überprüft wurde. Letztlich wurde AWS Redshift aufgrund seiner besseren Leistungskennzahlen und seiner kostengünstigen Modellierung als die passendste Lösung ausgewählt. Diese Entscheidungsfindung berücksichtigte nicht nur technische Aspekte, sondern auch Faktoren wie Kosten und Zuverlässigkeit der Datenbanken.
Einfluss auf die Teamproduktivität
Die neue Dateninfrastruktur hatte einen tiefgreifenden Einfluss auf die Effizienz in verschiedenen Abteilungen des Unternehmens. Dateningenieure konnten sich von zeitaufwendigen Operationen befreien und sich verstärkt auf wertschöpfende Tätigkeiten konzentrieren, was zu einer höheren Zufriedenheit führte. Zudem begannen Datenwissenschaftler, aktiv maschinelles Lernen in die Betriebsabläufe zu integrieren, wodurch mehrere Modelle in einer Produktionsumgebung entwickelt wurden, die direkt mit der Mobilanwendung des Unternehmens verbunden sind. Diese Veränderungen führten dazu, dass auch die Geschäftsanalysten Datenprojekte mit größeren Einblicken und besserer Zugänglichkeit umsetzen konnten.
In this episode, Carsten speaks with Fuad, Data Science and Analytics Manager at BiTaksi, about the company's journey to modernize its data management architecture. They discuss the challenges BiTaksi faced with its initial open source data stack and the strategic shift to cloud-based solutions to meet performance, scalability, and cost efficiency requirements.
The conversation also explores how BiTaksi is integrating machine learning models into its operations to drive efficiencies, and the use of new data visualization tools to make insights more accessible across the organization.