Datenbank zu Datenbank Streaming mit Apache Kafka und Exasol

In diesem Beitrag wird aufgezeigt, wie man effizient und in fast Echtzeit Datenflüsse in ein relationales Datenbanksystem einspeisen kann. Das heisst, die Daten werden dann geladen und verarbeitet, wenn diese anfallen und stehen dem Unternehmen für analytische Zwecke schnell zur Verfügung. Dieses Vorgehen wird als real-time / near real-time Verarbeitung bezeichnet. Im Kontrast zu (near) real-time Loads stehen die Batch Loads, in welchen die Daten zum Zeitpunkt X (beispielsweise täglich oder wöchentlich) in entsprechend grossen Mengen geladen und verarbeitet werden. Statt also mit Daten zu arbeiten, die über 24 Std. alt sein können, erlaubt (near) real-time Verarbeitung, sehr aktuelle Daten zu nutzen. Dies ermöglicht Unternehmen schnellere Reaktionszeiten und steigert die Aktualität des Informationsgehaltes massgeblich. Dabei können Daten aus unterschiedlichen Quellsystemen über den gleichen Stream geladen und verarbeitet werden.

Konkret wird aufgezeigt, wie Exasol mit der Streaming Plattform Kafka zusammen funktionieren kann. Im folgenden Use Case wird die Integration von Exasol als Sink- und Source System, also als Ziel- oder Quellsystem, für Kafka vorgestellt respektive in einem Test-Beispiel implementiert.

Automatisierte Datenbeschaffung aus dem Internet

Dynamisch auf Inhalte im Internet reagieren zu können, kann für die Automatisierung von Arbeitsabläufen sehr hilfreich sein. Aber wie lässt sich diese fortgeschrittene Aufgabe unkompliziert umsetzen? Die "Analytic Process Automation" (APA) Software Alteryx bietet für Business User eine praktische no-code Alternative, dynamisch auf verschiedenste Daten-Quellen zuzugreifen – einschließlich des Internets.

In diesem Beitrag geht es darum zu veranschaulichen, wie man automatisiert Daten aus dem Internet herunterladen, aggregieren und in verschiedensten Formaten abspeichern kann. Die verwendeten Excel-Daten stammen von der Webseite SIX, die wöchentlich aktualisierte Trading Reports als Excel-File veröffentlicht. Die Angaben in diesen Reports stammen von der Schweizer Börse und beinhalten Daten von Wertpapieren.

Was ist künstliche Intelligenz? - Teil 5

Zur Abrundung der Artikelserie über KI geht es in diesem fünften und letzten Artikel um Anwendungsfälle: wo kann KI am besten eingesetzt werden, um geschäftliche Vorteile zu erzielen? Diese Mini-Serie über künstliche Intelligenz im Business richtet sich an kleine und mittelständische Unternehmen, die daran interessiert sind, fortschrittliche Datenanalyse in ihre Geschäftsprozesse zu integrieren.

Was ist künstliche Intelligenz? - Teil 4

Dieser Artikel ist der vierte in einer Mini-Serie zu «Künstliche Intelligenz in der Wirtschaft - Was kann sie und wo sind ihre Grenzen? Und wie lässt sich künstliche Intelligenz in einer gängigen Businesssoftware leicht integrieren?»

Was ist künstliche Intelligenz? - Teil 3

Dieser Artikel ist der dritte in einer Mini-Serie zu «Künstliche Intelligenz in der Wirtschaft - Was kann sie und wo sind ihre Grenzen? Und wie lässt sich künstliche Intelligenz in einer gängigen Businesssoftware leicht integrieren?»

Was ist künstliche Intelligenz? - Teil 2

Dieser Artikel ist der zweite in einer Mini-Serie zu «künstlicher Intelligenz in der Wirtschaft - Was kann sie und wo sind ihre Grenzen? Und wie lässt sich künstliche Intelligenz in einer gängigen Businesssoftware leicht integrieren?»

Das Banian-Team ist gewachsen

Banian hat drei neue Wurzeln. Seit Ende März und Anfang April arbeiten Kirsten Kleim, Stefan Habermacher und Rahel Schaub bei uns. Kirsten und Stefan bringen in den Bereichen Data Science und Data Engineering viel Erfahrung mit. Rahel unterstützt als Geschäftsleitungsassistenz in den Bereichen Marketing & Sales sowie im Partner Management Philipp und Dominik. Erfahre durch das kurze Q&A mehr zu den einzelnen Persönlichkeiten.

Was ist künstliche Intelligenz? - Teil 1

«Künstliche Intelligenz in der Wirtschaft - Was kann sie und wo sind ihre Grenzen? Und wie lässt sich künstliche Intelligenz in einer gängigen Businesssoftware leicht integrieren?

Alteryx & Snowflake: Füreinander geschaffen

Alteryx und Snowflake verkünden gemeinsame Partnerschaft: Grund genug, für uns die Möglichkeiten gleich auszuprobieren...

Die Macht der Authentizität

Jeroen Loosli - unser Partner in Sachen Organisationsenwicklung - hat für uns einen Blogbeitrag zum Thema Authentizität in der Arbeitswelt verfasst. Erfahrt darin weshalb es Unternehmen schadet, wenn Mitarbeiter Masken tragen und wie stattdessen eine Kultur der Authentizität geschaffen werden kann.

How to: Datenanlyse in der Abschlussprüfung und im Internal Audit

Daten von Unternehmensprozessen liegen heute beinahe komplett elektronisch vor. Interne und externe Prüfer müssen befähigt sein mit der zuenhmenden Datenmenge effizient umzugehen. Wir zeigen dir in diesem Blog-Beitrag wie Prüfungshandlungen einfach durchgeführt werden können!

Die 10 Gebote eines erfolgreichen Digitalisierungsprojekts

Digitalisierung leicht gemacht? So ganz trivial sind Digitalisierungsvorhaben nicht. Aber hält man sich an unsere 10 Gebote, so stellt man sicher, dass das ganze Potential durchleuchtet und mit einem klaren, strukturierten Vorgehen statt Überforderung, schnell erste kleine Erfolge gefeiert werden können. 

Der Weg zur «Data Driven Company»

Die Digitalisierung verlangt nach datenbasierten Entscheiden.  Dieser Blog-Beitrag zeigt eine mögliche Herangehensweise zur «Data Driven Company», sowie die Herausforderungen, die es auf dem Weg dorthin zu überwinden gilt.

Wie ein Controlling-Mitarbeiter 256 Arbeitsstunden durch Automatisierung einsparen kann

Process Mining mit Alteryx und Celonis Snap

Willst Du wissen, wie Process Minning konkret funktioniert, wo es eingesetzt wird, was der Nutzen davon ist und welche Voraussetzungen dafür erfüllt sein müssen? Dann bist Du hier genau richtig.

Prozesse mit Human Workflow Management Tool zum Leben erwecken

Starres Prozessmanagement war gestern! Mit Human Workflow Management werden Prozesse zum Leben erweckt indem sie durch ein System unterstützt in Echtzeit durchlaufen werden. Wir testen das neue Human Workflow Feature von Bpanda und zeigen euch, wie Standardprozesse während dem Durchlaufen flexibel angepasst werden können. 

Finanzprozesse eigenständig automatisieren - mit Alteryx Designer

Viele Tätigkeiten im Finanzbereich bieten Potenzial zur Automatisierung. Alteryx Designer bietet die Möglichkeit selbst zu bestimmen, was wie automatisiert werden soll.

Alteryx anwenden Teil 3: SVERWEIS in Alteryx - Tabellen einfach verknüpfen

Im dritten und letzten Eintrag unserer Blogreihe "Alteryx anwenden" möchten wir euch einen häufigen Anwendungsfall im Bereich der Datenverarbeitung näherbringen: Die Verknüpfung von mehreren Tabellen. In Excel würde man sowas wohl mit SVERWEIS (VLOOKUP) lösen - in Alteryx geht das aber einfacher.

Alteryx anwenden Teil 1: Mehrere Excel-Files einlesen und zusammen weiterverarbeiten

Wir haben uns drei häufige Herausforderungen im Bereich der Datenverarbeitung herausgesucht und präsentieren euch in drei aufeinanderfolgenden Blogeinträgen, wie man jeweils eines dieser Probleme im Alteryx Designer angehen kann. Heute ist nun Blogeintrag #1 an der Reihe, in welchem wir uns Excel ein bisschen zur Brust nehmen.

Alteryx anwenden Teil 2: Transportwege berechnen und nächstgelegene Warenlager finden

Wir haben uns drei häufige Herausforderungen im Bereich der Datenverarbeitung herausgesucht und präsentieren euch in drei aufeinanderfolgenden Blogeinträgen, wie man jeweils eines dieser Probleme im Alteryx Designer angehen kann. Heute ist Blogeintrag #2 an der Reihe, in welchem wir euch zeigen, wie man mit Alteryx Designer Transportwege berechnet und Datensätze aufgrund ihrer Nähe zueinander rangiert.