direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

Es gibt keine deutsche Übersetzung dieser Webseite.

Master-Projekt: Verteilte Systeme

Inhalt

Mit der Analyse von hochgradig-vernetzten großen Datenmengen (Big Data) sind verschiedene Herausforderungen verbunden. Zum einen müssen die enormen Datenmengen, die bspw. aus Graphen mit einer Billion Kanten bestehen (trillion edge graphs), verteilt vorverarbeitet bzw. analysiert werden. Hierfür werden Big Data Frameworks wie Apache Spark GraphX eingesetzt. Zum anderen müssen die Daten sowie die Analyseergebnisse für den Analysten verständlich visualisiert werden. Diese Aufgabe erfordert vor allem kurze Antwortzeiten der graphischen Benutzeroberfläche, die wenige Hundert Millisekunden nicht überschreiten. Sie wird von speziellen dafür entwickelten Frameworks, wie dem am CIT entwickelten graphr, übernommen. Zu den weiteren Herausforderungen der Analyse von Big Data zählen bspw. die verteilte Speicherung von und die Zugriffskontrolle auf die gespeicherten Datenmengen bzw. die zur Verfügung gestellten Analysedienste.

Ziel dieses Masterprojektes ist es ein integriertes Framework zu entwickeln, das es erlaubt, Big Data verteilt zu verarbeiten/analysieren und die Daten sowie Ergebnisse in einer interaktiven GUI mit kurzen Reaktionszeiten zu visualisieren. Die Benutzung dieser Funktionen und der soziale Austausch über die Analyseergebnisse werden mit Hilfe einer sozialen Anwendung ermöglicht. Zu diesem Zweck werden im Projekt die folgenden bereits existierenden Lösungen und Frameworks integriert bzw. weiterentwickelt:

  • Apache Spark GraphX
  • graphr*
  • d3.js-basierende Big Data-Visualisierung*
  • iOS10-basierende Big Data-Visualisierung auf dem iPad*
  • Framework zur Erstellung modularer und kryptographisch abgesicherter sozialer Netzwerke*

*am CIT entwickelt

Folgende Technologien bzw. Sprachen werden hierfür genutzt (alphabetisch):

  • Apache Kafka
  • Apache Spark GraphX
  • Apple Swift (auf iOS/iPad und Ubuntu Linux)
  • d3.js
  • Django
  • Docker
  • Elasticsearch
  • Java
  • nginx
  • Python
  • Scala

Das Projektmanagement erfolgt mit Hilfe von Scrum. Die Projektsprache ist Deutsch.

Studierende können je nach persönlichem Interesse ein oder mehrere Schwerpunktgebiete innerhalb des Projektes wählen.

 

BlockChain für IDM

Parallel zu diesem Thema, wird ein Teil der Teilnehmer (3-4 Personen) ein anderes Themabehandeln. Hier geht es um die Nutzung von BlockChain für das IdenitiyManagment. Die Idee ist es einen mobilen Studierenden Ausweis auf Basis von BlockChains zu erstellen, der für die Authentifizierung genutzt werden kann. Ein konkreter UseCase wäre die Legitimierung bei der Fahrt mit ÖPNV.

Für dieses Teilprojekt sind gute Englischkenntinse notwendig.

Voraussetzungen

Solide Programmierkenntnisse in einer objekt-orientierten Programmiersprache, Interesse an verteilten Systemen und Big Data

Modulbeschreibungen

  • CIT-Module [1]
------ Links: ------

Zusatzinformationen / Extras

Direktzugang:

Schnellnavigation zur Seite über Nummerneingabe

Copyright TU Berlin 2008