Stage L3 - Biasedwak : Marche aléatoire biaisée dans des graphes anonymes

Informations

Languages
  • Python->=3.4
  • C++-14
Lines
~4800
Status
developpement
Version
0.20.3-dev1

Description


Bibliography :

  1. Darell Long, Mark Lilibridge, Kave Eshghi, Deepavali Bhagwat, Extreme Binning: Scalable, Parallel Deduplication for Chunk-based File Backup, MASCOTS, 2009.
  2. Kave Eshghi, Hsiu Khuern Tang, A framework for analyzing and improving content-based chunking algorithms, , 2005.
  3. Nimrod Megiddo, Dharmendra S Modha, Outperforming LRU with an adaptive replacement cache algorithm, IEEE Computer 37(4), 2004.

Mnemosyne : un système de déduplication décentralisé, scalable et tolérant aux pannes

Warning :

  • Le système ne gère pas le stockage( ni la réplication) proprement dit des données, uniquement des méta-données nécessaire à la déduplication.

Informations

Language
  • C++-11
Lines
~4700
Status
developpement
Version
2.9.2.dev1

Links


Description

Main characteristicss

  1. Déduplication par block de taille variable[1]
  2. Déduplication probabiliste[2][3]
  3. Réplication


Bibliography :

  1. Adrian Kosowski, Faster walks in graphs : A O ( n² ) time-space trade-off for undirected s- t connectivity, SODA, 2013.
  2. Colin Cooper, Tom Friedetzky, Petra Berenbrink, Random walks which prefer unvisited edges : Exploring high girth even degree expanders in linear time, PODC, 2012.
  3. Sage Weil, Scott A. Brandt, Ethan Miller, Carlos Maltzahn, CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data, SC, 2006.
  4. E Tassone, D Ford, C Grimes, Keeping a Search Engine Index Fresh: Risk and optimality in estimating refresh rates for web pages, Proceedings of the 40th Symposium on the Interface: Computing Science and Statistics, Durham, NC, USA, 2008.
  5. Witold Litwin, Darell Long, SJ Thomas Schwarz, Zhike Zhang, Deepavali Bhagwat, Improved Deduplication through Parallel Binning, IPCCC, 2012.

Artemis : un web-crawler scalable, décentralisé et tolérant aux pannes

Informations

Language
  • Python->=3.4
Services
  • transmission-deamon
  • Stem(Tor)
Lines
~4800
Status
developpement
Version
3.4.9.dev1

Description

Main characteristicss

  1. Supporte de multiples protocoles : http(s)/ftp(s)/tor hidden service/magnet URIs
  2. Supporte une authentification automatique : ftp/http basic/http digest/formulaire d'authentification html
  3. Personnalisation de l'interaction avec les services distants à l'aide de régles sur les URI
  4. Configuration de la portion du web à parcourir, des ressources à extraire
  5. Parcours intelligent du web pour économiser la bande passante
  6. Connexion sécurisée entre les différents noeuds : les noeuds peuvent se trouver sur un réseau public

System

  • Slave : noeuds interagissant avec les services distants( récupération des ressources)
  • Master : gestion des plages d'URL à parcourir
  • Monitor : gère l'allocation des nouvelles plages d'URL
  • Admin : permet la visualisations des différents composant du cluster


Bibliography :

  1. Adrian Kosowski, Time and Space-Efficient Algorithms for Mobile Agents in an Anonymous Network, , 2013.
  2. J Villadangos, Frederico Fariña, Manuel Prieto, Alberto Corboda, Efficient leader election in complete networks, PDP, 2005.
  3. David Thaler, Chinya V. Ravishankar, Using Name-Based Mappings to Increase Hit Rates, IEEE/ACM Trans. Netw. 6(1), 1998.

LiPyc : un gestionnaire de photos

Informations

Language
  • Python->=3.4
Lines
~4858
Status
developpement
Version
1.0.6.dev1

Description


Bibliography :

  1. Adrian Kosowski, Time and Space-Efficient Algorithms for Mobile Agents in an Anonymous Network, , 2013.
  2. E Tassone, D Ford, C Grimes, Keeping a Search Engine Index Fresh: Risk and optimality in estimating refresh rates for web pages, Proceedings of the 40th Symposium on the Interface: Computing Science and Statistics, Durham, NC, USA, 2008.
  3. Witold Litwin, Darell Long, SJ Thomas Schwarz, Zhike Zhang, Deepavali Bhagwat, Improved Deduplication through Parallel Binning, IPCCC, 2012.

LOTD : un tower-defense 2D

Informations

Language
  • SCALA
Lines
~3765
Status
arrêté
Version
0

Description

Main characteristicss

  1. Peu gourmand en ressources
  2. Une vingtaine d'unités différentes : comportement et caractéristiques différents
  3. Trois types de terrains : eau/terre/montagne
  4. Le terrain et les unités ont des effets : temporels/spatiaus/les deux

Projet de programmation avancée dans le cadre de la L3 à l'ENS Cachan


C– : un compilateur partiel

Informations

Languages
  • Assembleur-x64
  • Ocaml
Lines
~1160
Status
arrêté
Version
0

Description

Main characteristicss

  1. Définitions de fonctions/variables/tableaux/constantes
  2. Affectations variables/tableaux
  3. Opérations monadiques/binaires
  4. Les structures de contrôles : boucles/conditions
  5. Les exceptions

Un compilateur du fraction du C-- vers de l'assembleur X64 écrit en OCaml.


TIPE5/2 - Partie Python : De l'archivage du cyber espace-temps

Informations

Language
  • Python->=3.4
Services
  • MySQL
  • Redis
  • RabbitMQ
Lines
~2500
Status
arrêté
Version
1.3.1

Description

C'est un crawler distribué, centralisé( utilisation d'une base SQL, d'un broker et de redis). L'objectif est de parcourir rapidement le web, le seul protocole supporté est http, et d'archiver les ressources récupérées. L'application se comporte très bien sur des clusters de l'ordre d'une dizaine de machines. Les performances maximales atteintes sont de 5*105pages/heure pour : 4 serveurs esclave( Xeon5, 6 Vcores) 1 serveur maître( Xeon5, 6 Vcores) 1 serveur SQL( Xeon5, 2 Vcores) 1 serveur Redis( Xeon5, 2 Vcores) 1 serveur RabbitMQ( Xeon5, 2 Vcores)


TIPE5/2 - Partie C++ : Une librairie de stockage incrémental

Informations

Language
  • C++-11
Service
  • MySQL
Lines
~0
Status
arrêté
Version
0.2.1

Description

Permet une déduplication locale de fichiers, principalement adapté pour stocker l'historique des modifications d'une ressource web au cours du temps. Trois modes de déduplication : par block (de taille fixe) par ligne pour les fichiers en texte brut( notamment html)


TIPE3/2 : Reconnaissance optique de caractères manuscrits

Informations

Language
  • C++-11
Lines
~0
Status
arrêté
Version
0

Description


Framework PHP : Framework PHP

Informations

Languages
  • PHP-5
  • HTML-5
  • CSS-3
  • JS
Services
  • Memcached
  • MySQL
  • Sphinx
Lines
~36000
Status
arrêté
Version
0.4.6

Links


Description

C'est un framework visant à automatiser grandement le developpement web, il s'appuie sur une architecture de type MVC. Il est composé : d'un système d'auto-inclusion des fichiers php : les "include"/"required" ne sont plus nécessaires d'un principe d'applications : un site( équivalent d'un projet django) est composé de multiples applications d'un système de modules internes à chaque application d'une structure d'objet standard permettant un interfaçage automatique avec une base SQL, une pagination automatique( affichage, recherche) d'un gestionnaire automatique de formulaires et des outils pour écrire des règles de validation d'un système de cache semi-automatique (à l'aide de memcached) d'un sytème de droits( et de comptes), pour contrôler les accés, modification Par ailleurs, quelques applications sont fournies : Forum : un système de forum complet mais sans grand effort artistique Backend : une application d'administration, facilement configurable pour prendre en compte de nouveaux modules Frontend : plein de modules en vrac : Archive : gestion des fichiers rar/7z/zip.. compression/decompression à la demande, stockage.. Audio : permet la lecture de fichiers son, leur conversion, et leur indexation, ainsi qu'une interface simple Ebook : permet la lecture d'ebooks, leur conversion et leur indexation, ainsi qu'une interface simple Video : permet la lecture de fichiers video, leur conversion, et leur indexation, ainsi qu'une interface simple User : permet la construction de compte utilisateur