Nous présentons une nouvelle architecture hybride qui combine les avantages du Transformer et du Reservoir Computing pour surmonter la complexité quadratique inhérente au Transformer traditionnel. Notre approche intègre une mémoire de travail à travers plusieurs reservoirs par couche, chacun agissant comme une mémoire indépendante avec sa propre dynamique interne, et utilisant des mécanismes d'attention pour sélectionner les informations pertinentes de l'entrée actuelle et de l'état des autres mémoires. Bien qu'innovant, ce travail s'inspire fortement des Echo State Networks (ESN), qui ont démontré leur capacité à encoder et retenir l'information – y compris l'information chaotique – sur de longues périodes. Ainsi, en accord avec les ESN, nous proposons une mémoire fonctionnant par "Echo", basée sur des matrices aléatoires non apprises, permettant un encodage riche, diversifié et robuste de l'information avec une complexité constante à chaque étape. Nous avons conduit des évaluations préliminaires de l'Echo State Transformer (EST) sur le benchmark STREAM – un ensemble de tâches séquentielles modulables en difficulté – nous permettant ainsi d'avoir une première comparaison avec des modèles tels que LSTM et Transformer. Les résultats préliminaires montrent des performances prometteuses, indiquant que cette approche hybride pourrait offrir une alternative efficace aux modèles Transformer traditionnels.