Překlad sekvencí je klíčovou úlohou v mnoha oblastech, zejména v oblasti zpracování přirozeného jazyka. Tato bakalářská práce se zabývá překladem sekvencí se zaměřením na překlad staroegyptských hieroglyfů. Jádrem studie je aplikace různých architektur neuronových sítí, konkrétně rekurentních neuronových sítí a transformerových modelů, na překlad s...
Phishingové útoky, zejména URL phishing, představují významnou hrozbu pro online bezpečnost a vyžadují stále sofistikovanější metody detekce. Tato práce zkoumá použití pokročilých jazykových modelů BERT a ELECTRA, které jsou založeny na architektuře Transformer, pro detekci phishingových URL adres. Zkoumá vliv předtrénování těchto modelů a jejich t...
Published in Frontiers in Genetics
The detection of enhancer-promoter interactions (EPIs) is crucial for understanding gene expression regulation, disease mechanisms, and more. In this study, we developed TF-EPI, a deep learning model based on Transformer designed to detect these interactions solely from DNA sequences. The performance of TF-EPI surpassed that of other state-of-the-a...
Published in Frontiers in Artificial Intelligence
Many diverse phenomena in nature often inherently encode both short- and long-term temporal dependencies, which especially result from the direction of the flow of time. In this respect, we discovered experimental evidence suggesting that interrelations of these events are higher for closer time stamps. However, to be able for attention-based model...
This repository provides a JAX implementation of TranformerXL with PPO in a RL setup following : "Stabilizing Transformers for Reinforcement Learning" from Parisotto et al. (https://arxiv.org/abs/1910.06764).The code uses the PureJaxRL template for PPO and copied some of the code from Huggingface transformerXL transferring it to JAX. We also took i...
Published in Frontiers in Physics
Depression is a prevalent mental health problem across the globe, presenting significant social and economic challenges. Early detection and treatment are pivotal in reducing these impacts and improving patient outcomes. Traditional diagnostic methods largely rely on subjective assessments by psychiatrists, underscoring the importance of developing...
Published in Journal of Physics: Conference Series
Partial discharge test of transformer is one of the most important detection items in the factory test of transformer, which is related to whether the transformer can operate safely and stably. This article will analyze a case of partial discharge exceeding the standard in a 220kV transformer. Based on the joint detection technology of ultrasonic p...
Published in Frontiers in Energy Research
With the widespread application of energy storage stations, BMS has become an important subsystem in modern power systems, leading to an increasing demand for improving the accuracy of SOC prediction in lithium-ion battery energy storage systems. Currently, common methods for predicting battery SOC include the Ampere-hour integration method, open c...
Nedávné pokroky v problému sémantické textové podobnosti známé jako STS se uskutečnili především díky dostupnosti velkého množství anglických anotovaných dat, což je luxus, který čeština a další méně rozsáhlé jazyky často postrádají. V této práci se zabýváme výzvami a možnými zlepšeními při řešení problému STS pro češtinu. Zkoumáme pokroky v oblast...
Hlavním cílem bakalářské práce je vývoj komplexního modelu Strojového Učení určeného k normalizaci reprezentace dovedností v pracovních nabídkách a životopisech. Vyvinutý systém usnadňuje hladší a efektivnější náborový proces tím, že účinně řeší rozdíly v tom, jak jsou dovednosti a zkušenosti reprezentovány v pracovních inzerátech a životopisech. T...
