AgentON 2025

The project is about a group of agents that debate with each other to solve user's prob Here is the demo video: https://drive.google.com/drive/folders/1oKVlpyixiG-YR6O1ApLYI32toSwTTFuQ?usp=sharing

AIgenform Dokumentacja: Mam formularz na stronie. Przekazuję kod źródłowy tej strony do GPT z zastosowaniem kompresji Emmetify. Następnie kopiuję dane ze schowka i proszę model, aby na podstawie zawartości strony WWW zwrócił ścieżki tylko do tych inputów, które pasują do danych ze schowka. Na końcu model generuje kod JavaScript, który wkleja te dane do odpowiednich inputów. Plan to stworzenie wtyczki automatyzującej ten proces. Jeden przycisk: Fill out the form. Dane mogą być w formie nieustrukturyzowanej, ponieważ model sam z nich wygeneruje JSON. Bez konieczności budowania backendu mogę prototypować proces w n8n. Webhooki: 1. Webhook URL wyzwalający parsowanie nieustrukturyzowanych danych do formatu JSON. 2. Webhook URL kompresujący strukturę kodu HTML przy użyciu Emmetify. 3. Webhook URL generujący odpowiednie ścieżki do inputów na podstawie danych w formacie JSON. 4. Webhook URL zwracający kod JS odpowiedzialny za wypełnienie formularza. Po stronie wtyczki nastąpi wywołanie zwróconego kodu. Można ewentualnie dodać iterację po ścieżkach i ustawiać dane w inputach. Innym rozwiązaniem jest przekazanie ścieżek do wszystkich inputów (formularzy), aby model, bazując na ich strukturze oraz nieustrukturyzowanych danych, zwrócił gotową strukturę JSON. --- Wymagania: 1. Możliwość przekazania zawartości schowka systemowego: - Nieustrukturyzowany tekst, np. skopiowany z wiadomości e-mail. - Zrzut ekranu wiadomości na Slacku (dla szybszego działania, gdy tekstu nie da się łatwo skopiować). - Nagranie audio wiadomości (plik audio musi być w schowku systemowym). 2. Wypełnianie formularza na wskazanej stronie na podstawie przesłanego zrzutu ekranu formularza oraz kodu źródłowego strony. Opcjonalnie: - Predefiniowanie danych formularza, np.: - Hasła, - Nazwy użytkowników. - AI będzie samodzielnie dobierać dane z bazy w oparciu o strukturę formularza i przesłane dane. - Informowanie użytkownika, które dane z przesłanych nie mogły zostać wpisane do formularza. - Trackowanie wypełnionych formularzy w Airtable. Wówczas przechowywać (w zasadzie można to zaimplementować od razu (po stronie JS ChromeAddon zapytanie `https` do serwera Flask), natomiast na serwerze Flask będzie zapytanie `https` do Airtable): - Strukturę JSON formularza. - Link na stronę do formularza. - Screen strony. - Kod źródłowy strony. - Dane w formie nieustrukturyzowanej. - Godzinę wypełnienia formularza. - _Dane przeglądarki?_ --- Pomysły na optymalizację: - Możliwość wypełniania wielu formularzy jednocześnie, np. gdy na stronie znajduje się więcej niż jeden formularz, który wymaga uzupełnienia jednym kliknięciem. - Pobieranie kodu źródłowego i robienie screena po stronie serwera. --- Działanie: 1. Na podstawie zrzutu ekranu strony z widocznym formularzem oraz kodu źródłowego, AI z użyciem Emmetify generuje strukturę inputów do wypełnienia. 2. Na podstawie wygenerowanej struktury inputów i przesłanych danych (tekst, screen, audio), AI tworzy JSON z danymi, np.: ```json { "//form[@id='loginForm']": { "//input[@id='username']": "Elon Musk" } } ``` --- Logika wtyczki ChromeAddon: - Po kliknięciu w przycisk w menu kontekstowym Chrome, skrypt wykonuje zrzut ekranu widocznej części strony, generuje strukturę HTML i przesyła dane do wskazanego `endpointu` w serwerze Flask. - Po otrzymaniu odpowiedzi w formacie JSON, JavaScript iteruje przez każdy input, wstawiając odpowiednią wartość. Logika LLM: - Pierwszy etap: model generuje strukturę inputów (z użyciem Emmetify). - Drugi etap: dane do wypełnienia są przekazywane do modelu, który generuje strukturę JSON przypisaną do inputów. Logika serwera Flask: - Endpoint serwera Flask oczekuje: - Nieustrukturyzowanego tekstu, zrzutu ekranu lub pliku audio w kluczu `"data_to_fill"`, - Kodu źródłowego strony w kluczu `"source_code"`, - Zrzutu ekranu formularza w kluczu `"form_screen"`. - Kod źródłowy strony jest redukowany przy użyciu Emmetify, a następnie analizowany przez model w celu wygenerowania struktury inputów (np. XPath). - Odpowiedź modelu jest zwracana do klienta. --- Techstack: - Flask (serwer/API, alternatywnie n8n), - VanillaJS (wtyczka ChromeAddon), - GenAI (model SOTA – `gpt-4o`). --- Testy: - Przygotować formularz w n8n, a następnie sprawdzić w Airtable czy został poprawnie uzupełniony. - Przygotować kilka różnych zestawów danych, odpowiadające im formularze w n8n, a następnie sprawdzić poprawność działania rozwiżania AIgentform. - Zaimplementować testy automatyczne odpowiedzi od LLMów (jeśli zdążę). API: `/automate-form-filling`, method: `post` ```json { "data_to_fill": "", "source_code": "", "form_screen": "" } ``` Output: ```json { "//form[@action=\"/submit\"]": { "//input[@id='birthDate']": "", "//input[@id='email']": "jane.doe@email.com", "//input[@id='female']": "true", "//input[@id='fullName']": "", "//input[@id='male']": "false", "//input[@id='other']": "false", "//input[@id='password']": "SecretPassword2025", "//input[@id='terms']": "" } } ``` _content script zawiera całą logikę dotyczącą robienia screenu, pobierania kodu źródłowego i uzupełniania formularza._

A web application that helps users manage their debt with an AI-powered chat assistant. The application includes a dashboard showing debt overview, payment history, and a chat interface for getting financial advice.

A personal planner assistant is an AI-driven tool designed to help users efficiently manage their schedules. It integrates seamlessly with existing "Google calendar" application to provide a centralized view of appointments and deadlines. The assistant offers managing schedule. With natural language processing capabilities, users can easily interact with the assistant to add events. Its user-friendly interface and accessibility options make it suitable for individuals of all ages and technical abilities, promoting effective time management and reduced stress. Live demo is not available but link to video is attached. Format can be opened with VLC media player.

A server-client program with smaller models that allows you to run the server locally. The program is designed for chatting with a chatbot and experimenting with different prompts. It also includes a feature to generate a summary of the entire conversation.

Yoozek.ai Serwis do głosowego sterowania home assistant, oraz do tworzenia list ToDo. No tylko, że na potrzeby projektu jest sterowanie tekstowe 😛 Serwis opiera się całkowicie na lokalnych małych modelach. Docelowym zastosowaniem asystenta było by uruchomienie go na mini pc w sieci lokalnej, oraz spięcie z home assistant voice, tak aby Yoozek w końcu mógł nas usłyszeć. Ścieżki rozwoju Asystenta można rozwinąć na wiele sposobów, cudownie było by gdyby poprosić go o podlanie trawnika w dniu jutrzejszym, a on sam na podstawie czujników, zdecydował by czy trawnik podlać należy, bo np. 1h wcześniej padał deszcz. Wyjaśnienie Materiał wideo z prezentacją działania został sprepar... yhym, specialistycznie przygotowany w warunkach laboratoryjnych, tak aby pokazywał wizję projektu. Sam projekt niestety nie został jeszcze tak dopracowany, i próby komunikacji z agentem po uruchomieniu mogą zwracać błędy, oraz odpowiedzi w formacie JSON pokazujące jakie narzędzia, czy akcje podjął asystent.

Agent interviews the user about their learning interests, topic, and self-assessment skills level. Next, the agent gives a user an automatically generated test in the subject provided by the user. Based solving the test and other interactions, the agent builds a learning profile of the user. Based on all of this data the agent builds the first lessons - topics and descriptions. This information is enriched with educational data from the Internet. Based on this enriched data, the agent builds customized lessons for the provided topic in the text form. The lesson is specifically customized to the user's profile and the user's style of communication and tone of voice.

HerNext is a mobile app that transforms job hunting with AI-driven technology. The app is girl-cenrtic. It helps woman enhance their job seeking through an intelligent resume optimization. It helps adapt documents to match specific job requirements. Its interactive AI chatbot conducts realistic mock interviews, offering personalized feedback to build interview confidence. Additionally, the app features a comprehensive blog filled with career insights, market trends, and professional development strategies. The app simplifies the job search journey for woman by providing personalized guidance, real-time career advice, and practical tools that help girls improve their professional profiles and interview skills. HerNext aims to give female job seekers a competitive edge in today's dynamic employment landscape.

Project simulates one of 4 predescribed roles: Mobile provider service employee Electricity provider service employee Bank call center service employee Dentist receptionist employee It will engage queries from user and flexibly answer user queries, while incorporating inquiries about user personal data, justification varying depending on assumed role[1] . Whenever user ends conversation, it will provide to them back all gathered and requested personal data, giving user feedback on what was shared[2], share with them how this could be used by malicious actors[3], highlight social engineering tactics[4] and offer prevention tactics[5] in one end message. Furthermore, it will delete all data on end of conversation [6] and inquire for feedback. This feedback will be saved and transferred to next otherwise independent conversation, allowing for flexible change to way assistant answers[7]. It lets them also proceed without feedback, or totally clear all data and start anew. Numbers in brackets are number of requirement from list to address