A BigSet a TinyFish új, nyílt forráskódú eszköze, amely lehetővé teszi, hogy egyetlen mondattal leírt adatbázis-igényt automatikusan alakítson át strukturált, hivatkozásokkal ellátott táblává. A felhasználó természetes nyelven adja meg, milyen rekordokat és mezőket szeretne, és a rendszer a web élő forrásaiból gyűjti, ellenőrzi és deduplikálja az adatokat.
Hogyan működik röviden?
- Első lépésként a felhasználó egy mondatban megadja, milyen adatkészletet szeretne — például: "YC companies currently hiring engineers, with their funding stage, location, and number of open roles".
- A BigSet automatikusan kitalálja a sémát: oszlopneveket, adattípusokat és elsődleges kulcsot, tehát nem szükséges kézzel tervezni a sémát.
- Több, párhuzamosan működő AI-ügynök (agent) kelt útra a weben, párhuzamosan kutatva, forrásokkal ellenőrizve az adatokat.
- A rendszer deduplikálja az eredményeket, mellékeli a forrásokra mutató hivatkozásokat, majd egy tiszta táblát ad vissza, amely CSV vagy XLSX formátumban exportálható.
Frissítés és ütemezés
A BigSet egyik fontos funkciója az automatikus frissítés: a felhasználó beállíthatja az adatfrissítés gyakoriságát, 30 percenkénttől heti egyszeri ciklusig. Így a készlet folyamatosan naprakész maradhat, anélkül hogy kézi újragyűjtésre lenne szükség.
Telepítés és licenc
A szoftver teljesen nyílt forráskódú, AGPL-3.0 licence alatt érhető el. Egyszerűen önállóan hosztolható: a fejlesztők egyetlen Docker parancssal indítható telepítést említenek.
Technológiai összetevők
A BigSet teljes veremként érkezik: Next.js 16 alapú frontend, Fastify backend, Mastra munkafolyamat-kezelés az ügynök-orchestrationhöz, és a TinyFish Search és Fetch API-k szolgáltatják a háttérkutatási képességeket.
Miért számít ez?
A BigSet leegyszerűsíti a strukturált adatok előállítását olyan helyzetekben, ahol a források a weben szétszórtak és gyakran változnak. A sémainfózis, a párhuzamos kutatás és az automatizált frissítés kombinációja csökkentheti az adatgyűjtéshez szükséges kézi munkát, ugyanakkor a forrásokhoz fűzött hivatkozások révén átláthatóságot biztosít.
Korlátok és megfontolások
A cikk az eszköz működését és képességeit írja le, de nem tartalmaz új, független hitelesítést az eredmények pontosságára vagy a skálázhatóságra vonatkozóan. Mivel a BigSet külső webforrásokból dolgozik és AI-ügynököket használ, a felhasználóknak ellenőrizniük kell a források megbízhatóságát és a jogi/etikai vonatkozásokat a saját használati esetük szerint.
