Tantivy

8 Bewertungen

Es ist näher an Apache Lucene als an Elasticsearch oder Apache Solr, da es kein gebrauchsfertiger Suchmaschinen-Server ist, sondern ein Modul, das zum Aufbau einer solchen Suchmaschine verwendet werden kann. Unternehmen wie Element, Humanfirst und Nuclia haben Tantivy genutzt, um die Leistung ihrer Suchanfragen zu entfesseln. Es gibt viele Möglichkeiten, Tantivy zu nutzen. Tantivy kann im Browser mit einer WASM-Datei ausgeführt werden. Für Ruby-Liebhaber bietet Tantiny enge Ruby-Bindungen für Tantivy. Schließlich können Sie Python-Bindungen im Tantivy-Py-Repo installieren. Zu den Funktionen von Tantivy gehören unter anderem: - Volltextsuche - Konfigurierbarer Tokenizer (Stemming verfügbar für 17 lateinische Sprachen mit Drittanbieterunterstützung für Chinesisch (tantivy-jieba und cang-jie), Japanisch (lindera, Vaporetto und tantivy-tokenizer-tiny-segmenter) und Koreanisch (lindera + lindera-ko-dic-builder) - Schnell (sehen Sie sich das 🐎 ? Benchmark ? 🐎 an) - Sehr kurze Startzeit (<10ms), perfekt für Kommandozeilen-Tools - BM25-Bewertung (dasselbe wie Lucene) - Natürliche Abfragesprache (z.B. (michael AND jackson) OR "king of pop") - Phrasenabfragen (z.B. "michael jackson") - Inkrementelles Indexieren - Multithreaded-Indexierung (das Indexieren der englischen Wikipedia dauert < 3 Minuten auf meinem Desktop) - Mmap-Verzeichnis - SIMD-Ganzzahlkompression, wenn die Plattform/CPU den SSE2-Befehlssatz enthält - Einwertige und mehrwertige u64, i64 und f64 schnelle Felder (entspricht den Doc-Werten in Lucene) - &[u8] schnelle Felder - Text-, i64-, u64-, f64-, Datums- und hierarchische Facettenfelder - LZ4-komprimierter Dokumentenspeicher - Bereichsabfragen - Facettierte Suche - Konfigurierbares Indexieren (optionale Termfrequenz- und Positionsindexierung) - JSON-Feld - Aggregationssammler: Bereichseimer, Durchschnitts- und Statistikmetriken - LogMergePolicy mit Löschungen - Searcher Warmer API - Käsiges Logo mit einem Pferd (offensichtlich ein erstaunliches Merkmal) Nicht-Funktionen umfassen: Verteilte Suche liegt außerhalb des Anwendungsbereichs von Tantivy, aber wenn Sie nach dieser Funktion suchen, schauen Sie sich Quickwit an. Es ist unsere Suchmaschine, die auf Tantivy aufgebaut ist.

Quickwit

0 Bewertungen

Quickwit ist die nächste Generation der Log-Management- und Analyseplattform zur Verwaltung von Petabytes an Logs. Wir haben Rechenleistung und Speicher entkoppelt, um Unternehmen eine unabhängige Skalierung nach ihren Bedürfnissen zu ermöglichen. Es ist eine hochzuverlässige und kosteneffiziente Alternative zu Elasticsearch. Gebaut von und für Teams, um Logs mit Quickwit zu ingestieren, zu indizieren und mit einer eingebetteten Benutzeroberfläche zu analysieren. Ingestierte Logs können mit Abfragen im Sub-Sekunden-Bereich auf einem Objektspeicher untersucht werden. Zu den Funktionen gehören unter anderem: - Indizierte Daten, die auf Objektspeicher gespeichert sind - Ingestion von JSON-Dokumenten mit oder ohne striktes Schema - Aggregations-API, die mit Elasticsearch kompatibel ist - Läuft mit einem Bruchteil der Ressourcen: in Rust geschrieben, angetrieben von dem mächtigen Tantivy - Funktioniert sofort mit sinnvollen Standardeinstellungen - Optimiert für Multi-Tenancy. Hinzufügen und Skalieren von Mandanten ohne zusätzliche Kosten - Verteilte Suche - Cloud-nativ: Kubernetes-bereit - Hinzufügen und Entfernen von Knoten in Sekunden - Entkoppelte Rechenleistung und Speicher - Schlafen Sie wie ein Baumstamm: Alle Ihre indizierten Daten sind sicher auf Objektspeicher gespeichert (AWS S3...) - Ingestieren Sie Ihre Dokumente mit genau-einmal-Semantik - Kafka-native Ingestion - Such-Stream-API, die insbesondere die Volltextsuche in ClickHouse freischaltet AWS S3, PostgreSQL, Kubernetes, Kafka, Amazon Kinesis, Ceph und Minio sind einige der Tools, die sich in Quickwit integrieren lassen.