esProc SPL è un motore di analisi e calcolo open-source basato su JVM per dati strutturati e semi-strutturati. In particolare, SPL ti permette di scrivere in modo semplice e rende l'esecuzione più veloce; SPL può essere utilizzato sia indipendentemente che integrato nelle applicazioni. esProc SPL è principalmente applicato in scenari come la sostituzione del data warehouse per eseguire lavori batch offline e query online, fungendo da middleware per micro-servizi basati sui dati, sostituendo le procedure memorizzate, semplificando il calcolo dei report, il calcolo misto in tempo reale, il calcolo su file. esProc SPL fornisce un ambiente di sviluppo semplice e facile da usare con funzioni di debug complete, permettendoti di codificare passo dopo passo e visualizzare il risultato dell'esecuzione di ogni passo in tempo reale. SPL è un sistema di sintassi appositamente progettato e supporta naturalmente il calcolo graduale, e in particolare il calcolo procedurale complesso. SPL ha una libreria di calcolo dati integrata e ricca, che include stringhe, data e ora, calcoli matematici, lettura/scrittura di file e database, parsing di dati multilivello JSON/XML, e modellazione e previsione AI. esProc SPL ha un'integrazione molto alta e può funzionare indipendentemente o essere integrato senza soluzione di continuità nelle applicazioni per servire come motore di calcolo in-applicazione per svolgere un ruolo importante in scenari come micro-servizi, edge computing e preparazione dei dati per i report. esProc SPL supporta diverse fonti di dati, inclusi dozzine di fonti di dati come MongoDB, Elasticsearch, Hbase, HDFS e Influxdb. Tali dati possono essere calcolati direttamente o in modo misto senza caricarli nel database. Inoltre, SPL fornisce il proprio efficiente sistema di archiviazione dei file di dati, questi formati di dati privati non solo migliorano le prestazioni, ma ti permettono di archiviare i dati in base alla categoria aziendale nella directory ad albero del file system. Oltre ai lavori batch offline e alle query online, esProc SPL supporta anche più scenari applicativi: micro-servizi basati sui dati, sostituzione delle procedure memorizzate, eliminazione delle tabelle intermedie dai database, gestione delle infinite esigenze di sviluppo dei report, instradamento programmabile dei dati per implementare il calcolo front-end, calcolo misto per implementare HTAP in tempo reale, e esecuzione di calcoli su file per implementare Lakehouse.
0.0
Nps Score
Hai già esProc SPL Community?
Tutte le esProc SPL Community Discussioni
# Macro in SPL
fa riferimento a http://c.raqsoft.com/article/1687916213139
Oltre al codice statico comune, a volte è necessario anche il codice dinamico per risolvere i problemi, come generare codice (o parte di esso) basato su parametri ed eseguirlo dinamicamente. Per i linguaggi di programmazione che mancano di meccanismi di codifica dinamica, è solitamente necessario scrivere le parti variabili del codice in forma di stringa. Ad esempio, quando si fa riferimento ai nomi dei campi del dataset in Python, è necessario scriverli come stringhe per ottenere l'effetto del codice dinamico. Tuttavia, questo rende scomodo leggere e scrivere il codice statico più comune. SQL, d'altra parte, può scrivere direttamente i nomi dei campi (così come le condizioni di filtro, le espressioni di raggruppamento, ecc.) nel codice senza doverli scrivere in stringhe, rendendo più facile leggere e scrivere il codice statico, ma è difficile gestire il codice dinamico.
SPL eredita lo stile SQL del codice statico, permettendo di scrivere direttamente le parti di codice, come i nomi dei campi, senza la necessità di scriverli come stringhe. Inoltre, SPL fornisce anche macro per ottenere effetti di codice dinamico.
Esempio 1: Ordinare dinamicamente la tabella degli ordini in base al parametro pSortList, che contiene un numero indefinito di campi di ordinamento separati da virgole.
Questo codice dinamico può essere implementato utilizzando le macro SPL: T("Orders.txt").sort(${pSortList})
##### Post Metadata
- Posted at: oltre 2 anni fa
- Author title: Marketing Specialist at Scudata
- Net upvotes: 1
# the challenger of SQLite
Many small and micro applications also require certain data processing and computing abilities. Integrating a database will make the application too heavy. In this case, SQLite is a good choice for its simple framework, easy-integration, ability of storing data persistently and, it provides SQL to implement calculation.
However, for some more complex scenarios, SQLite still falls short.The shortcomings of SQLite in the face of complex scenarios:
->Data source support
->Complex calculation
->Flow processing
Use esProc SPL to solve the difficulties of SQLite:
->Data source support
SPL only takes one step to read csv files in SPL, and has built-in multiple data source interfaces, including tsv, xls, Json, XML, RESTful, WebService and other databases, and even supports special data sources such as Elasticsearch and MongoDB. SPL can directly parse multi-layer data sources. SPL has good openness and can directly calculate multiple data sources; we can perform cross-source computing between these data sources and SPL bin file. In addition to supporting the persistence of data to its own formats, SPL also supports the persistence of data to other data sources. Likewise, SPL uses table sequence as medium.
->Computing ability
SPL supports ordered computing, set computing, stepwise computing and association computing. By means of these abilities, complex structured data computation can be simplified.
->Flow processing
SPL comes with flow control statements. Using such statements together with the table sequence objects built in SPL can conveniently achieve complete business logic.
details refer to http://c.raqsoft.com/article/1686896755818
##### Post Metadata
- Posted at: oltre 2 anni fa
- Net upvotes: 1
# Multiple desktop tools that allow querying data files directly in SQL
In our daily work, we often need to query and analyze data files (such as csv/xls file), most of which have quite regular form (each row corresponds to one record) and can be regarded as a database table, and it will be relatively convenient to calculate such files in SQL. However, we often have to import these files into database before using SQL, which is troublesome and difficult, and not friendly to non-professional programmers. Given this situation, we would want to ask the question: is there a tool that can execute SQL directly on a file? In that case, it would be much more convenient. This article will present some desktop tools for non-professional programmers, allowing them to calculate such files directly in SQL.
Refer to http://c.raqsoft.com/article/1676268429067
##### Post Metadata
- Posted at: oltre 2 anni fa
- Net upvotes: 1
# Samples of Processing Big Text File
This article is about applying SPL, explains various operations over big file, illustrates how to make the computation faster using parallel processing, and gives concise sample programs in esProc SPL.
Structured text file processing, such as TXT and CSV files, is common data analysis work. Sometimes the file is too big to be loaded into the memory at one time. You need to load and calculate it in batches and then aggregate the temporary intermediate result sets according to the specific requirements. The whole process is quite different from that of calculating a small file that can be wholly loaded into the memory.
Looking http://c.raqsoft.com/article/1599117027835
##### Post Metadata
- Posted at: oltre 2 anni fa
- Net upvotes: 1
# Desktop programming languages suitable for data analyst
Many scenarios need to use programming language to analyze and process the desktop data such as Excel and csv. In these scenarios, simple tasks include querying multiple files of same format through parameter, batch splitting or merging files, processing larger files, etc.; complex tasks include organizing files of irregular format, multi-step calculation, judging the flow of multi branches, calculating by sequence number or location, processing each group of data after grouping, and multi-layer association calculation, etc.
There are many programming languages that meet the above requirements; however, the vast majority of these languages are aimed at professional programmer, such as Java and C#. To use them, we need to understand heavy framework, design the data table object (Data Table or Data Frame), write cumbersome code, and go through painful learning process. In fact, there are some other programming languages, which save us from building heavy framework, come with data table objects, and are simply in coding and easy to learn, and suitable for data analyst to process desktop data. This article will present them one by one.
http://c.raqsoft.com/article/1676962380992
##### Post Metadata
# From Stream to Kotlin to SPL
In terms of structured data calculation outside the database, Stream has taken a step from scratch; Kotlin has slightly enhanced this capability, but the nature of the compiled language makes it impossible to go further; To really solve the problem of structured data computing outside the database, SPL, a professional structured data computing language, is needed. Refer to http://c.raqsoft.com/article/1638847152272
##### Post Metadata
- Posted at: oltre 2 anni fa
- Net upvotes: 1
# The impasse of SQL performance optimizing
Many big data calculations are implemented in SQL. When running slowly, we have to optimize SQL, but we often encounter situations that we can do nothing about it. SPL maybe a better choice, refter to http://c.raqsoft.com/article/1640596372891
I'm Jason, the developer of this software, please contact me if you have any questions
##### Post Metadata
- Posted at: quasi 3 anni fa
- Net upvotes: 1
# General SQL-style Operations in SPL
After we retrieve data from the data source as a table sequence in SPL, we can perform all SQL-style operations, such as filtering, aggregation, inter-column calculations, sorting, grouping & aggregation, top-N, post-grouping top-N, distinct, post-grouping distinct, and join to name a few. In this essay, we take the file data source to explain how to achieve those operations on a SPL table sequence.http://c.raqsoft.com/article/1631170656543
##### Post Metadata
- Posted at: quasi 3 anni fa
- Net upvotes: 1
# Efficient Data Analysis Engine
esProc can be used for analytical databases and middleware. Its computing power and expression ability far exceed traditional SQL, and it is suitable for online query and offline batch running scenarios. Refer to http://c.raqsoft.com/article/1666484536795
##### Post Metadata
Con oltre 3 milioni di recensioni, possiamo fornire i dettagli specifici che ti aiutano a prendere una decisione informata sull'acquisto di software per la tua azienda. Trovare il prodotto giusto è importante, lasciaci aiutarti.