Talendværktøjer - Forskellige værktøjer eller komponenter til Talend til dataintegration

Introduktion til Talend Tools

Talend open studio har mere end 700 komponenter inden for områder som big data, databaser, cloud osv. Talend open studio kan opdeles i mange som Talend open studio for Data Integration og Talend open studio for big data osv. I denne artikel vil se de forskellige redskaber til talent i detaljer.

Talend Open Studio Components / Tools

Talend Open Studio for dataintegration dækker følgende områder / teknologier med nogle indbyggede komponenter, som hjælper med let at behandle.

Big Data-komponenter
Forretningskomponenter
Business Intelligence-komponenter
Skykomponenter
Tilpassede kode komponenter
Datakvalitetskomponenter
Databaser - traditionelle komponenter
Databaser - apparat / datalagerkomponenter
Databaser - andre komponenter
DotNET-komponenter
ELT-komponenter
ESB-komponenter
Filkomponenter
Internetkomponenter
Logfiler og fejlkomponenter
Diverse gruppekomponenter
Orkestreringskomponenter
Behandling af komponenter
Systemkomponenter
Talend MDM-komponenter
Tekniske komponenter
XML-komponenter

Her vil vi diskutere et par komponenter fra Talend Open Studio for dataintegration.

1. tS3Connection: Denne komponent bruges til forbindelse med amazon s3. Komponenter kan bruge denne forbindelse til let opsætning af forbindelse til amazon s3.

2. tS3Input: Dette bruges til at læse en fil fra S3-filsystemet. Det har nogle funktioner, der ligner tfileinputdelimited, men bruger Amazon Simple Storage-service.

3. tS3Output: Dette bruges til at skrive data til et S3-filsystem. Det har nogle funktioner, der ligner tfileoutputdelimited, men bruger Amazon Simple Storage-service.

4. ts3Put: Dette bruges til at indsætte en fil i et S3-filsystem fra et lokalt system.

5. ts3Get: Denne komponent bruges til at hente en fil fra S3 til et lokalt system.

6. tS3BucketCreate: Denne komponent bruges til at oprette en spand på S3.

7. tS3BucketDelete: Denne komponent bruges til at slette en spand på S3.

8. tS3BucketExist: Denne komponent bruges til at kontrollere, om den givne spand findes på S3. Det returnerer resultatet i sand eller falsk boolsk værdi, der kan bruges som et globalt kort.

9. tS3BucketList: Denne komponent bruges til at liste alle spande på S3.

10. tS3Copy: Denne komponent bruges til at kopiere S3-objektet fra en spand til en anden spand. Det ligner tFileCopy.

11. tS3Delete: Denne komponent bruges til at slette S3-objektet fra en spand. Det ligner tFileDelete.

12. tS3Close: Denne komponent bruges til at lukke S3-forbindelsen, der oprettes ved hjælp af tS3Connection.

13. tCreateTemporaryFile: Denne komponent opretter en midlertidig fil som tFileOutputDelimited, men denne midlertidige fil kan enten slettes automatisk, når jobbet er afsluttet, eller den kan opbevares.

14. tFileArchive: Denne komponent bruges til at oprette en komprimeret fil fra en eller flere filer. Kryptering kan også anvendes i komprimering.

15. tFileCompare: Denne komponent bruges til at sammenligne to filer og returnerer sammenligningsdata.

16. tFileUnarchive: Denne komponent bruges til at komprimere en zippet fil.

17. tFileCopy: Denne komponent bruges til at kopiere en fil eller mappe til et målmappe.

18. tFileDelete: Denne komponent bruges til at slette en fil eller mappe.

19. tFileExist: Denne komponent bruges til at kontrollere, om der findes en fil eller ikke. Det returnerer resultatet i sand eller falsk boolsk værdi, der kan bruges som global Map.

20. tFileInputExcel: Denne komponent bruges til at læse en Excel-fil baseret på det definerede skema.

21. tMsgBox: Denne komponent bruges til at få vist en dialogboks med en OK-knap.

22. tRowGenerator: Denne komponent bruges til at oprette et vilkårligt antal rækker med kolonner med specifikke værdier eller tilfældige værdier. Det bruges hovedsageligt til testformål og oprettelse af prøvetestfiler.

23. tIterateToFlow: Det bruges til at omdanne en liste over strømme til hovedstrømmen, hvilket betyder iterate-> række-> main.

24. tFlowToIterate: Det bruges til at omdanne hovedstrømmen til en liste over strømme, hvilket betyder hoved-> række-> iterat.

25. tLoop: Det bruges til at sløjfe en bestemt opgave.

26. tReplicate: Det bruges til at replikere det indkommende skema i to udgangsstrømme.

27. tRunJob: Det bruges til at køre et andet talentjob inden for det aktuelle job efter subjob ok.

28. tSleep: Det bruges til at gøre jobudførelsen eller en bestemt subjob-pause i et givet tidspunkt i sekunder.

29. tWaitForFile: Det ser på et bestemt bibliotek og udløser den næste komponent baseret på betingelse.

30.tMysqlBulkExec: Denne komponent bruges til at tilbyde gevinster i ydelsen, mens der udføres indsæt-operationerne i en Mysql-database.

31. tMysqlClose: Denne komponent bruges til at lukke mysql-forbindelsen, der er oprettet af tMysqlConnection.

32. tMysqlRow: Denne komponent bruges til at køre SQL-forespørgslen direkte på MySQL-databasen.

33. tMysqlTableList: Denne komponent bruges til at angive navne på en tabeller.

34. tMysqlColumnList: Denne komponent bruges til at iterere alle kolonner i en tabel.

35. tMysqlCommit: Denne komponent bruges til at udføre de ændringer, der er foretaget i Mysql-databasen.

36. tMysqlLastInsertId: Denne komponent bruges til at få den sidste indsatte nøgleværdi

37. tMysqlOutputBulk: Denne komponent bruges til at skrive en fil med kolonner baseret på afgrænseren

38. tMysqlOutputBulkExec: Denne komponent bruges til at skrive en fil med kolonner baseret på afgrænseren og derefter køre filen i Mysql-databasen.

39. tContextLoad: Denne komponent bruges til at indlæse værdier i kontekst fra en inputflow . Kontekstvariablerne skal oprettes, inden værdierne indlæses i kontekstvariabler. Hvis kontekstvariablerne ikke oprettes, viser det en advarsel.

40. tHiveClose: Denne komponent bruges til at lukke forbindelsen oprettet ved hjælp af tHiveConnection.

41. tHiveConnection: Denne komponent bruges til at oprette en Hive-forbindelse og kan genbruges af andre Hive-komponenter.

42. tHiveRow: Denne komponent bruges til at køre Hive-forespørgsler direkte.

Konklusion

HDFS-komponenter kan ses i Talend åbne studie til Big data.
thdfsinput, thdfsoutput er nogle af komponenterne, og de ligner filkomponenter.
tHDFSInput - Læser fil placeret på et givet Hadoop distribueret filsystem (HDFS). Det har nogle funktioner, der ligner tfileinputdelimited, men bruger et Hadoop distribueret filsystem.
tHDFSOutput- Skriver fil til Hadoop distribuerede filsystem (HDFS).
Det har nogle funktioner, der ligner tfileoutputdelimited, men bruger et Hadoop distribueret filsystem.
tHDFSPut- Dette bruges til at indsætte en fil i HDFS-filsystem fra et lokalt system.
tHDFSGet- Denne komponent bruges til at hente en fil fra HDFS til et lokalt system.

Anbefalede artikler

Dette er en guide til Talend Tools. Her diskuterer vi introduktion og talend åbne studiokomponenter eller værktøjer til dataintegration, der inkluderer, tS3Connection, tS3Input, tS3Output, og ts3Put, osv. Du kan også se på de følgende artikler for at lære mere -