Introduction to Big Data Techniques

do Robert Kissell, PhD, và Barbara J. Mack biên soạn.

Robert Kissell, PhD, Kissell Research Group (Molloy College) (USA). Barbara J. Mack, Pingry Hill Enterprises, Inc. (USA).

Thí sinh phải có khả năng:

• mô tả các khía cạnh của “fintech” có liên quan trực tiếp đến việc thu thập và phân tích financial data
• mô tả Big Data, artificial intelligence và machine learning
• mô tả các ứng dụng của Big Data và Data Science trong investment management

Fintech, sự kết hợp giữa finance và technology, có tác động đáng kể đến thế giới investment management. Trong số những đổi mới này có việc ứng dụng Big Data, artificial intelligence (AI) và machine learning để phân tích investments, portfolio construction và risk management. Những đổi mới này không chỉ tác động đến quantitative asset managers mà còn đến fundamental asset managers sử dụng các công cụ này để thực hiện hybrid investing.

• Thuật ngữ Big Data mô tả hiện tượng ba V: volume, velocity và variety; tuy nhiên, khi sử dụng Big Data để suy luận hoặc forecasting, cần nhớ đến V thứ tư - veracity.

• Alternative data sources có thể bao gồm data từ con người, business processes và sensors.

• ■ Các computer systems sử dụng AI algorithms có khả năng thực hiện những nhiệm vụ mà thông thường một con người sẽ thực hiện, thường ít nhất cũng hiệu quả tương đương, và đôi khi còn tốt hơn.

• Machine learning (ML) bao gồm việc tiếp thu kiến thức thông qua phân tích khối lượng dữ liệu khổng lồ và "học" từ các ví dụ đã biết, sau đó tạo ra cấu trúc và đưa ra dự đoán. Nói một cách đơn giản, các algorithms của machine learning cố gắng "tìm pattern, áp dụng pattern". Các loại machine learning algorithms chính là supervised learning, unsupervised learning và deep learning.

• Natural language processing (NLP) là một dạng text analytics bao gồm việc hiểu cấu trúc của ngôn ngữ và sử dụng thông tin này để phân tích và hiểu text data và voice data.

mô tả các khía cạnh của “fintech” có liên quan trực tiếp đến việc thu thập và phân tích financial data; mô tả Big Data, artificial intelligence và machine learning

Theo nghĩa chung, thuật ngữ fintech là viết tắt của innovation trong lĩnh vực financial services và đề cập đến việc ứng dụng technology vào financial processes. Vì mục đích của phần thảo luận này, fintech được hiểu là những technological innovations trong lĩnh vực cung cấp và thiết kế financial products và services. Trong thực tế thông dụng, fintech cũng có thể đề cập đến các companies triển khai những innovations này và business sector bao gồm các companies như vậy. Các fintech innovations đang phá vỡ business models của các financial service providers.

Ban đầu, fintech gắn liền với data processing và automation các routine operations. Các systems đưa ra decisions dựa trên những rules và instructions được xác định trước đã được phát triển. Ngày nay, sự phát triển của fintech đã tiến tới decision-making dựa trên các machine learning algorithms phức tạp, cho phép computer programs "học" cách thực hiện những actions cụ thể. Một số fintech applications được triển khai bằng cách sử dụng các computer systems thực hiện những actions hiệu quả hơn nhiều so với actions của con người. Fintech đã thay đổi financial services sector trên nhiều phương diện, phát triển các systems mới cho investment advice, financial planning, business lending và payments.

Vì fintech đề cập đến một phổ rộng các applications và services, các lĩnh vực phát triển có liên quan nhiều hơn đến quantitative finance trong investing business bao gồm:

• Phân tích large datasets. Bên cạnh lượng conventional data ngày càng tăng như security prices, financial statements của firms và macroeconomic data, hiện nay còn có khả năng tích hợp một lượng khổng lồ alternative data được thu thập từ các nguồn không thông thường như social media và sensor data để hỗ trợ đưa ra các portfolio management decisions nhằm tạo ra alpha và tránh losses.

• Analytical methods. Trong trường hợp databases rất lớn, các methods sử dụng artificial intelligence (AI) - computer programs có thể thực hiện những actions mà cho đến nay vẫn do con người thực hiện - có thể hiệu quả hơn các analytical và statistical approaches thông thường trong việc tìm kiếm relationships. Sự phát triển của AI-based analytical methods đang tạo điều kiện cho nhiều approaches khác nhau đối với data analysis. Chẳng hạn, AI đang được sử dụng để sàng lọc lượng data khổng lồ từ business filings, annual

Mục đích của việc phân tích các reports và earnings calls là tìm ra thông tin nào có ý nghĩa hơn và xác định các patterns liên quan đến sentiments và behaviors của con người.

Big Data

Như đã nêu, tốc độ tăng trưởng của volume và variety của data sẵn có để phân tích là rất cao. Thuật ngữ Big Data lần đầu được sử dụng vào cuối những năm 1990 và liên quan đến khối lượng data khổng lồ được tạo ra bởi industry, governments, con người và electronic gadgets. Khái niệm Big Data bao gồm data được tạo ra từ các conventional sources, chẳng hạn như stock markets, companies và governments, cũng như các datasets không thông thường, còn được gọi là alternative data, được tạo ra thông qua electronic gadgets, social networking sites, sensors và company exhaust.

Trong số traditional data sources có thể kể đến corporate data bao gồm annual reports, regulatory filings, sales và earnings numbers, và analyst calls. Theo truyền thống, data cũng bao gồm market data như trade prices và volumes. Xét đến mức độ connectivity ngày càng tăng của thế giới, hiện nay chúng ta có thể thu thập data từ một số lượng lớn devices như smartphones, cameras, microphones, RFID readers, wireless sensors và satellites hoạt động trên toàn cầu. Cùng với sự mở rộng của internet và số lượng networked devices, ngày càng có xu hướng sử dụng non-traditional data sources hoặc alternative data sources bao gồm social media (posts, tweets, blogs), email và text communications, web traffic, online news websites và các electronic data sources khác.

Khái niệm Big Data thường gắn liền với các datasets có những đặc tính sau:

• Volume: Số lượng data chứa trong files, records và tables là cực kỳ lớn và bao gồm hàng triệu, thậm chí hàng tỷ data points.

• Velocity: Tốc độ và tần suất recording và transmitting data tăng lên rất nhiều. Real time hoặc near real time data đã trở thành hiện thực trong nhiều lĩnh vực.

• Variety: Data được thu thập từ nhiều sources khác nhau và dưới nhiều forms khác nhau, bao gồm structured data (SQL tables), semi-structured data (HTML code) và unstructured data (video messages).

Các đặc tính Big Data liên quan đến volume, velocity và variety được minh họa trong Exhibit 1 dưới đây.

Giới thiệu về Big Data Techniques

Exhibit 1: Đặc tính Big Data: Volume, Velocity và Variety

Dữ liệu Velocity MB GB TB PB Khối lượng dữ liệu Volume Audio Data Variety Khối lượng dữ liệu Khóa thông tin Bytes MB Megabyte Một triệu GB Gigabyte Một tỷ TB Terabyte Một nghìn tỷ PB Petabyte Một triệu tỷ Unstructured Mobile Web Real Time Table Near Real Time Periodic Batch Database Video Photo Social

Nguồn : Ivy Wigmore, “Definition: 3Vs (Volume, Variety and Velocity),” WhatIs.com, cập nhật lần cuối tháng 12 năm 2020, http:// whatis .techtarget .com/ definition/ 3Vs.

Từ Exhibit 1, có thể thấy rõ rằng data volumes đang tăng về quy mô từ megabytes và gigabytes lên những quy mô lớn hơn nhiều như terabytes và petabytes do sự gia tăng trong việc generation, capture và storage data. Đồng thời, ngày càng nhiều data, cả traditional lẫn non-traditional, trở nên sẵn có trên cơ sở real-time hoặc near real-time với variety data ngày càng tăng.

Nếu Big Data được sử dụng để suy luận hoặc dự đoán điều gì đó, “V thứ tư” - veracity - liên quan đến credibility và reliability của các data sources khác nhau sẽ trở nên có ý nghĩa. Đánh giá credibility và reliability của các data sources khác nhau là một nhiệm vụ thiết yếu trong bất kỳ empirical research nào. Tuy nhiên, veracity trở nên đặc biệt quan trọng đối với Big Data do sự đa dạng của các sources tạo nên những datasets lớn.

Big Data bao gồm structured, semi-structured và unstructured data. Các items của structured data có thể được đặt trong một table và thường có thể được đặt trong một database, nơi mỗi item thuộc cùng một loại data. Unstructured data có thể là bất kỳ dạng data phân tán nào không thể đưa vào tabular form. Unstructured data, bao gồm data từ social media, email, text message, voice, images, blogs, scanner và sensors, đòi hỏi một application program cụ thể để trở nên hữu ích đối với investment professionals. Chẳng hạn, để làm việc với data có trong emails hoặc text messages, có thể cần computer code cụ thể để xử lý các documents. Semistructured data có thể chứa các elements của cả structured và unstructured data.

Sources of Big Data

Do đó, Big Data có thể bao gồm data được tạo ra từ:

• Financial market (như equities, fixed income, futures, options, derivatives, v.v.),

• businesses (ví dụ, corporate financials, commercial transactions và credit card purchases),

• governments (ví dụ, trade, economic, employment và payroll data),

• Individuals (chẳng hạn, credit card purchases, product reviews, internet search history và posts trên social media),

• Sensors (ví dụ, satellite images, ship cargo và traffic data), và đặc biệt là,

• • Internet of Things, hay IoT (ví dụ, data được tạo ra bởi các "smart" buildings, tạo ra một dòng data liên tục liên quan đến climate control, energy usage, security và các operations khác).

Trong việc thu thập business intelligence, theo truyền thống, các analyses được thực hiện dựa trên conventional sources của data và bao gồm việc áp dụng statistical methods để đo lường performance, dự đoán future growth và phân tích trends trong sectors và markets. Trong việc phân tích Big Data, có sự tham gia của alternative sources của data.

Từ retail sales data đến social media sentiments đến satellite imagery có thể cung cấp thông tin về agriculture, shipping, oil rigs và các lĩnh vực khác của economic activity, alternative datasets giúp hiểu rõ hơn behaviors của consumers, performance của firms, trends và các khía cạnh khác của economic activity quan trọng đối với việc đưa ra investments. Ảnh hưởng của thông tin này được thể hiện rõ trong cách professionals, đặc biệt là quantitative investors, thực hiện financial analyses và decision-making process của họ. Alternative data sources có thể là

• data được tạo ra bởi individuals,

• data được tạo ra bởi business processes, và

• data được tạo ra bởi sensors.

Personal data có thể ở dạng text, video, photo và audio, đồng thời cũng có thể được tạo ra thông qua website clicks, thời gian dành trên một webpage và các phương thức khác. Personal data thường là unstructured. Lượng data được tạo ra bởi individuals đang tăng nhanh do ngày càng có nhiều người tham gia và tham gia thường xuyên hơn vào các online activities, chẳng hạn như social media và e-commerce, bao gồm product/service/company reviews, web searches và emailing.

Business process data được tạo ra bởi companies và các public sources khác. Thông thường, nó bao gồm structured data và bao gồm trực tiếp sales data như credit card data và corporate exhaust. Corporate exhaust bao gồm information từ supply chains của companies, banking records và retail point-of-sale scanners. Business process data là một leading hoặc real-time indicator của business performance, trong khi traditional corporate data thường được đo lường theo quý hoặc thậm chí theo năm và là các lagging indicators của performance.

Sensor data đến từ smart phones, cameras, RFID sensors, satellites, cùng nhiều nguồn khác, vốn thường được kết nối với computers thông qua wireless networks. Sensor data có thể là unstructured và có volume lớn hơn đáng kể so với individual và business process streams. Loại data này đang tăng theo cấp số nhân kể từ khi microprocessor và networking technology trở nên ngày càng phổ biến trong nhiều electronic gadgets được sử dụng bởi individuals và businesses. Khi được áp dụng cho offices, homes, cars và nhiều physical things khác, điều này tạo ra một network structure, được gọi là Internet of Things, được tạo thành từ một tập hợp khổng lồ

gồm physical devices, household devices, smart buildings, cars và những thứ khác có electronic circuits, sensors, computer programs và networking ability để cho phép interaction giữa các objects trong system.

Alternative sources của data đã được phân loại như trong Exhibit 2 dưới đây.

Exhibit 2: Phân loại Alternative Data Sources

Alternative data đã được sử dụng trong nỗ lực tìm kiếm các variables mới có thể ảnh hưởng đến security prices, hỗ trợ asset selection, optimize execution và tiết lộ trends. Với sự phổ biến ngày càng tăng của alternative data, ngày càng nhiều specialist firms đã xuất hiện để thu thập, aggregate và bán alternative data.

Mặc dù nhu cầu đối với alternative data đang tăng lên, điều quan trọng là investors cần biết về một số legal và ethical issues xoay quanh non-public data. Chẳng hạn, việc scraping web-based data có thể dẫn đến việc thu thập personally identifiable information có thể thuộc đối tượng regulation và có thể đã được công khai mà không có sự nhận thức và consent của các individuals. Best practices vẫn chưa được phát triển ở hầu hết các countries và do các regulatory policies khác nhau được áp dụng bởi governments của các quốc gia khác nhau, có thể tồn tại những mâu thuẫn giữa hai loại guidance.

Những thách thức của Big Data

Có một số hạn chế khi sử dụng Big Data trong investment analysis, bao gồm chất lượng, số lượng và mức độ phù hợp của dữ liệu. Những vấn đề chính bao gồm các câu hỏi sau và những câu hỏi khác: Dataset có selection bias, missing data hoặc data outliers không? Lượng dữ liệu được thu thập có đầy đủ không? Dataset có phù hợp cho việc analysis không? Trong đại đa số trường hợp, dataset cần được thu thập, làm sạch và cấu trúc hóa trước. Nhiệm vụ này có thể rất khó đối với alternative data do tính chất unstructured của dữ liệu, vốn chủ yếu mang tính qualitative (như văn bản, hình ảnh và video).

Do quy mô và độ phức tạp của alternative datasets, phương pháp analysis thông thường không phải lúc nào cũng có thể được áp dụng cho loại data evaluation này. Vì mục đích này, các công nghệ AI và machine learning mới đã được phát triển, cho phép xử lý những lượng thông tin lớn như vậy.

mô tả Big Data, artificial intelligence và machine learning

Hệ thống máy tính AI có thể thực hiện nhiều nhiệm vụ khác nhau vốn theo truyền thống đòi hỏi human intelligence. Bằng cách sử dụng công nghệ artificial intelligence, các hệ thống máy tính được tạo ra có khả năng nhận thức và ra quyết định ở mức tương đương hoặc tốt hơn con người.

Một trong những ví dụ đầu tiên về AI là expert system, một loại computer programming cố gắng bắt chước chuyên môn của con người trong các lĩnh vực cụ thể bằng cách mô phỏng knowledge base và analytical skills của các chuyên gia con người. Quy tắc "if-then" thường được sử dụng cho mục đích này. Với sự phát triển của mạng nhanh hơn và computing power vào cuối những năm 1990, AI trở nên có thể áp dụng cho các lĩnh vực như logistics, data mining, financial analysis, medical diagnosis và các lĩnh vực khác. Từ những năm 1980, AI đã được sử dụng trong các financial institutions dưới dạng neural networks - computer programming hoạt động theo những nguyên tắc tương tự như bộ não của chúng ta.

• Machine learning (ML)* là một nhánh của các kỹ thuật computer science, có mục đích khám phá knowledge từ một lượng lớn data mà không đòi hỏi bất kỳ giả định nào về underlying probability distribution. ML algorithms được thiết kế để tự động hóa việc ra quyết định thông qua việc học underlying structure của data từ các examples đã biết. Nói cách khác, trọng tâm chính của ML algorithms là khả năng tự tạo structure hoặc đưa ra predictions một cách độc lập với con người. Nói đơn giản, mục tiêu của ML algorithm là “tìm pattern, áp dụng pattern.”

Do ML hiện được sử dụng trong lĩnh vực đầu tư, công nghệ này cần một lượng data khổng lồ để “training”, vì vậy, mặc dù phần lớn các ML techniques đã tồn tại trong nhiều năm, trước đây không có đủ data để sử dụng chúng một cách rộng rãi. Trước đây, không có đủ data để các algorithms đó xây dựng models một cách hiệu quả. Sự phát triển của Big Data đã tạo cơ hội cho ML algorithms, trong đó có neural networks, có được đủ data để tạo ra các models tốt hơn và tăng khả năng dự báo.

Trong ML, computer algorithm được cung cấp “inputs” (variables hoặc datasets), và đôi khi được cung cấp “outputs” (target data). Algorithm học từ data cách thiết lập relationship giữa inputs và outputs (nếu chúng tồn tại) hoặc xác định hay mô tả underlying data structure (nếu không có outputs). Training diễn ra khi algorithm khám phá relationships trong data và sử dụng thông tin đó để tiếp tục cải thiện quá trình learning.

ML bao gồm việc chia toàn bộ dataset thành ba subsets khác nhau: training dataset, validation dataset và test dataset. Sử dụng training dataset, algorithm học về relationships giữa inputs và outputs dựa trên historical data patterns. Sau đó, các relationships này được kiểm chứng và model được tinh chỉnh bằng validation dataset. Test dataset được sử dụng để kiểm tra mức độ model dự báo kết quả cho new data tốt đến đâu. Sau khi algorithm được trained, validated và tested, ML model có thể dự báo kết quả cho các datasets khác.

Vì ML đòi hỏi sự hiểu biết về underlying data và việc lựa chọn các data analysis techniques phù hợp, công nghệ này cần có sự can thiệp của con người trước khi được áp dụng. Hơn nữa, data phải sạch và không có bias. Như đã đề cập ở trên, ML models cần lượng data khổng lồ và không thể hoạt động đúng nếu không có đủ data.

Điều quan trọng là các analysts phải nhận thức được những sai sót có thể phát sinh do overfitting của data, bởi các models bị overfitted với data có thể phát hiện một số relationships “sai” hoặc patterns “không có cơ sở”, từ đó có thể dẫn đến predictions sai về outcomes. Tình trạng overfitting xảy ra khi machine learning algorithm học data và target set của data quá kỹ. Theo cách này, algorithm đã được overtrained trên data và coi mọi noise trong data là các parameters thực. Khi một ML algorithm đã bị overfitted, nó sẽ không thể dự báo kết quả bằng cách sử dụng một data set khác. Trong trường hợp underfitting của data, machine learning algorithm coi các parameters thực như

là noise, và algorithm không thể nhận diện bất kỳ relations nào trong training data set. Trong những tình huống như vậy, algorithm có thể quá đơn giản. Một algorithm bị under-fitted thông thường sẽ không thể xác định bất kỳ patterns nào trong data.

Hơn nữa, do không có explicit programming, machine learning algorithms được gọi là các kỹ thuật opaque hoặc “black box”, dẫn đến các kết quả có thể không phải lúc nào cũng hoàn toàn dễ hiểu.

ML methods có thể được sử dụng để nhận diện associations giữa các variables, phát hiện patterns hoặc trends và hình thành structures từ data, bao gồm cả data classification. Có ba classes khác nhau của ML techniques: supervised learning, unsupervised learning và deep learning.

Với supervised learning, machines có thể học relationships dựa trên labeled training sets. Với supervised learning, input và output được labeled, hoặc đã biết, đối với algorithm. Sau khi đã học được cách tối ưu để model relationship trong labeled data set, các algorithms sau đó được áp dụng để model hoặc dự báo outcomes trong new data sets. Dự báo signal, hoặc variable, tốt nhất; dự báo future returns của một stock; hoặc dự báo liệu stock market sẽ tăng, giảm hay đi ngang vào trading day tiếp theo đều có thể được giải quyết thông qua supervised learning.

Trong trường hợp unsupervised learning, computers không nhận được thông tin về các categories cần học mà chỉ nhận unlabeled data, từ đó algorithm tìm cách mô tả data và structure của chúng. Một ví dụ về unsupervised learning là việc tạo ra peer groups cho các companies dựa trên characteristics của chúng thay vì standard classification theo sector hoặc country of residence.

Những tiến bộ quan trọng trong AI có liên quan đến neural networks. Thuật ngữ deep learning (hoặc deep learning nets) đề cập đến việc ứng dụng computers sử dụng neural networks (có thể bao gồm nhiều hidden layers) để thực hiện multistage và non-linear processing của data nhằm tìm ra patterns. Deep learning có thể áp dụng supervised hoặc unsupervised ML methods. Multistage processing của data dưới dạng deep learning cho phép computers hiểu các concepts đơn giản, từ đó giúp chúng hiểu các concepts phức tạp hơn.

Neural networks đã tồn tại từ năm 1958 và đã được áp dụng trong nhiều lĩnh vực như forecasting và pattern recognition. Với những cải tiến trong algorithms của neural networks, các models chính xác hơn đã trở nên khả thi và có thể tích hợp tốt hơn thông tin đã học. Các algorithms này hiệu quả hơn nhiều trong các nhiệm vụ như image, pattern và speech recognition. Trong hầu hết trường hợp, các algorithms tinh vi hơn đòi hỏi ít computing power hơn các neural networks cũ, và model mới cho phép analysts có được thông tin cũng như nhận diện các relationships mà trước đây họ không thể khám phá.

Những thành tựu liên quan đến AI ngoài lĩnh vực tài chính bao gồm việc chiến thắng trong chương trình trò chơi kiến thức tổng quát Jeopardy (năm 2011) và trong trò chơi cờ cổ của Trung Quốc là Go (năm 2016). Bên cạnh việc AI đưa ra lời giải trong các trường hợp perfect information (khi tất cả người chơi đều có quyền tiếp cận cùng một lượng information), như checkers, chess và Go, AI cũng đưa ra lời giải trong các trường hợp imperfect information (khi người chơi có thể có hidden information); thành công của AI trong việc chơi poker (chương trình DeepStack) là một trong những ví dụ như vậy. AI cũng là nền tảng cho sự phát triển của virtual assistants, như Siri (Apple), ứng dụng Translate của Google và product recommendation engine của Amazon.

Khả năng phân tích Big Data bằng ML methods, cũng như các statistical methods truyền thống hơn, là một trong những phát triển lớn trong investment research, trở nên khả thi nhờ khả năng tiếp cận data tăng lên và sự tiến bộ của algorithms. Computing capabilities được cải thiện, tốc độ software processing tăng lên và chi phí storage giảm xuống đã hỗ trợ cho sự phát triển này.

Các AI techniques đang được sử dụng để analysis Big Data với mục đích dự báo trends hoặc market events, chẳng hạn liệu một merger thành công có diễn ra hay kết quả của một political election sẽ như thế nào. Với image recognition algorithms, có thể phân tích data để cung cấp information về số lượng consumers có mặt tại parking lots của retail stores, các activities liên quan đến logistics và manufacturing hàng hóa, cũng như yield của agricultural crops, cùng nhiều nội dung khác.

Những data như vậy có thể cung cấp information có giá trị về từng companies riêng lẻ hoặc toàn bộ nations. Chúng có thể được sử dụng làm inputs trong các models về valuation và economics.

mô tả các applications của Big Data và Data Science đối với investment management

• Data science có thể được xem là một interdisciplinary field, sử dụng những phát triển trong computer science, bao gồm machine learning, statistics và nhiều lĩnh vực khác, nhằm cung cấp information từ Big Data hoặc data nói chung. Vai trò của data scientists/analysts trở nên hữu ích khi các firms tìm cách khai thác information và insights từ Big Data.

Một trong những considerations liên quan đến data scientists là structure của data. Xét theo nội dung thảo luận về Big Data, do tính chất unstructured của alternative data, cần có cách xử lý đặc biệt đối với loại data này trước khi analysis.

Các phương pháp Data Processing

Để xác định cách tốt nhất nhằm xử lý Big Data phục vụ cho analysis, data scientists sử dụng nhiều dạng data processing techniques khác nhau như capture, curation, storage, search và transfer.

• Capture - Capture là cách thức data được thu thập và transformed để tương thích với quá trình analysis. Các systems có low latency - nghĩa là những systems hoạt động trên networks truyền tải một lượng lớn data với độ trễ (latency) thấp - được yêu cầu đối với automated trading software đưa ra quyết định dựa trên real-time pricing information và market activities. High-latency systems không cần real-time data và computation.

• Curation - Curation là quá trình duy trì chất lượng của data thông qua một quá trình được gọi là data cleaning. Curation được thực hiện bằng cách rà soát toàn bộ data để xác định data kém chất lượng hoặc không chính xác và thực hiện các điều chỉnh cần thiết đối với missing data.

• Storage - Storage là cách thức data sẽ được ghi nhận và lưu trữ. Nó bao gồm database design của data. Vấn đề quan trọng cần xem xét liên quan đến data storage là data có structured hay unstructured và liệu có nhu cầu về low latency hay không.

• Search - Search là cách truy cập data. Big Data đã dẫn đến nhu cầu về các systems mạnh mẽ có khả năng tìm kiếm và analysis một lượng lớn data để xác định data content.

• Transfer - Thuật ngữ này mô tả quá trình data sẽ được chuyển từ underlying data source hoặc storage location đến underlying analytical tool như thế nào. Việc transfer này có thể diễn ra dưới dạng direct data feed, chẳng hạn stock exchange price feed.

Giới thiệu về các kỹ thuật Big Data

Data Visualization

Công cụ có vai trò then chốt khi làm việc với Big Data là data visualization. Thuật ngữ này đề cập đến cách data sẽ được trình bày dưới dạng graphical format. Traditional structured data có thể được trình bày dưới dạng tables, charts và trends, tuy nhiên, non-traditional unstructured data cần những cách visualization mới. Một số ví dụ về visualization tools là interactive three-dimensional (3D) graphics. Cụ thể, người dùng có thể tập trung vào một data range cụ thể và xoay data theo các trục 3D để quan sát trends và relationships giữa các variables. Hơn nữa, multidimensional data analysis bao gồm hơn ba variables cần các visualization techniques bổ sung - ví dụ như sử dụng màu sắc, kích thước và hình dạng cho các 3D graphs. Ngoài ra, có nhiều giải pháp phản ánh data structure dưới dạng geometric shape của graph, với interactive graphic mang lại phạm vi khả năng rộng nhất. Những giải pháp như vậy bao gồm heat maps, tree diagram và network graphs.

Một kỹ thuật Big Data visualization hữu ích khác được áp dụng cho textual data là "tag cloud" - các words trong data file được định kích thước và hiển thị tùy theo frequency xuất hiện của chúng trong file. Cụ thể, các words có frequency cao hơn sẽ xuất hiện với kích thước lớn hơn và ngược lại. Một kỹ thuật data visualization khác là "mind map" - đây là một biến thể của tag cloud theo nghĩa rằng tag cloud thể hiện frequency của words, còn mind map thể hiện interrelations giữa các concepts.

Exhibit 3 cho thấy một ví dụ về "tag cloud" được xây dựng dựa trên một đoạn của bài đọc này. Một word xuất hiện trong text càng thường xuyên thì kích thước của nó trong tag cloud càng lớn. Từ tag cloud, có thể nhận thấy các words xuất hiện thường xuyên nhất trong phần này là "data", "ML", "learning", "AI", "techniques", "model" và "relationships".

Exhibit 3: Tag Cloud của Data Visualization

insights underlying networks techniques information computeradvanced learning outcomes Sidebar provided use AI patternsadvances largecomplexprovidingcomputersoccursenabledcaseusedapproachesplayers processingtarget Machineanalysisbest helpbettertypesstockhumanerrorstrainingtreatingusingothersinceGoogle’sinputsdatasetsanalyzelabelledamountsmodel Bigsolutionnow concepts while Trying existed learn structureArtificialalgorithmdetectmoreovertrendslearnspreviouslyimagetasks deepcomputingdatadatasetprovideprogrammingmarketbasedvalidationrecognitiondescribetruesystemsgivenunsupervisedunderstandingpredictpossibleneuralsupervised able algorithms ML performance approached pattern outputs identify intelligence relationships models variables uncover

Nguồn : “About Word Clouds,” WordItOut, https:// worditout .com/ word -cloud/ create.

Các applications của fintech trong investment management rất đa dạng. Chúng bao gồm text analytics và natural language processing (NLP), risk analysis và algorithmic trading.

Phân tích văn bản và Xử lý ngôn ngữ tự nhiên

• _Text analytics** là việc ứng dụng phần mềm máy tính để trích xuất insight và ý nghĩa từ các dataset lớn, phi cấu trúc dựa trên văn bản hoặc giọng nói, chẳng hạn như hồ sơ doanh nghiệp, tài liệu viết, earnings call hằng quý, mạng xã hội, email, bài đăng trên internet và dữ liệu khảo sát. Text analytics cũng có thể bao gồm việc sử dụng phần mềm máy tính để tự động truy xuất thông tin liên quan từ nhiều nguồn nhằm đưa ra quyết định. Các phân tích khác bao gồm lexical analysis hoặc phân tích tần suất từ và nhận dạng mẫu dựa trên các từ khóa và cụm từ chính. Text analytics có thể được sử dụng trong quá trình prediction analysis để xác định các chỉ báo về hiệu quả hoạt động trong tương lai, bao gồm consumer sentiments.

• _NLP** là một lĩnh vực nghiên cứu tại giao điểm của khoa học máy tính, artificial intelligence (AI) và ngôn ngữ học, đồng thời liên quan đến việc phát triển phần mềm máy tính có khả năng diễn giải và phân tích ngôn ngữ của con người. Trong bối cảnh của text analytics, NLP là một ứng dụng quan trọng. Các tác vụ tự động liên quan bao gồm dịch thuật, nhận dạng giọng nói, text mining, sentiment analysis và topic analysis. Công nghệ NLP có thể được sử dụng cho các mục đích compliance nhằm giám sát hoạt động giao tiếp bằng giọng nói và email của nhân viên theo chính sách của công ty và quy định, để phát hiện fraud hoặc hành vi không phù hợp, hoặc để bảo đảm quyền riêng tư đối với thông tin của khách hàng.

Cần lưu ý rằng các doanh nghiệp trên toàn cầu mỗi năm tạo ra hàng triệu trang annual reports và hàng chục nghìn giờ earnings calls. Đây là lượng dữ liệu nhiều hơn khả năng đánh giá của một analyst đơn lẻ hoặc thậm chí một nhóm các nhà nghiên cứu. Với NLP, đặc biệt khi được hỗ trợ bởi các machine learning algorithms, annual reports, earnings calls, bài báo tin tức, thông điệp trên mạng xã hội và các dữ liệu văn bản, âm thanh khác có thể được phân tích nhanh hơn nhiều, với độ chính xác và phạm vi cao hơn bất kỳ con người nào có thể thực hiện.

Ví dụ, NLP có thể được sử dụng để giám sát các nhận xét của analyst nhằm hỗ trợ quá trình đưa ra investment decision. Cụ thể, financial analyst có thể tạo ra EPS forecasts dựa trên quan điểm của họ về sự phát triển trong tương lai của một doanh nghiệp. Nếu chỉ tập trung vào các giá trị EPS được dự báo, investor có thể bỏ qua những sắc thái tinh tế được đề cập trong báo cáo nghiên cứu của analyst. Theo nguyên tắc chung, analyst không thay đổi investment recommendations của họ liên quan đến việc mua, nắm giữ và bán một security. Vì vậy, analyst có thể đưa ra các nhận xét tinh tế mà không thay đổi investment recommendations. Dựa trên việc phân tích các nhận xét của analyst, NLP sẽ gán sentiment rating cho từng nhận xét, dao động từ rất tiêu cực đến rất tích cực. NLP có thể được sử dụng để phát hiện và gắn thẻ các thay đổi trong sentiment trước khi analyst thay đổi recommendation. Với khả năng của máy móc, công việc như vậy có thể được thực hiện trên phạm vi toàn cầu, bao phủ hàng nghìn doanh nghiệp, thay vì trước đây được thực hiện bởi con người.

Theo cách tương tự, các thông tin liên lạc hoặc bản ghi chép của policymakers, chẳng hạn như European Central Bank và US Federal Reserve, có thể được phân tích thông qua NLP vì có thể tồn tại các tín hiệu tinh tế được quan chức của các tổ chức này truyền tải thông qua chủ đề thảo luận, từ ngữ được lựa chọn và giọng điệu của bài phát biểu. Những sắc thái tinh tế của văn bản có thể được phân tích với sự hỗ trợ của NLP để xác định những chủ đề đang tăng hoặc giảm mức độ được quan tâm, chẳng hạn như interest rate policy, aggregate output và inflation expectations.

Các mô hình NLP có thể đưa thông tin phi truyền thống vào quá trình phân tích để xác định những gì mọi người nói về sở thích, quan điểm, điều họ thích và không thích, nhằm cố gắng nhận diện các chỉ báo và xu hướng ngắn hạn, chẳng hạn liên quan đến một công ty, một cổ phiếu hoặc một sự kiện kinh tế, để dự đoán các xu hướng trong tương lai có thể ảnh hưởng đến các investment decision trong tương lai. Ví dụ, đã có một số nghiên cứu về khả năng dự báo của Twitter sentiment đối với IPO performance và tác động của sentiment tin tức tích cực và tiêu cực đối với stock returns.

• Giới thiệu về các kỹ thuật Big Data

Một số ngôn ngữ lập trình phổ biến nhất được sử dụng trong data science bao gồm:

• Python: Ngôn ngữ lập trình này là open source và miễn phí, không yêu cầu kiến thức lập trình máy tính chuyên sâu. Python cho phép những người không có kỹ năng lập trình viết các ứng dụng máy tính phục vụ advanced analytics.

• R: R là một ngôn ngữ lập trình miễn phí, được biết đến là chủ yếu được sử dụng cho các mục đích statistical analysis. Lý do R được xem là phù hợp với loại data analytics này là vì nó bao gồm các mathematical packages để thực hiện statistical analysis, machine learning, optimization, econometrics và financial analysis.

• Java: Java là một ngôn ngữ lập trình hoạt động trên nhiều nền tảng khác nhau (máy tính, server, OS). Java là nền tảng của nhiều ứng dụng internet vì đây là ngôn ngữ của chương trình nền tảng của phần lớn các ứng dụng đó.

• C and C++: Cả C và C++ đều là những ngôn ngữ lập trình đặc biệt, cung cấp tùy chọn tối ưu hóa source code nhằm đạt được tốc độ tính toán tốt hơn. Cả C và C++ đều được sử dụng cho các ứng dụng liên quan đến algorithmic trading và high-frequency trading.

• Excel VBA: Excel VBA giúp thu hẹp khoảng cách giữa lập trình và xử lý dữ liệu thủ công bằng cách cho phép người dùng thực hiện một số thao tác thông qua macro, chẳng hạn như cập nhật data table và formula, chạy data query và thu thập dữ liệu từ nhiều nguồn web khác nhau, cũng như thực hiện các phép tính. Excel VBA cho phép người dùng tạo các báo cáo tùy chỉnh dựa trên dữ liệu từ các ứng dụng và database khác.

Trong số các database phổ biến hơn có:

• SQL: SQL là query language dành cho các database có cấu trúc, trong đó dữ liệu được lưu trữ trong các bảng gồm hàng và cột. SQL database phải được thực thi trên một server và người dùng thực hiện các query của mình thông qua SQL.

• SQLite: SQLite là một database dữ liệu có cấu trúc. SQLite database được nhúng trong chương trình và không cần phải thực thi trên server. Database này phổ biến nhất trong các ứng dụng di động cần truy cập dữ liệu.

• NoSQL: NoSQL là một database dữ liệu phi cấu trúc, không thể được mô tả bằng các bảng truyền thống gồm hàng và cột.

BÀI TẬP THỰC HÀNH

1. EN: A characteristic of Big Data is that:

Một đặc điểm của Big Data là:

• A. EN: it involves formats with diverse structures.

bao gồm các định dạng có cấu trúc đa dạng.

• B. EN: one of its traditional sources is business processes.

một trong các nguồn truyền thống của nó là business processes.

• C. EN: real-time communication of it is rare due to large amount of content.

Việc truyền thông theo thời gian thực của nó là hiếm do lượng nội dung lớn.

2. EN: Which of the following statements is true in the use of ML:

Phát biểu nào sau đây là đúng về việc sử dụng ML:

• A. EN: there exist some methods known as “black box” owing to biased data.

có một số phương pháp được gọi là “black box” do biased data.

• B. EN: there is no need for human judgement since algorithms are learning constantly from data.

không cần human judgement vì algorithms liên tục học từ dữ liệu.

• C. EN: training data could be learned too accurately, which leads to incorrect predictions made using other data.

training data có thể được học quá chính xác, dẫn đến các dự đoán không chính xác khi sử dụng dữ liệu khác.

3. EN: Text analytics is appropriate for application to:

Text analytics phù hợp để áp dụng cho:

• A. EN: large, structured datasets.

các dataset lớn, có cấu trúc.

• B. EN: public but not private information.

thông tin công khai nhưng không phải thông tin riêng tư.

• C. EN: identifying possible short-term indicators of coming trends.

xác định các chỉ báo ngắn hạn có thể có của các xu hướng sắp tới.

Giới thiệu về các kỹ thuật Big Data

LỜI GIẢI

1. EN: A is right. Big Data is accumulated from various sources and exists in different forms: structured (for example, SQL tables), semistructured (HTML code), and unstructured (video messages).

A là đáp án đúng. Big Data được tích lũy từ nhiều nguồn khác nhau và tồn tại dưới các dạng khác nhau: structured (ví dụ, SQL tables), semistructured (HTML code) và unstructured (video messages).

2. EN: C is right. Overfitting means that the ML model learns the input and target data too accurately. Therefore, the ML model has been over-trained and perceives noise as real parameters. An overfitted ML model is not able to make accurate predictions using another data set.

C là đáp án đúng. Overfitting có nghĩa là ML model học input và target data quá chính xác. Vì vậy, ML model đã được huấn luyện quá mức và nhận diện noise như các parameter thực. Một ML model bị overfitted không thể đưa ra các dự đoán chính xác khi sử dụng một data set khác.

3. EN: Choice C is correct. In the process of performing text analysis via NLP, the use of NLP analysis can provide the models with non-conventional data, which will help to find out the trends and indicators on the basis of what people say through their preferences, opinions, likes or dislikes with regard to some business or economy.

Lựa chọn C là đáp án đúng. Trong quá trình thực hiện text analysis thông qua NLP, việc sử dụng NLP analysis có thể cung cấp cho các model non-conventional data, từ đó giúp xác định các xu hướng và chỉ báo dựa trên những gì mọi người thể hiện thông qua sở thích, quan điểm, điều họ thích hoặc không thích liên quan đến một business hoặc nền kinh tế.