Posts
-
Applications
-
Building a Transformer from Scratch
-
From Recurrent Neural Networks to Transformer
-
Foundations of Attention
Trong học máy (machine learning), “attention” đang trở nên ngày càng phổ biến. Nhưng điều gì khiến nó hấp dẫn đến vậy? Mối quan hệ giữa “attention” trong mạng nơ-ron nhân tạo (artificial neural networks) và cơ chế tương tự trong sinh học là gì? Một hệ thống “attention-based” trong học máy cần những thành phần nào?
-
[Fluent python] Chapter 8. Type Hints in Functions
Type hints trong Python là các chú thích tùy chọn giúp chỉ định kiểu dữ liệu cho biến, đối số hàm và giá trị trả về. Chúng hỗ trợ các công cụ phát triển như IDE và CI trong việc phát hiện lỗi thông qua phân tích tĩnh, đặc biệt hữu ích cho các kỹ sư phần mềm chuyên nghiệp. Tuy nhiên, với người dùng Python thông thường, lợi ích của type hints có thể không lớn bằng chi phí học tập, đặc biệt khi họ thường làm việc với các dự án nhỏ và kiểu động của Python đã đủ hiệu quả cho nhu cầu của họ.
-
[Fluent python] Chapter 7. Functions as First-Class Objects
Hàm được coi như những “đối tượng hạng nhất” (first-class objects). Điều này có nghĩa là hàm trong Python rất linh hoạt, giống như các kiểu dữ liệu khác (như số, chuỗi). Bạn có thể:
-
[Fluent python] Chapter 6. Object reference, Mutability and Recycling
Tưởng tượng mỗi variable (biến) như một cái nhãn dán chứ không phải cái hộp. Nhãn dán này được dùng để dán lên các object (đối tượng).
-
[Fluent python] Chapter 5. Data class Builders
Python cung cấp một số cách để xây dựng một
classđơn giản chỉ là tập hợp các trường dữ liệu (fields), với ít hoặc không có chức năng bổ sung. Mô hình đó được gọi là “data class“ - vàdata classeslà một trong những package hỗ trợ mô hình này. Chương này đề cập đến ba trình xây dựngclasskhác nhau mà bạn có thể sử dụng làm lối tắt để viếtdata class: -
[Fluent python] Chapter 4. Unicode Text versus bytes
Python 3 đã giới thiệu một sự phân biệt rõ ràng giữa chuỗi văn bản của con người (
Unicode text) và chuỗi các byte thô (raw bytes). Việc chuyển đổi ngầm định (implicit conversion) các chuỗi byte thành văn bản Unicode đã là quá khứ. Chương này đề cập đến các chuỗi Unicode, chuỗi nhị phân (binary sequences) và các mã hóa (encodings) được sử dụng để chuyển đổi giữa chúng. -
[Paper] Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation
Các mô hình ngôn ngữ lớn (LLM) cỡ vừa – với 7 tỷ hoặc 13 tỷ tham số – thể hiện hiệu suất dịch máy (MT) đầy hứa hẹn. Tuy nhiên, chúng không sánh được với hiệu suất của các mô hình dịch mã hóa-giải mã thông thường tiên tiến hoặc các LLM quy mô lớn hơn như GPT-4 (OpenAI, 2023). Trong nghiên cứu này, chúng tôi thu hẹp khoảng cách hiệu suất này.
-
[Fluent python] Chapter 3. Dictionaries and Sets
Chúng ta sử dụng dictionaries trong tất cả các chương trình Python. Nếu không trực tiếp trong code, thì gián tiếp bởi vì kiểu dict là một phần cơ bản trong cách triển khai của Python. Các thuộc tính của Class và instance, namespaces của module, và các keyword arguments của hàm là một số cấu trúc cốt lõi của Python được biểu diễn bằng dictionaries trong bộ nhớ.
__builtins__.__dict__lưu trữ tất cả các kiểu, đối tượng và hàm tích hợp sẵn. -
[Fluent python] Chapter 2. An array of sequences
Trước khi tạo ra Python, Guido là một người đóng góp cho ngôn ngữ ABC—một dự án nghiên cứu kéo dài 10 năm nhằm thiết kế một môi trường lập trình cho người mới bắt đầu. ABC đã giới thiệu nhiều ý tưởng mà bây giờ chúng ta coi là “Pythonic”: các thao tác chung trên các loại chuỗi khác nhau, các kiểu tuple và mapping tích hợp sẵn, cấu trúc bằng cách thụt lề, kiểu gõ mạnh mà không cần khai báo biến, và nhiều hơn nữa. Không phải ngẫu nhiên mà Python lại thân thiện với người dùng đến vậy.
-
[Fluent python] Chapter 1. The python data model
Khám phá thế giới cấu trúc dữ liệu Python! Note này sẽ hướng dẫn bạn về List, Tuple, Dictionary, Set và các khái niệm quan trọng như khả năng thay đổi, tham chiếu đối tượng. Cùng nhau nâng cao kỹ năng lập trình Python thông qua việc tổ chức và lưu trữ dữ liệu hiệu quả!
subscribe via RSS