Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 3 days, 12 hours назад
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

3 days, 12 hours назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

1 week, 6 days назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

2 weeks, 4 days назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

3 weeks, 4 days назад @ medium.com
Adopting Bazel for Web at Scale
Adopting Bazel for Web at Scale Adopting Bazel for Web at Scale

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

3 weeks, 5 days назад @ medium.com
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

3 weeks, 6 days назад @ medium.com
Automation Platform v2: Improving Conversational AI at Airbnb
Automation Platform v2: Improving Conversational AI at Airbnb Automation Platform v2: Improving Conversational AI at Airbnb

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

1 month, 1 week назад @ medium.com
Sandcastle: data/AI apps for everyone
Sandcastle: data/AI apps for everyone Sandcastle: data/AI apps for everyone

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

2 months, 2 weeks назад @ medium.com
Riverbed Data Hydration — Part 1
Riverbed Data Hydration — Part 1 Riverbed Data Hydration — Part 1

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

2 months, 4 weeks назад @ medium.com
Building Postcards for “Airbnb” Scale
Building Postcards for “Airbnb” Scale Building Postcards for “Airbnb” Scale

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

3 months, 1 week назад @ medium.com
Personal Data Classification
Personal Data Classification Personal Data Classification

An Important Foundation For Security, Privacy, and Compliance at AirbnbBy: Sam Kim, Alex Klimov, Woody Zhou, Sylvia Tomiyama, Aniket Arondekar, Ansuman AcharyaIntroductionAirbnb is built on trust. One key way we maintain trust with our community is by ensuring that personal data is handled with care, in a manner that meets security, privacy, and compliance requirements. Understanding where and what personal data exists is foundational to this.Over the past several years, we’ve built our own data classification system that adapts to the needs of our data ecosystem, to streamline our processes, and further unlock our ability to protect the data entrusted to Airbnb. This was made possible by m…

3 months, 3 weeks назад @ medium.com
Apache Flink® on Kubernetes
Apache Flink® on Kubernetes Apache Flink® on Kubernetes

Airbnb’s Use of A New Flink platform evolved from Apache Hadoop® YarnIntroductionAt Airbnb, Apache Flink was introduced in 2018 as a supplementary solution for stream processing. It ran alongside Apache Spark™ Streaming for several years before transitioning to become the primary stream processing platform. In this blog post, we will delve into the evolution of Flink architecture at Airbnb and compare our prior Hadoop Yarn platform with the current Kubernetes-based architecture. Additionally, we will discuss the efforts undertaken throughout the migration process and explore the challenges that arose during this journey. In the end we will summarize the impact, learnings along the way and f…

4 months, 1 week назад @ medium.com
How Airbnb Smoothly Upgrades React
How Airbnb Smoothly Upgrades React How Airbnb Smoothly Upgrades React

Incrementally modernizing our frontend infrastructure to roll out the latest React features without downgradesIntroductionAirbnb’s frontend recently reached a major milestone: all of our web surfaces have been upgraded from React 16 to React 18, the current major version of React¹. This was a big project for a product with many surfaces, including Guest and Host pages as well as many internal tools. To safely perform this upgrade, we created the React Upgrade System: reusable infrastructure that allows us to roll out new versions of React progressively across our monorepo and measure the results of the upgrade. In this blog post, we’ll discuss our upgrade philosophy, the system we created, …

4 months, 2 weeks назад @ medium.com
Rethinking Text Resizing on Web
Rethinking Text Resizing on Web Rethinking Text Resizing on Web

Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

6 months, 3 weeks назад @ medium.com
Animations: Bringing the Host Passport to Life on iOS
Animations: Bringing the Host Passport to Life on iOS Animations: Bringing the Host Passport to Life on iOS

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

7 months назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 3 weeks, 5 days назад
Netflix’s Distributed Counter Abstraction
Netflix’s Distributed Counter Abstraction Netflix’s Distributed Counter Abstraction

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

3 weeks, 5 days назад @ netflixtechblog.com
Investigation of a Workbench UI Latency Issue
Investigation of a Workbench UI Latency Issue Investigation of a Workbench UI Latency Issue

By: Hechao Li and Marcelo MaywormWith special thanks to our stunning colleagues Amer Ather, Itay Dafna, Luca Pozzi, Matheus Leão, and Ye Ji.OverviewAt Netflix, the Analytics and Developer Experience organization, part of the Data Platform, offers a product called Workbench. Workbench is a remote development workspace based on Titus that allows data practitioners to work with big data and machine learning use cases at scale. A common use case for Workbench is running JupyterLab Notebooks.Recently, several users reported that their JupyterLab UI becomes slow and unresponsive when running certain notebooks. This document details the intriguing process of debugging this issue, all the way from …

1 month, 3 weeks назад @ netflixtechblog.com
Introducing Netflix TimeSeries Data Abstraction Layer
Introducing Netflix TimeSeries Data Abstraction Layer Introducing Netflix TimeSeries Data Abstraction Layer

Rajiv Shringi Vinay Chella Kaidan Fullerton Oleksii Tkachuk Joey LynchIntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data Abstraction Layer and the Data Gateway Platform, both of which are integral to Netflix’s data architecture. The Key-Value Abstraction offers a flexible, scalable solution for storing and accessing structured key-value data, while the Data Gateway Platform provides essential infrastructure for protecting, c…

2 months назад @ netflixtechblog.com
Introducing Netflix’s Key-Value Data Abstraction Layer
Introducing Netflix’s Key-Value Data Abstraction Layer Introducing Netflix’s Key-Value Data Abstraction Layer

Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay ChellaIntroductionAt Netflix our ability to deliver seamless, high-quality, streaming experiences to millions of users hinges on robust, global backend infrastructure. Central to this infrastructure is our use of multiple online distributed databases such as Apache Cassandra, a NoSQL database known for its high availability and scalability. Cassandra serves as the backbone for a diverse array of use cases within Netflix, ranging from user sign-ups and storing viewing histories to supporting real-time analytics and live streaming.Over time as new key-value databases were introduced and service owners launched new use cases, we encounte…

2 months, 3 weeks назад @ netflixtechblog.com
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future
Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future Pushy to the Limit: Evolving Netflix’s WebSocket proxy for the future

By Karthik Yagna, Baskar Odayarkoil, and Alex EllisPushy is Netflix’s WebSocket server that maintains persistent WebSocket connections with devices running the Netflix application. This allows data to be sent to the device from backend services on demand, without the need for continually polling requests from the device. Over the last few years, Pushy has seen tremendous growth, evolving from its role as a best-effort message delivery service to be an integral part of the Netflix ecosystem. This post describes how we’ve grown and scaled Pushy to meet its new and future needs, as it handles hundreds of millions of concurrent WebSocket connections, delivers hundreds of thousands of messages p…

2 months, 4 weeks назад @ netflixtechblog.com
Noisy Neighbor Detection with eBPF
Noisy Neighbor Detection with eBPF Noisy Neighbor Detection with eBPF

By Jose Fernandez, Sebastien Dabdoub, Jason Kock, Artem TkachukThe Compute and Performance Engineering teams at Netflix regularly investigate performance issues in our multi-tenant environment. The first step is determining whether the problem originates from the application or the underlying infrastructure. One issue that often complicates this process is the "noisy neighbor" problem. On Titus, our multi-tenant compute platform, a "noisy neighbor" refers to a container or system service that heavily utilizes the server's resources, causing performance degradation in adjacent containers. We usually focus on CPU utilization because it is our workload's most frequent source of noisy neighbor …

2 months, 4 weeks назад @ netflixtechblog.com
Recommending for Long-Term Member Satisfaction at Netflix
Recommending for Long-Term Member Satisfaction at Netflix Recommending for Long-Term Member Satisfaction at Netflix

By Jiangwei Pan, Gary Tang, Henry Wang, and Justin BasilicoIntroductionOur mission at Netflix is to entertain the world. Our personalization algorithms play a crucial role in delivering on this mission for all members by recommending the right shows, movies, and games at the right time. This goal extends beyond immediate engagement; we aim to create an experience that brings lasting enjoyment to our members. Traditional recommender systems often optimize for short-term metrics like clicks or engagement, which may not fully capture long-term satisfaction. We strive to recommend content that not only engages members in the moment but also enhances their long-term satisfaction, which increases…

3 months, 1 week назад @ netflixtechblog.com
Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments
Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments Improve Your Next Experiment by Learning Better Proxy Metrics From Past Experiments

By Aurélien Bibaut, Winston Chou, Simon Ejdemyr, and Nathan KallusWe are excited to share our work on how to learn good proxy metrics from historical experiments at KDD 2024. This work addresses a fundamental question for technology companies and academic researchers alike: how do we establish that a treatment that improves short-term (statistically sensitive) outcomes also improves long-term (statistically insensitive) outcomes? Or, faced with multiple short-term outcomes, how do we optimally trade them off for long-term benefit?For example, in an A/B test, you may observe that a product change improves the click-through rate. However, the test does not provide enough signal to measure a c…

3 months, 2 weeks назад @ netflixtechblog.com
Investigation of a Cross-regional Network Performance Issue
Investigation of a Cross-regional Network Performance Issue Investigation of a Cross-regional Network Performance Issue

Hechao Li, Roger CruzCloud Networking TopologyNetflix operates a highly efficient cloud computing infrastructure that supports a wide array of applications essential for our SVOD (Subscription Video on Demand), live streaming and gaming services. Utilizing Amazon AWS, our infrastructure is hosted across multiple geographic regions worldwide. This global distribution allows our applications to deliver content more effectively by serving traffic closer to our customers. Like any distributed system, our applications occasionally require data synchronization between regions to maintain seamless service delivery.The following diagram shows a simplified cloud network topology for cross-region tra…

4 months назад @ netflixtechblog.com
Java 21 Virtual Threads - Dude, Where’s My Lock?
Java 21 Virtual Threads - Dude, Where’s My Lock? Java 21 Virtual Threads - Dude, Where’s My Lock?

Getting real with virtual threadsBy Vadim Filanovsky, Mike Huang, Danny Thomas and Martin ChalupaIntroNetflix has an extensive history of using Java as our primary programming language across our vast fleet of microservices. As we pick up newer versions of Java, our JVM Ecosystem team seeks out new language features that can improve the ergonomics and performance of our systems. In a recent article, we detailed how our workloads benefited from switching to generational ZGC as our default garbage collector when we migrated to Java 21. Virtual threads is another feature we are excited to adopt as part of this migration.For those new to virtual threads, they are described as “lightweight threa…

4 months, 1 week назад @ netflixtechblog.com
Maestro: Netflix’s Workflow Orchestrator
Maestro: Netflix’s Workflow Orchestrator Maestro: Netflix’s Workflow Orchestrator

By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali NorwoodTL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star.What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale workflows such as data pipelines and machine learning model training pipelines. It oversees the entire lifecycle of a workflow, from start to finish, including retries, queuing, task distribution to compute engines, etc.. Users can package their business logic in various formats such as Docker images…

4 months, 2 weeks назад @ netflixtechblog.com
Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding
Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding

Applying Quality of Service techniques at the application levelAnirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin FedorkaIntroductionIn November 2020, we introduced the concept of prioritized load shedding at the API gateway level in our blog post, Keeping Netflix Reliable Using Prioritized Load Shedding. Today, we’re excited to dive deeper into how we’ve extended this strategy to the individual service level, focusing on the video streaming control plane and data plane, to further enhance user experience and system resilience.The Evolution of Load Shedding at NetflixAt Netflix, ensuring a seamless viewing experience for millions of users simultaneously is paramoun…

5 months, 2 weeks назад @ netflixtechblog.com
A Recap of the Data Engineering Open Forum at Netflix
A Recap of the Data Engineering Open Forum at Netflix A Recap of the Data Engineering Open Forum at Netflix

A summary of sessions at the first Data Engineering Open Forum at Netflix on April 18th, 2024The Data Engineering Open Forum at Netflix on April 18th, 2024.At Netflix, we aspire to entertain the world, and our data engineering teams play a crucial role in this mission by enabling data-driven decision-making at scale. Netflix is not the only place where data engineers are solving challenging problems with creative solutions. On April 18th, 2024, we hosted the inaugural Data Engineering Open Forum at our Los Gatos office, bringing together data engineers from various industries to share, learn, and connect.At the conference, our speakers share their unique perspectives on modern developments,…

5 months, 3 weeks назад @ netflixtechblog.com
Video annotator: building video classifiers using vision-language models and active learning
Video annotator: building video classifiers using vision-language models and active learning Video annotator: building video classifiers using vision-language models and active learning

Video annotator: a framework for efficiently building video classifiers using vision-language models and active learningAmir Ziai, Aneesh Vartakavi, Kelli Griggs, Eugene Lok, Yvonne Jukes, Alex Alonso, Vi Iyengar, Anna Pulidohttps://medium.com/media/02a5bbf97c619182adba24b45e42edcb/hrefIntroductionProblemHigh-quality and consistent annotations are fundamental to the successful development of robust machine learning models. Conventional techniques for training machine learning classifiers are resource intensive. They involve a cycle where domain experts annotate a dataset, which is then transferred to data scientists to train models, review outcomes, and make changes. This labeling process t…

5 months, 3 weeks назад @ netflixtechblog.com
Round 2: A Survey of Causal Inference Applications at Netflix
Round 2: A Survey of Causal Inference Applications at Netflix Round 2: A Survey of Causal Inference Applications at Netflix

At Netflix, we want to ensure that every current and future member finds content that thrills them today and excites them to come back for more. Causal inference is an essential part of the value that Data Science and Engineering adds towards this mission. We rely heavily on both experimentation and quasi-experimentation to help our teams make the best decisions for growing member joy.Building off of our last successful Causal Inference and Experimentation Summit, we held another week-long internal conference this year to learn from our stunning colleagues. We brought together speakers from across the business to learn about methodological developments and innovative applications.We covered…

6 months назад @ netflixtechblog.com
Pinterest Engineering
последний пост 5 days, 8 hours назад
How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability
How Pinterest Leverages Honeycomb to Enhance CI Observability and 
Improve CI Build Stability How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

5 days, 8 hours назад @ medium.com
Change Data Capture at Pinterest
Change Data Capture at Pinterest Change Data Capture at Pinterest

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

2 weeks, 6 days назад @ medium.com
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

1 month, 2 weeks назад @ medium.com
Ray Batch Inference at Pinterest (Part 3)
Ray Batch Inference at Pinterest (Part 3) Ray Batch Inference at Pinterest (Part 3)

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

1 month, 4 weeks назад @ medium.com
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack
Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack Structured DataStore (SDS): Multi-model Data Management With a Unified Serving Stack

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |Part 1: HBase Deprecation at Pinterest & Part 2: TiDB Adoption at PinterestIn this blog, we will show how the team transitioned from supporting multiple query serving stacks to provide different data models to a brand new data serving platform with a unified multi model query serving stack called Structured DataStore (SDS).As a data serving platform, SDS is responsible for various aspects of the data lifecycle management, including:Online Query Serving, which offers multiple data models such as graph, table, document, etc. at 1–2 digit ms p99 latency and with high availability (99.9…

2 months, 1 week назад @ medium.com
Feature Caching for Recommender Systems w/ Cachelib
Feature Caching for Recommender Systems w/ Cachelib Feature Caching for Recommender Systems w/ Cachelib

Li Tang; Sr. Software Engineer | Saurabh Vishwas Joshi; Sr. Staff Software Engineer | Zhiyuan Zhang; Sr. Manager, Engineering |At Pinterest, we operate a large-scale online machine learning inference system, where feature caching plays a critical role to achieve optimal efficiency. In this blog post, we will discuss our decision to adopt Cachelib project by Meta Open Source (“Cachelib”) and how we have built a high-throughput, flexible feature cache by leveraging and expanding upon the capabilities of Cachelib.BackgroundRecommender systems are fundamental to Pinterest’s mission to inspire users to create a life they love. At a high level, our recommender models predict user and content inte…

2 months, 2 weeks назад @ medium.com
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach
Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach Pinterest Tiered Storage for Apache Kafka®️: A Broker-Decoupled Approach

Jeff Xiang | Senior Software Engineer, Logging Platform; Vahid Hashemian | Staff Software Engineer, Logging PlatformWhen it comes to PubSub solutions, few have achieved higher degrees of ubiquity, community support, and adoption than Apache Kafka®️, which has become the industry standard for data transportation at large scale. At Pinterest, petabytes of data are transported through PubSub pipelines every day, powering foundational systems such as AI training, content safety and relevance, and real-time ad bidding, bringing inspiration to hundreds of millions of Pinners worldwide. Given the continuous growth in PubSub-dependent use cases and organic data volume, it became paramount that PubS…

2 months, 3 weeks назад @ medium.com
Meet Pinterest’s Internship Mentors of the Year
Meet Pinterest’s Internship Mentors of the Year Meet Pinterest’s Internship Mentors of the Year

Pinterest Engineering TeamPinterest employees in San Francisco office standing together with the Mentor of the Year 2024 AwardOur internship program truly inspires employees to bring their best self to work every day. Our program has mentors across the business that help interns develop their skills to create a career they love. Our Mentors of the Year have shown exceptional dedication in guiding and supporting our interns on their professional journeys. Discover how being a mentor has helped them advance their own careers at Pinterest and find out what inspires them.In this blog, we’re joined by Irena Lee, Software Engineer I; Ricardo Casilimas, Software Engineer II; Lily Liu, Sr. Data Sci…

2 months, 4 weeks назад @ medium.com
Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)
Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3) Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 3)Monil Mukesh Sanghavi; Software Engineer, Real Time Analytics Team | Ming-May Hu; Software Engineer, Real Time Analytics Team | Xiao Li; Software Engineer, Real Time Analytics Team | Zhenxiao Luo; Software Engineer, Real Time Analytics Team | Kapil Bajaj; Manager, Real Time Analytics Team |At Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database that provides cost efficient and low latency storage for metrics data. Underneath, Goku is not a …

3 months назад @ medium.com
Improving ABR Video Performance at Pinterest
Improving ABR Video Performance at Pinterest Improving ABR Video Performance at Pinterest

Zhihao Hong; Staff Software Engineer | Emma Adams; Sr. Software Engineer | Jeremy Muhia; Sr. Software Engineer | Blossom Yin; Software Engineer II | Melissa He; Sr. Software Engineer |SummaryVideo content has emerged as a favored format for people to discover inspirations at Pinterest. In this blog post, we will outline recent enhancements made to the Adaptive Bitrate (ABR) video performance, as well as its positive impact on user engagement.Terms:ABR: An acronym for Adaptive Bitrate (ABR) Streaming protocol.HLS: HTTP live streaming (HLS) is an ABR protocol developed by Apple and supported both live and on-demand streaming.DASH: Dynamic Adaptive Streaming over HTTP (DASH) is another ABR pro…

3 months, 1 week назад @ medium.com
Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2)
Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2) Redesigning Pinterest’s Ad Serving Systems with Zero Downtime (part 2)

Ning Zhang; Sr. Technical Program Manager | Ang Xu; Principal Machine Learning Engineer | Claire Liu; Staff Software Engineer | Haichen Liu; Staff Software Engineer | Yiran Zhao; Staff Software Engineer | Haoyu He; Sr. Software Engineer | Sergei Radutnuy; Sr. Machine Learning Engineer | Di An; Sr. Software Engineer | Danyal Raza; Sr. Software Engineer | Xuan Chen; Sr. Software Engineer | Chi Zhang; Sr. Software Engineer | Adam Winstanley; Staff Software Engineer | Johnny Xie; Sr. Staff Software Engineer | Simeng Qu; Software Engineer II | Nishant Roy; Manager II, Engineering | Chengcheng Hu; Sr. Director, Engineering |In the first part of the post, we introduced the motivations on why we de…

3 months, 2 weeks назад @ medium.com
Onboarding as a Web Engineer @ Pinterest
Onboarding as a Web Engineer @ Pinterest Onboarding as a Web Engineer @ Pinterest

Jordan Cutler; Sr. Sofware Engineer | Rebecca Yi; Sr. Sofware Engineer |Hi there! 👋 We’re Rebecca and Jordan, two Senior engineers who onboarded to Pinterest the same day as Web Engineers. We’ll share with you what onboarding at Pinterest is like, from the learning-packed first week to launching our first project two months later. Plus, we promise to include a healthy dose of our favorite Pinterest puns 😃Week 1Rebecca here 👋My first week at Pinterest was a rich blend of conventional onboarding information with a nice touch of social aspects to help me feel onboarded.We kicked off orientation with “Pintro” sessions (we warned you that there would be puns!), which informed us not only about w…

3 months, 3 weeks назад @ medium.com
NEP: Notification System and Relevance
NEP: Notification System and Relevance NEP: Notification System and Relevance

Lin Zhu; Staff Machine Learning Engineer | Eric Tam; Staff Software Engineer | Yuxiang Wang; Staff Machine Learning Engineer |Importance of NotificationsNotifications (e.g. email, push, in-app messages) play an important role in driving user retention. In our previous system, which operated on a daily budget allocation model, the system relied on predicting daily budgets for individual users on a daily basis, constraining the flexibility and responsiveness required for dynamic user engagement and content changes. Notification Event Processor (NEP) is a next generation notification system developed at Pinterest, offering the flexibility to process and make decisions to send notifications in …

4 months назад @ medium.com
Delivering Faster Analytics at Pinterest
Delivering Faster Analytics at Pinterest Delivering Faster Analytics at Pinterest

Kapil Bajaj; Sr. Manager, Engineering | Zhenxiao Luo; Sr. Staff Software Engineer | Yi Yang; Sr. Software Engineer | Saahil Barai; Software Engineer I | Ming-May Hu; Software Engineer I |IntroductionPinterest is a visual discovery platform where people can find ideas like recipes, home and style inspiration, and much more. The platform offers its partners shopping capabilities as well as a significant advertising opportunity with 500+ million monthly active users. Advertisers can purchase ads directly on Pinterest or through partnerships with advertising agencies. Due to our huge scale, advertisers get an opportunity to learn about their Pins and their interaction with Pinterest users from …

4 months, 1 week назад @ medium.com
TiDB Adoption at Pinterest
TiDB Adoption at Pinterest TiDB Adoption at Pinterest

Authors: Alberto Ordonez Pereira; Senior Staff Software Engineer | Lianghong Xu; Senior Manager, Engineering |This is the second part of a three series and focuses on how we selected the new storage technology that ended up replacing HBase.MotivationHBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come a…

4 months, 3 weeks назад @ medium.com
Facebook
последний пост 6 days, 13 hours назад
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

6 days, 13 hours назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

2 weeks, 5 days назад @ engineering.fb.com
OCP Summit 2024: The open future of networking hardware for AI
OCP Summit 2024: The open future of networking hardware for AI

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

1 month, 3 weeks назад @ engineering.fb.com
Meta’s open AI hardware vision
Meta’s open AI hardware vision

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

1 month, 3 weeks назад @ engineering.fb.com
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

2 months назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

2 months, 4 weeks назад @ engineering.fb.com
How PyTorch powers AI training and inference
How PyTorch powers AI training and inference

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
Inside the hardware and co-design of MTIA
Inside the hardware and co-design of MTIA

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
Bringing Llama 3 to life
Bringing Llama 3 to life

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
Aparna Ramani discusses the future of AI infrastructure
Aparna Ramani discusses the future of AI infrastructure

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

3 months, 2 weeks назад @ engineering.fb.com
How Meta animates AI-generated images at scale
How Meta animates AI-generated images at scale

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

3 months, 3 weeks назад @ engineering.fb.com
A RoCE network for distributed AI training at scale
A RoCE network for distributed AI training at scale

AI networks play an important role in interconnecting tens of thousands of GPUs together, forming the foundational infrastructure for training, enabling large models with hundreds of billions of parameters such as LLAMA 3.1 405B. This week at ACM SIGCOMM 2024 in Sydney, Australia, we are sharing details on the network we have built at Meta [...]

Read More...

The post A RoCE network for distributed AI training at scale appeared first on Engineering at Meta.

4 months назад @ engineering.fb.com
Meet Caddy – Meta’s next-gen mixed reality CAD software
Meet Caddy – Meta’s next-gen mixed reality CAD software

What happens when a team of mechanical engineers get tired of looking at flat images of 3D models over Zoom? Meet the team behind Caddy, a new CAD app for mixed reality. They join Pascal Hartig (@passy) on the Meta Tech Podcast to talk about teaching themselves to code, disrupting the CAD software space, and [...]

Read More...

The post Meet Caddy – Meta’s next-gen mixed reality CAD software appeared first on Engineering at Meta.

4 months, 3 weeks назад @ engineering.fb.com
AI Lab: The secrets to keeping machine learning engineers moving fast
AI Lab: The secrets to keeping machine learning engineers moving fast

The key to developer velocity across AI lies in minimizing time to first batch (TTFB) for machine learning (ML) engineers. AI Lab is a pre-production framework used internally at Meta. It allows us to continuously A/B test common ML workflows – enabling proactive improvements and automatically preventing regressions on TTFB. AI Lab prevents TTFB regressions [...]

Read More...

The post AI Lab: The secrets to keeping machine learning engineers moving fast appeared first on Engineering at Meta.

4 months, 3 weeks назад @ engineering.fb.com
Taming the tail utilization of ads inference at Meta scale
Taming the tail utilization of ads inference at Meta scale

Tail utilization is a significant system issue and a major factor in overload-related failures and low compute utilization. The tail utilization optimizations at Meta have had a profound impact on model serving capacity footprint and reliability. Failure rates, which are mostly timeout errors, were reduced by two-thirds; the compute footprint delivered 35% more work for [...]

Read More...

The post Taming the tail utilization of ads inference at Meta scale appeared first on Engineering at Meta.

5 months назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 week, 6 days назад
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

1 week, 6 days назад @ engineering.atspotify.com
How We Generated Millions of Content Annotations
How We Generated Millions of Content Annotations

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

1 month, 2 weeks назад @ engineering.atspotify.com
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

3 months назад @ engineering.atspotify.com
Unlocking Insights with High-Quality Dashboards at Scale
Unlocking Insights with High-Quality Dashboards at Scale

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

3 months, 1 week назад @ engineering.atspotify.com
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study
Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study

Car rides have become connected and interactive these days with drivers jamming to music or catching up on podcasts or [...]

The post Technical Decision-Making in a Fragmented Space: Spotify In-Car Case Study appeared first on Spotify Engineering.

5 months назад @ engineering.atspotify.com
Data Platform Explained Part II
Data Platform Explained Part II

Check out Data Platform Explained Part I, where we started sharing the journey of building a data platform, its building [...]

The post Data Platform Explained Part II appeared first on Spotify Engineering.

6 months, 2 weeks назад @ engineering.atspotify.com
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

6 months, 3 weeks назад @ engineering.atspotify.com
Supercharged Developer Portals
Supercharged Developer Portals

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

7 months, 1 week назад @ engineering.atspotify.com
Data Platform Explained
Data Platform Explained

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

8 months, 1 week назад @ engineering.atspotify.com
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

9 months, 1 week назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 4 months назад
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

4 months назад @ snowflake.com
Continued Investments in Price Performance and Faster Top-K Queries
Continued Investments in Price Performance and Faster Top-K Queries

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

4 months назад @ snowflake.com
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

4 months назад @ snowflake.com
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

4 months, 1 week назад @ snowflake.com
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

4 months, 1 week назад @ snowflake.com
Accelerating Academic Medical Research with an AI-Driven Data Strategy
Accelerating Academic Medical Research with an AI-Driven Data Strategy

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

4 months, 1 week назад @ snowflake.com
Polaris Catalog Is Now Open Source
Polaris Catalog Is Now Open Source

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

4 months, 1 week назад @ snowflake.com
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

4 months, 1 week назад @ snowflake.com
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

4 months, 2 weeks назад @ snowflake.com
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

4 months, 2 weeks назад @ snowflake.com
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

4 months, 2 weeks назад @ snowflake.com
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

4 months, 2 weeks назад @ snowflake.com
Getting the Most From Your Modern Data Platform: A Three-Phase Approach
Getting the Most From Your Modern Data Platform: A Three-Phase Approach

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

4 months, 2 weeks назад @ snowflake.com
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

4 months, 3 weeks назад @ snowflake.com
Snowflake’s Summer of Sports and AI
Snowflake’s Summer of Sports and AI

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

4 months, 3 weeks назад @ snowflake.com
Smart Data
последний пост 12 часов назад
Data Analytics is Crucial for Scaling SEO
Data Analytics is Crucial for Scaling SEO

Data analytics can be very helpful for companies trying to improve their SEO.

12 часов назад @ smartdatacollective.com
Integrating BPM Software Into Your Data Strategy
Integrating BPM Software Into Your Data Strategy

BPA software is great for data-driven companies that are trying to improve their bottom line.

4 days, 9 hours назад @ smartdatacollective.com
How China’s Zipcode System Fuels Business Intelligence
How China’s Zipcode System Fuels Business Intelligence

China has a unique zip code system, which makes it easier to develop great business intelligence models.

1 week, 1 day назад @ smartdatacollective.com
Why Rehab Centers Need Data Analytics for SEO
Why Rehab Centers Need Data Analytics for SEO

Data analytics can help rehab providers improve their local SEO significantly, which will boost their bottom lines.

1 week, 4 days назад @ smartdatacollective.com
Can AI Help with Regional Nuances in International SEO?
Can AI Help with Regional Nuances in International SEO?

AI is great for helping to improve your SEO strategy, especially when you are trying to reach customers across different regions.

2 weeks, 4 days назад @ smartdatacollective.com
Can AI Help You Build Better Business Relationships?
Can AI Help You Build Better Business Relationships?

AI technology can play an integral role in building stronger business relationships in 2024.

2 weeks, 5 days назад @ smartdatacollective.com
Using AI to Prevent Unauthorized Access in Complex IT Ecosystems
Using AI to Prevent Unauthorized Access in Complex IT Ecosystems

AI is invaluable for cybersecurity professionals trying to help stop unauthorized access to their complex IT ecosystems.

2 weeks, 5 days назад @ smartdatacollective.com
Why Every Business Should Consider Pricing Analytics to Maximize Revenue
Why Every Business Should Consider Pricing Analytics to Maximize Revenue

Coming up with the right pricing strategy is crucial for any business, so it is a good idea to use data analytics to help.

3 weeks, 2 days назад @ smartdatacollective.com
Data Analytics Helps TikTok Marketers Boost Reach
Data Analytics Helps TikTok Marketers Boost Reach

Data analytics can be very helpful for brands trying to get more reach on TikTok.

3 weeks, 5 days назад @ smartdatacollective.com
Can AI Help You Use Tradelines to Build Your Credit?
Can AI Help You Use Tradelines to Build Your Credit?

AI has made tradelines more accessible which helps people improve their credit scores.

1 month назад @ smartdatacollective.com
Autotask and ConnectWise Prove the Benefits of AI in IT
Autotask and ConnectWise Prove the Benefits of AI in IT

Autotask and Connectwise are two amazing AI tools that can help with MSPs.

1 month, 1 week назад @ smartdatacollective.com
AI Reduces Pedestrian Collisions With Smart Crosswalks
AI Reduces Pedestrian Collisions With Smart Crosswalks

Smart crosswalks are one of the latest examples of the ways that AI is making us safer.

1 month, 2 weeks назад @ smartdatacollective.com
How Leaders Can Unlock AI’s Full Potential for Business Success
How Leaders Can Unlock AI’s Full Potential for Business Success

These guidelines will play an important role in helping businesses thrive with AI.

1 month, 2 weeks назад @ smartdatacollective.com
RAG – The Newest Advance in AI Is All About Context
RAG – The Newest Advance in AI Is All About Context

RAG is a great new breakthrough in AI that is changing the future of contextual data management.

1 month, 2 weeks назад @ smartdatacollective.com
The Future of Trusted Data Management: Striking a Balance between AI and Human Collaboration
The Future of Trusted Data Management: Striking a Balance between AI and Human Collaboration

Discover how striking a balance between AI and human collaboration shapes the future of trusted data management for enhanced security and efficiency.

1 month, 3 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 4 months, 3 weeks назад
How to Become a Data Engineer (2024 Guide)
How to Become a Data Engineer (2024 Guide)

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

4 months, 3 weeks назад @ weclouddata.com
Real Estate Price Prediction: Harnessing Machine Learning
Real Estate Price Prediction: Harnessing Machine Learning

Discover how machine learning revolutionizes real estate price prediction, overcoming biases and empowering data-driven decisions. Harness AI for accurate market analysis and secure your dream home investment.

The post Real Estate Price Prediction: Harnessing Machine Learning appeared first on WeCloudData.

4 months, 3 weeks назад @ weclouddata.com
How to Become a Data Engineer (2024 Guide)
How to Become a Data Engineer (2024 Guide)

Data engineering is a hot topic in recent years, mainly due to the rise of artificial intelligence, big data, and data science. Every enterprise is transforming in the direction of digitalization. For enterprises, data is full of infinite value. For all the data requirements of organizations, the first thing they need to do is to […]

The post How to Become a Data Engineer (2024 Guide) appeared first on WeCloudData.

5 months, 2 weeks назад @ weclouddata.com
Using Machine Learning to Distinguish Between Spam and Legitimate Emails
Using Machine Learning to Distinguish Between Spam and Legitimate Emails

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

8 months, 3 weeks назад @ weclouddata.com
Navigating your way: Traffic Prediction with Machine Learning
Navigating your way: Traffic Prediction with Machine Learning

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

8 months, 3 weeks назад @ weclouddata.com
Analyzing Remote Work Opportunities in Today’s North America Job Market
Analyzing Remote Work Opportunities in Today’s North America Job Market

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

9 months назад @ weclouddata.com
Energy Management: Solar Power Generation Forecasting
Energy Management: Solar Power Generation Forecasting

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

9 months, 1 week назад @ weclouddata.com
Smart Agriculture: How Machine Learning is Helping Farming
Smart Agriculture: How Machine Learning is Helping Farming

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

9 months, 1 week назад @ weclouddata.com
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

9 months, 2 weeks назад @ weclouddata.com
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

9 months, 2 weeks назад @ weclouddata.com
Machine Learning in Entertainment: Customizing Movie Recommendations
Machine Learning in Entertainment: Customizing Movie Recommendations

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

9 months, 4 weeks назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост None
Jesse Anderson Jesse Anderson
последний пост 1 month, 1 week назад
Unapologetically Technical Episode 14 – Cliff Crosland
Unapologetically Technical Episode 14 – Cliff Crosland

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

1 month, 1 week назад @ jesse-anderson.com
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 2 months, 3 weeks назад @ jesse-anderson.com
Data Teams Survey 2024 Results
Data Teams Survey 2024 Results 3 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 13 – Jeff Chou
Unapologetically Technical Episode 13 – Jeff Chou

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

3 months, 3 weeks назад @ jesse-anderson.com
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis
Unpacking the Latest Streaming Announcements: A Comprehensive Analysis

https://youtu.be/NaOwMim240Y This video covers the latest announcements from StreamNative, Confluent, and WarpStream. We discuss communication protocols, how they’re used, and what they mean for you. We also discuss the various systems using Kafka’s protocol. Finally, we discuss the announcements about writing to Iceberg and DeltaLake directly from the broker and what that means for costs […]

The post Unpacking the Latest Streaming Announcements: A Comprehensive Analysis first appeared on Jesse Anderson.

5 months, 4 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 12 – AJ Hunyady
Unapologetically Technical Episode 12 – AJ Hunyady

https://youtu.be/3L-QvVca-As Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview AJ Hunyady, the founder and CEO of InfinyOn. We talked about his early experiences with networking systems, such as creating firewalls, email, and web servers, and how those prepared him for data work. We chatted about the various implications […]

The post Unapologetically Technical Episode 12 – AJ Hunyady first appeared on Jesse Anderson.

6 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 11 – Hubert Dulay
Unapologetically Technical Episode 11 – Hubert Dulay

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

6 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 10 – Michael Drogalis
Unapologetically Technical Episode 10 – Michael Drogalis 8 months назад @ jesse-anderson.com
Why Most Data Projects Fail & How to Avoid It at GOTO 2023
Why Most Data Projects Fail & How to Avoid It at GOTO 2023

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

9 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 9 – Gunnar Morling
Unapologetically Technical Episode 9 – Gunnar Morling

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

9 months, 3 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 2 days, 6 hours назад
Accelerate your generative AI application development with Amazon Bedrock Knowledge Bases Quick Create and Amazon Aurora Serverless
Accelerate your generative AI application development with Amazon Bedrock Knowledge Bases Quick Create and Amazon Aurora Serverless

In this post, we look at two capabilities in Amazon Bedrock Knowledge Bases that make it easier to build RAG workflows with Amazon Aurora Serverless v2 as the vector store. The first capability helps you easily create an Aurora Serverless v2 knowledge base to use with Amazon Bedrock and the second capability enables you to automate deploying your RAG workflow across environments.

2 days, 6 hours назад @ aws.amazon.com
Prevent transaction ID wraparound by using postgres_get_av_diag() for monitoring autovacuum
Prevent transaction ID wraparound by using postgres_get_av_diag() for monitoring autovacuum

In this post, we introduce postgres_get_av_diag(), a new function available in RDS for PostgreSQL to monitor aggressive autovacuum blockers. By using this function, you can identify and address performance and availability risks through actionable insights provided by postgres_get_av_diag().

2 days, 9 hours назад @ aws.amazon.com
From caching to real-time analytics: Essential use cases for Amazon ElastiCache for Valkey
From caching to real-time analytics: Essential use cases for Amazon ElastiCache for Valkey

Valkey is an open-source, distributed, in-memory key-value data store that offers high-performance data retrieval and storage capabilities, making it an ideal choice for scalable, low-latency modern application development. Originating as a fork of Redis OSS following recent licensing changes, Valkey maintains full compatibility with its predecessor while providing high performance alternative for its developers. Valkey […]

2 days, 9 hours назад @ aws.amazon.com
Automate pre-checks for your Amazon RDS for MySQL major version upgrade
Automate pre-checks for your Amazon RDS for MySQL major version upgrade

Amazon Relational Database Service (Amazon RDS) for MySQL currently supports a variety of Community MySQL major versions including 5.7, 8.0, and 8.4 which present many different features and bug fixes. Upgrading from one major version to another requires careful consideration and planning. For a complete list of compatible major versions, see Supported MySQL major versions […]

2 days, 9 hours назад @ aws.amazon.com
Mistral-NeMo-Instruct-2407 and Mistral-NeMo-Base-2407 are now available on SageMaker JumpStart
Mistral-NeMo-Instruct-2407 and Mistral-NeMo-Base-2407 are now available on SageMaker JumpStart

Today, we are excited to announce that Mistral-NeMo-Base-2407 and Mistral-NeMo-Instruct-2407 large language models from Mistral AI that excel at text generation, are available for customers through Amazon SageMaker JumpStart. In this post, we walk through how to discover, deploy and use the Mistral-NeMo-Instruct-2407 and Mistral-NeMo-Base-2407 models for a variety of real-world use cases.

2 days, 12 hours назад @ aws.amazon.com
Advancing AI trust with new responsible AI tools, capabilities, and resources
Advancing AI trust with new responsible AI tools, capabilities, and resources

With trust as a cornerstone of AI adoption, we are excited to announce at AWS re:Invent 2024 new responsible AI tools, capabilities, and resources that enhance the safety, security, and transparency of our AI services and models and help support customers’ own responsible AI journeys.

3 days, 7 hours назад @ aws.amazon.com
Deploy RAG applications on Amazon SageMaker JumpStart using FAISS
Deploy RAG applications on Amazon SageMaker JumpStart using FAISS

In this post, we show how to build a RAG application on Amazon SageMaker JumpStart using Facebook AI Similarity Search (FAISS).

3 days, 8 hours назад @ aws.amazon.com
How REA Group approaches Amazon MSK cluster capacity planning
How REA Group approaches Amazon MSK cluster capacity planning

REA Group, a digital real estate business, uses Amazon Managed Streaming for Apache Kafka (Amazon MSK) and a data streaming platform called Hydro to efficiently share and access large amounts of data across multiple domains and services. This approach allows REA Group to maintain optimal performance and cost-efficiency while scaling to meet growing user demands. In this post, they share their approach to MSK cluster capacity planning.

3 days, 12 hours назад @ aws.amazon.com
Speed up your cluster procurement time with Amazon SageMaker HyperPod training plans
Speed up your cluster procurement time with Amazon SageMaker HyperPod training plans

In this post, we demonstrate how you can use Amazon SageMaker HyperPod training plans, to bring down your training cluster procurement wait time. We guide you through a step-by-step implementation on how you can use the (AWS CLI) or the AWS Management Console to find, review, and create optimal training plans for your specific compute and timeline needs. We further guide you through using the training plan to submit SageMaker training jobs or create SageMaker HyperPod clusters.

3 days, 12 hours назад @ aws.amazon.com
Concurrency control in Amazon Aurora DSQL
Concurrency control in Amazon Aurora DSQL

In this post, we dive deep into concurrency control, providing valuable insights into crafting efficient transaction patterns and presenting examples that demonstrate effective solutions to common concurrency challenges. We also include a sample code that illustrates how to implement retry patterns for seamlessly managing concurrency control exceptions in Amazon Aurora DSQL (DSQL).

4 days, 8 hours назад @ aws.amazon.com
Simplify data access for your enterprise using Amazon SageMaker Lakehouse
Simplify data access for your enterprise using Amazon SageMaker Lakehouse

Amazon SageMaker Lakehouse offers a unified solution for enterprise data access, combining data from warehouses and lakes. This post demonstrates how SageMaker Lakehouse integrates scattered data sources, enabling secure enterprise-wide access, and allowing teams to use their preferred tools for predicting and analyzing customer churn. The solution involves multiple data sources, including Amazon S3, Amazon Redshift, and AWS Glue Data Catalog, with AWS Lake Formation managing permissions.

4 days, 10 hours назад @ aws.amazon.com
Amazon Bedrock Marketplace now includes NVIDIA models: Introducing NVIDIA Nemotron-4 NIM microservices
Amazon Bedrock Marketplace now includes NVIDIA models: Introducing NVIDIA Nemotron-4 NIM microservices

At AWS re:Invent 2024, we are excited to introduce Amazon Bedrock Marketplace. This a revolutionary new capability within Amazon Bedrock that serves as a centralized hub for discovering, testing, and implementing foundation models (FMs). In this post, we discuss the advantages and capabilities of Amazon Bedrock Marketplace and Nemotron models, and how to get started.

4 days, 11 hours назад @ aws.amazon.com
Enforce fine-grained access control on data lake tables using AWS Glue 5.0 integrated with AWS Lake Formation
Enforce fine-grained access control on data lake tables using AWS Glue 5.0 integrated with AWS Lake Formation

AWS Glue 5.0 supports fine-grained access control (FGAC) based on your policies defined in AWS Lake Formation. FGAC enables you to granularly control access to your data lake resources at the table, column, and row levels. This post demonstrates how to enforce FGAC on AWS Glue 5.0 through Lake Formation permissions.

4 days, 11 hours назад @ aws.amazon.com
Use open table format libraries on AWS Glue 5.0 for Apache Spark
Use open table format libraries on AWS Glue 5.0 for Apache Spark

Open table formats are emerging in the rapidly evolving domain of big data management, fundamentally altering the landscape of data storage and analysis. In earlier posts, we discussed AWS Glue 5.0 for Apache Spark. In this post, we highlight notable updates on Iceberg, Hudi, and Delta Lake in AWS Glue 5.0.

4 days, 11 hours назад @ aws.amazon.com
Introducing AWS Glue 5.0 for Apache Spark
Introducing AWS Glue 5.0 for Apache Spark

Today, we are launching AWS Glue 5.0, a new version of AWS Glue that accelerates data integration workloads in AWS. AWS Glue 5.0 upgrades the Spark engines to Apache Spark 3.5.2 and Python 3.11, giving you newer Spark and Python releases so you can develop, run, and scale your data integration workloads and get insights faster. This post describes what’s new in AWS Glue 5.0, performance improvements, key highlights on Spark and related libraries, and how to get started on AWS Glue 5.0.

4 days, 11 hours назад @ aws.amazon.com
AWS
последний пост 2 days, 6 hours назад
Real value, real time: Production AI with Amazon SageMaker and Tecton
Real value, real time: Production AI with Amazon SageMaker and Tecton

In this post, we discuss how Amazon SageMaker and Tecton work together to simplify the development and deployment of production-ready AI applications, particularly for real-time use cases like fraud detection. The integration enables faster time to value by abstracting away complex engineering tasks, allowing teams to focus on building features and use cases while providing a streamlined framework for both offline training and online serving of ML models.

4 days, 11 hours назад @ aws.amazon.com
Read and write S3 Iceberg table using AWS Glue Iceberg Rest Catalog from Open Source Apache Spark
Read and write S3 Iceberg table using AWS Glue Iceberg Rest Catalog from Open Source Apache Spark

In this post, we will explore how to harness the power of Open source Apache Spark and configure a third-party engine to work with AWS Glue Iceberg REST Catalog. The post will include details on how to perform read/write data operations against Amazon S3 tables with AWS Lake Formation managing metadata and underlying data access using temporary credential vending.

4 days, 11 hours назад @ aws.amazon.com
Author visual ETL flows on Amazon SageMaker Unified Studio (preview)
Author visual ETL flows on Amazon SageMaker Unified Studio (preview)

Amazon SageMaker Unified Studio (preview) provides an integrated data and AI development environment within Amazon SageMaker. This post shows how you can build a low-code and no-code (LCNC) visual ETL flow that enables seamless data ingestion and transformation across multiple data sources.

4 days, 11 hours назад @ aws.amazon.com
Use Amazon Bedrock tooling with Amazon SageMaker JumpStart models
Use Amazon Bedrock tooling with Amazon SageMaker JumpStart models

In this post, we explore how to deploy AI models from SageMaker JumpStart and use them with Amazon Bedrock's powerful features. Users can combine SageMaker JumpStart's model hosting with Bedrock's security and monitoring tools. We demonstrate this using the Gemma 2 9B Instruct model as an example, showing how to deploy it and use Bedrock's advanced capabilities.

4 days, 11 hours назад @ aws.amazon.com
A guide to Amazon Bedrock Model Distillation (preview)
A guide to Amazon Bedrock Model Distillation (preview)

This post introduces the workflow of Amazon Bedrock Model Distillation. We first introduce the general concept of model distillation in Amazon Bedrock, and then focus on the important steps in model distillation, including setting up permissions, selecting the models, providing input dataset, commencing the model distillation jobs, and conducting evaluation and deployment of the student models after model distillation.

4 days, 11 hours назад @ aws.amazon.com
Simplify data integration with AWS Glue and zero-ETL to Amazon SageMaker Lakehouse
Simplify data integration with AWS Glue and zero-ETL to Amazon SageMaker Lakehouse

AWS has introduced zero-ETL integration support from external applications to AWS Glue, simplifying data integration for organizations. This new feature allows for seamless replication of data from popular platforms like Salesforce, ServiceNow, and Zendesk into Amazon SageMaker Lakehouse and Amazon Redshift. This blog post demonstrates a use case involving ServiceNow data integration, outlining the process of setting up a connector, creating a zero-ETL integration, and verifying both initial data load and change data capture (CDC). It also highlights the advantages of using Apache Iceberg for data versioning and time travel capabilities within zero-ETL integrations.

4 days, 12 hours назад @ aws.amazon.com
Build generative AI applications quickly with Amazon Bedrock IDE in Amazon SageMaker Unified Studio
Build generative AI applications quickly with Amazon Bedrock IDE in Amazon SageMaker Unified Studio

In this post, we'll show how anyone in your company can use Amazon Bedrock IDE to quickly create a generative AI chat agent application that analyzes sales performance data. Through simple conversations, business teams can use the chat agent to extract valuable insights from both structured and unstructured data sources without writing code or managing complex data pipelines.

4 days, 12 hours назад @ aws.amazon.com
Catalog and govern Amazon Athena federated queries with Amazon SageMaker Lakehouse
Catalog and govern Amazon Athena federated queries with Amazon SageMaker Lakehouse

In this post, we show how to connect to, govern, and run federated queries on data stored in Redshift, DynamoDB (Preview), and Snowflake (Preview). To query our data, we use Athena, which is seamlessly integrated with SageMaker Unified Studio. We use SageMaker Lakehouse to present data to end-users as federated catalogs, a new type of catalog object. Finally, we demonstrate how to use column-level security permissions in AWS Lake Formation to give analysts access to the data they need while restricting access to sensitive information.

4 days, 12 hours назад @ aws.amazon.com
The next generation of Amazon SageMaker: The center for all your data, analytics, and AI
The next generation of Amazon SageMaker: The center for all your data, analytics, and AI

This week on the keynote stages at AWS re:Invent 2024, you heard from Matt Garman, CEO, AWS, and Swami Sivasubramanian, VP of AI and Data, AWS, speak about the next generation of Amazon SageMaker, the center for all of your data, analytics, and AI. This update addresses the evolving relationship between analytics and AI workloads, aiming to streamline how customers work with their data. It helps organizations collaborate more effectively, reduce data silos, and accelerate the development of AI-powered applications while maintaining robust governance and security measures.

4 days, 12 hours назад @ aws.amazon.com
How ANZ Institutional Division built a federated data platform to enable their domain teams to build data products to support business outcomes
How ANZ Institutional Division built a federated data platform to enable their domain teams to build data products to support business outcomes

ANZ Institutional Division has transformed its data management approach by implementing a federated data platform based on data mesh principles. This shift aims to unlock untapped data potential, improve operational efficiency, and increase agility. The new strategy empowers domain teams to create and manage their own data products, treating data as a valuable asset rather than a byproduct. This post explores how the shift to a data product mindset is being implemented, the challenges faced, and the early wins that are shaping the future of data management in the Institutional Division.

4 days, 12 hours назад @ aws.amazon.com
Scale ML workflows with Amazon SageMaker Studio and Amazon SageMaker HyperPod
Scale ML workflows with Amazon SageMaker Studio and Amazon SageMaker HyperPod

The integration of Amazon SageMaker Studio and Amazon SageMaker HyperPod offers a streamlined solution that provides data scientists and ML engineers with a comprehensive environment that supports the entire ML lifecycle, from development to deployment at scale. In this post, we walk you through the process of scaling your ML workloads using SageMaker Studio and SageMaker HyperPod.

4 days, 12 hours назад @ aws.amazon.com
Introducing Amazon Kendra GenAI Index – Enhanced semantic search and retrieval capabilities
Introducing Amazon Kendra GenAI Index – Enhanced semantic search and retrieval capabilities

Amazon has introduced the Amazon Kendra GenAI Index, a new offering designed to enhance semantic search and retrieval capabilities for enterprise AI applications. This index is optimized for Retrieval Augmented Generation (RAG) and intelligent search, allowing businesses to build more effective digital assistants and search experiences.

4 days, 13 hours назад @ aws.amazon.com
Building Generative AI and ML solutions faster with AI apps from AWS partners using Amazon SageMaker
Building Generative AI and ML solutions faster with AI apps from AWS partners using Amazon SageMaker

Today, we’re excited to announce that AI apps from AWS Partners are now available in SageMaker. You can now find, deploy, and use these AI apps privately and securely, all without leaving SageMaker AI, so you can develop performant AI models faster.

4 days, 13 hours назад @ aws.amazon.com
Introducing AWS Glue Data Catalog automation for table statistics collection for improved query performance on Amazon Redshift and Amazon Athena
Introducing AWS Glue Data Catalog automation for table statistics collection for improved query performance on Amazon Redshift and Amazon Athena

The AWS Glue Data Catalog now automates generating statistics for new tables. These statistics are integrated with the cost-based optimizer (CBO) from Amazon Redshift Spectrum and Amazon Athena, resulting in improved query performance and potential cost savings. In this post, we discuss how the Data Catalog automates table statistics collection and how you can use it to enhance your data platform’s efficiency.

5 days, 7 hours назад @ aws.amazon.com
New – Accelerate database modernization with generative AI using AWS Database Migration Service Schema Conversion
New – Accelerate database modernization with generative AI using AWS Database Migration Service Schema Conversion

Today, we’re excited to inform you about a new generative AI feature in DMS SC. You can now use advanced language models to streamline and enhance your migration workflow. In this post, we discuss the key capabilities of DMS SC with generative AI and how to enable it to offer you additional recommendations to reduce manual conversion effort and time.

5 days, 9 hours назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 5 часов назад
Fact table without number measurement, but only with text based measurement.
Fact table without number measurement, but only with text based measurement.

I'm trying to create a fact table which basically contains user's comments like reddit's. If user write a comment, then a row is created with user's content(text) in it. And I'm thinking about creating the fact table with below 5 columns to represent user comment events. (DIM_COMMENT_SK), (DIM_USER_FK), (DIM_CREATED_DATE_FK), (DIM_DELETE_DATE_FK), (COMMENT) 1, 123, '2024-12-01', '2024-12-02', 'Hello World' 2, 234, '2024-12-02', '2024-12-03', 'Reddit is great!' 3, 456, '2024-12-03', '2024-12-05', 'Foobar comment' Two columns (DIM_CREATED_DATE_FK, DIM_DELETE_DATE_FK) denote comment's changing status. I applied this concept based on accumulating snapshot table. At this point, I feel like that …

5 часов назад @ reddit.com
Research for University assignment - If you have the time please respond
Research for University assignment - If you have the time please respond

https://forms.office.com/e/u52siixAQ7 Looking for responses from people in the below fields: - Web design - Music production - Video production - Computer games design, development and production. - Data recovery - Forensics submitted by /u/BUBBLEGUM8466 [link] [comments]

6 часов назад @ reddit.com
Serving data to applications post databricks
Serving data to applications post databricks

I've recently started a job at a company which uses databricks as its main data store. All data is stored in delta tables with varying degrees of medallion architecture implemented. Tables are in the region of 1-20TB and ultimately we want the data served back via a basic pivot table esque format (e.g. ag grid or the like front end). Querying the raw data with pyspark is prohibitively slow (>3s) when i'm used to targetting somewhere around 300ms as max latency - otherwise it just feels sluggish in the UI imo. Is there a standard approach here to serving data from the 'gold' layer of the medallian architecture? ETL it out into a serving database (postgres)? Stick an API on top with some RAM …

8 часов назад @ reddit.com
Oracle Stored Procs to Hive QL conversion or to Trino SQL routines conversion
Oracle Stored Procs to Hive QL conversion or to Trino SQL routines conversion

I needed some guidance/suggestions on how to convert Stored Procedures written and running on Oracle DB over to Hive QL or Trino SQL routines. We're running a bunch of dashboards and reports on the oracle database and the same data exists on Hadoop as well. But certain stored procedures are not present on the hive side. Would appreciate any help/suggestions in general on how to approach converting complex stored procedures to Hive QL or Trino sql routines. submitted by /u/catcherrye22 [link] [comments]

9 часов назад @ reddit.com
ETL Pipeline Design Help
ETL Pipeline Design Help

Hi! I'm trying to build a pipeline that monitors the invoices (.xml format) in a folder that are generated by a restaurant's POS (point of service). Whenever a new invoice is added to the folder, I want to extract it, process it, and load it into a cloud database. I'm currently doing so with a simple Python script using watchdog, is this good enough? or should I be using a more robust tool like Kafka or something? The ultimate goal is to load this invoice data into the database so that I can feed a dashboard. Any guidance is welcome. Thank you!!! :) submitted by /u/Top_Struggle_7313 [link] [comments]

9 часов назад @ reddit.com
Analytics Engineer (Laid off) could use advice
Analytics Engineer (Laid off) could use advice

I posted this in r/analyticsengineering and was advised to post here as well: As noted I'm an Analytics Engineer laid off but there is more story to my career: Been in the Healthcare industry since 2014 in various 'Data Analyst' positions using SQL mainly. First Job (2 years exp): SQL + BizTalk rules composer to automate client revenue cycle systems Second Job (3 Years exp): SQL + SSIS + Various Internal tools to do audits, create reports, and work with State Government on Medicaid. Third Recent Job - (5 Years exp): - Did 3 Years without any SQL, mostly using the system to create reports, work with our clients to set up the product,and create automation using the system's internal tools. - …

9 часов назад @ reddit.com
NATO Director Explains Military Exercise Using Open Sourced Data & A.I. To Manipulate Soldiers In To Defecting From Their Military & Cause Matters Of National Security At The Exact Time They Wanted
NATO Director Explains Military Exercise Using Open Sourced Data & A.I. To Manipulate Soldiers In To Defecting From Their Military & Cause Matters Of National Security At The Exact Time They Wanted NATO Director Explains Military Exercise Using Open Sourced Data & A.I. To Manipulate Soldiers In To Defecting From Their Military & Cause Matters Of National Security At The Exact Time They Wanted

submitted by /u/OPiiiiiii [link] [comments]

10 часов назад @ reddit.com
What is a 'must' for a data engineer these days?
What is a 'must' for a data engineer these days?

Hello lovely people, even though I'm more of a Python dev rather than a DE, I landed a job as a junior DE. I'm very glad I have this opportunity because I'm interested in this field and I would like to learn as much as possible from it. So, asking those who have been working as DE for long time, what do you think are the subject/topic/services every DE should know? or you think is important to focus on? As context, I currently work with cloud (aws) and I have a background as Python dev with a few aws certs under my belt already. Yhanj you all and looking forward to hear your take on this. submitted by /u/KreepyKite [link] [comments]

10 часов назад @ reddit.com
Data Architecture resources and tips
Data Architecture resources and tips

Hi guys, I am a data engineer/analyst with 10 years of experience with ETL and reporting tech based in the US. I had to take a career break due to personal reasons for a few months and now I am preparing to get back into the game. Due to the nature of my past experience, I noticed that my profile gets picked up for data architect roles. My previous jobs gave me an exposure to data architecture and modeling though I never really 'learnt' the 'textbook' concepts. I need your help to figure out resources where I can go about preparing myself for the role and interviews - learning data architecture in detail. I tried YouTube already, but most videos are from data engineers just like myself who …

11 часов назад @ reddit.com
Large parallel batch job -> tech choice?
Large parallel batch job -> tech choice?

Hi all, I need to run a large, embarassingly parallel job (numerical CFD simulation, varying parameters per input file) 40M input files, ca. 5 MB each 1000 parameter combinations Ideally consolidating the output of the 1000 parameters to one output file so 1 input -> 1 output, size also ~5MB So overall 40M jobs, but 40B processes. The parameter combinations can be parallelized on a VM (1 simpulation per core). The model written in Python should be used as-is. After some research, I see the "Batch" services of GCP or Azure as good candidates because little additional engineering is needed (apart from containerizing it). -> Any suggestions/recommendations? Thanks! submitted by /u/Melodic_Falc…

11 часов назад @ reddit.com
Data Engineering Case Study Problems!!!! List down problem
Data Engineering Case Study Problems!!!! List down problem

I am working as a ETL developer for 1.5 years. I brushed my SQL to the advanced level. Python intermediate level. I M confident, if I know a problem I can somehow find it's solution. Looking for my future in this industry. But the real issue is I M not comfortable with traditional learning process of learn n implement. I understand by simulating Case study in my mind, , define a problem and then try to find it's best possiblesolutionk with my knowledge base. On internet there is no significant content about problem faced by data engineer and how does they solve it. Seems like they have no time from implementing ad hoc changes😅. All experienced engineers, 1. can you please list down some Cas…

11 часов назад @ reddit.com
Why do most (small) companies fail to get value out of data?
Why do most (small) companies fail to get value out of data?

Even when investing in data teams, data tools, etc., most business leaders are disenchanted with data. Why is that? is it that they actually do not want to listen? Is it that we provide inaccurate data? misaligned metrics? what do you think? submitted by /u/NoSeatGaram [link] [comments]

12 часов назад @ reddit.com
What’s the right general approach for streaming data out of a relational database without missing records while they might also be getting inserted?
What’s the right general approach for streaming data out of a relational database without missing records while they might also be getting inserted?

Usually, I guess the right algorithm would be to paginate the database records through your SQL requests. For this to work, there needs to be some monotonically increasing value across each record. For example, a created_at column (assuming it’s not distributed without some networked time protocol getting that value). But then there’s the concern of records inserted at the exact same time, within the granularity of the created_at column. Let’s say you paginate every 100,000 records, but what if there were 100,010 records inserted at the same time. You might miss those 10 extra records after you iterate to greater than a certain time (your “next page”). Is there a generalized, relational dat…

13 часов назад @ reddit.com
Data Scientist responsibilities I read on a book
Data Scientist responsibilities I read on a book

Ive been asked to endorse a book a Data Scientist wrote, and Im reading a lot of attributions to the role of Data Scientist that I don’t think are exclusive and some even not related at all. It talks about the Data Scientist as being right the next step between SMEs and themselves. It doesn’t acknowledges the existence of Data Engineers nor Data Analysts, the book says Data Scientists need to define Governance, compliance, accountability for legal purposes and build the pipelines. At some point even says that the data scientist needs to build data warehouses and refine it, monitor it, admin it, and suggests that they develop semantics to accommodate for business terms, analyze processes and…

14 часов назад @ reddit.com
Architecture/Open Source Question
Architecture/Open Source Question

I did a small project where I sent data to s3 via Kafka. Now I want to mimic a project the DE side is doing, at my job. High level of the project: The DE team is using Qlik, Kafka, Flink, S3, AWS Lambda, and Redshift. Vendor sources are sending data to an api the api is then sending data to our database. Qlik is sending the data to Kafka then Flinks is doing something, I need to find out what its doing Data ends up in S3 and then Redshift is using external tables for reporting In my much smaller version of what they are doing should: Create topics for each of the tables that are going into S3? Any suggestions for a open source Qlik type of software? submitted by /u/Impossible-Will6173 [link…

14 часов назад @ reddit.com
Towards Data Science
последний пост 14 часов назад
Streamline Your Workflow when Starting a New Research Paper
Streamline Your Workflow when Starting a New Research Paper Streamline Your Workflow when Starting a New Research Paper

Python code to create folders and Word documents for research papers in biomedical sciences — all in one go with only two inputsContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
AI, My Holiday Elf: Building a Gift Recommender for the Perfect Christmas
AI, My Holiday Elf: Building a Gift Recommender for the Perfect Christmas AI, My Holiday Elf: Building a Gift Recommender for the Perfect Christmas

How I used AI and Streamlit to create a festive and fun gift recommendation appContinue reading on Towards Data Science »

16 часов назад @ towardsdatascience.com
Scientists Go Serious About Large Language Models Mirroring Human Thinking
Scientists Go Serious About Large Language Models Mirroring Human Thinking Scientists Go Serious About Large Language Models Mirroring Human Thinking

A discussion of the latest research suggesting that LLMs do work like the human brain—with some substantial differencesContinue reading on Towards Data Science »

18 часов назад @ towardsdatascience.com
My #30DayMapChallenge 2024
My #30DayMapChallenge 2024 My #30DayMapChallenge 2024

30 Days, 30 Maps: My November Adventure in Digital CartographyContinue reading on Towards Data Science »

1 day, 14 hours назад @ towardsdatascience.com
How to Prepare for Your Data Science Behavioural Interview
How to Prepare for Your Data Science Behavioural Interview How to Prepare for Your Data Science Behavioural Interview

My top tips to smash your next data science behavioural interviewContinue reading on Towards Data Science »

1 day, 17 hours назад @ towardsdatascience.com
I’m Doing the Advent of Code 2024 in Python — Day 1
I’m Doing the Advent of Code 2024 in Python — Day 1 I’m Doing the Advent of Code 2024 in Python — Day 1

Let’s see how many stars we’ll collect.Continue reading on Towards Data Science »

2 days, 6 hours назад @ towardsdatascience.com
Modeling DAU with Markov Chain
Modeling DAU with Markov Chain Modeling DAU with Markov Chain

How to predict DAU using Duolingo’s growth model and control the prediction1. IntroductionDoubtlessly, DAU, WAU, and MAU — daily, weekly, and monthly active users — are critical business metrics. An article “How Duolingo reignited user growth” by Jorge Mazal, former CPO of Duolingo, is #1 in the Growth section of Lenny’s Newsletter blog. In this article, Jorge paid special attention to the methodology Duolingo used to model the DAU metric (see another article “Meaningful metrics: how data sharpened the focus of product teams” by Erin Gustafson). This methodology has multiple strengths, but I’d like to focus on how one can use this approach for DAU forecasting.The new year is coming soon, so…

2 days, 6 hours назад @ towardsdatascience.com
Combining Large and Small LLMs to Boost Inference Time and Quality
Combining Large and Small LLMs to Boost Inference Time and Quality Combining Large and Small LLMs to Boost Inference Time and Quality

Implementing Speculative and Contrastive DecodingLarge Language models are comprised of billions of parameters (weights). For each word it generates, the model has to perform computationally expensive calculations across all of these parameters.Large Language models accept a sentence, or sequence of tokens, and generate a probability distribution of the next most likely token.Thus, typically decoding n tokens (or generating n words from the model) requires running the model n number of times. At each iteration, the new token is appended to the input sentence and passed to the model again. This can be costly.Additionally, decoding strategy can influence the quality of the generated words. Ge…

2 days, 13 hours назад @ towardsdatascience.com
How to Integrate AI and Data Science into Your Business Strategy
How to Integrate AI and Data Science into Your Business Strategy How to Integrate AI and Data Science into Your Business Strategy

DATA SCIENCE CONSULTINGInsider consulting guide to conducting a successful 2-day executive workshopImage by author using Canva“Our industry does not respect tradition — it only respects innovation.” — Satya Nadella, CEO Microsoft, Letter to employees in 2014While not all industries are as competitive and cutthroat as the software and cloud industries, innovating and applying the latest technological developments is a fundamental theme for executives. Seasoned business leaders understand that staying up-to-date with the relevant technologies is necessary for success.As a data science consultant, some of the questions clients often ask me are: “How do we effectively integrate the right AI and…

2 days, 15 hours назад @ towardsdatascience.com
Reinforcement Learning: Self-Driving Cars to Self-Driving Labs
Reinforcement Learning: Self-Driving Cars to Self-Driving Labs Reinforcement Learning: Self-Driving Cars to Self-Driving Labs

Understanding AI applications in bio for machine learning engineersPhoto by Ousa Chea on UnsplashAnyone who has tried teaching a dog new tricks knows the basics of reinforcement learning. We can modify the dog’s behavior by repeatedly offering rewards for obedience and punishments for misbehavior. In reinforcement learning (RL), the dog would be an agent, exploring its environment and receiving rewards or penalties based on the available actions. This very simple concept has been formalized mathematically and extended to advance the fields of self-driving and self-driving/autonomous labs.As a New Yorker, who finds herself riddled with anxiety driving, the benefits of having a stoic robot ch…

2 days, 16 hours назад @ towardsdatascience.com
Play the 20 Questions Game Against an LLM
Play the 20 Questions Game Against an LLM Play the 20 Questions Game Against an LLM

And learn about LLM architecture techniques, parsed output, test design and performance measurement of your systemContinue reading on Towards Data Science »

2 days, 17 hours назад @ towardsdatascience.com
5 Python One-Liners to Kick Off Your Data Exploration
5 Python One-Liners to Kick Off Your Data Exploration 5 Python One-Liners to Kick Off Your Data Exploration

How to kickstart your EDA using simple one linersContinue reading on Towards Data Science »

2 days, 18 hours назад @ towardsdatascience.com
Lasso and Elastic Net Regressions, Explained: A Visual Guide with Code Examples
Lasso and Elastic Net Regressions, Explained: A Visual Guide with Code Examples Lasso and Elastic Net Regressions, Explained: A Visual Guide with Code Examples

REGRESSION ALGORITHMRoping in key features with coordinate descentLeast Squares Regression, Explained: A Visual Guide with Code Examples for BeginnersLinear regression comes in different types: Least Squares methods form the foundation, from the classic Ordinary Least Squares (OLS) to Ridge regression with its regularization to prevent overfitting. Then there’s Lasso regression, which takes a unique approach by automatically selecting important factors and ignoring others. Elastic Net combines the best of both worlds, mixing Lasso’s feature selection with Ridge’s ability to handle related features.It’s frustrating to see many articles treat these methods as if they’re basically the same thi…

2 days, 19 hours назад @ towardsdatascience.com
Bridging the Data Literacy Gap
Bridging the Data Literacy Gap Bridging the Data Literacy Gap

The Advent, Evolution, and Current state of “Data Translators”IntroductionWith Data being constantly glorified as the most valuable asset organizations can own, leaders and decision-makers are always looking for effective ways to put their data insights to use. Every time customers interact with digital products, millions of data points are generated and the opportunity loss of not harnessing these data points to make better products, optimize revenue generation, and improve customer footprint is simply too high to ignore. The role of “Data Translators” began to emerge in analytics and data science job boards in the 2010s to help bridge the knowledge gap between business and Data teams and …

3 days, 1 hour назад @ towardsdatascience.com
Multimodal RAG: Process Any File Type with AI
Multimodal RAG: Process Any File Type with AI Multimodal RAG: Process Any File Type with AI

A beginner-friendly guide with example (Python) codeThis is the third article in a larger series on multimodal AI. In the previous posts, we discussed multimodal LLMs and embedding models, respectively. In this article, we will combine these ideas to enable the development of multimodal RAG systems. I’ll start by reviewing key concepts and then share example code for implementing such a system.Image from Canva.Language models like GPT, LLaMA, and Claude learn a tremendous amount of world knowledge via their pre-training. This makes them powerful tools for solving custom problems and answering complex questions.However, there is knowledge that even the most advanced language models are ignor…

3 days, 10 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 2 months, 3 weeks назад
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

2 months, 3 weeks назад @ montecarlodata.com
What is a Data Mesh — and How Not to Mesh it Up
What is a Data Mesh — and How Not to Mesh it Up

A beginner’s guide to implementing the latest industry trend: a data mesh.

3 months назад @ montecarlodata.com
Most Data Quality Initiatives Fail Before They Start. Here’s Why.
Most Data Quality Initiatives Fail Before They Start. Here’s Why.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

4 months, 3 weeks назад @ montecarlodata.com
Is Modern Data Warehouse Architecture Broken?
Is Modern Data Warehouse Architecture Broken?

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

4 months, 3 weeks назад @ montecarlodata.com
Mission Lane: Continuous Compliance Monitoring
Mission Lane: Continuous Compliance Monitoring

This article provides an overview of a newly developed approach to an always on compliance testing strategy at Mission Lane.

5 months назад @ montecarlodata.com
The Ultimate Guide to Snowflake Data Cloud Summit 2024
The Ultimate Guide to Snowflake Data Cloud Summit 2024

We've bookmarked the can't-miss moments of Snowflake Data Cloud Summit 2024.

6 months, 1 week назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

6 months, 2 weeks назад @ montecarlodata.com
Data Quality Monitoring Explained – You’re Doing It Wrong
Data Quality Monitoring Explained – You’re Doing It Wrong

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

7 months, 3 weeks назад @ montecarlodata.com
12 Data Quality Metrics That ACTUALLY Matter
12 Data Quality Metrics That ACTUALLY Matter

How to improve your Data Quality Metrics and why it matters for your business.

8 months назад @ montecarlodata.com
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

8 months, 2 weeks назад @ montecarlodata.com
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

8 months, 2 weeks назад @ montecarlodata.com
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

8 months, 3 weeks назад @ montecarlodata.com
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

8 months, 3 weeks назад @ montecarlodata.com
Data Quality Testing: 7 Essential Tests
Data Quality Testing: 7 Essential Tests

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

8 months, 3 weeks назад @ montecarlodata.com
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

9 months назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 2 months, 3 weeks назад
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

2 months, 3 weeks назад @ t.me
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

2 months, 3 weeks назад @ t.me
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

2 months, 4 weeks назад @ t.me
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

2 months, 4 weeks назад @ t.me
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

2 months, 4 weeks назад @ t.me
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

3 months назад @ t.me
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3 months, 1 week назад @ t.me
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

3 months, 2 weeks назад @ t.me
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

3 months, 2 weeks назад @ t.me
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

3 months, 2 weeks назад @ t.me
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

3 months, 3 weeks назад @ t.me
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

3 months, 3 weeks назад @ t.me
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

3 months, 3 weeks назад @ t.me
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

3 months, 3 weeks назад @ t.me
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

3 months, 3 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 10 часов назад
Вот это я понимаю аналитика будущего.Вам понадобится:- 1 iPhone или Android- Коробка с сухим льдом для охлаждения, хотя зимой можно в форточку высунуть- Эмулятор командной строки- DuckDBИ можно анализировать ваши данные. Это еще они на PS5 или Steam Deck н
Вот это я понимаю аналитика будущего.Вам понадобится:- 1 iPhone или Android- Коробка с сухим льдом для охлаждения, хотя зимой можно в форточку высунуть- Эмулятор командной строки- DuckDBИ можно анализировать ваши данные. Это еще они на PS5 или Steam Deck н Вот это я понимаю аналитика будущего.Вам понадобится:- 1 iPhone или Android- Коробка с сухим льдом для охлаждения, хотя зимой можно в форточку высунуть- Эмулятор командной строки- DuckDBИ можно анализировать ваши данные. Это еще они на PS5 или Steam Deck н

Вот это я понимаю аналитика будущего.Вам понадобится:- 1 iPhone или Android- Коробка с сухим льдом для охлаждения, хотя зимой можно в форточку высунуть- Эмулятор командной строки- DuckDBИ можно анализировать ваши данные. Это еще они на PS5 или Steam Deck не запускали DuckDB.Источник: https://duckdb.org/2024/12/06/duckdb-tpch-sf100-on-mobile

10 часов назад @ t.me
Хотел сегодня поделится маленькими телеграмм каналами своих давних друзей. Они совсем не из ИТ, но ребята делают то, что им нравится!ВАСО НА СТРОЙКЕ🛹👷‍♂🛠️ - Васю знаю давно, скейтер старой школы. Он подарил скейт на первый день рождение моему сыну 12 лет н
Хотел сегодня поделится маленькими телеграмм каналами своих давних друзей. Они совсем не из ИТ, но ребята делают то, что им нравится!ВАСО НА СТРОЙКЕ🛹👷‍♂🛠️ - Васю знаю давно, скейтер старой школы. Он подарил скейт на первый день рождение моему сыну 12 лет н

Хотел сегодня поделится маленькими телеграмм каналами своих давних друзей. Они совсем не из ИТ, но ребята делают то, что им нравится!ВАСО НА СТРОЙКЕ🛹👷‍♂🛠️ - Васю знаю давно, скейтер старой школы. Он подарил скейт на первый день рождение моему сыну 12 лет назад. В душе он всегда был предпринимателем, а сейчас ведет канал про строительство скейт парков в России. Он и его команда строят парки мирового уровнях в любых условиях в городах России. Контент топчик! Welcome 2 backstage - канал про моду и стиль, ведет Женя. С Женей мы давно знакомы и познакомились на Московской Неделе Моды в гостином дворе, где работали много лет вместе. Оказалось что мы живем на соседних станциях метро. Он все знают …

1 day, 12 hours назад @ t.me
Как бизнесу анализировать данные проще и быстрее?Обсудим на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приглашаем 12 декабря в 11:00 — бизнес-аналитиков, руководителей аналитических отделов, C
Как бизнесу анализировать данные проще и быстрее?Обсудим на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приглашаем 12 декабря в 11:00 — бизнес-аналитиков, руководителей аналитических отделов, C Как бизнесу анализировать данные проще и быстрее?Обсудим на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приглашаем 12 декабря в 11:00 — бизнес-аналитиков, руководителей аналитических отделов, C

Как бизнесу анализировать данные проще и быстрее?Обсудим на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приглашаем 12 декабря в 11:00 — бизнес-аналитиков, руководителей аналитических отделов, CDO и CTO.Platform V OLAP Analytics — распределенное хранилище аналитических данных. Инструмент упрощает анализ данных, формирует аналитическую отчетность и помогает в планировании.Спикер Виктор Калачанов, Product Owner Platform V OLAP Analytics, расскажет о продукте и познакомит с его:• основными функциями;• ключевыми преимуществами;• целевым сценарием использования;демонстрацией на практике.Ждем вас!Регистрация по ссылке.Узнать больше о п…

2 days, 15 hours назад @ t.me
За 200$ в месяц ChatGPT никто не пробовал в работе?
За 200$ в месяц ChatGPT никто не пробовал в работе? За 200$ в месяц ChatGPT никто не пробовал в работе?

За 200$ в месяц ChatGPT никто не пробовал в работе?

2 days, 23 hours назад @ t.me
Весь LinkedIn пестрит постами про Apache Iceberg. Посты писать уже не достаточно, нужно снимать видео, как вот на S3 создали Iceberg таблицу, запустили Spark и написали запрос. Все твердят о том, как Apache Iceberg одержал победу над Delta, Hudi и стал гла
Весь LinkedIn пестрит постами про Apache Iceberg. Посты писать уже не достаточно, нужно снимать видео, как вот на S3 создали Iceberg таблицу, запустили Spark и написали запрос. Все твердят о том, как Apache Iceberg одержал победу над Delta, Hudi и стал гла

Весь LinkedIn пестрит постами про Apache Iceberg. Посты писать уже не достаточно, нужно снимать видео, как вот на S3 создали Iceberg таблицу, запустили Spark и написали запрос. Все твердят о том, как Apache Iceberg одержал победу над Delta, Hudi и стал главным форматом таблиц. Кстати, на последних собеседованиях уже начали спрашивать про Iceberg и DuckDB. Не важно, какая у вас роль, если вы работаете с данными, вы должны знать про Apache Iceberg и понимать суть и сценарии использования. Apache Iceberg - это формат таблиц (не путать с типом файла!). Когда мы сохраняем наши данные в storage layer, например в формате Parquet, мы добавляем метаданные:- Metadata file - содержит информацию об общ…

3 days, 13 hours назад @ t.me
Теперь вы знаете как делать топ конференция! Там реально можно набить татуху с AWS сервисом или мультяшкой! Не благодарите за идею к вашему следующему ивенту и новогодним корпоративам))
Теперь вы знаете как делать топ конференция! Там реально можно набить татуху с AWS сервисом или мультяшкой! Не благодарите за идею к вашему следующему ивенту и новогодним корпоративам)) Теперь вы знаете как делать топ конференция! Там реально можно набить татуху с AWS сервисом или мультяшкой! Не благодарите за идею к вашему следующему ивенту и новогодним корпоративам))

Теперь вы знаете как делать топ конференция! Там реально можно набить татуху с AWS сервисом или мультяшкой! Не благодарите за идею к вашему следующему ивенту и новогодним корпоративам))

3 days, 22 hours назад @ t.me
O’Reilly анонсировала новую книжку - AI Engineering: Building Applications with Foundation ModelsRecent breakthroughs in AI have not only increased demand for AI products, they've also lowered the barriers to entry for those who want to build AI products.
O’Reilly анонсировала новую книжку - AI Engineering: Building Applications with Foundation ModelsRecent breakthroughs in AI have not only increased demand for AI products, they've also lowered the barriers to entry for those who want to build AI products. O’Reilly анонсировала новую книжку - AI Engineering: Building Applications with Foundation ModelsRecent breakthroughs in AI have not only increased demand for AI products, they've also lowered the barriers to entry for those who want to build AI products.

O’Reilly анонсировала новую книжку - AI Engineering: Building Applications with Foundation ModelsRecent breakthroughs in AI have not only increased demand for AI products, they've also lowered the barriers to entry for those who want to build AI products. The model-as-a-service approach has transformed AI from an esoteric discipline into a powerful development tool that anyone can use. Everyone, including those with minimal or no prior AI experience, can now leverage AI models to build applications. In this book, author Chip Huyen discusses AI engineering: the process of building applications with readily available foundation models.The book starts with an overview of AI engineering, explai…

4 days, 10 hours назад @ t.me
В последнее время было тихо у AWS на фоне AI. Они просто ждали свою конференцию re:Invent, чтобы анонсировать все. Уже все написали за нас, осталось попросить chat gpt перевести:Amazon на этой неделе решил действовать жестко. Они только что анонсировали со
В последнее время было тихо у AWS на фоне AI. Они просто ждали свою конференцию re:Invent, чтобы анонсировать все. Уже все написали за нас, осталось попросить chat gpt перевести:Amazon на этой неделе решил действовать жестко. Они только что анонсировали со

В последнее время было тихо у AWS на фоне AI. Они просто ждали свою конференцию re:Invent, чтобы анонсировать все. Уже все написали за нас, осталось попросить chat gpt перевести:Amazon на этой неделе решил действовать жестко. Они только что анонсировали собственные foundation models, на 75% дешевле. Плюс AI Chips. Плюс суперкомпьютер. Они нацелились на ВСЕХ. Это похоже на скоординированную атаку на всех основных фронтах искусственного интеллекта. Amazon одновременно бросает вызов OpenAI/Microsoft в области foundation models, NVIDIA в разработке чипов, xAI в суперкомпьютерах, и заручается поддержкой мощных союзников, таких как Anthropic и Apple. Кстати, SAP в восторге от этого. 1. Доминирова…

5 days, 4 hours назад @ t.me
И в продолжение последних нескольких постов про Apache Iceberg - Announcing Amazon S3 Tables – Fully managed Apache Iceberg tables optimized for analytics workloadsТо есть можно сразу писать в S3 и подключать SQL/Compute engineer. Все в одно месте. Будет и
И в продолжение последних нескольких постов про Apache Iceberg - Announcing Amazon S3 Tables – Fully managed Apache Iceberg tables optimized for analytics workloadsТо есть можно сразу писать в S3 и подключать SQL/Compute engineer. Все в одно месте. Будет и

И в продолжение последних нескольких постов про Apache Iceberg - Announcing Amazon S3 Tables – Fully managed Apache Iceberg tables optimized for analytics workloadsТо есть можно сразу писать в S3 и подключать SQL/Compute engineer. Все в одно месте. Будет интересно смотреть как дальше все будет развиваться.# создаем таблцу в S3$ aws s3tables create-table-bucket --name jbarr-table-bucket-2 | jq .arn"arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"# переменная с ARN бакета$ export ARN="arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"# получаем список таблиц в S3$ aws s3tables list-table-buckets | jq .tableBuckets[].arn"arn:aws:s3tables:us-east-2:12345678…

5 days, 9 hours назад @ t.me
Snowflake знают все, даже если вы его никогда не использовали, но если вы работаете в области аналитики данных или инжиниринга данных, вы точно о нём слышали.Главная его особенность заключается в том, что Snowflake фактически создал концепцию Lake House до
Snowflake знают все, даже если вы его никогда не использовали, но если вы работаете в области аналитики данных или инжиниринга данных, вы точно о нём слышали.Главная его особенность заключается в том, что Snowflake фактически создал концепцию Lake House до

Snowflake знают все, даже если вы его никогда не использовали, но если вы работаете в области аналитики данных или инжиниринга данных, вы точно о нём слышали.Главная его особенность заключается в том, что Snowflake фактически создал концепцию Lake House до того, как она стала популярной в 2020-2021 годах. Идея заключалась в разделении Compute (вычисления на виртуальных машинах) и Storage (хранение данных на S3, Azure Storage, GCP Storage). То есть все данные хранятся в одном большом хранилище (storage), а вычисления могут выполняться на любом подходящем ресурсе. Речь, в данном случае, о кластерах Snowflake (Compute Warehouse). Единственный недостаток этой технологии — данные хранятся в закр…

5 days, 12 hours назад @ t.me
Недавно я писал про приятный инсайт и русский линкедин. Но теперь мне хотелось бы поделиться инсайтом, какие посты я вижу. Там почти не пишут про инструменты или архитектуру, или про какие-то вещи с индустрией. Если полистать и присмотреться, что пишут, то
Недавно я писал про приятный инсайт и русский линкедин. Но теперь мне хотелось бы поделиться инсайтом, какие посты я вижу. Там почти не пишут про инструменты или архитектуру, или про какие-то вещи с индустрией. Если полистать и присмотреться, что пишут, то

Недавно я писал про приятный инсайт и русский линкедин. Но теперь мне хотелось бы поделиться инсайтом, какие посты я вижу. Там почти не пишут про инструменты или архитектуру, или про какие-то вещи с индустрией. Если полистать и присмотреться, что пишут, то оказывается что каждый второй, если не каждый первый пост будет попадать в следующую категорию:- HR (бывшие) теперь консультанты и коучи, могут быстро прокачать вас до нужного уровня, составить резюме и помочь найти работу.- Специалисты (особенно в области product), могут вас поменторить и прокачать, составить резюме и помочь найти работу.- Success stories как кто-то нашел работу благодаря консультации тех самых специалистов- Скриншоты пе…

5 days, 23 hours назад @ t.me
Визуализация из Канадской действительности - Shopify нарисовал карту доставок 1 Ноября 2023 - 31 Декабря 2023:Shopify attached the above image in the letter, claiming it illustrates domestic urban and rural orders (in blue and red, respectively) from Shopi
Визуализация из Канадской действительности - Shopify нарисовал карту доставок 1 Ноября 2023 - 31 Декабря 2023:Shopify attached the above image in the letter, claiming it illustrates domestic urban and rural orders (in blue and red, respectively) from Shopi Визуализация из Канадской действительности - Shopify нарисовал карту доставок 1 Ноября 2023 - 31 Декабря 2023:Shopify attached the above image in the letter, claiming it illustrates domestic urban and rural orders (in blue and red, respectively) from Shopi

Визуализация из Канадской действительности - Shopify нарисовал карту доставок 1 Ноября 2023 - 31 Декабря 2023:Shopify attached the above image in the letter, claiming it illustrates domestic urban and rural orders (in blue and red, respectively) from Shopify merchants that were fulfilled by Canada Post from Nov. 1, 2023 to Dec. 31, 2023. Shopify said a 2024 map “wiped clean” due to prolonged strike action would “devastate” the economy. Open letter claims at least 67,000 Shopify-powered small businesses rely on Canada Post.Даже я сам affected от такого беспредела, потому что не могу заказать в своем же магазине shop.surfalytics.com себе же одежду и подарки знакомым.Canada Post мусолит эту те…

6 days, 6 hours назад @ t.me
DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.Unix:time wc -l services-2023.csv21239394 services-2023.csvwc -l services-2023.csv 2.66s user 0.29s system 99% cpu 2.966 totalDuckDB:time duckdb -c "select count(*) from read_csv('services-2023.cs
DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.Unix:time wc -l services-2023.csv21239394 services-2023.csvwc -l services-2023.csv  2.66s user 0.29s system 99% cpu 2.966 totalDuckDB:time duckdb -c "select count(*) from read_csv('services-2023.cs DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.Unix:time wc -l services-2023.csv21239394 services-2023.csvwc -l services-2023.csv 2.66s user 0.29s system 99% cpu 2.966 totalDuckDB:time duckdb -c "select count(*) from read_csv('services-2023.cs

DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.Unix:time wc -l services-2023.csv21239394 services-2023.csvwc -l services-2023.csv 2.66s user 0.29s system 99% cpu 2.966 totalDuckDB:time duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)"count_star()int6421239394duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)" 11.17s user 0.57s system 930% cpu 1.261 totalЕсли еще не начали использовать, то самое время попробовать.Из DuckDB white paper:Перевод как обычно 🙌 DuckDB — это встроенная аналитическая база данных с открытым исходным кодом, созданная для выполнения аналитических SQL-запросов непосредственно внутри процесса хост-прилож…

6 days, 12 hours назад @ t.me
Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉
Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Нижний Новгород, 5 декабря👉 Санкт-Петербург, 6 декабряТебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем.Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

6 days, 23 hours назад @ t.me
В статье SSDs Have Become Ridiculously Fast, Except in the Cloud затронули интересную тему.SSD диски сейчас стали лучше и быстрей. Но оказывается, что облачные провайдеры AWS, Azure, GCP не спешат заменять свой парк, и их диски до сих пор на уровне 2017 го
В статье SSDs Have Become Ridiculously Fast, Except in the Cloud затронули интересную тему.SSD диски сейчас стали лучше и быстрей. Но оказывается, что облачные провайдеры AWS, Azure, GCP не спешат заменять свой парк, и их диски до сих пор на уровне 2017 го В статье SSDs Have Become Ridiculously Fast, Except in the Cloud затронули интересную тему.SSD диски сейчас стали лучше и быстрей. Но оказывается, что облачные провайдеры AWS, Azure, GCP не спешат заменять свой парк, и их диски до сих пор на уровне 2017 го

В статье SSDs Have Become Ridiculously Fast, Except in the Cloud затронули интересную тему.SSD диски сейчас стали лучше и быстрей. Но оказывается, что облачные провайдеры AWS, Azure, GCP не спешат заменять свой парк, и их диски до сих пор на уровне 2017 года.Получается, аналитика (и не только) on-premise может быть быстрей и дешевле. Другой вопрос, что делать если вы купили on-premise железо в 2017 и ранее, не выкидывать же его

1 week назад @ t.me
Left Join Left Join
последний пост 1 month, 2 weeks назад
Что почитать этой осенью?Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы
Что почитать этой осенью?Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы Что почитать этой осенью?Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы

Что почитать этой осенью?Холодные осенние вечера — идеальное время, чтобы после работы сесть в любимое кресло, налить себе какао и почитать что-нибудь интересное. И у нас даже есть идея, что бы такого душевного почитать — лонгрид про распределенные системы с подборкой полезных ссылок. Хватит не на один вечер!Правда, здорово? ❤️Мы уже как-то раз писали про похожий материал: гайд по распределенным системам главного научного сотрудника MongoDB Research. Но там подход был очень основательный, со ссылками на целые книги и курсы.Сегодняшний материал попроще. Он знакомит с основными понятиями и подкидывает ссылки на ключевые научные работы и статьи в Википедии. Самое то, чтобы усвоить главное и да…

1 month, 2 weeks назад @ t.me
Поговорим про данныеЕсли ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошиб
Поговорим про данныеЕсли ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошиб Поговорим про данныеЕсли ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошиб

Поговорим про данныеЕсли ищете, чего бы такого послушать или посмотреть про аналитику, датавиз и карьеру в дата-сфере, у нас для вас целых 13 вариантов.💬 Первые 12 собрал на графике аналитик Kevin Wee (не будем транскрибировать имя и фамилию, чтобы не ошибиться). Он подсчитал количество эпизодов в каждом, частоту выхода и продолжительность. Сразу видно, кто выпускает контент стабильно, у кого основательные часовые эпизоды, а у кого — короткие лайтовые на 15-30 минут.Важно: они все на английском, а информация об эпизодах спарсена со Spotify — выходят ли подкасты на других площадках, надо проверять дополнительно. Так что послушать из России может быть сложновато.🔜 Но не расстраивайтесь! Вот 1…

1 month, 2 weeks назад @ t.me
Вакансия в Valiotti Analyitcs: менеджер BI-проектовДата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем мене
Вакансия в Valiotti Analyitcs: менеджер BI-проектовДата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем мене Вакансия в Valiotti Analyitcs: менеджер BI-проектовДата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем мене

Вакансия в Valiotti Analyitcs: менеджер BI-проектовДата-консалтинг Valiotti Analytics с 2019 года строит системы сквозной аналитики компаниям из диджитал-сфер — эдтехам, финтехам, ритейлерам, екомам, разработчикам приложений и геймдеву. Сейчас мы ищем менеджера проектов.💙 И кстати: LEFT JOIN — проект Valiotti Analytics. Так что человека ищем не абы куда, а к себе команду.Главное, что надо будет делать:🔵 Координировать и контролировать работу над проектами, ставить сроки и цели.🔵 Взаимодействовать с клиентами, командами проектов и другими департаментами компании.🔵 Развивать и улучшать процессы работы над проектами.Какие требования?🔵 Опыт работы над ИТ-проектами от 2 лет (идеально, если этот …

1 month, 2 weeks назад @ t.me
ChartDB — бесплатный редактор диаграмм БДМало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.ChartDB — как раз такой. Это open source тул,
ChartDB — бесплатный редактор диаграмм БДМало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.ChartDB — как раз такой. Это open source тул,

ChartDB — бесплатный редактор диаграмм БДМало что радует так же сильно, как когда находится простой, полезный и бесплатный инструмент, который можно вот просто взять и начать использовать без регистраций и SMS.ChartDB — как раз такой. Это open source тул, который создает схемы БД за один запрос и 15 секунд.🔵 Можно запустить локально (за инструкциями идем на гитхаб), также есть веб-версия.🔵 Работает с PostgreSQL, MySQL, SQL Server, MariaDB, SQLite и🔵 Получившиеся схемы можно редактировать, дополнять комментариями или экспортировать в виде картинок, если вы захотите добавить их в отчет или документ.Все это бесплатно, однако есть но. ChartDB пока находится в публичной бете, так что со временем…

1 month, 2 weeks назад @ t.me
Про бизнес, маркетинг и истории успехаПонедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.Но вот вопрос — с чего начать? Чем занима
Про бизнес, маркетинг и истории успехаПонедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.Но вот вопрос — с чего начать? Чем занима Про бизнес, маркетинг и истории успехаПонедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.Но вот вопрос — с чего начать? Чем занима

Про бизнес, маркетинг и истории успехаПонедельник, когда вы возвращаетесь к любимой работе и доделываете недоделанное с пятницы, — лучший день, чтобы задуматься о своем деле. Без этого вашего корпоративного рабства.Но вот вопрос — с чего начать? Чем заниматься? И где вообще брать идеи для бизнеса?🔵К счастью, в телеграме найдется все. Например, канал Макса Иванова, который пишет про бизнес и маркетинг: новости, громкие рекламные кампании и завирусившиеся в соцсетях тренды.🔵Вот вам пример — в Китае придумали ватные палочки с йодом. Теперь китайцы могут нарисовать йодную сеточку, не таская с собой бутылек с лекарством. Чем не идея для бизнеса? Берите в оборот, пока вас никто не опередил!🔜 На к…

1 month, 2 weeks назад @ t.me
«Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data. О чем мы поговорили? 🔵 О планах поработать инжен
«Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data. О чем мы поговорили? 🔵 О планах поработать инжен «Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data. О чем мы поговорили? 🔵 О планах поработать инжен

«Я всегда верил, что главное “попасть” куда-то, зацепиться, а там уже пробиваться наверх»В гостях Дмитрий Аношин — автор канала Инжиниринг Данных и основатель проектов Datalearn, Surfalytics, Rock Your Data. О чем мы поговорили? 🔵 О планах поработать инженером-конструктором на немецком заводе.🔵 Об отсутствии финансовых перспектив в машиностроении.🔵 О лучшем способе «зайти в Data»🔵 О классных проектах в Amazon и Microsoft.🔜 Подробности — в канале Карьера в Data | LEFT JOIN

1 month, 2 weeks назад @ t.me
Примите участие в исследовании рынка труда для аналитиков!Наши друзья из NEWHR вновь проводят исследование рынка дата-труда. Они опрашивают маркетинговых, продуктовых и дата-аналитиков об условиях работы, уровнях зарплат и обязанностях.Такие исследования о
Примите участие в исследовании рынка труда для аналитиков!Наши друзья из NEWHR вновь проводят исследование рынка дата-труда. Они опрашивают маркетинговых, продуктовых и дата-аналитиков об условиях работы, уровнях зарплат и обязанностях.Такие исследования о

Примите участие в исследовании рынка труда для аналитиков!Наши друзья из NEWHR вновь проводят исследование рынка дата-труда. Они опрашивают маркетинговых, продуктовых и дата-аналитиков об условиях работы, уровнях зарплат и обязанностях.Такие исследования они проводят с 2018 года, проводили и в прошлом году, и вот здесь можно найти результаты.Этот проект помогает узнать несколько важных вещей.🔵 Средние по рынку зарплаты для разных специальностей и грейдов, а также их динамику.🔵 Ожидания от аналитиков — то есть, выполнения каких задач от них хотят работодатели.🔵 Перспективные отрасли и компании, в которых аналитикам лучше всего работается.🔵 Список экспертов и профессиональных ресурсов, популя…

1 month, 3 weeks назад @ t.me
Kotlin для анализа данныхЧто мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.🔵 Библиотека Kotlin DataFrame позволяет работать со струк
Kotlin для анализа данныхЧто мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.🔵 Библиотека Kotlin DataFrame позволяет работать со струк Kotlin для анализа данныхЧто мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.🔵 Библиотека Kotlin DataFrame позволяет работать со струк

Kotlin для анализа данныхЧто мы все про SQL да SQL ­— не только ведь его можно использовать для работы с данными. Взять, например, Kotlin. У него есть целый набор инструментов для анализа и датавиза.🔵 Библиотека Kotlin DataFrame позволяет работать со структурированными данными в форматах CSV, JSON, XLS и XLSX. С ее помощью можно сделать выгрузку, фильтровку, сортировку, агрегацию — в общем, те же операции, что обычно совершаются SQL-запросами.🔵 Библиотека с милым названием Kandy предназначена для визуализации данных и умеет рисовать все самые популярные и распространенные виды графиков: линейные, гистограмы, тепловые карты, точечные диаграммы и так далее. Получается вполне симпатично и инфо…

1 month, 3 weeks назад @ t.me
Данные есть, а смысла нет: как мы починили аналитику французскому эдтехуСделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.Но что делать, если у компан
Данные есть, а смысла нет: как мы починили аналитику французскому эдтехуСделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.Но что делать, если у компан Данные есть, а смысла нет: как мы починили аналитику французскому эдтехуСделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.Но что делать, если у компан

Данные есть, а смысла нет: как мы починили аналитику французскому эдтехуСделать классную аналитику — это как наконец-то купить подходящие очки. Жить становится настолько удобнее, что не понимаешь, как обходился без этого раньше.Но что делать, если у компании уже есть аналитика, с базами и дашбордами, а пользы это не приносит? Инсайты не ловятся, а деньги и ресурсы на всю эту инфраструктуру все равно тратятся?🔵Короткий ответ — переделывать.🔵Длинный — в новой статье на vc.ru → https://vc.ru/dev/1589666-dannye-stali-tochnee-a-rashody-snizilis-v-225-raza-kak-my-sdelali-analitiku-francuzskoi-kompanii-mentorshow В ней рассказываем про то, как мы пересобрали систему аналитики французскому эдтеху M…

1 month, 3 weeks назад @ t.me
ТОК 2024: конференция для малого и среднего бизнеса14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.Мероприятие рассчитано на предпринимателей
ТОК 2024: конференция для малого и среднего бизнеса14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.Мероприятие рассчитано на предпринимателей ТОК 2024: конференция для малого и среднего бизнеса14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.Мероприятие рассчитано на предпринимателей

ТОК 2024: конференция для малого и среднего бизнеса14 ноября в Москве пройдет конференция о том, как развивать и растить бизнес — причем во всех направлениях, от улучшения качества продукта до расширения географии.Мероприятие рассчитано на предпринимателей: как новичков, которые только-только запустили свой проект, до руководителей уже устоявшихся, стабильных компаний. Они смогут послушать разборы кейсов и дискуссии приглашенных экспертов, посетить мастер-классы и воркшопы.🔜 Кстати, о приглашенных экспертах: обещают, среди прочих, выступления от Кофемании, FITMOST, Точки, Ясно и The Blueprint.Конференция будет разделена на три трека:🔵Стратегии — про масштабирование бизнеса и создание бренда…

1 month, 3 weeks назад @ t.me
Что есть на дашборде с результатами исследования онлайн-школДля начала напомним, зачем вообще это все было нужно.🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать ски
Что есть на дашборде с результатами исследования онлайн-школДля начала напомним, зачем вообще это все было нужно.🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать ски Что есть на дашборде с результатами исследования онлайн-школДля начала напомним, зачем вообще это все было нужно.🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать ски

Что есть на дашборде с результатами исследования онлайн-школДля начала напомним, зачем вообще это все было нужно.🔵 Узнать, какие онлайн-курсы для аналитиков наиболее востребованы.🔵 Разобраться, помогает ли онлайн-обучение найти новую работу и прокачать скиллы.🔵 Сравнить, как изменилась — и изменилась ли — ситуация по сравнению с 2021 годом, когда мы проводили первое такое исследование.🔜 Итоги видно на дашборде. Серыми полосками отмечены ответы в 2024, синими линиями — в 2021.🔵Больше всего людей проходили курсы от Яндекс Практикума, но оценки у него не самые высокие, хоть и неплохие — 7,9 баллов (на 0,3 ниже, чем в 2021).🔵Лучше всего оценили курсы от Simulative — 8,8 баллов. Платформа появил…

1 month, 3 weeks назад @ t.me
«Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the Data
«Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the Data «Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the Data

«Уверенность в своей работе ко мне пришла, наверное, только года три назад — до этого со мной всегда было ощущение, что ничего не получится»В гостях Роман Бунин — специалист по визуализации данных и развитию BI-систем, автор Telegram-канала Reveal the DataО чем поговорили?🔵 О работе инженером-электротехником на заводе.🔵 Как пришел в BI.🔵 Какой он — идеальный образовательный микс.🔵 Об уверенности в собственных навыках и неэффективности инструментов для визуализации данных.🔜 Подробности — в канале Карьера в Data | LEFT JOIN.А еще 26 октября стартует курс «Дашборды и аналитические инструменты», который Роман запускает совместно с Татьяной Мисютиной. Делимся с вами промокодом LEFTJOIN, который …

1 month, 4 weeks назад @ t.me
🔜 Основной канал ниже:t.me/leftjoint.me/leftjoin
🔜 Основной канал ниже:t.me/leftjoint.me/leftjoin 🔜 Основной канал ниже:t.me/leftjoint.me/leftjoin

🔜 Основной канал ниже:t.me/leftjoint.me/leftjoin

1 month, 4 weeks назад @ t.me
Channel created
Channel created

Channel created

1 month, 4 weeks назад @ t.me
Как дела у BI в России в 2024?Расскажут на мероприятии с говорящим названием Russian BI Forum’24.Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров
Как дела у BI в России в 2024?Расскажут на мероприятии с говорящим названием Russian BI Forum’24.Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров Как дела у BI в России в 2024?Расскажут на мероприятии с говорящим названием Russian BI Forum’24.Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров

Как дела у BI в России в 2024?Расскажут на мероприятии с говорящим названием Russian BI Forum’24.Форум пройдет 14 октября в Москве в Инновационном кластере МГУ «Ломоносов». В программе пленарная дискуссия про будущее BI, мастер-классы и доклады от вендоров и экспертов по аналитике.Про что будут говорить?🔵 Кейсы и опыт внедрения BI-систем.🔵 Тенденции и тренды индустрии.🔵 Выбор BI-систем: отличия, особенности, российские аналоги ушедших с рынка инструментов.Вариантов участия два:1️⃣ Стандарт, который дает доступ к пленарной сессии, докладам и фуршету,2️⃣ Стандарт + мастер-классы. За участие в последних дадут сертификат.Оба платные, но по промокоду LEFTJOIN можно купить билет со скидкой 35%. О…

1 month, 4 weeks назад @ t.me
SQLite на практике SQLite на практике
последний пост 4 months назад
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

4 months назад @ t.me
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

7 months назад @ t.me
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

7 months, 1 week назад @ t.me
Datalytics Datalytics
последний пост 3 days, 21 hours назад
Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упа
Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упа Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упа

Можете часами говорить про аналитику?Вдохновляйте наших студентов!Яндекс Практикум в поисках автора, который поможет нам создать курс по продуктовой аналитике. Что делает автор курса?Разрабатывает уроки, тесты, чек-листы, а если шире, то его задача так упаковать свой опыт, чтобы заинтересовать, объяснять и мотивировать. Если вы обладаете опытом работы в этой области и умеете объяснять сложные вещи простым языком, то эта позиция для вас. ➡️ Откликнуться

3 days, 21 hours назад @ t.me
💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, ка
💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, ка 💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, ка

💠 Вы готовы к следующему карьерному шагу в роли DWH-аналитика? Узнайте, как пройти собеседование и получить работу мечты.На открытом уроке разберем реальные кейсы из интервью на позицию Data Warehouse Analyst, подготовимся к типичным вопросам и выясним, какие навыки выделяют успешных кандидатов.Подготовьтесь так, чтобы даже сложные вопросы на собеседовании не застали вас врасплох. Узнайте секреты, которые помогут вам занять позицию уровня Middle+.Спикер Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. ⏺Встречаемся 4 декабря в 20:00 мск. Участникам урока – скидка на участие в курсе «Data Warehouse Analyst». Регистрируйтесь: https://clck.ru/3EzcAEРекл…

5 days, 15 hours назад @ t.me
Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источни
Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источни Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источни

Как готовить данные для анализа с помощью ETL? Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище. Вы узнаете:🟡 Что такое ETL и как он работает🟡 Какие есть различия между пакетной и потоковой обработкой🟡 Какие виды документации используют в дата-проектах🟡 Как оценивать и поддерживать высокое качество данных🟡 Как мониторить ETL-процессыВ конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁Встречаемся 4 декабря в …

5 days, 20 hours назад @ t.me
Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут
Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут

Как упростить сложную бизнес-аналитику с помощью OLAP?Расскажем на бесплатном вебинаре СберТеха «Platform V OLAP Analytics — бизнес-эффекты от интерактивного анализа данных».Приходите на вебинар, чтобы:• Разобраться, зачем нужна OLAP-технология и где могут пригодиться OLAP-кубы.• Познакомиться с инструментом для интерактивного анализа данных Platform V OLAP Analytics, узнать об основных функциях, преимуществах и сценариях использования.• Посмотреть демо решения Platform V OLAP Analytics и задать вопросы эксперту — владельцу продукта.Когда: 12 декабря в 11:00.Кому будет полезно: бизнес-аналитикам, руководителям аналитических отделов, CDO и CTO.Регистрируйтесь!

6 days, 17 hours назад @ t.me
Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специали
Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специали

Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут.Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK.Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми …

1 week, 3 days назад @ t.me
На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академиче
На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академиче

На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академические бенчмарки. Но эти тесты упускают главное: LLM создаются не для решения ЕГЭ, а для реальных задач — ведение диалога, перевод, суммаризация, брейншторминг. К тому же все бенчмарки подвержены протечкам данных — тестовые задания попадают в тренировочные наборы, искажая результаты.LLM-модели не имеют той внутренней картины мира, которая есть у людей. Для нас вопрос «стоит ли брать кирпичи на пляж» звучит абсурдно, а для модели этот ответ с…

1 week, 3 days назад @ t.me
Неделя IT-донора: масштабируем добро С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал фе
Неделя IT-донора: масштабируем добро  С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал фе Неделя IT-донора: масштабируем добро С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал фе

Неделя IT-донора: масштабируем добро С 2 по 7 декабря пройдёт девятая акция IT-донор. Это социальный проект Artsofte. Его цель — создать донорское сообщество из специалистов IT-отрасли, которые готовы сдавать кровь. Идея сплотила комьюнити: проект стал федеральной акцией, привлёк более 650 IT-компаний и 40 Министерств. В прошлую акцию: ❤️ Зарегистрировалось более 2600 добровольцев из 200 городов России; ❤️ Сдали почти 500 литров крови, которые помогли спасти жизни людей со всей России. И это не предел — ведь скоро стартует декабрьская акция IT-донор. Как участвовать в акции? 1. Регистрируйтесь через чат-бот IT-донора до 7 декабря включительно; 2. Приходите с 2 по 7 декабря сдавать кровь на …

1 week, 4 days назад @ t.me
Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉
Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.Где и когда?👉 Нижний Новгород, 5 декабря👉 Санкт-Петербург, 6 декабряТебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем.Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

1 week, 5 days назад @ t.me
🌐 Хотите вывести свои скиллы в аналитике данных на новый уровень? На открытом уроке разберем оконные функции, их синтаксис и практическое применение для сложных аналитических задач.Спикер Андрей Поляков — старший разработчик сервисов платежных систем в Unl
🌐 Хотите вывести свои скиллы в аналитике данных на новый уровень? На открытом уроке разберем оконные функции, их синтаксис и практическое применение для сложных аналитических задач.Спикер Андрей Поляков — старший разработчик сервисов платежных систем в Unl 🌐 Хотите вывести свои скиллы в аналитике данных на новый уровень? На открытом уроке разберем оконные функции, их синтаксис и практическое применение для сложных аналитических задач.Спикер Андрей Поляков — старший разработчик сервисов платежных систем в Unl

🌐 Хотите вывести свои скиллы в аналитике данных на новый уровень? На открытом уроке разберем оконные функции, их синтаксис и практическое применение для сложных аналитических задач.Спикер Андрей Поляков — старший разработчик сервисов платежных систем в Unlimint.Вы узнаете, как использовать PostgreSQL для ранжирования, суммирования и создания отчетов. Эти навыки ценят компании-лидеры!➡️ Урок пройдет 27 ноября в 20:00 мск. Регистрируйтесь сейчас — участники получат скидку на большое обучение «Data Warehouse Analyst»: https://clck.ru/3EpsWZРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

1 week, 5 days назад @ t.me
Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологии” 📚Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтес
Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологии” 📚Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтес

Сегодня подготовили для вас целую подборку каналов в сфере “IT и Технологии” 📚Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇Поэтому переходите, подписывайтесь и пользуйтесь на здоровье 📂😉 Хотите подборку?

1 week, 6 days назад @ t.me
Что инженер данных должен уметь в Kubernetes?➡️ Запускать Apache Spark➡️ Деплоить распределенные файловые системы и базы данных➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai9 декабря учебный центр Слёрм запускает новый поток курса
Что инженер данных должен уметь в Kubernetes?➡️ Запускать Apache Spark➡️ Деплоить распределенные файловые системы и базы данных➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai9 декабря учебный центр Слёрм запускает новый поток курса Что инженер данных должен уметь в Kubernetes?➡️ Запускать Apache Spark➡️ Деплоить распределенные файловые системы и базы данных➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai9 декабря учебный центр Слёрм запускает новый поток курса

Что инженер данных должен уметь в Kubernetes?➡️ Запускать Apache Spark➡️ Деплоить распределенные файловые системы и базы данных➡️ Разворачивать сервинг ML-моделей на KServe, Seldon Core, Bento+Yatai9 декабря учебный центр Слёрм запускает новый поток курса «Kubernetes для разработчиков». Внутри — глубокий разбор куба с точки зрения приложения.В программе:🔸 Внутреннее устройство куба🔸 Управление сервисами🔸 Работа с кластером и управление кластеромОБНОВИЛИ ПРАКТИКУ в августе 2024 года 🔸7 недель обучения🔸7 встреч со спикерами🔸76 часов практики и работы со стендами🔸Итоговая сертификация🎁 Видеокурс по основам Docker в подарокСтарт потока: 9 декабряИзучить программу курса и занять место ➡️ по ссыл…

2 weeks, 3 days назад @ t.me
Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд
Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд

Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вдохновляющие лекции от ведущих специалистов,🟣интересные дискуссии экспертов рынка ,🟣нетворкинг и вечеринка late night lab,🟣питчи идей и еще много интересного.🌟 На площадке соберутся разработчики и ИТ-инженеры , представители бизнес-сообщества и молодые ученые, студенты инженерных и ИТ-направлений, эксперты и партнеры Холдинга Т1. О чем поговорим?🔹 Как создавать условия для развития бизнеса и выращивать высокотехнологичных лидеров рынка?🔹 Ка…

2 weeks, 5 days назад @ t.me
Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд
Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вд

Импульс Т1 — конференция для тех, кто меняет мир! 🦾💡 Что стоит за великими открытиями и масштабными проектами? Конечно, импульс! Импульс Т1 — ИТ-конференция для тех, кто ценит точность, стремится к новым открытиям и жаждет творческого огня. 🔥 Вас ждут: 🟣вдохновляющие лекции от ведущих специалистов,🟣интересные дискуссии экспертов рынка ,🟣нетворкинг и вечеринка late night lab,🟣питчи идей и еще много интересного.🌟 На площадке соберутся разработчики и ИТ-инженеры , представители бизнес-сообщества и молодые ученые, студенты инженерных и ИТ-направлений, эксперты и партнеры Холдинга Т1. О чем поговорим?🔹 Как создавать условия для развития бизнеса и выращивать высокотехнологичных лидеров рынка?🔹 Ка…

2 weeks, 5 days назад @ t.me
Кому в корпоративном мире нужна BI-аналитика?⤵️ Приглашаем вас на открытый вебинар 21 ноября в 20:00 мск, где вы узнаете, как аналитика помогает бизнесу принимать взвешенные решения и кто нуждается в этих данных для успеха компании.Сегодня BI-аналитика — о
Кому в корпоративном мире нужна BI-аналитика?⤵️ Приглашаем вас на открытый вебинар 21 ноября в 20:00 мск, где вы узнаете, как аналитика помогает бизнесу принимать взвешенные решения и кто нуждается в этих данных для успеха компании.Сегодня BI-аналитика — о Кому в корпоративном мире нужна BI-аналитика?⤵️ Приглашаем вас на открытый вебинар 21 ноября в 20:00 мск, где вы узнаете, как аналитика помогает бизнесу принимать взвешенные решения и кто нуждается в этих данных для успеха компании.Сегодня BI-аналитика — о

Кому в корпоративном мире нужна BI-аналитика?⤵️ Приглашаем вас на открытый вебинар 21 ноября в 20:00 мск, где вы узнаете, как аналитика помогает бизнесу принимать взвешенные решения и кто нуждается в этих данных для успеха компании.Сегодня BI-аналитика — один из ключевых факторов успеха в бизнесе. На вебинаре мы обсудим, кому и зачем она нужна, какие задачи она решает и как ее внедрение помогает компаниям на практике.✔️ В программе вебинара — полезные примеры использования аналитики на реальных кейсах: от IT до ритейла. ✔️ Узнайте, как BI помогает формировать Data Driven подходы и в чем ее польза для ваших проектов. Особенно полезно для аналитиков данных и специалистов, которые хотят внедри…

2 weeks, 5 days назад @ t.me
Внимание всем любителям красивых дашбордов и качественной аналитики!22 ноября в Москве состоится мощнейший очный Дельта Day!Что вас ждет:- детальная информация по возможностям генеративной бизнес-аналитики в лучших традициях self-service- участие в битве в
Внимание всем любителям красивых дашбордов и качественной аналитики!22 ноября в Москве состоится мощнейший очный Дельта Day!Что вас ждет:- детальная информация по возможностям генеративной бизнес-аналитики в лучших традициях self-service- участие в битве в Внимание всем любителям красивых дашбордов и качественной аналитики!22 ноября в Москве состоится мощнейший очный Дельта Day!Что вас ждет:- детальная информация по возможностям генеративной бизнес-аналитики в лучших традициях self-service- участие в битве в

Внимание всем любителям красивых дашбордов и качественной аналитики!22 ноября в Москве состоится мощнейший очный Дельта Day!Что вас ждет:- детальная информация по возможностям генеративной бизнес-аналитики в лучших традициях self-service- участие в битве возможностей Power BI и Дельта BI с участием Марии Гришиной, ведущей канала «Power BI Design»- подробности о лучших практиках миграции с различных систем бизнес-аналитики на примере реальных кейсов.Не пропустите!Количество мест ограничено.Переходите по ссылке в начале поста и регистрируйтесь!

3 weeks, 3 days назад @ t.me
Труба данных Труба данных
последний пост 2 days, 21 hours назад
https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-s3-tables-apache-iceberg-tables-analytics-workloads/Ну что я могу поделать, если уже и Amazon подкидывает мне новости, которые я обещал не рассказывать? AWS выкатывает специальные Amazon S3 Tables б
https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-s3-tables-apache-iceberg-tables-analytics-workloads/Ну что я могу поделать, если уже и Amazon подкидывает мне новости, которые я обещал не рассказывать? AWS выкатывает специальные Amazon S3 Tables б

https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-s3-tables-apache-iceberg-tables-analytics-workloads/Ну что я могу поделать, если уже и Amazon подкидывает мне новости, которые я обещал не рассказывать? AWS выкатывает специальные Amazon S3 Tables бакеты, с нативной и встроенной поддержкой Apache IcebergПо словам провайдера - specifically optimized for analytics workloads, resulting in up to 3x faster query throughput and up to 10x higher transactions per second compared to self-managed tables@ohmydataengineer - канал "🕯Труба Данных" все-таки иногда нарушает своих обещаний!.

2 days, 21 hours назад @ t.me
https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (н
https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (н https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (н

https://github.com/ClickHouse/ClickHouse/pull/71542Я обещал ничего не рассказывать про Iceberg какое-то время, но такого обещания не было про Clickhouse.Однако новость выше не могу пропустить! 🔥Clickhouse в процессе добавления поддержки Iceberg каталога (на скриншоте пример чтения из Apache Polaris)@ohmydataengineer - канал "🕯Труба Данных" не нарушает своих обещаний!.

1 week, 2 days назад @ t.me
https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно
https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно

https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/Статья 2-х годовалой давности, но все также интересная. О том как Uber работает с Data Drift для своих ML моделей.@ohmydataengineer - канал "🕯Труба Данных" это коротко и интересно.

2 weeks, 3 days назад @ t.me
https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrowДолго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясн
https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrowДолго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясн

https://vutr.substack.com/p/i-spent-6-hours-learning-apache-arrowДолго для вас хранил мяготку, никому не отдавал, но пришло время - мне оч нравится этот блог и как статьи пишет автор в нем. Погружается достаточно глубоко в детали и очень все доступно поясняет. Как пример - как работает Apache Arrow.Потыкайте в его блог, там еще очень много всяких интересных чтив.@ohmydataengineer - канал "🕯Труба Данных" не прячет от вас крутые блоги и статьи и не переписывает их своими словами

2 weeks, 5 days назад @ t.me
https://dataengineeringcentral.substack.com/p/10-billion-row-challenge-duckdb-vsЗабавная статья о том, как сравнивали на одной машинке DuckDB, Polars и Daft и что из этого вышло. Первый так вообще какое-то время назад был из каждого утюга, но в итоге я пок
https://dataengineeringcentral.substack.com/p/10-billion-row-challenge-duckdb-vsЗабавная статья о том, как сравнивали на одной машинке DuckDB, Polars и Daft и что из этого вышло. Первый так вообще какое-то время назад был из каждого утюга, но в итоге я пок

https://dataengineeringcentral.substack.com/p/10-billion-row-challenge-duckdb-vsЗабавная статья о том, как сравнивали на одной машинке DuckDB, Polars и Daft и что из этого вышло. Первый так вообще какое-то время назад был из каждого утюга, но в итоге я пока не видел ни одного хорошо нагруженного production-ready решения. А в статье выше решение из коробки жиденько обделалось с датасетом на 16 гигов из Parquet. Причем в прошлом году, кажется, я читал пост этого же автора, с DuckDB были все те же проблемы с ООМ.Конечно, тест можно было бы провести и поглубже, ну как минимум не один раз (для сравнения). Ну да ладно. (По работе, возможно, предстоит потрогать Rust, поэтому и смотрю на статьи, св…

2 weeks, 6 days назад @ t.me
В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁@ohmydataengineer
В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁@ohmydataengineer В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁@ohmydataengineer

В качестве пятничного юмора вашему вниманию представляется экспонат "Полочка" или что такое мутации в Clickhouse на больших объемах 😁@ohmydataengineer

3 weeks, 2 days назад @ t.me
https://xtable.incubator.apache.orgНаплодили форматов разных для таблиц, кто это будет все вместе собирать? Iceberg, Hive, Hudi, Delta Lake и так далее.У Apache теперь появился X Table, тулза чтобы синхронизировать метаданные среди этого всего зоопарка.@oh
https://xtable.incubator.apache.orgНаплодили форматов разных для таблиц, кто это будет все вместе собирать? Iceberg, Hive, Hudi, Delta Lake и так далее.У Apache теперь появился X Table, тулза чтобы синхронизировать метаданные среди этого всего зоопарка.@oh

https://xtable.incubator.apache.orgНаплодили форматов разных для таблиц, кто это будет все вместе собирать? Iceberg, Hive, Hudi, Delta Lake и так далее.У Apache теперь появился X Table, тулза чтобы синхронизировать метаданные среди этого всего зоопарка.@ohmydataengineer - канал "🕯Труба Данных" который держит обещание и не пишет про Iceberg (почти).

3 weeks, 5 days назад @ t.me
https://vutr.substack.com/p/datahub-the-metadata-platform-developedХороший вводный пост про то, как устроен и эволюционировал DataHub (это который каталог данных).У автора, на самом деле, оч неплохой блог и интересные посты, глубже, чем стандартная писака
https://vutr.substack.com/p/datahub-the-metadata-platform-developedХороший вводный пост про то, как устроен и эволюционировал DataHub (это который каталог данных).У автора, на самом деле, оч неплохой блог и интересные посты, глубже, чем стандартная писака

https://vutr.substack.com/p/datahub-the-metadata-platform-developedХороший вводный пост про то, как устроен и эволюционировал DataHub (это который каталог данных).У автора, на самом деле, оч неплохой блог и интересные посты, глубже, чем стандартная писака в инторнетах, с погружением в детали. Полистайте его блог, там много интересного.@ohmydataengineer - канал "🕯Труба Данных" который делится интересным блогом про датку

1 month назад @ t.me
https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouseВ продолжении разговора про JSON и Clickhouse, последние в своем блоге выкатили мяготки-внутрянки про то, как же под капотом работает новый нативный тип JSON.@ohmydataengineer - канал
https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouseВ продолжении разговора про JSON и Clickhouse, последние в своем блоге выкатили мяготки-внутрянки про то, как же под капотом работает новый нативный тип JSON.@ohmydataengineer - канал

https://clickhouse.com/blog/a-new-powerful-json-data-type-for-clickhouseВ продолжении разговора про JSON и Clickhouse, последние в своем блоге выкатили мяготки-внутрянки про то, как же под капотом работает новый нативный тип JSON.@ohmydataengineer - канал "🕯Труба Данных" все еще радуется как ребенок JSON

1 month назад @ t.me
Я люблю смотреть футбол и горячо поддерживаю Челси в АПЛ. Там Oracle Cloud и Opta во время игры показывают всякие live-статистики о том, кто сколько пробежал, сколько касаний сделал в штрафной и так далее. Наткнулся на очень прикольный доклад про то, как э
Я люблю смотреть футбол и горячо поддерживаю Челси в АПЛ. Там Oracle Cloud и Opta во время игры показывают всякие live-статистики о том, кто сколько пробежал, сколько касаний сделал в штрафной и так далее. Наткнулся на очень прикольный доклад про то, как э

Я люблю смотреть футбол и горячо поддерживаю Челси в АПЛ. Там Oracle Cloud и Opta во время игры показывают всякие live-статистики о том, кто сколько пробежал, сколько касаний сделал в штрафной и так далее. Наткнулся на очень прикольный доклад про то, как это все работает (путь и в испанской La Liga, но суть понятна)https://www.youtube.com/watch?v=yncU9F_FK8Y@ohmydataengineer - канал "🕯Труба Данных" продвигает датку в спорте

1 month, 1 week назад @ t.me
Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)Закрома – передовое российское ПО для хранения и управления корпоративными даннымиГибридное хранилище, предназначенное для безопасного и экономичного хранения и управления
Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)Закрома – передовое российское ПО для хранения и управления корпоративными даннымиГибридное хранилище, предназначенное для безопасного и экономичного хранения и управления

Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)Закрома – передовое российское ПО для хранения и управления корпоративными даннымиГибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.https://zakroma.ru/

1 month, 2 weeks назад @ t.me
Я не мог не перепостить эту новость!Нейминг просто 🔥
Я не мог не перепостить эту новость!Нейминг просто 🔥

Я не мог не перепостить эту новость!Нейминг просто 🔥

1 month, 2 weeks назад @ t.me
Кстати...
Кстати... Кстати...

Кстати...

1 month, 3 weeks назад @ t.me
https://www.youtube.com/@ApacheAirflow/videosApache Airflow Summit 2024 видосики подъехали!Из интересного:- Видео про roadmap- Performance tuning- Event-driven DAGs Не шибко густо и много, но в целом норм. Для поддержания актуальных знаний - хватит.@ohmyda
https://www.youtube.com/@ApacheAirflow/videosApache Airflow Summit 2024 видосики подъехали!Из интересного:- Видео про roadmap- Performance tuning- Event-driven DAGs Не шибко густо и много, но в целом норм. Для поддержания актуальных знаний - хватит.@ohmyda

https://www.youtube.com/@ApacheAirflow/videosApache Airflow Summit 2024 видосики подъехали!Из интересного:- Видео про roadmap- Performance tuning- Event-driven DAGs Не шибко густо и много, но в целом норм. Для поддержания актуальных знаний - хватит.@ohmydataengineer - канал "🕯Труба Данных" который продолжает следить за Airflow

1 month, 3 weeks назад @ t.me
https://jack-vanlightly.com/blog/2024/8/7/table-format-comparisons-how-do-the-table-formats-represent-the-canonical-set-of-filesЯ ж вас точно заколебал своим Iceberg (ну правда, из каждого угла, даже обещал ничего не постить про него). Так вот табличных фо
https://jack-vanlightly.com/blog/2024/8/7/table-format-comparisons-how-do-the-table-formats-represent-the-canonical-set-of-filesЯ ж вас точно заколебал своим Iceberg (ну правда, из каждого угла, даже обещал ничего не постить про него). Так вот табличных фо

https://jack-vanlightly.com/blog/2024/8/7/table-format-comparisons-how-do-the-table-formats-represent-the-canonical-set-of-filesЯ ж вас точно заколебал своим Iceberg (ну правда, из каждого угла, даже обещал ничего не постить про него). Так вот табличных форматов, на самом деле, больше: Delta Lake, Apahce Hudi, и так далее. Вы знали, что у Apache есть еще и Paimon?Хорошая статья (а в блоге еще и несколько других сценариев сравнения, например, при CDC) про сравнение этих табличных форматов.@ohmydataengineer - канал "🕯Труба Данных" заколебался слушать про айсберг

1 month, 3 weeks назад @ t.me
data будни data будни
последний пост 3 weeks, 5 days назад
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

3 weeks, 5 days назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

4 weeks назад @ t.me
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

1 month, 1 week назад @ t.me
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

1 month, 1 week назад @ t.me
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

1 month, 1 week назад @ t.me
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

1 month, 1 week назад @ t.me
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

1 month, 3 weeks назад @ t.me
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

4 months назад @ t.me
😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех отклико
😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех отклико

😱 забанили в LinkedIn случилось страшное! дело было после мобилизации, когда я активно искал работу за бугром. каждый день я стабильно искал дата-вакансии и откликался сначала на интересные, а потом и просто на все более-менее подходящие. Из всех откликов…

4 months назад @ t.me
🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работ
🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работ

🎙️сходил на подкаст обсудить кофе и дату↑ не было определённого плана, поэтому мы импровизировали; прошлись по основным этапам: предыдущие подходы к смене карьеры, приход в дата инжиниринг через курс по анализу данных, поэтапную смену компаний, поиск работы и переезд в Швецию, и как тут у нас живется при победившем дата-меше. в эпизоде упоминали:⌘ доклады Жени Ермакова и Коли Гребенщикова про чудо-DWH в Яндекс GO, благодаря которым я загорелся идеей попасть туда;⌘ на один из предыдущих эпизодов подкаста, где гостем был Игорь Мосягин — поскольку он был в команде дата-платформы, там было много сочных деталей типа админстрирования Редшифта на 2к пользователей и мотивацию к документации.

4 months, 1 week назад @ t.me
136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район
136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов,  дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район 136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады район

136 (S5E21). Будни дата-инженераВ гостях у подкаста 🎙"Data Coffee" Саша Михайлов, дата инженер ( Telegram⁠, LinkedIn⁠)Обсудили:• кофе• дата инженер• нужен ли CDO для data mesh• карьерный путь• переезд в Швецию• деанон по фитнес-трекеру• детские сады района• почему дата инженер• pet projects• как развиватьсяСайт: ⁠⁠⁠⁠⁠⁠⁠⁠https://datacoffee.link⁠⁠⁠⁠⁠⁠⁠⁠Telegram: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Mastodon: ⁠⁠⁠⁠⁠⁠⁠⁠https://techhub.social/@datacoffee⁠⁠⁠⁠⁠⁠⁠⁠Чат подкаста: ⁠⁠⁠⁠⁠⁠⁠⁠https://t.me/datacoffee_chat⁠#datacoffee #data #podcast #данные #подкаст #кофе #coffee Где слушать🎧:— Бот-плеер— RSS feed — YouTube — Остальные площадки

4 months, 1 week назад @ t.me
💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле
💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле 💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфле

💊 реал биг дата!у меня начинает складываться ощущение, что проблема big data плавно смещается; сначала все боялись этих терабайт данных: как же их хранить, как обрабатывать и искать в них инсайты.сейчас вроде как залить сколько-угодно данных в ваши сноуфлейки с датабриксами уже научились. если что, просто докинуть чуток компьюта — ведь если удалось накопить столько данных, то где-то рядом должен быть и бюджет на их перекладывание.теперь же встала другая проблема — среди этих десятков тысяч залитых и нагенерированных сущностей найти ту самую! × как посчитать активных юзеров за прошлый месяц?× как узнать сколько было возвратов?× как понять сколько бизнес заработал? (или потерял!)если спросить…

4 months, 2 weeks назад @ t.me
🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был п
🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был п

🛠️ Musk Engineering Algorithm читаю биографию Илона Маска, нахожу любопытным его подходИлона часто сравнивают со Стивом Джобсом: основатели культовых компаний, визионеры-провидцы, дотошные менеджеры, и оба в жизни что называется assholeв жизни Джобса был период, когда он управлял двумя компаниями одновременно: Apple и Pixar. Днём накручивал хвосты дизайнерам в Купертино, а после мчал на встречи с командой в Пиксаре. Есть версия, что именно этот период подкосил его здоровье, что в итоге способствовало развитию рака.не умалая достижений Джобса, Маск — это какой-то следующий уровень: управлять не двумя, а уже шестью семью компаниями одновременно. SpaceX, Tesla, Solar Roof, Neuralink, StarLink,…

4 months, 2 weeks назад @ t.me
🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизаци
🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизаци

🍎 Andy Pavlo & Amazon Redshiftа теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:https://youtu.be/T9-MM8oHzsM⌘⌘⌘в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили. В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.→ в 2013 выходит Redshift как продукт→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных…

4 months, 3 weeks назад @ t.me
⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба
⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба ⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех ба

⚾ Andy Pavloменя покусал библиотекарь, поэтому перед тем как ввести новое действующее лицо, дам ссылку на общеизвестный факт. имя Andy Pavlo у меня прочно ассоциируется с базами данных: Andy = databases, databases = Andyу него есть открытый каталог всех баз данных, где уже есть ссылки на 998 (!) штукhttps://dbdb.io/ещё у него есть был стартап, который помогает тюнить клиентские базы данных с помощью мл: моделька на основе метаданных подкручивает настройки вашего постгреса в цикле с обратной связью. сами данные она не видит.https://ottertune.com/и, видимо, для души (и будущих клиентов и сотрудников), он ведёт курс по базам данных в университете CMUнесмотря на то, что курс офлайн в обычном ки…

4 months, 3 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 5 months, 1 week назад
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq
Improve Data Quality Through Engineering Rigor And Business Engagement With Synq

Summary

This episode features an insightful conversation with Petr Janda, the CEO and founder of Synq. Petr shares his journey from being an engineer to founding Synq, emphasizing the importance of treating data systems with the same rigor as engineering systems. He discusses the challenges and solutions in data reliability, including the need for transparency and ownership in data systems. Synq's platform helps data teams manage incidents, understand data dependencies, and ensure data quality by providing insights and automation capabilities. Petr emphasizes the need for a holistic approach to data reliability, integrating data systems into broader business processes. He highlights the rol…

5 months, 1 week назад @ dataengineeringpodcast.com
Stitching Together Enterprise Analytics With Microsoft Fabric
Stitching Together Enterprise Analytics With Microsoft Fabric

Summary

Data lakehouse architectures have been gaining significant adoption. To accelerate adoption in the enterprise Microsoft has created the Fabric platform, based on their OneLake architecture. In this episode Dipti Borkar shares her experiences working on the product team at Fabric and explains the various use cases for the Fabric service.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end data lakehouse platform built on Trino, the query engine Apache Iceberg was designed for, w…

5 months, 2 weeks назад @ dataengineeringpodcast.com
Being Data Driven At Stripe With Trino And Iceberg
Being Data Driven At Stripe With Trino And Iceberg

Summary

Stripe is a company that relies on data to power their products and business. To support that functionality they have invested in Trino and Iceberg for their analytical workloads. In this episode Kevin Liu shares some of the interesting features that they have built by combining those technologies, as well as the challenges that they face in supporting the myriad workloads that are thrown at this layer of their data platform.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-end …

5 months, 3 weeks назад @ dataengineeringpodcast.com
X-Ray Vision For Your Flink Stream Processing With Datorios
X-Ray Vision For Your Flink Stream Processing With Datorios

Summary

Streaming data processing enables new categories of data products and analytics. Unfortunately, reasoning about stream processing engines is complex and lacks sufficient tooling. To address this shortcoming Datorios created an observability platform for Flink that brings visibility to the internals of this popular stream processing system. In this episode Ronen Korman and Stav Elkayam discuss how the increased understanding provided by purpose built observability improves the usefulness of Flink.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someo…

6 months назад @ dataengineeringpodcast.com
Practical First Steps In Data Governance For Long Term Success
Practical First Steps In Data Governance For Long Term Success

Summary

Modern businesses aspire to be data driven, and technologists enjoy working through the challenge of building data systems to support that goal. Data governance is the binding force between these two parts of the organization. Nicola Askham found her way into data governance by accident, and stayed because of the benefit that she was able to provide by serving as a bridge between the technology and business. In this episode she shares the practical steps to implementing a data governance practice in your organization, and the pitfalls to avoid.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. F…

6 months, 1 week назад @ dataengineeringpodcast.com
Data Migration Strategies For Large Scale Systems
Data Migration Strategies For Large Scale Systems

Summary

Any software system that survives long enough will require some form of migration or evolution. When that system is responsible for the data layer the process becomes more challenging. Sriram Panyam has been involved in several projects that required migration of large volumes of data in high traffic environments. In this episode he shares some of the valuable lessons that he learned about how to make those projects successful.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to build and scale high quality data workflows on the data lake, Starburst is an end-to-en…

6 months, 2 weeks назад @ dataengineeringpodcast.com
Zenlytic Is Building You A Better Coworker With AI Agents
Zenlytic Is Building You A Better Coworker With AI Agents

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

6 months, 3 weeks назад @ dataengineeringpodcast.com
Release Management For Data Platform Services And Logic
Release Management For Data Platform Services And Logic

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

7 months назад @ dataengineeringpodcast.com
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

7 months, 1 week назад @ dataengineeringpodcast.com
Build Your Second Brain One Piece At A Time
Build Your Second Brain One Piece At A Time

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

7 months, 2 weeks назад @ dataengineeringpodcast.com
Making Email Better With AI At Shortwave
Making Email Better With AI At Shortwave

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

7 months, 3 weeks назад @ dataengineeringpodcast.com
Designing A Non-Relational Database Engine
Designing A Non-Relational Database Engine

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

7 months, 4 weeks назад @ dataengineeringpodcast.com
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

8 months назад @ dataengineeringpodcast.com
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

8 months, 1 week назад @ dataengineeringpodcast.com
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

8 months, 2 weeks назад @ dataengineeringpodcast.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 3 days, 17 hours назад
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

3 days, 17 hours назад @ share.transistor.fm
Приходите праздновать пятилетие «Запуска завтра» — онлайн-трансляция 28 ноября
Приходите праздновать пятилетие «Запуска завтра» — онлайн-трансляция 28 ноября

В конце ноября нашему подкасту исполняется ПЯТЬ лет. Мы очень благодарны, что вы все это время слушаете нас, и хотим отпраздновать пятилетие вместе! В четверг 28 ноября в 19:00 по Москве мы проведем праздничную трансляцию. Самат вместе с гостями будет обсуждать главные технологические события и открытия последних пяти лет: крипту, блокчейн, виртуальную реальность, искусственный интеллект, большие лингвистические модели. Мы расскажем про самые горячие темы из мира технологий, попробуем построить прогнозы на будущее и, конечно, дадим возможность вам задавать свои вопросы! Трансляция пройдет в телеграм-канале студии «Либо/Либо», которая выпускает этот подкаст. Подпишитесь, чтобы не пропустить:…

2 weeks, 3 days назад @ share.transistor.fm
Под колпаком: как наши данные используют против нас | Подкаст «На каком основании»
Под колпаком: как наши данные используют против нас | Подкаст «На каком основании» Под колпаком: как наши данные используют против нас | Подкаст «На каком основании»

Это эпизод другого подкаста студии Либо/Либо — «На каком основании». В этом выпуске ведущая Полина Агаркова рассказывает историю о том, как Cambridge Analytica и Facebook поставили под угрозу весь демократический процесс в США и Великобритании. Другие эпизоды подкаста «На каком основании» можно послушать тут: https://podcast.ru/1735291623

1 month, 2 weeks назад @ share.transistor.fm
Поделитесь с нами своим мнением и идеями. Короткий опрос по итогам 11 сезона «Запуска завтра»
Поделитесь с нами своим мнением и идеями. Короткий опрос по итогам 11 сезона «Запуска завтра»

Недавно мы закончили 11-й сезон подкаста, и нам очень интересно узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Для этого мы подготовили небольшой опрос и очень просим вас его пройти. Это займет примерно 7 минут и поможет нам сделать «Запуск завтра» еще лучше. Ссылка на опрос: https://form.typeform.com/to/W2dUygOZ

1 month, 3 weeks назад @ share.transistor.fm
Amazon: как популярный онлайн-магазин подсадил всех на облака
Amazon: как популярный онлайн-магазин подсадил всех на облака Amazon: как популярный онлайн-магазин подсадил всех на облака

Как технология для стабильной работы магазина книг стала основой половины интернета? Из-за чего мы начали покупать бесконечные подписки на приложения? Почему из-за сбоев на серверах одного интернет сервиса ложится все? В этом выпуске рассказываем про «облака»: как они возникли и поменяли наши привычки покупать вещи, смотреть кино, редактировать документы и играть в игры.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — сервис Яндекс Образование. Участвуйте в Олимпиаде AIDAO для студентов бакалавриата и магистратуры. Регистрация открыта до 5 октября 2024 года. Все подробности и условия участия тут:https://cutt.ly/aeRKEQpv?erid=2SDnjdYhKWzЭпизод с разработчиком хромбуков: https://pc…

2 months, 3 weeks назад @ share.transistor.fm
Intel и AMD: как появился чип, на котором всё работает
Intel и AMD: как появился чип, на котором всё работает Intel и AMD: как появился чип, на котором всё работает

Кремниевая долина названа так в честь кремния в компьютерных процессорах. Полвека назад они были медленные и размером с квартиру, но с тех пор уменьшились в сотни и разогнались в миллиарды раз. Кажется, закон Мура перестаёт работать, а кремний как основа электроники уходит в прошлое. С чего все началось и что грядёт на смену? Это выпуск о компании Intel и ее заклятом друге AMD, о создании процессора и о безумной сложности производства компьютерных чипов.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс Образование. Учитесь и узнавайте новое вместе Журналом от Яндекс Образования: https://education.yandex.ru/journal?erid=2SDnjdbF76zВ этом эпизоде мы упоминаем другие выпуски н…

2 months, 4 weeks назад @ share.transistor.fm
Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции
Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции Стив Джобс: как хиппи со скверным характером стал отцом цифровой революции

Как маргинальный хиппи подчинил себе мировой цифровой рынок? Почему из десятков стартапов, рожденных в гаражах Кремниевой Долины, выстрелил именно Apple? Как пережить изгнание из собственной компании, а потом триумфально вернуться в нее ещё более богатым, чем уходил? Наконец, как работало «поле искажения реальности», позволявшее создавать невозможное? В этом выпуске рассказываем историю IT-иконы и человека-мифа Стива Джобса и его корпорации Apple.Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать, а 12 сентября — отмечать День разработчика в осенний коворкинг Яндекса в Парке Горького: https://clck.ru/3Cjpx8erid=2SDnjbuMCprПоддержите студию «Либо/Либо» дон…

3 months назад @ share.transistor.fm
Google: как появился главный мировой поисковик
Google: как появился главный мировой поисковик Google: как появился главный мировой поисковик

Гугл - главный поисковик нашего времени, с которым никто не может конкурировать. Однако, не так давно он был лишь одним из шести подобных стартапов, и в его успех никто не верил кроме двух 20-летних студентов которые совершенно случайно наткнулись на главный клад 21 века — поисковой трафик. О том, как сын советских евреев и его однокурсник по Стэнфорду изобрели способ найти что угодно за секунды, подмяли под себя интернет и столкнули с Олимпа непобедимого Билла Гейтса - третий эпизод нового сезона «Запуска завтра». Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите работать в осенний коворкинг Яндекса с 6 сентября по 4 октября: https://clck.ru/3Cjptb?erid=2SDnjdeA…

3 months, 1 week назад @ share.transistor.fm
Билл Гейтс: человек, который научил компьютеры всему
Билл Гейтс: человек, который научил компьютеры всему Билл Гейтс: человек, который научил компьютеры всему

Билл Гейтс — одна из самых противоречивых фигур в истории IT. Как он победил самую влиятельную корпорацию своего времени и сам вырастил такого же IT-гиганта? Кому проиграл битву за Интернет? Наконец, правда ли его карьеру ускорила влиятельная мама? Второй эпизод нового сезона «Запуска завтра» — про технологического гиганта 90-х, компанию Microsoft, и ее создателя Билла Гейтса.***Реклама. ООО «Яндекс» ИНН 7736207543Партнер этого эпизода — Яндекс. Приходите на Practical ML Conf от Яндекса 14 сентября в Москве или онлайн: https://clck.ru/3CjqjB?erid=2SDnjcsfPcE ***Подробнее про курс «Как делать разговорные подкасты»:https://t.me/libolibocourses/18***В эпизоде мы упоминаем подкаст «Конкуренты» …

3 months, 2 weeks назад @ share.transistor.fm
IBM: первый массовый компьютер, атака клонов и падение империи
IBM: первый массовый компьютер, атака клонов и падение империи IBM: первый массовый компьютер, атака клонов и падение империи

Чем разработка компьютера похожа на запуск ракеты на Луну? Легко ли быть сыном самого успешного человека на континенте? Как один мелкий пункт в договоре может выбить из гонки, которую ты сам же и начал?В первом эпизоде нового сезона «Запуска завтра» рассказываем о взлете и падении империи IBM, появлении персонального компьютера, зарождении Кремниевой Долины и о том, как стартаперы в майках с пятнами от пиццы становятся важнее топ-менеджеров в костюмах-тройках.***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/A1Ye0k?erid=2SDnjcys7Ja***Слушайте бонусы «Запуска завтра» по подписк…

3 months, 3 weeks назад @ share.transistor.fm
Право на ремонт. Почему наши устройства так сложно чинить
Право на ремонт. Почему наши устройства так сложно чинить

В основе движения right to repair лежит крайне простая идея: только сами пользователи могут решать, как им распоряжаться своими приобретениями, будь то телефон, кухонный комбайн или газонокосилка. Но убедить в этом производителей пока не смог даже Конгресс США. Зачем компаниям ограничивать право на ремонт электроники? Какое оно — по-настоящему ремонтопригодное устройство? И, наконец, почему активистов движения так бесит компания Apple? Обсуждаем право на ремонт с Гэй Гордон-Бёрн, одной из основательниц Digital Right To Repair Coalition.Сайт коалиции: https://www.repair.org/***Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устро…

4 months назад @ share.transistor.fm
Что делают писатели в IT
Что делают писатели в IT

Вы когда-нибудь открывали инструкцию к микроволновке? Кажется, ее никто не читает. При этом документация есть примерно у всех устройств, которыми мы пользуемся каждый день, и кто-то даже строит на ней бизнес. Зачем нужна документация? Кто ее создает? И что должен уметь писатель в IT? Самат Галимов говорит с Семеном Факторовичем — техническим директором documentat.io — компании по разработке документации.Курс Семена для разработчиков: https://documentat.io/courses/developers-developers-developers/Чат техписателей: https://t.me/technicalwritersТелеграм-канал Коли Волынкина: https://t.me/s/docops Семен рекомендует книгу The Product is Docs, автор Christopher Gales***Реклама. АО «Точка» ОГРН: 1…

4 months, 1 week назад @ share.transistor.fm
Пароли устарели? Говорим об аутентификации
Пароли устарели? Говорим об аутентификации

Специалисты по безопасности говорят, что пароли устаревают. Что с ними не так? Какие вообще способы аутентификации существуют? И чем их заменить? Самат Галимов говорит с Каримом Валиевым, который руководил группой информационной безопасности Mail.Ru.Реклама. АО «Точка» ОГРН: 1187746637143 ИНН 9705120864Партнер эпизода — финтех-компания Точка. Посмотреть, как устроена работа в Точке, можно тут: https://tchk.me/IkUNnN?erid=2SDnjbpj8B4 Слушайте бонусы «Запуска завтра» по подписке «Либо/Либо+» в закрытом тг-канале https://cutt.ly/zap2507eptg1990 (подписка на год за 1990руб) или https://cutt.ly/zap2507eptg (399руб/месяц), а также в Apple Podcasts https://cutt.ly/zap2507epap 🎧 Слушайте подкаст «Г…

4 months, 2 weeks назад @ share.transistor.fm
CAPTCHA. Докажите, что вы не робот
CAPTCHA. Докажите, что вы не робот

Кажется, что роботы способны на всё — от уборки квартиры до исследования поверхности Марса. При этом, возможно, вам приходилось ставить галочку рядом с фразой «Я не робот», чтобы зайти на сайт. Неужели робот бы не справился с такой задачей? Как устроен механизм, который различает роботов и людей в интернете? Кто пытается его обмануть и зачем? Самат Галимов говорит с Никитой Захматовым, который защищает от роботов инфраструктуру «Яндекса».Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Java-разработчик»: https://ya.cc/t/lMZjkaqJ5Aycex?erid=2SDnjeFcxyY❗️Мы пробуем видео! Этот и два предыдущих эпизода вышли с видеоверсиями. В них — примерно то же самое, но с лицами и…

4 months, 3 weeks назад @ share.transistor.fm
Parkly. Как бывший техдир Авито автоматизирует парковки
Parkly. Как бывший техдир Авито автоматизирует парковки

Иногда сесть за руль и доехать до пункта назначения занимает 15 минут, а найти место для парковки — в два раза больше. Бывший технический директор Авито Роман Павлушко создал стартап, который решает эту проблему в крупных российских городах. Самат расспросил Рому о деньгах, команде и перспективах.Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033Бесплатный курс «Основы работы с Git»: https://ya.cc/t/X2V0hT_f5AyGGn?erid=2SDnjdmt3ea ❗️Мы пробуем видео! Этот, следующий и предыдущий эпизод выходят с видеоверсиями. В них — примерно то же самое, но с лицами и иллюстрациями. Ссылка на видеоверсию этого эпизода: https://youtu.be/DkGl-wTJN5s Подписывайтесь на YouTube-канал студии «…

5 months назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 2 weeks назад
Как из Python, Open source и такой-то матери построить бизнес
Как из Python, Open source и такой-то матери построить бизнес

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

2 weeks назад @ learnpython.podbean.com
3.13 и другие новости за октябрь 2024
3.13 и другие новости за октябрь 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

1 month, 1 week назад @ learnpython.podbean.com
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

2 months назад @ learnpython.podbean.com
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

2 months, 3 weeks назад @ learnpython.podbean.com
Зачем гуманитариям изучать Python?
Зачем гуманитариям изучать Python? 3 months, 3 weeks назад @ learnpython.podbean.com
Новости Python за июль 2024
Новости Python за июль 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Утечка токена для полного доступа к GitHub-репозиториям проекта Python

Запущен сайт про nogil-питон

Python grapples with Apple App Store rejections

Вышел Polars 1.0 PEP 751 общий формал для lock-файлов зависимостей Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

4 months назад @ learnpython.podbean.com
Новости Python за июнь 2024
Новости Python за июнь 2024

Спонсор подкаста — https://learn.python.ru/advanced

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Должен ли Python использовать календарную нумерацию версий Релиз NumPy 2.0

Как устроена инфраструктура работы с уязвимостями в Python

Современные практики для разработки на Python Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

4 months, 4 weeks назад @ learnpython.podbean.com
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким
Яндекс и Python: Взгляд изнутри с Сергеем Яхницким

В этом выпуске встретились с Сергеем Яхницким и обсудили: Python в Яндекс.Такси

как в Яндексе организована разработка Python кода

как организован CI/CD

какие линтеры используют

борются ли как-то с использованием типов

используют ли в Яндексе ruff

про PiterPy

про поиск спикеров

что нравится Сергею в конференциях

5 months, 1 week назад @ learnpython.podbean.com
Что нового в Python 3.13 и 3.14 c Никитой Соболевым
Что нового в Python 3.13 и 3.14 c Никитой Соболевым

Спонсор подкаста: продвинутые курсы для разработчиков — https://vk.cc/cxi9FL

Ведущие – Григорий Петров и Михаил Корнеев https://github.com/sobolevn/ship-it-b... - настолка от Никиты / @sobolevn — видео от Никиты

5 months, 1 week назад @ learnpython.podbean.com
Новости Python за май 2024
Новости Python за май 2024

Спонсор подкаста — https://learn.python.ru

CFP PiterPy — https://piterpy.com/callforpapers/

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Вышла бета python 3.13

Django Developers Survey 2023

Django Enhancement Proposal: Background Workers

Fake job interviews target developers with new Python backdoor

Как выбирают доклады на EuroPython Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

6 months назад @ learnpython.podbean.com
Day Special с Иваном Кривошеевым
Day Special с Иваном Кривошеевым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

6 months, 3 weeks назад @ learnpython.podbean.com
Day Special с Александром Гончаровым
Day Special с Александром Гончаровым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

7 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за апрель 2024
Новости мира Python за апрель 2024

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

7 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за март 2024
Новости мира Python за март 2024

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

8 months назад @ learnpython.podbean.com
API версионирование: как, зачем и почему?
API версионирование: как, зачем и почему?

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

8 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 1 week назад
Podlodka #401 – PL/SQL
Podlodka #401 – PL/SQL Podlodka #401 – PL/SQL

А что, если взять SQL, добавить к нему всякие расширения, чтобы было проще писать бизнес-логику, и максимально тесно интегрировать с конкретной базой данных? Получится PL/SQL! Обсуждаем в выпуске сам язык, а также экосистему Oracle, в которую он тесно внедрен. А в гостях у нас Иван Дубашинский. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В разных проектах всегда находятся вызовы, поэтому сотрудники могут строить свой карьерный трек и перемещаться между командами, чтобы наращивать опыт и контекст. Узнать больше о технологиях …

1 week назад @ soundcloud.com
Podlodka #400 – Проблемы и страхи ИТ индустрии
Podlodka #400 – Проблемы и страхи ИТ индустрии Podlodka #400 – Проблемы и страхи ИТ индустрии

Друзья, встречайте наш юбилейный 400-й выпуск! 🎉 Мы посвятили этот особенный эпизод темам, которые волнуют каждого слушателя и слушательницу: разбираем проблемы и страхи IT-индустрии и обсуждаем, как с ними бороться. Поговорим о том, есть ли недостаток фундаментальных знаний и грозит ли нам полная монополизация технологий. Порассуждаем о том, как бороться с тем, что желание краткосрочной выгоды в индустрии все чаще преобладает над смыслом работы. Обсудим страхи увольнения, экономического спада, замену человека искусственным интеллектом, а также проблему выгорания. Мы не смогли выбрать одного гостя для такой масштабной темы, поэтому собрали комментарии сразу шести!!! ваших любимых экспертов:…

2 weeks назад @ soundcloud.com
Podlodka #399 – Силовые тренировки, часть 3: питание
Podlodka #399 – Силовые тренировки, часть 3: питание Podlodka #399 – Силовые тренировки, часть 3: питание

А вот и финальная часть нашего гайда по качалке! В этот раз обсудили, нужна ли специальная диета для силовых тренировок и какие ключевые рекомендации по питанию стоит учесть. Разобрали, как и зачем считать калории, сколько белка нужно есть, откуда его брать и какие есть лайфхаки. Поговорили о том, стоит ли отказываться от каких-то продуктов, действительно ли быстрые углеводы — зло, и как вписать пиво в вашу диету. Бонусом разобрали тему травм и проблем со здоровьем: какие заболевания являются противопоказаниями, а при каких силовые тренировки могут помочь. Как и в предыдущих 2-х частях вас ждут концентрированные знания от Станислава Цаллагова, приправленные шутейками, а также личными истори…

3 weeks назад @ soundcloud.com
Podlodka #398 – Релокация в США, часть 1
Podlodka #398 – Релокация в США, часть 1 Podlodka #398 – Релокация в США, часть 1

Наконец-то выпуск про релокацию не на какой-то там очередной остров, а в Соединенные Штаты Америки! Тема обширная, так что обсудили не все, но подняли много непростых тем – визы и легализацию, безопасность и владение оружием, медицину и страховки. А в гостях у нас уже дважды релокант в США – Артем Зиннатуллин! 18 ноября стартует новый сезон Podlodka Java Crew. Тема сезона – "Асинхронная архитектура"! По промокоду JAVA_STREAM скидка на билеты. Полная программа и подробности – на сайте https://podlodka.io/javacrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.face…

4 weeks назад @ soundcloud.com
Podlodka #397 – AIOps
Podlodka #397 – AIOps Podlodka #397 – AIOps

В этот выпуск гостем пришел Матвей Кукуй, сооснователь KeepHQ.dev, а в прошлом — Engineering Director в Grafana Labs. Говорим о том, что такое AIOps и как искусственный интеллект трансформирует мониторинг и алертинг, помогая обрабатывать и интерпретировать данные из Observability-инструментов. Обсуждаем, как AIOps модели обучаются, тестируются и автоматизируют инциденты, а также какие сложности возникают при создании AI-продуктов для корпораций. По ходу выпуска также поговорили про роль open-source, выбор модели монетизации и то, что ждёт AIOps в ближайшие годы. 11 ноября стартует новый сезон Podlodka iOS Crew. Тема сезона – "Многопоточность"! По промокоду IOS_CONCURRENCY скидка на билеты. …

1 month назад @ soundcloud.com
Podlodka #396 – Разработка в робототехнике
Podlodka #396 – Разработка в робототехнике Podlodka #396 – Разработка в робототехнике

В этом выпуске c Артуром Голубцовым из Cognitive Pilot погружались в мир робототехники и говорили про особенности разработки автопилотов и автономных систем: от выбора ниши и MVP до тестирования в реальной среде и запуска в производство. Обсудили как автономные технологии уже изменили многие сферы и почему роботов “на улицах” до сих пор не так много. Партнёр эпизода — Genotek, лидер в области персональной и медицинской генетики. ДНК-тест «Генетический паспорт» анализирует ваше происхождение, предрасположенность к заболеваниям и предлагает рекомендации по их профилактике, исходя из ваших генетических особенностей. В стоимость включена консультация врача, который поможет разобраться в результ…

1 month, 1 week назад @ soundcloud.com
Podlodka #395 – Дизайн API библиотек
Podlodka #395 – Дизайн API библиотек Podlodka #395 – Дизайн API библиотек

Понятный и удобный API – залог успеха хорошей библиотеки. Но, чтобы его спроектировать, нужно решить огромное количество проблем, связанных с выбором правильного уровня абстракции, историческим наследием, необходимостью поддерживать обратную совместимость, неоднозначностью естественного языка и, самое главное, человеческой природой. Сева Толстопятов, главный за core-библиотеки Kotlin, рассказал нам о том, как принимать решения в дизайне API, учитывая все возможные их последствия. Партнер эпизода — экосистема Контур. Это сервисы для бизнеса, на которых работает каждая третья компания России. 2000+ разработчиков развивают продукты и инфраструктурные решения на C# под .NET, Python, Java, Go. В…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #394 – AI в медицине
Podlodka #394 – AI в медицине Podlodka #394 – AI в медицине

В этом выпуске заглядываем одним глазком туда, где цена ошибки максимально высока. В медицину! Что уже может делать ИИ, в чем он лучше или хуже врачей – разберемся с Евгением Никитиным, CTO компании Цельс. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом и измерять эффективность — там, где раньше нужно было несколько разных решений…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #393 – Социальная инженерия
Podlodka #393 – Социальная инженерия Podlodka #393 – Социальная инженерия

В этом выпуске мы обсуждаем социальную инженерию — угрозу, которая касается каждого, будь то человек или компания. Мы разберем основные методы атак, и какие психологические техники используют мошенники. Вы узнаете, насколько опасно переходить по ссылкам, открывать видео и скачивать файлы. Эксперт Антон Бочкарев – эксперт по информационной безопасности и сооснователь площадки «Третья Сторона», поделится советами, как защитить себя, помочь близким и бороться с этой угрозой на уровне компании. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготов…

2 months назад @ soundcloud.com
Podlodka #392 – Lua
Podlodka #392 – Lua Podlodka #392 – Lua

Lua – уникальный язык программирования, так и не ставший массовым, но при этом занявший кучу разных ниш. Его используют, чтобы писать моды для Factorio, Minecraft и Roblox, высоконагруженную логику для nginx, скрипты для redis, плагины для neovim и wireshark, и даже софт для микроконтроллеров. Все это стало возможным благодаря некоторым дизайновым решениям, которые сделали Lua самым удобным языком для встраивания в другие системы. Антон Солдатов, долгое время разрабатывавший код на Lua в IPONWEB, а также участвовавший в разработке внутреннего форка LuaJIT, рассказал нам все, что нужно знать про этот язык. Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает…

2 months, 1 week назад @ soundcloud.com
Podlodka #391 – Интеропы
Podlodka #391 – Интеропы Podlodka #391 – Интеропы

Почему одни языки легко взаимодействуют между собой – как, например C и C++, или Java и Kotlin, а другие создают неимоверную боль при попытке вызвать функции одного языка из другого? Все дело в интеропе! Что это такое, и почему он сложнее, чем кажется – разбираемся с Николаем Иготти! Партнёр эпизода — образовательная платформа Грейд от Яндекс Практикума.

Грейд помогает руководителям и тимлидам точечно обучать сотрудников или целые команды навыкам для конкретных бизнес-задач: подготовить команду к новому проекту, вырастить стажеров или переобучить сотрудника для новой роли. На платформе Грейда более 1000 навыков, а также возможность конструировать обучение под запрос, наблюдать за прогрессом…

2 months, 2 weeks назад @ soundcloud.com
Podlodka 390 – Устройство JVM
Podlodka 390 – Устройство JVM Podlodka 390 – Устройство JVM

В выпусках мы уже обсуждали Java, Kotlin, Scala и даже Clojure, но теперь пришло время разобраться с основой популярности этих языков — Java Virtual Machine. Кто сможет лучше всего рассказать о внутреннем устройстве JVM? Конечно, тот, кто сам создавал одну из её реализаций! В этом выпуске вместе с Никитой Липским, инициатором проекта Excelsior JET — JVM с AOT компилятором, мы углубляемся в анатомию JVM, разбираемся с её спецификацией и различными реализациями, обсуждаем особенности оптимизаций, текущие проблемы и тренды в экосистеме JVM. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Стр…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #389 – Junior-разработчики
Podlodka #389 – Junior-разработчики Podlodka #389 – Junior-разработчики

В этом выпуске мы поговорили о входе в IT, обучении и устройстве на позицию junior-разработчика с сооснователем Hexlet Кириллом Мокевниным. Обсудили, как собрать портфолио и где получить практический опыт до первой работы. Изначально Кирилл не планировал затрагивать тему софт-скиллов, но в итоге не удержался — вышло интересно и содержательно. Выпуск – набор конкретных советов и рекомендаций для тех, кто начинает карьеру в IT. Партнёр эпизода – облачная платформы Yandex Cloud. 25 сентября команда проводит Yandex Scale – большую конференцию для тех, кто создаёт цифровые решения. Участников ждет насыщенная программа с технологическими анонсами и практическими кейсами применения облачных технол…

2 months, 4 weeks назад @ soundcloud.com
Podlodka #388 – Авторизация и аутентификация
Podlodka #388 – Авторизация и аутентификация Podlodka #388 – Авторизация и аутентификация

Сколько факторов аутентификации нужно использовать, чтобы учетные записи ваших пользователей были в безопасности? Зачем сбрасывать пароль каждые 30 дней? Есть ли методы аутентификации, которые, с одной стороны, достаточно безопасные, а с другой – удобные даже для вашей бабушки? Никита Хромушкин из Авито провел для нас максимально подробную лекцию про то, насколько проклято текущее состояние дел в аутентификации и какое светлое будущее нас ждет, когда человечество откажется от паролей! Партнёр эпизода – облачная платформа Yandex Cloud, которая проводит большую конференцию Yandex Scale для тех, кто создаёт цифровые решения. Генеративные нейросети, речевые технологии, сервисы для работы с данн…

3 months назад @ soundcloud.com
Podlodka #387 – С
Podlodka #387 – С Podlodka #387 – С

С – язык, на котором написана значимая часть всего, что нас окружает: от ядра операционной системы до мозгов автомобиля, из колонок которого вы будете слушать этот подкаст. В выпуске вместе с Игорем Жирковым разбираемся с тем, насколько современный C похож на язык, с которым вы познакомились в той самой книге Кернигана и Ритчи, какие особенности делают его одним из самых нетерпимых языков к ошибкам программиста, и стоит ли вообще на нем писать код в 2024 году. Партнер эпизода — TeamLead T-Sync, мероприятие, на котором вы сможете заглянуть в самое сердце культуры тимлидов Т-Банка. Вы сможете послушать доклады, поучаствовать в открытой дискуссии и спиддейтинге с мидл-менеджментом, а также поо…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 1 week, 2 days назад
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

1 week, 2 days назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

2 weeks, 3 days назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

3 weeks, 3 days назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

1 month назад @ buzzsprout.com
Геннадий Асиньяров: "Марсианин" из Красноярска
Геннадий Асиньяров: "Марсианин" из Красноярска

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

1 month, 1 week назад @ buzzsprout.com
Сергей Нурк: как и зачем читают геном
Сергей Нурк: как и зачем читают геном

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

1 month, 2 weeks назад @ buzzsprout.com
Александр Гечис: "GTA" на автозаводе
Александр Гечис: "GTA" на автозаводе

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

1 month, 4 weeks назад @ buzzsprout.com
Артём Родичев: эмпатия искусственного интеллекта
Артём Родичев: эмпатия искусственного интеллекта

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 2 weeks назад @ buzzsprout.com
Наталья Шагарина: ИИ для семьи
Наталья Шагарина: ИИ для семьи

Наталия Шагарина — серийная предпринимательница. Её новый стартап Аврора - виртуальный помощник для семей. Аврора помогает координировать расписание и справляться с рутиной, осовобождая силы и время, - чтобы все могли заниматься самым важным.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

4 months, 4 weeks назад @ buzzsprout.com
Иван Курилла: рабство и крепостное право
Иван Курилла: рабство и крепостное право

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это вторая серия двухсерийного разговора. Сегодня мы говорим с историком Иваном Куриллой, специалистом по русско-американским отношениям о схожем и различном между рабством в США и крепостничеством в России.Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатрео...

5 months, 1 week назад @ buzzsprout.com
Воля и свобода
Воля и свобода

19 февраля (по старому стилю) или 3 марта (по новому) 1861 года в Российской Империи указом императора Александра Второго отменили крепостное право.Это первая серия двухсерийного разговора. Сегодня мы говорим с историком Владимиром Коршаковым, автором канала Русские Летописи про то, как древнерусский человек понимал понятия "воля" и "свобода".Ютуб Владимира: @letopisirus Телеграм: https://t.me/letopisi_rusТвиттер: https://twitter.com/letopisi_rusSupport the Show.ApplePodcasts: htt...

5 months, 1 week назад @ buzzsprout.com
Сергей Сухов: Стоицизм
Сергей Сухов: Стоицизм

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 2 weeks назад @ buzzsprout.com
База про Стоицизм
База про Стоицизм

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 2 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 6 days, 22 hours назад
#412 Closing the loop
#412 Closing the loop #412 Closing the loop

Topics include Loop targets, asyncstdlib, Bagels: TUI Expense Tracker, and rloop:

6 days, 22 hours назад @ pythonbytes.fm
#411 TLS Client: Hello <>
#411 TLS Client: Hello <> #411 TLS Client: Hello <>

Topics include Talk Python rewritten in Quart, PyPI now supports digital attestations, Django Rusty Templates, and PEP 639 is now supported by PYPI.

1 week, 6 days назад @ pythonbytes.fm
#410 Entering the Django core
#410 Entering the Django core #410 Entering the Django core

Topics include Thoughts on Django’s Core, futurepool, Don't return named tuples in new APIs, and Ziglang: Migrating from AWS to Self-Hosting.

2 weeks, 6 days назад @ pythonbytes.fm
#409 We've moved to Hetzner write-up
#409 We've moved to Hetzner write-up #409 We've moved to Hetzner write-up

Topics include terminal-tree, posting: The API client that lives in your terminal, , and UV does everything or enough that I'm not sure what else it needs to do.

3 weeks, 3 days назад @ pythonbytes.fm
#408 python-preference only-managed 3.13t
#408 python-preference only-managed 3.13t #408 python-preference only-managed 3.13t

Topics include GitHub action security: zizmor, Python is now the top language on GitHub, Python 3.13, what didn't make the headlines, and PyCon US 2025.

1 month назад @ pythonbytes.fm
#407 Back to the future, destination 3.14
#407 Back to the future, destination 3.14 #407 Back to the future, destination 3.14

Topics include Python 3.14.0 alpha 1 is now available, uv supports dependency groups, dive: A tool for exploring each layer in a docker image, and pytest-metadata.

1 month, 1 week назад @ pythonbytes.fm
#406 What's on Django TV tonight?
#406 What's on Django TV tonight? #406 What's on Django TV tonight?

Topics include Open Source Pledge, DjangoTV, PEP 735 – Dependency Groups in pyproject.toml, and livereload.

1 month, 2 weeks назад @ pythonbytes.fm
#405 Oh Really?
#405 Oh Really? #405 Oh Really?

Topics include Briefer: Dashboards and notebooks in a single place, Introduction to programming with Python, setup-uv, and HTML for people.

1 month, 3 weeks назад @ pythonbytes.fm
#404 The Lost Episode
#404 The Lost Episode

Topics include Python 3.13.0 released Oct 7, PEP 759 – External Wheel Hosting, pytest-freethreaded, and pytest-edit.

2 months назад @ pythonbytes.fm
#403 A machine learning algorithm walks into a bar…
#403 A machine learning algorithm walks into a bar…

Topics include uv under discussion on Mastodon, erdantic: Entity Relationship Diagrams, , and.

2 months, 1 week назад @ pythonbytes.fm
#402 How to monetize your blog
#402 How to monetize your blog

Topics include , narwhals, Microsoft wants Three Mile Island to fuel its AI power needs, and zsh-in-docker.

2 months, 2 weeks назад @ pythonbytes.fm
#401 We must replace uWSGI with something else
#401 We must replace uWSGI with something else

Topics include We must replace uwsgi by something else, Let’s build and optimize a Rust extension for Python, Fake recruiter coding tests target devs with malicious Python packages, and Monthly PSF Board Office Hours.

2 months, 3 weeks назад @ pythonbytes.fm
#400 Celebrating episode 400
#400 Celebrating episode 400

Topics include , Docker images using uv's python, 10 years of sustainable open source, and humanize.

3 months назад @ pythonbytes.fm
#399 C will watch you in silence
#399 C will watch you in silence

Topics include Why I Still Use Python Virtual Environments in Docker, Python Developer Survey Results, Anaconda Code add-in for Microsoft Excel, and Disabling Scheduled Dependency Updates.

3 months назад @ pythonbytes.fm
#398 Open source makes you rich? (and other myths)
#398 Open source makes you rich? (and other myths)

Topics include , uv 0.3.0 and all the excitement, Top pytest Plugins, and A comparison of hosts / providers for Python serverless functions Faas)

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 3 days, 20 hours назад
Next.js 15 with Jimmy Lai and Tim Neutkens
Next.js 15 with Jimmy Lai and Tim Neutkens

Next.js is an open source JavaScript framework developed by Vercel. It’s built on top of React and is designed to streamline web application development using server-side rendering and static site generation. The framework’s handling of both frontend and backend tasks, along with features like API routes and file-based routing, have made it an increasingly popular

The post Next.js 15 with Jimmy Lai and Tim Neutkens appeared first on Software Engineering Daily.

3 days, 20 hours назад @ softwareengineeringdaily.com
CodeSandbox with Ives van Hoorne
CodeSandbox with Ives van Hoorne

CodeSandbox was founded in 2017 and provides cloud based development environments along with other features. It’s quickly become one of the most prominent cloud development platforms. Ives van Hoorne is a Co-Founder at CodeSandbox. He joins the show to talk about the platform. Josh Goldberg is an independent full time open source developer in the

The post CodeSandbox with Ives van Hoorne appeared first on Software Engineering Daily.

4 days, 20 hours назад @ softwareengineeringdaily.com
Open Source Data Analytics with Sameer Al-Sakran
Open Source Data Analytics with Sameer Al-Sakran

Data analytics and business intelligence involve collecting, processing, and interpreting data to guide decision-making. A common challenge in data-focused organizations is how to make data accessible to the wider organization, without the need for large data teams. Metabase is an open source business intelligence tool that focuses on data exploration, visualization, and analysis. It offers

The post Open Source Data Analytics with Sameer Al-Sakran appeared first on Software Engineering Daily.

5 days, 20 hours назад @ softwareengineeringdaily.com
Node.js and the Javascript Ecosystem with Gil Tayar
Node.js and the Javascript Ecosystem with Gil Tayar

Gil Tayar is a Principal Software Engineer at Microsoft, developer advocate, and conference speaker. Gil’s contributions to the Node.js ecosystem include adding support for ECMAScript Modules in Node.js to Mocha and TestDouble. He joins the show to talk about his history in software engineering, monorepos vs polyrepos, the state of JavaScript, and more. Josh Goldberg

The post Node.js and the Javascript Ecosystem with Gil Tayar appeared first on Software Engineering Daily.

1 week, 3 days назад @ softwareengineeringdaily.com
Runway AI with Joel Kwartler
Runway AI with Joel Kwartler

Runway is an applied AI research company building multi-modal AI systems, model deployment infrastructure, and products that leverage AI for multimedia content. They are among a handful of high-profile video generation startups and have raised impressive amounts of funding from investors such as Google, NVIDIA, and Salesforce Ventures. The company recently released their Gen-3 Alpha

The post Runway AI with Joel Kwartler appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
Palantir with Akshay Krishnaswamy and Christopher Jeganathan
Palantir with Akshay Krishnaswamy and Christopher Jeganathan

Palantir Technologies is a data analytics and software company specializing in building platforms for integrating, analyzing, and visualizing large datasets. The company’s tools are designed to help analysts and decision-makers collaborate on data-driven solutions to complex problems, and they have worked extensively across the intelligence, defense, and commercial sectors. Akshay Krishnaswamy is the Chief Architect

The post Palantir with Akshay Krishnaswamy and Christopher Jeganathan appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
Creating a Rust IDE with Vitaly Bragilevsky
Creating a Rust IDE with Vitaly Bragilevsky

Rust is a systems programming language created by Graydon Hoare in 2006 and first released by Mozilla in 2010. It is designed for performance, safety, and concurrency, with a focus on memory safety without a garbage collector. Rust’s ownership model ensures safe memory management, making it viable for tasks that require control over system resources,

The post Creating a Rust IDE with Vitaly Bragilevsky appeared first on Software Engineering Daily.

2 weeks, 3 days назад @ softwareengineeringdaily.com
VC Investing at CRV with James Green
VC Investing at CRV with James Green

CRV is a venture capital firm that invests in early-stage startups. The firm has invested in more than 600 startups including Airtable, DoorDash and Vercel. James Green is a general partner at CRV where he is known for investing in startups focused on security, infrastructure and financial services. He joins the show to talk about

The post VC Investing at CRV with James Green appeared first on Software Engineering Daily.

2 weeks, 4 days назад @ softwareengineeringdaily.com
DataStax and the Future of Real-Time Data Applications with Jonathan Ellis
DataStax and the Future of Real-Time Data Applications with Jonathan Ellis

DataStax is known for its expertise in scalable data solutions, particularly for Apache Cassandra, a leading NoSQL database. Recently, the company has focused on enhancing platform support for AI-driven applications, including vector search capabilities. Jonathan Ellis is the Co-founder of DataStax. He maintains a technical role at the company and has recently worked on developing

The post DataStax and the Future of Real-Time Data Applications with Jonathan Ellis appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Enhancing OAuth Security and Interoperability Using FAPI with Joseph Heenan
Enhancing OAuth Security and Interoperability Using FAPI with Joseph Heenan

FAPI is a refinement of the OAuth standard developed by the OpenID Foundation. It was conceived to solve a core problem of providing a consistent approach to API security across the financial industry, with the goal of enhancing interoperability of financial data exchange. It has now been adopted across many different industries in applications where

The post Enhancing OAuth Security and Interoperability Using FAPI with Joseph Heenan appeared first on Software Engineering Daily.

3 weeks, 3 days назад @ softwareengineeringdaily.com
PlayStation 2 Emulation with TellowKrinkle
PlayStation 2 Emulation with TellowKrinkle

PCSX2 is an open-source PlayStation 2 emulator that allows users to play PS2 games on modern hardware. The emulator is remarkable for simulating the complex architecture of the PS2, which includes the Emotion Engine CPU, Graphics Synthesizer, and specialized subsystems. The emulator just hit a major milestone with the release of PCSX2 version 2.0. The

The post PlayStation 2 Emulation with TellowKrinkle appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
TSMC and the Geopolitics of the Chip Industry with Tim Culpan
TSMC and the Geopolitics of the Chip Industry with Tim Culpan

Taiwan Semiconductor Manufacturing Company, or TSMC, produces a significant portion of the global supply of advanced semiconductors. Its cutting-edge technology powers everything from smartphones to high-performance computing, and its customers include Apple, NVIDIA, and ARM. TSMC’s dominance in chip production has made Taiwan a critical player in the global tech supply chain, drawing attention from

The post TSMC and the Geopolitics of the Chip Industry with Tim Culpan appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
Factorio with Michal Kovařík
Factorio with Michal Kovařík

Factorio is a construction and management simulation game focused on resource-gathering with real-time strategy and survival elements. The player survives by locating and harvesting resources to craft various tools and machines, which in turn create more advanced materials that allow for the progression to more sophisticated technologies. The game was released in 2020 and has

The post Factorio with Michal Kovařík appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Frontend Engineering at Slack with Shruti Kapoor
Frontend Engineering at Slack with Shruti Kapoor

Slack is a team communication platform that originated as an internal tool within Tiny Speck, a game development company. When the company realized that their game would not achieve commercial success, they changed direction and repurposed the communication tool into a new product which eventually became Slack. Slack was launched in 2013 and is now

The post Frontend Engineering at Slack with Shruti Kapoor appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Boston Dynamics with Matt Malchano
Boston Dynamics with Matt Malchano

Boston Dynamics is a robotics company known for creating advanced robots with highly dynamic movement and agility, designed to navigate complex environments. Their robots, such as the quadruped Spot and the humanoid Atlas, have applications in industries ranging from logistics to public safety. They also garner widespread attention with their impressive videos showcasing robots performing

The post Boston Dynamics with Matt Malchano appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост None
⌨ Coding
Martin Fowler
последний пост 4 days, 15 hours назад
Generalizing the design of data products
Generalizing the design of data products Generalizing the design of data products

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data driven decision making, keeping in mind specific user groups and their consumption pattern for these analytical data.

While a data product can have a dashboard as one of its outputs or dashboards can be created by consuming one or more data products, a dashboard on its own do not qualify as a data product.

While we can reuse most of the existing data products, we’ll need to…

4 days, 15 hours назад @ martinfowler.com
Designing data products: Working backwards from use cases
Designing data products: Working backwards from use cases Designing data products: Working backwards from use cases

Before we begin designing data products, let’s first establish a shared understanding of what they are and what they aren’t.

Data products are the building blocks of a data mesh, they serve analytical data, and must exhibit the eight characteristics outlined by Zhamak in her book Data Mesh: Delivering Data-Driven Value at Scale.

Similarly, a data product is the smallest valuable unit of analytical data, sourced from data streams, operational systems, or other external sources and also other data products, packaged specifically in a way to deliver meaningful business value.

Data products package structured, semi-structured or unstructured analytical data for effective consumption and data dr…

5 days, 16 hours назад @ martinfowler.com
Exploring Gen AI: Copilot's new multi-file editing
Exploring Gen AI: Copilot's new multi-file editing Exploring Gen AI: Copilot's new multi-file editing

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

It’s one of many products in the market that focus on using AI to understand and ask questions about large codebases.

There is a mindset shift we have to make when using Generative AI tools in general.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

TDD is especially needed when using AI coding assistants.

2 weeks, 5 days назад @ martinfowler.com
Posting on Bluesky, and other thoughts on social media
Posting on Bluesky, and other thoughts on social media Posting on Bluesky, and other thoughts on social media

How I use Social Media Different people use social media in different ways, and my thoughts are governed by how I use them.

I'm not really a social user of social media.

I first started using social media (in some form) in the late 1980's with Usenet.

To find my social media pages, use the icons in the site banner, or look at the list on my about page.

RSS This isn't really a social media, as there isn't a mechanism for discussion, but since I'm mostly into social media to find out about interesting publications, RSS fits into my discussion.

3 weeks, 4 days назад @ martinfowler.com
Assessing the results of using the Strangler Fig on a Mobile App
Assessing the results of using the Strangler Fig on a Mobile App Assessing the results of using the Strangler Fig on a Mobile App

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

Limitations and Identified Drawbacks So far we’ve mostly highlighted the benefits of a Strangler Fig approach to legacy mobile App displacement.

1 month назад @ martinfowler.com
Diving deeper into using the Strangler Fig with Mobile Apps
Diving deeper into using the Strangler Fig with Mobile Apps Diving deeper into using the Strangler Fig with Mobile Apps

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Strangler Fig During a vacation in the rain forests of Queensland in 2001, we saw some strangler figs.

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

Diving Deeper… So far we’ve presented a very broad set of diagrams to illustrate our Mobile Strangler Fig concept.

We set ourselves the task of integrating this experience as an initial demonstration of the Strangler Fig pattern in action.

1 month, 1 week назад @ martinfowler.com
Using the Strangler Fig with Mobile Apps
Using the Strangler Fig with Mobile Apps Using the Strangler Fig with Mobile Apps

A case study of gradually modernizing an established mobile applicationIncremental replacement of a legacy mobile application is a challenging concept to articulate and execute.

This article explores the Strangler Fig pattern and how it can be applied to mobile applications.

Linking Modular Architecture to Development Teams Can a modular architecture improve software delivery?

We addressed the organization’s big bang risk aversion by suggesting the Strangler Fig pattern to incrementally replace individual domains.

The key to implementation of the Strangler Fig pattern involved embedding an entire React Native application inside the existing legacy application.

1 month, 1 week назад @ martinfowler.com
Interviewed by Book Overflow podcast on Refactoring
Interviewed by Book Overflow podcast on Refactoring Interviewed by Book Overflow podcast on Refactoring

I was interviewed on the Book Overflow podcast about the Refactoring book. We talked about the origins of the book, the relationship between refactoring, testing, and extreme programming, how refactoring is used in the wild, and the role of books and long-form prose today.

more…

2 months назад @ youtube.com
Using GenAI to build a capability map and translate legacy systems
Using GenAI to build a capability map and translate legacy               systems Using GenAI to build a capability map and translate legacy systems

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

2 months, 2 weeks назад @ martinfowler.com
Using GenAI to extract low-level details and high-level explanations from legacy systems
Using GenAI to extract low-level details and high-level               explanations from legacy systems Using GenAI to extract low-level details and high-level explanations from legacy systems

Through modernizing numerous legacy systems for our clients, we have found that an evolutionary approach makes legacy displacement both safer and more effective at achieving its value goals.

For our part, we have been experimenting over the last 18 months with LLMs to tackle the challenges associated with the modernization of legacy systems.

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

These are some of the most significant legacy systems we encounter, both in terms of size and complexity.

In the era of GenAI, specifically in the mode…

2 months, 3 weeks назад @ martinfowler.com
Legacy Modernization meets GenAI
Legacy Modernization meets GenAI Legacy Modernization meets GenAI

Our goal is for this accelerator to become our sensible default in legacy modernization, enhancing our modernization value stream and enabling us to realize the benefits for our clients more efficiently.

We intend to use this article to share our experience applying GenAI for Modernization.

We do not suggest that CodeConcise or its approach is the only way to apply GenAI successfully for modernization.

While some approaches at this stage are common across legacy tech stacks, we have also engineered prompts in our comprehension pipeline tailored to specific languages or frameworks.

This DBMS features vector search capabilities, enabling us to integrate the Knowledge Graph into the frontend a…

2 months, 3 weeks назад @ martinfowler.com
Governing data products using fitness functions
Governing data products using fitness functions Governing data products using fitness functions

It’s a common practice to have an organization wide data catalog to index these data products, they typically contain rich metadata about all published data products.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

Your job is to look at the meta data about a data product provided and evaluate if certain architectural properties of the data product holds true or not.

} }) Product_Id data product: We expect this data product to fail the test for valuable_on_its_own.

However, this does not absolve the data product teams from considering the specific requirements of their domain when buil…

3 months назад @ martinfowler.com
Bliki: Cycle Time
Bliki: Cycle Time Bliki: Cycle Time

Cycle Time is a measure of how long it takes to get a new feature in a software system from idea to running in production.

Although the rough notion of cycle time, and the importance of reducing it, is common, there is a lot of variations on how cycle time is measured.

“first-commit cycle time” vs “idea cycle time”) to tell them apart.

Understanding this flow of work allows us to find ways to reduce the cycle time.

Further Reading The best grounding on understanding cycle time and how to reduce it is The Principles of Product Development Flow

3 months назад @ martinfowler.com
Rewriting Strangler Fig
Rewriting Strangler Fig Rewriting Strangler Fig

Martin Fowler: 22 Aug 2024Two decades ago, I posted that I found that the strangler fig plant was an interesting metaphor for the gradual replacement of a legacy system.

I didn’t refer to the metaphor since, but meanwhile it grew a life of its own.

Other people increasingly referred to the strangler fig approach to modernization, and traffic to that post steadily increased: currently it gets about 5000 page views a month, one of the more popular pages on this site.

So I decided I needed to update that page, and have rewritten it, focusing on the core activities we need to do to make a success of such a venture.

(This summarizes more detailed writing from Ian Cartwright, Rob Horn, and Jame…

3 months, 2 weeks назад @ martinfowler.com
Onboarding to a "legacy" codebase with the help of AI
Onboarding to a "legacy" codebase with the help of AI Onboarding to a "legacy" codebase with the help of AI

As well as the speed of the feedback loop for the AI input, I also reflect on the reliability of that feedback loop.

They will give additional input and review for the AI input, and increase my confidence.

The lower the margin for error, the more critical I will be of the AI input.

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

3 months, 3 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 6 days, 4 hours назад
Say It in Russian
Say It in Russian Say It in Russian

Эмодзи-пак с текстовыми реакциями для телеграма.

6 days, 4 hours назад @ antonz.ru
Курс «Многозадачность в Go»
Курс «Многозадачность в Go» Курс «Многозадачность в Go»

Осваиваем многозадачное программирование на практике.

4 months, 3 weeks назад @ antonz.ru
Таймеры в Go 1.23
Таймеры в Go 1.23 Таймеры в Go 1.23

Тут прям детективная история приключилась.

В Go есть таймер (тип Timer ), а в нем — поле с каналом ( Timer.C ), в который таймер тикает спустя указанное время.

В коде стдлибы таймер создается так:Такая реализация привела к проблемам с time.After и Reset , от которых многие страдали.

И вот в Go 1.23 решили это исправить, для чего сделали канал в таймере небуферизованным:Вот только если вы посмотрите на фактический код, то канал-то остался буферизованным 😁Из комментариев к коммиту выясняется, что канал действительно остался буферизованным, но притворяется, что никакого буфера у него нет:Specifically, the timer channel has a 1-element buffer like it always has, but len(t.C) and cap(t.C) are sp…

5 months назад @ antonz.ru
Полносрезное выражение в Go
Полносрезное выражение в Go Полносрезное выражение в Go

Меняем емкость при нарезке.

5 months, 2 weeks назад @ antonz.ru
Пустой срез vs. nil-срез в Go
Пустой срез vs. nil-срез в Go Пустой срез vs. nil-срез в Go

Чем отличаются и как с ними работать.

5 months, 2 weeks назад @ antonz.ru
Запускаем 100К горутин в Go
Запускаем 100К горутин в Go Запускаем 100К горутин в Go

Сколько можно запустить горутин и от чего это зависит.

5 months, 3 weeks назад @ antonz.ru
Приемчики форматирования в Go
Приемчики форматирования в Go Приемчики форматирования в Go

Несколько приемов форматирования, о которых вы, возможно, не слышали.

➊ Закавыченная строкаИспользуйте %q , чтобы вывести строковое значение в кавычках.

➋ Названия полей структурыИспользуйте %+v , чтобы вывести названия полей структуры, а не только значения.

➌ Тип значенияИспользуйте %T , чтобы вывести тип значения.

5 months, 3 weeks назад @ antonz.ru
range по функциям в Go
range по функциям в Go range по функциям в Go

В Go 1.23 (август 2024) появится цикл range по функциям.

Сделали ему конструктор и метод Set :Хорошо, а как теперь итерироваться по карте?

Стоило ли оно тогоСтоило ли добавлять в язык range-over-func?

С появлением дженериков в 1.18 по простоте языка был нанесен серьезный удар (вероятно, оправданный).

Ждут нас и корутины, и стримы, и паттерн-матчинг.

5 months, 4 weeks назад @ antonz.ru
Go Generics
Go Generics Go Generics

Урок по дженерикам в Go.

6 months назад @ antonz.ru
nil-получатель метода в Go
nil-получатель метода в Go nil-получатель метода в Go

Раз уж мы заговорили о пустых значениях — вы же в курсе, что метод можно вызвать даже на пустом указателе?

type english struct { name string } // e может быть nil!

func ( e * english ) greet () { if e == nil { fmt .

Println ( "I'm nil" ) return } fmt .

Println ( "Hello" , e . name ) }

6 months назад @ antonz.ru
Интерфейсы и nil в Go
Интерфейсы и nil в Go Интерфейсы и nil в Go

Интерфейсы и nil в GoВнутри Go переменная типа interface представлена как пара (type, value) , где value — конкретное значение, а type — тип этого значения (на самом деле все чуть сложнее, но совсем уж в дебри не будем погружаться).

Пока интерфейсной переменной не присвоено значение, у нее и type , и value равны nil , поэтому сама переменная считается равной nil :var ivar any // type == nil, value == nil // поэтому ivar == nil fmt .

Println ( ivar == nil ) // trueНо как только интерфейсной переменной присвоили значение, type перестает быть nil .

Println ( e == nil ) // true ivar = e // type == *english, value == nil // поскольку type != nil, то ivar != nil fmt .

Println ( ivar == nil ) // f…

6 months назад @ antonz.ru
Современный SQLite: STRICT-таблицы
Современный SQLite: STRICT-таблицы Современный SQLite: STRICT-таблицы

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

7 months, 1 week назад @ antonz.ru