Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 month, 1 week назад
How Airbnb Measures Listing Lifetime Value
How Airbnb Measures Listing Lifetime Value How Airbnb Measures Listing Lifetime Value

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

1 month, 1 week назад @ medium.com
Embedding-Based Retrieval for Airbnb Search
Embedding-Based Retrieval for Airbnb Search Embedding-Based Retrieval for Airbnb Search

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

1 month, 2 weeks назад @ medium.com
Accelerating Large-Scale Test Migration with LLMs
Accelerating Large-Scale Test Migration with LLMs Accelerating Large-Scale Test Migration with LLMs

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

1 month, 3 weeks назад @ medium.com
Improving Search Ranking for Maps
Improving Search Ranking for Maps Improving Search Ranking for Maps

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

4 months, 3 weeks назад @ medium.com
Airbnb at KDD 2024
Airbnb at KDD 2024 Airbnb at KDD 2024

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

4 months, 3 weeks назад @ medium.com
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

5 months назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

5 months, 2 weeks назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

5 months, 2 weeks назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

5 months, 3 weeks назад @ medium.com
Adopting Bazel for Web at Scale
Adopting Bazel for Web at Scale Adopting Bazel for Web at Scale

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

5 months, 3 weeks назад @ medium.com
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

5 months, 4 weeks назад @ medium.com
Automation Platform v2: Improving Conversational AI at Airbnb
Automation Platform v2: Improving Conversational AI at Airbnb Automation Platform v2: Improving Conversational AI at Airbnb

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

6 months, 1 week назад @ medium.com
Sandcastle: data/AI apps for everyone
Sandcastle: data/AI apps for everyone Sandcastle: data/AI apps for everyone

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

7 months, 2 weeks назад @ medium.com
Riverbed Data Hydration — Part 1
Riverbed Data Hydration — Part 1 Riverbed Data Hydration — Part 1

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

8 months назад @ medium.com
Building Postcards for “Airbnb” Scale
Building Postcards for “Airbnb” Scale Building Postcards for “Airbnb” Scale

By: Leo Wong, Henry JohnsonHow the Airbnb Media team built group travel Postcards for the 2024 Summer Release by leveraging a novel destination matching algorithm while advancing the platform’s image & localized text processing capabilities.Airbnb Postcards (see announcement).IntroductionFor Airbnb’s 2024 Summer Release, the Media Ingestion team at Airbnb took on the exciting challenge of creating a reliable postcard generation system to generate unique, hand-crafted Postcards. Postcards are a beautiful way to invite guests on a trip while keeping friends and family in the loop (see announcement). This feature required a novel solution to match relevant postcards to every possible destinati…

8 months, 1 week назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 day, 7 hours назад
Measuring Dialogue Intelligibility for Netflix Content
Measuring Dialogue Intelligibility for Netflix Content Measuring Dialogue Intelligibility for Netflix Content

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

1 day, 7 hours назад @ netflixtechblog.com
How Netflix Accurately Attributes eBPF Flow Logs
How Netflix Accurately Attributes eBPF Flow Logs How Netflix Accurately Attributes eBPF Flow Logs

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

1 month назад @ netflixtechblog.com
Globalizing Productions with Netflix’s Media Production Suite
Globalizing Productions with Netflix’s Media Production Suite Globalizing Productions with Netflix’s Media Production Suite

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

1 month, 1 week назад @ netflixtechblog.com
Foundation Model for Personalized Recommendation
Foundation Model for Personalized Recommendation Foundation Model for Personalized Recommendation

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

1 month, 1 week назад @ netflixtechblog.com
HDR10+ Now Streaming on Netflix
HDR10+ Now Streaming on Netflix HDR10+ Now Streaming on Netflix

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

1 month, 2 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

2 months назад @ netflixtechblog.com
Introducing Impressions at Netflix
Introducing Impressions at Netflix Introducing Impressions at Netflix

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

2 months, 3 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

4 months назад @ netflixtechblog.com
Part 3: A Survey of Analytics Engineering Work at Netflix
Part 3: A Survey of Analytics Engineering Work at Netflix Part 3: A Survey of Analytics Engineering Work at Netflix

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

4 months назад @ netflixtechblog.com
Part 2: A Survey of Analytics Engineering Work at Netflix
Part 2: A Survey of Analytics Engineering Work at Netflix Part 2: A Survey of Analytics Engineering Work at Netflix

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

4 months назад @ netflixtechblog.com
Introducing Configurable Metaflow
Introducing Configurable Metaflow Introducing Configurable Metaflow

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

4 months, 2 weeks назад @ netflixtechblog.com
Part 1: A Survey of Analytics Engineering Work at Netflix
Part 1: A Survey of Analytics Engineering Work at Netflix Part 1: A Survey of Analytics Engineering Work at Netflix

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

4 months, 3 weeks назад @ netflixtechblog.com
Cloud Efficiency at Netflix
Cloud Efficiency at Netflix Cloud Efficiency at Netflix

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

4 months, 3 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 1: Understanding The ChallengesBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesIntroductionAt Netflix, we manage over a thousand global content launches each month, backed by billions of dollars in annual investment. Ensuring the success and discoverability of each title across our platform is a top priority, as we aim to connect every story with the right audience to delight our members. To achieve this, we are committed to building robust systems that deliver comprehensive observability, enabling us to take full accountability for every title on our service.The Challenge of Title Launch ObservabilityAs engineers, we’re wired to tr…

4 months, 3 weeks назад @ netflixtechblog.com
Netflix’s Distributed Counter Abstraction
Netflix’s Distributed Counter Abstraction Netflix’s Distributed Counter Abstraction

By: Rajiv Shringi, Oleksii Tkachuk, Kartik SathyanarayananIntroductionIn our previous blog post, we introduced Netflix’s TimeSeries Abstraction, a distributed service designed to store and query large volumes of temporal event data with low millisecond latencies. Today, we’re excited to present the Distributed Counter Abstraction. This counting service, built on top of the TimeSeries Abstraction, enables distributed counting at scale while maintaining similar low latency performance. As with all our abstractions, we use our Data Gateway Control Plane to shard, configure, and deploy this service globally.Distributed counting is a challenging problem in computer science. In this blog post, we…

5 months, 3 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 2 weeks назад
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads… Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

2 weeks назад @ medium.com
Migrating 3.7 Million Lines of Flow Code to TypeScript
Migrating 3.7 Million Lines of Flow Code to TypeScript Migrating 3.7 Million Lines of Flow Code to TypeScript

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

3 weeks, 1 day назад @ medium.com
Improving Pinterest Search Relevance Using Large Language Models
Improving Pinterest Search Relevance Using Large Language Models Improving Pinterest Search Relevance Using Large Language Models

Han Wang | Machine Learning Engineer II, Relevance & Query Understanding; Mukuntha Narayanan | Machine Learning Engineer II, Relevance & Query Understanding; Onur Gungor | (former) Staff Machine Learning Engineer, Relevance & Query Understanding; Jinfeng Rao | Senior Staff Machine Learning Engineer, Pinner DiscoveryFigure: Illustration of the search relevance system at Pinterest.BackgroundPinterest Search is one of the key surfaces on Pinterest where users can discover inspiring content that aligns with their information needs. Search relevance measures how well the search results aligned with the search query. Using a relevance objective allows the search engine to ensure that the content …

1 month назад @ medium.com
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery

Megan Blake, Usha Amrutha Nookala, Jeremy Browning, Sarah Tao, AJ Oxendine, Siddarth MalreddyOverview & ContextThe holiday shopping season presents a unique challenge: helping millions of Pinners discover and save perfect gifts across a vast sea of possibilities. While Pinterest has always been a destination for gift inspiration, our data showed that users were facing two key friction points: discovery overwhelm and fragmented wishlists. With 85% of weekly US Pinners having made a purchase based on Pins from brands¹, we saw an opportunity to create a more streamlined gift discovery experience that meets Pinners where they already are — at the early stages of shopping inspiration.The Challen…

1 month, 1 week назад @ medium.com
Module Relevance on Homefeed
Module Relevance on Homefeed Module Relevance on Homefeed

Usha Amrutha Nookala, Jason Madeano, Siddarth Malreddy, Lucy Song, Alekhya PIn the past, Homefeed on Pinterest recommended a grid of Pins that are most relevant to a user. The grid limits our ability to provide more context on the recommendations as well as show new topics the user might be interested in. To address this, we introduced modules to the Homefeed. We developed several components to ensure that the user’s Homefeed remains relevant with this new content type. This blog post details these components. The figure below provides an overview of our system and demonstrates how it interacts with the existing main feed of Pins.Figure 1: Overview of the module relevance backendModulesModu…

1 month, 2 weeks назад @ medium.com
Infrastructure Advancements at AWS ReInvent 2024
Infrastructure Advancements at AWS ReInvent 2024 Infrastructure Advancements at AWS ReInvent 2024

Madhuri Racherla, VP, Engineering — Infra & SREAt the recent AWS ReInvent 2024 conference, Madhuri Racherla, VP of Infrastructure & SRE, shared an inspiring story of the company’s ongoing journey to optimize performance and reduce costs. Her talk not only highlighted Pinterest’s strategic infrastructure advancements but also aimed to motivate engineers to pursue innovation and excellence.A Vision of Boundless CreativityMadhuri kicked off her presentation by painting a picture of a world where creativity knows no bounds. With Pinterest’s mission to inspire over 553 million monthly active users* to create lives they love, the platform isn’t just a hub for ideas; it’s a movement celebrating cr…

2 months, 2 weeks назад @ medium.com
The Quest to Understand Metric Movements
The Quest to Understand Metric Movements The Quest to Understand Metric Movements

Charles Wu, Software Engineer | Isabel Tallam, Software Engineer | Franklin Shiao, Software Engineer | Kapil Bajaj, Engineering ManagerOverviewSuppose you just saw an interesting rise or drop in one of your key metrics. Why did that happen? It’s an easy question to ask, but much harder to answer.One of the key difficulties in finding root causes for metric movements is that these causes can come in all shapes and sizes. For example, if your metric dashboard shows users experiencing higher latency as they scroll through their home feed, then that could be caused by anything from an OS upgrade, a logging or data pipeline error, an unusually large increase in user traffic, a code change landed…

2 months, 3 weeks назад @ medium.com
Advancements in Embedding-Based Retrieval at Pinterest Homefeed
Advancements in Embedding-Based Retrieval at Pinterest Homefeed Advancements in Embedding-Based Retrieval at Pinterest Homefeed

Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Hedi Xia | Machine Learning Engineer, Homefeed Candidate Generation; Yuke Yan | Machine Learning Engineer, Homefeed Candidate Generation; Hongtao Lin | Machine Learning Engineer, ATG Applied Science; Haoyu Chen | Machine Learning Engineer, ATG Applied Science; Dafang He | Machine Learning Engineer, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & Growth; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Engineering Manager, Homefeed Relevan…

3 months назад @ medium.com
Establishing a Large Scale Learned Retrieval System at Pinterest
Establishing a Large Scale Learned Retrieval System at Pinterest Establishing a Large Scale Learned Retrieval System at Pinterest

Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Dafang He | Machine Learning Engineer, Homefeed Relevance; Ying Huang | Machine Learning Engineer, Curation; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Director, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & GrowthIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. Finding the right content online and serving the right audience plays a key role in this mission. Modern large-scale …

3 months, 1 week назад @ medium.com
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service How Optimizing Memory Management with LMDB Boosted Performance on Our API Service

Angel Vargas | Software Engineer, API Platform; Swati Kumar | Software Engineer, API Platform; Chris Bunting | Engineering Manager, API PlatformThe inside of the Pinterest lobby in Mexico City, showing a patterned ceiling, a receptionist deck with a plant on it, a light above it, and a gallery of images of pins you’d find on Pinterest, behind it. To the left, a glowing Pinterest P sign hovers in front of a glass wall.NGAPI, the API platform for serving all first party client API requests, requires optimized system performance to ensure a high success rate of requests and allow for maximum efficiency to provide Pinners worldwide with engaging content. Recently, our team made a significant im…

3 months, 3 weeks назад @ medium.com
Simplify Pinterest Conversion Tracking with NPM Packages
Simplify Pinterest Conversion Tracking with NPM Packages Simplify Pinterest Conversion Tracking with NPM Packages

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

4 months, 2 weeks назад @ medium.com
How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability
How Pinterest Leverages Honeycomb to Enhance CI Observability and 
Improve CI Build Stability How Pinterest Leverages Honeycomb to Enhance CI Observability and  Improve CI Build Stability

How Pinterest Leverages Honeycomb to Enhance CI Observability and Improve CI Build StabilityOliver Koo | Staff Software EngineerOptimizing Mobile Builds and Continuous Integration Observability at Pinterest with HoneycombAt Pinterest, our mobile infrastructure is core to delivering a high-quality experience for our users. In this blog, I’ll showcase how the Pinterest Mobile Builds team is leveraging Honeycomb (starting in 2021) to enhance observability and performance in our mobile builds and continuous integration (CI) workflows.Building a Data-Driven Approach to ObservabilityOur mobile builds team relies on Honeycomb(™) as a robust data engine to visualize build metrics, analyze trends, a…

5 months назад @ medium.com
Change Data Capture at Pinterest
Change Data Capture at Pinterest Change Data Capture at Pinterest

Liang Mou; Staff Software Engineer, Logging Platform | Elizabeth (Vi) Nguyen; Software Engineer I, Logging Platform |In today’s data-driven world, businesses need to process and analyze data in real-time to make informed decisions. Change Data Capture (CDC) is a crucial technology that enables organizations to efficiently track and capture changes in their databases. In this blog post, we’ll explore what CDC is, why it’s important, and our journey of implementing Generic CDC solutions for all online databases at Pinterest.What is Change Data Capture?CDC is a set of software design patterns used to identify and track changes in a database. These changes can include inserts, updates, and dele…

5 months, 3 weeks назад @ medium.com
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest
Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest Resource Management with Apache YuniKorn™ for Apache Spark™ on AWS EKS at Pinterest

Yongjun Zhang; Staff Software Engineer | William Tom; Staff Software Engineer | Sandeep Kumar; Software Engineer |Monarch, Pinterest’s Batch Processing Platform, was initially designed to support Pinterest’s ever-growing number of Apache Spark and MapReduce workloads at scale. During Monarch’s inception in 2016, the most dominant batch processing technology around to build the platform was Apache Hadoop YARN. Now, eight years later, we have made the decision to move off of Apache Hadoop and onto our next generation Kubernetes (K8s) based platform. These are some of the key issues we aim to address:Application isolation with containerization: In Apache Hadoop 2.10, YARN applications share th…

6 months, 2 weeks назад @ medium.com
Ray Batch Inference at Pinterest (Part 3)
Ray Batch Inference at Pinterest (Part 3) Ray Batch Inference at Pinterest (Part 3)

Alex Wang; Software Engineer I | Lei Pan; Software Engineer II | Raymond Lee; Senior Software Engineer | Saurabh Vishwas Joshi; Senior Staff Software Engineer | Chia-Wei Chen; Senior Software Engineer |IntroductionIn Part 1 of our blog series, we discussed why we chose to use Ray(™) as a last mile data processing framework and how it enabled us to solve critical business problems. In Part 2 of our blog series, we described how we were able to integrate Ray(™) into our existing ML infrastructure. In this blog post, we will discuss a second type of popular application of Ray(™) at Pinterest: offline batch inference of ML models. We will also share how our implementation was able to deliver 4.…

6 months, 4 weeks назад @ medium.com
Facebook
последний пост 14 часов назад
Accelerating GPU indexes in Faiss with NVIDIA cuVS
Accelerating GPU indexes in Faiss with NVIDIA cuVS

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

14 часов назад @ engineering.fb.com
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

1 week, 2 days назад @ engineering.fb.com
Building multimodal AI for Ray-Ban Meta glasses
Building multimodal AI for Ray-Ban Meta glasses

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

2 months назад @ engineering.fb.com
Revolutionizing software testing: Introducing LLM-powered bug catchers
Revolutionizing software testing: Introducing LLM-powered bug catchers

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

3 months назад @ engineering.fb.com
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

5 months, 1 week назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

5 months, 2 weeks назад @ engineering.fb.com
OCP Summit 2024: The open future of networking hardware for AI
OCP Summit 2024: The open future of networking hardware for AI

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

6 months, 3 weeks назад @ engineering.fb.com
Meta’s open AI hardware vision
Meta’s open AI hardware vision

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

6 months, 3 weeks назад @ engineering.fb.com
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

7 months, 1 week назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

8 months назад @ engineering.fb.com
How PyTorch powers AI training and inference
How PyTorch powers AI training and inference

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

8 months, 2 weeks назад @ engineering.fb.com
Inside the hardware and co-design of MTIA
Inside the hardware and co-design of MTIA

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

8 months, 2 weeks назад @ engineering.fb.com
Bringing Llama 3 to life
Bringing Llama 3 to life

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

8 months, 2 weeks назад @ engineering.fb.com
Aparna Ramani discusses the future of AI infrastructure
Aparna Ramani discusses the future of AI infrastructure

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
How Meta animates AI-generated images at scale
How Meta animates AI-generated images at scale

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 2 weeks, 1 day назад
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

2 weeks, 1 day назад @ engineering.atspotify.com
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

3 weeks назад @ engineering.atspotify.com
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

1 month, 2 weeks назад @ engineering.atspotify.com
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

4 months, 3 weeks назад @ engineering.atspotify.com
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

5 months, 2 weeks назад @ engineering.atspotify.com
How We Generated Millions of Content Annotations
How We Generated Millions of Content Annotations

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

6 months, 2 weeks назад @ engineering.atspotify.com
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

8 months назад @ engineering.atspotify.com
Unlocking Insights with High-Quality Dashboards at Scale
Unlocking Insights with High-Quality Dashboards at Scale

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

8 months, 1 week назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 9 months назад
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available
Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available

Unlock powerful time-series analytics with Snowflake's enhanced RANGE-based window frame, now generally available. The post Accelerate Time-Series Analytics with RANGE-Based Window Frames, now Generally Available appeared first on Snowflake.

9 months назад @ snowflake.com
Continued Investments in Price Performance and Faster Top-K Queries
Continued Investments in Price Performance and Faster Top-K Queries

Our optimization delivers fast results, with some customer queries reaching 99.8%.

The post Continued Investments in Price Performance and Faster Top-K Queries appeared first on Snowflake.

9 months назад @ snowflake.com
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map
Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map

Discover how BigGeo is making location-based data more accessible and actionable.

The post Snowflake Startup Spotlight: BigGeo Puts Geospatial Intelligence on the Map appeared first on Snowflake.

9 months назад @ snowflake.com
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available
Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available

Learn what’s new, including security enhancements and cost reductions.

The post Securely Deploy Custom Apps and Models with Snowpark Container Services, Now Generally Available appeared first on Snowflake.

9 months, 1 week назад @ snowflake.com
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud
Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud

Retrieval Augmented Generation (RAG) allows enterprises to ground responses from Large Language Models in their specific organization’s data. This helps ensure that AI-powered applications provide responses that are not only accurate, relevant, and consistent, but also aligned with business needs. At Snowflake, we make it simple for our customers to implement RAG, while also enabling […]

The post Snowflake Invests in Contextual AI to Make It Easier for Enterprises to Deploy RAG Applications in the AI Data Cloud appeared first on Snowflake.

9 months, 1 week назад @ snowflake.com
Accelerating Academic Medical Research with an AI-Driven Data Strategy
Accelerating Academic Medical Research with an AI-Driven Data Strategy

Learn about advancing medical research with a robust data strategy.

The post Accelerating Academic Medical Research with an AI-Driven Data Strategy appeared first on Snowflake.

9 months, 1 week назад @ snowflake.com
Polaris Catalog Is Now Open Source
Polaris Catalog Is Now Open Source

Available on GitHub, Polaris Catalog provides new levels of choice, flexibility and control over your data.

The post Polaris Catalog Is Now Open Source appeared first on Snowflake.

9 months, 1 week назад @ snowflake.com
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge
Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge

Learn how we're empowering customers to protect their valuable data.

The post Snowflake Advances Cybersecurity Excellence by Joining CISA Secure by Design Pledge appeared first on Snowflake.

9 months, 1 week назад @ snowflake.com
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications
Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications

Learn how Cortex Search provides hybrid search at enterprise scale

The post Snowflake Cortex Search: State-of-the-Art Hybrid Search for RAG Applications appeared first on Snowflake.

9 months, 2 weeks назад @ snowflake.com
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products
How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products

Remove integration and procurement friction, improve time to value.

The post How Snowflake Accelerates Business Growth for Providers of Data, Apps and AI Products appeared first on Snowflake.

9 months, 2 weeks назад @ snowflake.com
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards
Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards

Snowflake helps customers implement AI safety at scale with an easy, cost-effective LLM guardrails feature. The post Snowflake Cortex AI Launches Cortex Guard to Implement LLM Safeguards appeared first on Snowflake.

9 months, 2 weeks назад @ snowflake.com
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI
Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI

Today, Snowflake is excited to announce that the Llama 3.1 collection of multilingual large language models (LLMs) are now available in Snowflake Cortex AI, providing enterprises with secure, serverless access to Meta’s most advanced open source model. Snowflake offers the largest context window of any vendor, at 128k, for the Llama 3.1 collection of models. […]

The post Meta’s Llama 3.1 405B Now Available for Enterprise App Development in Snowflake Cortex AI appeared first on Snowflake.

9 months, 2 weeks назад @ snowflake.com
Getting the Most From Your Modern Data Platform: A Three-Phase Approach
Getting the Most From Your Modern Data Platform: A Three-Phase Approach

Migrate, modernize and monetize to unlock innovation on Snowflake’s platform.

The post Getting the Most From Your Modern Data Platform: A Three-Phase Approach appeared first on Snowflake.

9 months, 2 weeks назад @ snowflake.com
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI
From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI

A potential recipe for disaster proved to be the focus of every data executive’s agenda over the last year. A year ago many data leaders were caught off-guard. Employees embraced new gen AI tools with fervor, driving interest in all AI initiatives. Generative AI had penetrated the enterprise, with gen AI positioned in the Peak […]

The post From Potential Disaster To Driver of Change… Data Execs Share Their Journeys To Effective AI appeared first on Snowflake.

9 months, 3 weeks назад @ snowflake.com
Snowflake’s Summer of Sports and AI
Snowflake’s Summer of Sports and AI

Join us on July 25, 2024 for a Sports and AI virtual event.

The post Snowflake’s Summer of Sports and AI appeared first on Snowflake.

9 months, 3 weeks назад @ snowflake.com
Smart Data
последний пост 1 week назад
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity

Unfortunately, we don’t all experience the healthcare system the same way. While the vast majority of patients in the United States have complaints regarding their healthcare options, the actual experiences vary significantly—based largely on cultural or economic grounds. Better data has improved our ability to understand who is being let down by healthcare—and what to […]

1 week назад @ smartdatacollective.com
Data Analytics Is Revolutionizing Medical Credentialing
Data Analytics Is Revolutionizing Medical Credentialing

Advanced data tools are improving how medical credentials are verified to better protect patient safety.

3 weeks, 1 day назад @ smartdatacollective.com
AI Tools Reshape Social Media for Lawyers
AI Tools Reshape Social Media for Lawyers

Law firms are using AI to boost efficiency, improve accuracy, and drive new revenue opportunities with social media.

3 weeks, 4 days назад @ smartdatacollective.com
AI in Healthcare: How Smart Technologies Revolutionize Patient Experience
AI in Healthcare: How Smart Technologies Revolutionize Patient Experience

Discover how AI is reshaping healthcare by enhancing patient care, streamlining processes, and saving lives.

4 weeks, 1 day назад @ smartdatacollective.com
Maximize SEO Success with Powerful Data Analytics Insights
Maximize SEO Success with Powerful Data Analytics Insights

Discover how data analytics transforms SEO strategies and reveals what’s truly driving online visibility.

1 month назад @ smartdatacollective.com
Optimizing Trademark Registration with Data Analytics
Optimizing Trademark Registration with Data Analytics

Data analytics helps businesses secure unique trademarks, reduce legal risks, and gain valuable insights for brand protection.

1 month назад @ smartdatacollective.com
Unlocking Zip Code Insights with Data Analytics
Unlocking Zip Code Insights with Data Analytics

Data analytics helps businesses and governments target the right zip codes for smarter marketing, planning, and resource allocation.

1 month, 1 week назад @ smartdatacollective.com
Decentralized AI Training: 4 Leading Dataset Solutions For Your Business
Decentralized AI Training: 4 Leading Dataset Solutions For Your Business

Empower your AI! Discover 4 leading dataset solutions for decentralized AI training that can elevate your business's capabilities.

1 month, 1 week назад @ smartdatacollective.com
AI-Powered Sales Automation: Boost Revenue and Efficiency
AI-Powered Sales Automation: Boost Revenue and Efficiency

Smart businesses are using AI to streamline sales, enhance customer engagement, and drive revenue growth.

1 month, 2 weeks назад @ smartdatacollective.com
AI-Powered Email Marketing: Boost Engagement and Revenue
AI-Powered Email Marketing: Boost Engagement and Revenue

Transform your email marketing with AI to increase personalization, boost click-through rates, and maximize revenue effortlessly.

1 month, 3 weeks назад @ smartdatacollective.com
Creating Impactful Branding: Using Design Tools vs. AI
Creating Impactful Branding: Using Design Tools vs. AI

There are a lot of great reasons to consider using AI and design tools to create great branding graphics.

1 month, 3 weeks назад @ smartdatacollective.com
What Are the Ethical Implications of Using AI in Advertising
What Are the Ethical Implications of Using AI in Advertising

You can harness the power of AI to create personalized, data-driven ad campaigns but must be aware of the ethical issues.

1 month, 3 weeks назад @ smartdatacollective.com
How AI is Helping Drive Advances in Inventory Management Software
How AI is Helping Drive Advances in Inventory Management Software

Optimize your supply chain with AI-powered Bill of Materials software for smarter, faster, and error-free production.

1 month, 4 weeks назад @ smartdatacollective.com
Unveiling Hidden Patterns Through Advanced Chemical Analysis Tools
Unveiling Hidden Patterns Through Advanced Chemical Analysis Tools

AI and data analytics is starting to revolutionize the chemical analysis industry by accelerating discovery, enhancing precision, and driving industry growth.

2 months назад @ smartdatacollective.com
Data Analytics Can Help with REIT Investing
Data Analytics Can Help with REIT Investing

Smart real estate investing starts with data—analyze trends, minimize risks, and maximize returns with advanced analytics.

2 months, 2 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 1 day, 7 hours назад
AI in HR: Transforming Human Resources into a Data-Driven Powerhouse
AI in HR: Transforming Human Resources into a Data-Driven Powerhouse

At WeCloudData, we believe that the power of AI and data science should extend across all business functions, including Human Resources. AI in HR, sometimes referred to as HR AI or AI for HR, is changing how teams find, hire, and develop talent as more and more businesses use digital technologies. This blog includes real-world […]

The post AI in HR: Transforming Human Resources into a Data-Driven Powerhouse appeared first on WeCloudData.

1 day, 7 hours назад @ weclouddata.com
Cloud Computing in the Healthcare Industry
Cloud Computing in the Healthcare Industry

Healthcare is one of the industries most heavily influenced by digital transformation. Technology has reshaped how care is delivered, managed, and optimized. Cloud computing in the healthcare industry is one of the most promising technologies that has potential to make remarkable changes. In this blog, we’ll explore how cloud computing is shaping the medical domain. […]

The post Cloud Computing in the Healthcare Industry appeared first on WeCloudData.

1 day, 13 hours назад @ weclouddata.com
Machine Learning in Entertainment: Customizing Movie Recommendations
Machine Learning in Entertainment: Customizing Movie Recommendations

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

3 days, 14 hours назад @ weclouddata.com
Infrastructure as Code (IaC)
Infrastructure as Code (IaC)

Infrastructure as Code (IaC) offers an efficient, reproducible, and error-resistant approach to managing infrastructure. IaC has become a vital strategy for modern IT teams that seek scalability and agility. This blog explores Infrastructure as Code (IaC), its use cases, benefits, tools, and how AWS and Azure are enhancing IaC practices. Let’s start learning with WeCloudData! […]

The post Infrastructure as Code (IaC) appeared first on WeCloudData.

6 days, 16 hours назад @ weclouddata.com
How NLP is Transforming Communication
How NLP is Transforming Communication

We live in a digital world where effective communication plays a crucial role in our daily lives. Whether it’s sending a text, writing an email, or conversing with a chatbot, communication is everywhere. But how do machines understand what we write or say? This is where NLP comes in. In this blog, we’ll explore how […]

The post How NLP is Transforming Communication appeared first on WeCloudData.

1 week назад @ weclouddata.com
Virtualization
Virtualization

Imagine a hotel – a single building with multiple rooms. Despite being separate and private, all of the rooms share the same physical structure. The same concept maps to “Virtualization”. Virtualization turns one powerful computer into many isolated, efficient environments using smart software. In this blog, we’ll explore what virtualization in cloud computing​ is, how […]

The post Virtualization appeared first on WeCloudData.

1 week, 2 days назад @ weclouddata.com
Cloud Storage
Cloud Storage

Our digital lives would be much different without cloud storage, which makes it easy to share, access, and protect data across platforms and devices. The cloud market has huge potential and is continuously evolving with the advancement in technology and time. This blog highlights cloud storage mechanisms, cost models, trends, service providers, and the benefits […]

The post Cloud Storage appeared first on WeCloudData.

1 week, 3 days назад @ weclouddata.com
Community Cloud
Community Cloud

With the advancement in digital technology, organizations are seeking secure, collaborative, and cost-effective cloud solutions. Community cloud computing is a model that perfectly fits these criteria. A community cloud​ is a cloud computing infrastructure shared among a specific group of organizations that share common interests, objectives, or concerns. This blog explores the concept of community […]

The post Community Cloud appeared first on WeCloudData.

2 weeks назад @ weclouddata.com
SaaS – Software-as-a-Service
SaaS – Software-as-a-Service

In an era defined by digital agility and data-driven decision-making, Software-as-a-Service offers organizations scalable, cloud-based solutions that eliminate the burden of infrastructure management and reduce operational costs. SaaS is a cloud computing model that enables users to pay for access to cloud-hosted software over the internet, rather than purchasing it. In this blog, we’ll learn […]

The post SaaS – Software-as-a-Service appeared first on WeCloudData.

2 weeks назад @ weclouddata.com
Infrastructure as a Service (IaaS)
Infrastructure as a Service (IaaS)

Infrastructure as a Service (IaaS) is a fundamental component of cloud computing, providing users with on-demand access to computing, storage, and networking resources via the Internet. Together with Platform-as-a-Service (PaaS) and Software-as-a-Service (SaaS), IaaS is one of the three main cloud service models. It has evolved into a vital option for businesses aiming for flexibility, […]

The post Infrastructure as a Service (IaaS) appeared first on WeCloudData.

2 weeks назад @ weclouddata.com
Cloud Engineer
Cloud Engineer

Cloud computing has become the backbone of modern digital infrastructure, revolutionizing business operations. As organizations rapidly adopt cloud technologies, there is an increasing demand for skilled cloud professionals. Whether you are curious about cloud computing, looking for cloud computing courses, or an enthusiastic tech professional, this quick cloud engineer roadmap​ blog covers everything you need […]

The post Cloud Engineer appeared first on WeCloudData.

2 weeks, 1 day назад @ weclouddata.com
Platform as a Service (PaaS)
Platform as a Service (PaaS)

PaaS is a fundamental cloud computing model that offers developers and organizations a robust environment for building, deploying, and managing applications efficiently. This blog provides detailed information on data Platform as a Service (PaaS),, how it differs from other cloud computing models, its working principles, and its benefits. Let’s get started and explore PaaS with […]

The post Platform as a Service (PaaS) appeared first on WeCloudData.

2 weeks, 2 days назад @ weclouddata.com
Smart Agriculture: How Machine Learning is Helping Farming
Smart Agriculture: How Machine Learning is Helping Farming

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

2 weeks, 3 days назад @ weclouddata.com
Hybrid Cloud
Hybrid Cloud

Hybrid cloud computing is a type of cloud computing that combines the benefits of both private and public clouds. It has emerged as a pivotal strategy for organizations aiming to balance scalability, agility, and control. The hybrid cloud empowers businesses to optimize performance, enhance security, and drive innovation. This blog explores the current landscape of […]

The post Hybrid Cloud appeared first on WeCloudData.

2 weeks, 6 days назад @ weclouddata.com
Cloud Governance
Cloud Governance

Cloud computing is the foundation of modern infrastructure and technology. With the growing shift toward the cloud, the challenges of managing security, compliance, costs, and operational efficiency are also increasing. Cloud Governance provides the framework for effective, secure, and compliant cloud environments while maximizing the benefits of cloud computing. This blog gives you a brief […]

The post Cloud Governance appeared first on WeCloudData.

3 weeks назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост 1 month, 3 weeks назад
Terraform module to manage Oxbow Lambda and its components
Terraform module to manage Oxbow Lambda and its components

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

1 month, 3 weeks назад @ tech.scribd.com
Cloud-native Data Ingestion with AWS Aurora and Delta Lake
Cloud-native Data Ingestion with AWS Aurora and Delta Lake

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

3 months, 3 weeks назад @ tech.scribd.com
Jesse Anderson Jesse Anderson
последний пост 3 weeks, 2 days назад
Unapologetically Technical Episode 19 – Jacopo Tagliabue
Unapologetically Technical Episode 19 – Jacopo Tagliabue 3 weeks, 2 days назад @ jesse-anderson.com
Unapologetically Technical Episode 18 – Adrian Woodhead
Unapologetically Technical Episode 18 – Adrian Woodhead 1 month, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 17 – Semih Salihoglu
Unapologetically Technical Episode 17 – Semih Salihoglu 2 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 16 – David Jayatillake
Unapologetically Technical Episode 16 – David Jayatillake 3 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 15 – Frances Perry
Unapologetically Technical Episode 15 – Frances Perry 4 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 14 – Cliff Crosland
Unapologetically Technical Episode 14 – Cliff Crosland

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

6 months, 1 week назад @ jesse-anderson.com
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 7 months, 3 weeks назад @ jesse-anderson.com
Data Teams Survey 2024 Results
Data Teams Survey 2024 Results 8 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 13 – Jeff Chou
Unapologetically Technical Episode 13 – Jeff Chou

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

8 months, 3 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 14 часов назад
Save big on OpenSearch: Unleashing Intel AVX-512 for binary vector performance
Save big on OpenSearch: Unleashing Intel AVX-512 for binary vector performance

With OpenSearch version 2.19, Amazon OpenSearch Service now supports hardware-accelerated enhanced latency and throughput for binary vectors. In this post, we discuss the improvements these advanced processors provide to your OpenSearch workloads, and how it can help you lower your total cost of ownership (TCO).

14 часов назад @ aws.amazon.com
Automate replication of row-level security from AWS Lake Formation to Amazon QuickSight
Automate replication of row-level security from AWS Lake Formation to Amazon QuickSight

This post outlines a solution to automatically replicate the entitlements for readers from the source (AWS Lake Formation) to Amazon QuickSight. This solution can be used even when the authentication method in Amazon QuickSight is not using IAM Identity Center and can work with both direct query and SPICE datasets in Amazon QuickSight.

1 day, 16 hours назад @ aws.amazon.com
How Deutsche Bahn redefines forecasting using Chronos models – Now available on Amazon Bedrock Marketplace
How Deutsche Bahn redefines forecasting using Chronos models – Now available on Amazon Bedrock Marketplace

Whereas traditional forecasting methods typically rely on statistical modeling, Chronos treats time series data as a language to be modeled and uses a pre-trained FM to generate forecasts — similar to how large language models (LLMs) generate texts. Chronos helps you achieve accurate predictions faster, significantly reducing development time compared to traditional methods. In this post, we share how Deutsche Bahn is redefining forecasting using Chronos models, and provide an example use case to demonstrate how you can get started using Chronos.

1 day, 16 hours назад @ aws.amazon.com
Use custom metrics to evaluate your generative AI application with Amazon Bedrock
Use custom metrics to evaluate your generative AI application with Amazon Bedrock

Now with Amazon Bedrock, you can develop custom evaluation metrics for both model and RAG evaluations. This capability extends the LLM-as-a-judge framework that drives Amazon Bedrock Evaluations. In this post, we demonstrate how to use custom metrics in Amazon Bedrock Evaluations to measure and improve the performance of your generative AI applications according to your specific business requirements and evaluation criteria.

2 days, 10 hours назад @ aws.amazon.com
Accelerate development workflows to reduce release cycles using the Amazon Q Developer integration for GitHub (Preview)
Accelerate development workflows to reduce release cycles using the Amazon Q Developer integration for GitHub (Preview)

Automatically execute coding tasks to reduce development cycles using Amazon Q Developer in GitHub (in-preview), available for free, no AWS account required. Amazon Q Developer accelerates feature development within GitHub.com and GitHub Enterprise Cloud. Leverage the premium models that power Q Developer at no additional cost, to automatically implement new features, generate bug fixes, increase […]

2 days, 13 hours назад @ aws.amazon.com
Intelligent coding at your fingertips: Introducing an agentic coding experience in your IDE
Intelligent coding at your fingertips: Introducing an agentic coding experience in your IDE

Back in March, I wrote about the new agentic coding experience within the Amazon Q Developer CLI. Recently, Amazon Q Developer announced that it has added a similar experience to the integrated development environement (IDE). Agentic coding in the IDE allows you to work with Amazon Q Developer to read and write files locally, run […]

3 days, 9 hours назад @ aws.amazon.com
AWS DMS implementation guide: Building resilient database migrations through testing, monitoring, and SOPs
AWS DMS implementation guide: Building resilient database migrations through testing, monitoring, and SOPs

In this post, we present proactive measures for optimizing AWS DMS implementations from the initial setup phase. By using strategic planning and architectural foresight, organizations can enhance their replication system’s reliability, improve performance, and avoid common pitfalls.

3 days, 15 hours назад @ aws.amazon.com
Understanding transaction visibility in PostgreSQL clusters with read replicas
Understanding transaction visibility in PostgreSQL clusters with read replicas

On April 29, 2025, Jepsen published a report about transaction visibility behavior in Amazon RDS for PostgreSQL Multi-AZ clusters. We appreciate Jepsen’s thorough analysis and would like to provide additional context about this behavior, which exists both in Amazon RDS and community PostgreSQL. In this post, we dive into the specifics of the issue to provide further clarity, discuss what classes of architectures it might affect, share workarounds, and highlight our ongoing commitment to improving community PostgreSQL in all areas, including correctness.

6 days, 4 hours назад @ aws.amazon.com
Amazon OpenSearch Service launches flow builder to empower rapid AI search innovation
Amazon OpenSearch Service launches flow builder to empower rapid AI search innovation

The AI search flow builder is available in all AWS Regions that support OpenSearch 2.19+ on OpenSearch Service. In this post, we walk through a couple of scenarios to demonstrate the flow builder. First, we’ll enable semantic search on your old keyword-based OpenSearch application without client-side code changes. Next, we’ll create a multi-modal RAG flow, to showcase how you can redefine image discovery within your applications.

6 days, 12 hours назад @ aws.amazon.com
Build a gen AI–powered financial assistant with Amazon Bedrock multi-agent collaboration
Build a gen AI–powered financial assistant with Amazon Bedrock multi-agent collaboration

This post explores a financial assistant system that specializes in three key tasks: portfolio creation, company research, and communication. This post aims to illustrate the use of multiple specialized agents within the Amazon Bedrock multi-agent collaboration capability, with particular emphasis on their application in financial analysis.

6 days, 14 hours назад @ aws.amazon.com
WordFinder app: Harnessing generative AI on AWS for aphasia communication
WordFinder app: Harnessing generative AI on AWS for aphasia communication

In this post, we showcase how Dr. Kori Ramajoo, Dr. Sonia Brownsett, Prof. David Copland, from QARC, and Scott Harding, a person living with aphasia, used AWS services to develop WordFinder, a mobile, cloud-based solution that helps individuals with aphasia increase their independence through the use of AWS generative AI technology.

6 days, 15 hours назад @ aws.amazon.com
Graph-powered authorization: Relationship based access control for access management
Graph-powered authorization: Relationship based access control for access management

Authorization systems are a critical component of modern applications, yet traditional approaches like role-based access control (RBAC) and attribute-based access control (ABAC) struggle to meet the complex access control requirements of today’s enterprises. In this post, we introduce a relationship-based access control (ReBAC) as an alternative for enterprise scale authorization. We explore how the proposed […]

6 days, 15 hours назад @ aws.amazon.com
Get faster and actionable AWS Trusted Advisor insights to make data-driven decisions using Amazon Q Business
Get faster and actionable AWS Trusted Advisor insights to make data-driven decisions using Amazon Q Business

In this post, we show how to create an application using Amazon Q Business with Jira integration that used a dataset containing a Trusted Advisor detailed report. This solution demonstrates how to use new generative AI services like Amazon Q Business to get data insights faster and make them actionable.

6 days, 15 hours назад @ aws.amazon.com
Best practices for Meta Llama 3.2 multimodal fine-tuning on Amazon Bedrock
Best practices for Meta Llama 3.2 multimodal fine-tuning on Amazon Bedrock

In this post, we share comprehensive best practices and scientific insights for fine-tuning Meta Llama 3.2 multimodal models on Amazon Bedrock. By following these guidelines, you can fine-tune smaller, more cost-effective models to achieve performance that rivals or even surpasses much larger models—potentially reducing both inference costs and latency, while maintaining high accuracy for your specific use case.

1 week назад @ aws.amazon.com
Extend large language models powered by Amazon SageMaker AI using Model Context Protocol
Extend large language models powered by Amazon SageMaker AI using Model Context Protocol

The MCP proposed by Anthropic offers a standardized way of connecting FMs to data sources, and now you can use this capability with SageMaker AI. In this post, we presented an example of combining the power of SageMaker AI and MCP to build an application that offers a new perspective on loan underwriting through specialized roles and automated workflows.

1 week назад @ aws.amazon.com
AWS
последний пост 14 часов назад
Automate document translation and standardization with Amazon Bedrock and Amazon Translate
Automate document translation and standardization with Amazon Bedrock and Amazon Translate

In this post, we show how you can automate language localization through translating documents using Amazon Web Services (AWS). The solution combines Amazon Bedrock and AWS Serverless technologies, a suite of fully managed event-driven services for running code, managing data, and integrating applications—all without managing servers.

1 week назад @ aws.amazon.com
Autonomous mortgage processing using Amazon Bedrock Data Automation and Amazon Bedrock Agents
Autonomous mortgage processing using Amazon Bedrock Data Automation and Amazon Bedrock Agents

In this post, we introduce agentic automatic mortgage approval, a next-generation sample solution that uses autonomous AI agents powered by Amazon Bedrock Agents and Amazon Bedrock Data Automation. These agents orchestrate the entire mortgage approval process—intelligently verifying documents, assessing risk, and making data-driven decisions with minimal human intervention.

1 week назад @ aws.amazon.com
Build end-to-end Apache Spark pipelines with Amazon MWAA, Batch Processing Gateway, and Amazon EMR on EKS clusters
Build end-to-end Apache Spark pipelines with Amazon MWAA, Batch Processing Gateway, and Amazon EMR on EKS clusters

This post shows how to enhance the multi-cluster solution by integrating Amazon Managed Workflows for Apache Airflow (Amazon MWAA) with BPG. By using Amazon MWAA, we add job scheduling and orchestration capabilities, enabling you to build a comprehensive end-to-end Spark-based data processing pipeline.

1 week назад @ aws.amazon.com
April 2025: A month of innovation for Amazon Q Developer
April 2025: A month of innovation for Amazon Q Developer

As April 2025 comes to a close, I’m amazed by the innovations that Amazon Q Developer has launched in the past few weeks. Generative AI is evolving fast, enabling developer experiences that were just not possible a few months ago. Each new launch helps make Q Developer the most capable generative AI–powered assistant for software […]

1 week назад @ aws.amazon.com
Amazon Bedrock Model Distillation: Boost function calling accuracy while reducing cost and latency
Amazon Bedrock Model Distillation: Boost function calling accuracy while reducing cost and latency

In this post, we highlight the advanced data augmentation techniques and performance improvements in Amazon Bedrock Model Distillation with Meta's Llama model family. This technique transfers knowledge from larger, more capable foundation models (FMs) that act as teachers to smaller, more efficient models (students), creating specialized models that excel at specific tasks.

1 week, 1 day назад @ aws.amazon.com
Unified scheduling for visual ETL flows and query books in Amazon SageMaker Unified Studio
Unified scheduling for visual ETL flows and query books in Amazon SageMaker Unified Studio

Today, we’re excited to introduce a new unified scheduling feature that simplifies this process. SageMaker Unified Studio allows you to create ETL flows using a visual interface and write SQL analytics queries using query books. In this post, we walk through how to schedule your visual ETL flows and query books with just a few clicks, explore the underlying architecture, and demonstrate how this feature can streamline your data workflow automation.

1 week, 1 day назад @ aws.amazon.com
AWS’s Well-Architected Framework Transformed by Amazon Q Developer
AWS’s Well-Architected Framework Transformed by Amazon Q Developer

In the rapidly evolving landscape of cloud computing, developers, and architects face unprecedented challenges. These challenges include designing, implementing, and maintaining robust cloud infrastructures. The AWS Well-Architected Framework is the gold standard for building secure, efficient, and optimized cloud solutions. Traditionally, complying with this framework required deep expertise and manual analysis. Now, Amazon Q Developer […]

1 week, 1 day назад @ aws.amazon.com
Migrating a CDK v1 Application to CDK v2 with Amazon Q Developer
Migrating a CDK v1 Application to CDK v2 with Amazon Q Developer

Introduction: AWS Cloud Development Kit (AWS CDK) is an open-source software development framework for defining cloud infrastructure in code and provisioning it through AWS CloudFormation. As of June 1, 2023, AWS CDK version 1 is no longer supported. To avoid the potential issues that come with using an outdated version and to take advantage of […]

1 week, 1 day назад @ aws.amazon.com
Build public-facing generative AI applications using Amazon Q Business for anonymous users
Build public-facing generative AI applications using Amazon Q Business for anonymous users

Today, we’re excited to announce that Amazon Q Business now supports anonymous user access. With this new feature, you can now create Amazon Q Business applications with anonymous user mode, where user authentication is not required and content is publicly accessible. In this post, we demonstrate how to build a public-facing generative AI application using Amazon Q Business for anonymous users.

1 week, 1 day назад @ aws.amazon.com
Data masking and performance improvements in AWS DMS 3.5.4
Data masking and performance improvements in AWS DMS 3.5.4

We are excited to announce the availability of new features in AWS Database Migration Service (AWS DMS) replication engine version 3.5.4. This release includes two major enhancements: data masking for enhanced security and improved data validation performance. In this post, we deep dive into these two features. Refer to the release notes to see a list of all the new features available in this version.

1 week, 1 day назад @ aws.amazon.com
FloQast builds an AI-powered accounting transformation solution with Anthropic’s Claude 3 on Amazon Bedrock
FloQast builds an AI-powered accounting transformation solution with Anthropic’s Claude 3 on Amazon Bedrock

In this post, we share how FloQast built an AI-powered accounting transaction solution using Anthropic’s Claude 3 on Amazon Bedrock.

1 week, 1 day назад @ aws.amazon.com
Insights in implementing production-ready solutions with generative AI
Insights in implementing production-ready solutions with generative AI

As generative AI revolutionizes industries, organizations are eager to harness its potential. However, the journey from production-ready solutions to full-scale implementation can present distinct operational and technical considerations. This post explores key insights and lessons learned from AWS customers in Europe, Middle East, and Africa (EMEA) who have successfully navigated this transition, providing a roadmap for others looking to follow suit.

1 week, 1 day назад @ aws.amazon.com
Extend the Amazon Q Developer CLI with Model Context Protocol (MCP) for Richer Context
Extend the Amazon Q Developer CLI with Model Context Protocol (MCP) for Richer Context

Earlier today, Amazon Q Developer announced Model Context Protocol (MCP) support in the command line interface (CLI). Developers can connect external data sources to Amazon Q Developer CLI with MCP support for more context-aware responses. By integrating MCP tools and prompts into Q Developer CLI, you get access to an expansive list of pre-built integrations […]

1 week, 2 days назад @ aws.amazon.com
How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow
How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow

In this post, we share how Flutter UKI transitioned from a monolithic Amazon Elastic Compute Cloud (Amazon EC2)-based Airflow setup to a scalable and optimized Amazon Managed Workflows for Apache Airflow (Amazon MWAA) architecture using features like Kubernetes Pod Operator, continuous integration and delivery (CI/CD) integration, and performance optimization techniques.

1 week, 2 days назад @ aws.amazon.com
How BMW Group built a serverless terabyte-scale data transformation architecture with dbt and Amazon Athena
How BMW Group built a serverless terabyte-scale data transformation architecture with dbt and Amazon Athena

At the BMW Group, our Cloud Efficiency Analytics (CLEA) team has developed a FinOps solution to optimize costs across over 10,000 cloud accounts This post explores our journey, from the initial challenges to our current architecture, and details the steps we took to achieve a highly efficient, serverless data transformation setup.

1 week, 2 days назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Does anyone know when MWAA will support Airflow 3.0 release so my company can upgrade to Airflow 3.0
Does anyone know when MWAA will support Airflow 3.0 release so my company can upgrade to Airflow 3.0

Does anyone know when MWAA will support Airflow 3.0 release so we can upgrade to Airflow 3.0 submitted by /u/Equivalent_Form_9717 [link] [comments]

1 час назад @ reddit.com
Shifted to Data Engineering Role After Working with DS and ML Teams – Need Help with Learning Path
Shifted to Data Engineering Role After Working with DS and ML Teams – Need Help with Learning Path

I started as a software engineer but have been working with DS&ML teams and analysts for the past couple of years. My role officially has shifted to Data Engineer as well. Most of my work is in productionizing ML models (APIs, services) and data wrangling, not large-scale ETL or distributed systems like Spark/Hadoop. I’m solid with SQL and Python, but I’m confused about what to learn next — online content is all over the place and overwhelming. If you're working in data engineering, could you share what skills/tools should I prioritize? Thanks! submitted by /u/Jayant-18 [link] [comments]

2 часа назад @ reddit.com
Spark SQL application failing due to Fetch Failed errors from a data node.
Spark SQL application failing due to Fetch Failed errors from a data node.

HI DATA ENGINEERS , I had posted a question few weeks ago and I got alot of response to it and I'm glad since I learned how to tweak spark applications for different types of jobs, it's been great having so many people help out. Whatever suggestions were given I used them all and I was able to lessen the time it took for data loading significantly. Tuning the GC with some parameters , playing around with memory I was able to do it. DETAIL ABOUT CLUSTER AND APPLICATION So we have about 137 Datanodes Each node has 40 cores , 740 GB memory and 66TB disk. So when I submit my spark application which is making use of SPARK SQL context and processing about 7.5 TB of raw data Each day and it is nee…

2 часа назад @ reddit.com
Ab initio for career growth
Ab initio for career growth

I joined as a junior developer in an MNC and was involved in the migration of the existing code that was written using proC to ab initio. After going through the internet, I found that ab initio is in declining state since most of the companies are preferring modern and open-source tools like pyspark, Azure etc. Also, I have been assigned with the complex part of migration and had only the video tutorials and help documentation of ab initio. Should I really put all my efforts in learning this ETL tool or should I focus on other popular tech stack that are most widely used as I have lost my interest in learning ab initio. submitted by /u/Independent-War4832 [link] [comments]

4 часа назад @ reddit.com
Would early-stage SaaS teams use a tool that auto-generates dbt models for growth metrics?
Would early-stage SaaS teams use a tool that auto-generates dbt models for growth metrics?

Would anyone use a tool that connects to your Postgres/Stripe and automatically generates dbt models for DAU, retention, and LTV... without having to hire a data team? submitted by /u/OkClient9970 [link] [comments]

10 часов назад @ reddit.com
AI is NEVER going to take your job.
AI is NEVER going to take your job.

submitted by /u/averageflatlanders [link] [comments]

10 часов назад @ reddit.com
Parse API response to table
Parse API response to table

So here is my use case I have an API that gives an XML response, the response contains a node with CSV data as a string which is Base64 encoded. Now I need to parse and save this data into a synapse table. I cannot use Rest Dataset because it doesn't support XML. I am currently using a web activity to fetch the response, using a set variable and Xpath to fetch the required node, another set variable to decode the fetched encoded data, now my data is a CSV as string, how can I parse this steing to a valid csv and push it into a table ? One way I could think is save this CSV string a file into a blob storage and then use that as a dataset, but I want to avoid that. Is there a way I could do i…

10 часов назад @ reddit.com
Best Practices for Building a Data Warehouse and Analytics Pipeline for IoT Data
Best Practices for Building a Data Warehouse and Analytics Pipeline for IoT Data

I have two separate databases for my IoT development project: DB1: Contains entities like users and schools DB2: Contains entities like devices, telemetries, and alarms I want to perform data analysis that combines information from both databases-for example, determining how many devices each school has, or how many alarms a specific user received in the last month. My current plan is: Create a data warehouse in BigQuery to consolidate and store data from both databases. Connect the data warehouse to an analytics tool like Metabase for querying and visualization. Is this approach sufficient? Are there any additional steps, best practices, or components I should consider to ensure successful…

10 часов назад @ reddit.com
Quickest way to generate multi page data analysis reports!
Quickest way to generate multi page data analysis reports! Quickest way to generate multi page data analysis reports!

Try today for free at https://tejasql.ai submitted by /u/TejaSQL [link] [comments]

11 часов назад @ reddit.com
Spark alternatives but for Java
Spark alternatives but for Java

Hi. Spark alternatives have recently become relatively trendy, also in this community. However, all the alternatives I have seen so far have been Python-based: Dask, DuckDB (The PySpark API part of it), Polars(?), ... If any, what are the possibilities to have alternatives to Spark for the JVM? Anything to recommend, ideally with similarities to the Spark API and some solution for datasets too big for memory? Many thanks submitted by /u/ihatebeinganonymous [link] [comments]

11 часов назад @ reddit.com
Trying to build a JSON-file to database pipeline. Considering a few options...
Trying to build a JSON-file to database pipeline. Considering a few options...

I need to figure out how to regularly load JSON files into a database, for consumption in PowerBI or some other database GUI. I've seen different options on here and elsewhere: using Sling for the files, CloudBeaver for interfacing, PostgresSQL for hosting JSON data types... but the data is technically a time-series of events, so that possibly means ElasticSearch or InfluxDB are preferable. I have some experience using Fluentd for parsing data, but unclear how I'd use it to import from a file vs a stream (something Sling appears to do, but not sure that covers time-series databases; Fluentd can output to ElasticSearch). I know MongoDB has weird licensing issues, so not sure I want to use th…

11 часов назад @ reddit.com
Accessing Unity Catalog viaJDBC
Accessing Unity Catalog viaJDBC

Hello Folks, I have a use case where I need to access the Unity Catalog tables with Spark shell /submit I have the cluster details includes PAT,https path, sql_warehouse and all access required! I have tried this way of connecting to catalog with Databrics Driver (2.7.1) over JDBC connector With this approach I’m able to get the schema and transform it to a DF, but upon df.show() I’m prompted with “ SQLDataException “ At last I’m able to access with databricks-connect but was use case required to connect via spark session Please enlighten with your expertise. [6 months to be exact : recently joined in a data company, team spark] Any tips for growth are highly appreciated 🙂 submitted by /u/D…

12 часов назад @ reddit.com
Postgis Tiger Geocoder
Postgis Tiger Geocoder

Howdy all! Lately Ive been messing around with the postgis tiger geocoding extension and Ive more or less had to rewrite the loading component for both windows and linux. i was wondering if anyone else here has used it and if they could share any tips/suggestions/how they’ve utilised it submitted by /u/triscuit2k00 [link] [comments]

13 часов назад @ reddit.com
Suggestion needed on performance enhancement of sql server query
Suggestion needed on performance enhancement of sql server query

Hey guyz , I need some suggestions on improving on the performance of sql server query , it's a bit complex query doing things on appro 5 tables Size are following Table 1 - 50k rows Table 2 - 50k rows Table 3 - 10k rows Table 4 - 30k rows Table 5 - 100k rows Basically it's a dashboard query which queries different tables based on filters and combine the data and return it . I tried indexing but indexing is a complex topic... I was asked to use ssms query planner to get the recommendation but I have found that recommendation not always work as intend .. Do u have some kind of indexing approach or can suggest some course on indexing or sql server performance tuning .... Thanks submitted by /…

15 часов назад @ reddit.com
I don’t understand the Excel hype
I don’t understand the Excel hype

Maybe it’s just me, but I absolutely hate working with data in Excel. My previous company used Google Sheets and yeah it was a bit clunky with huge data sets, but for 90% of the time it was fantastic to work with. You could query anything and write little JS scripts to help you. Current company uses Excel and I want to throw my computer out of the window constantly. I have a workbook that has 78 sheets. I want to query those sheets within the workbook. But first I have to go into every freaking sheet and make it a data source. Why can’t I just query inside the workbook? Am I missing something? submitted by /u/tis_orangeh [link] [comments]

15 часов назад @ reddit.com
Towards Data Science
последний пост 3 часа назад
Clustering Eating Behaviors in Time: A Machine Learning Approach to Preventive Health
Clustering Eating Behaviors in Time: A Machine Learning Approach to Preventive Health

How understanding the timing of meals using machine learning can support preventive healthcare

The post Clustering Eating Behaviors in Time: A Machine Learning Approach to Preventive Health appeared first on Towards Data Science.

3 часа назад @ towardsdatascience.com
Model Compression: Make Your Machine Learning Models Lighter and Faster
Model Compression: Make Your Machine Learning Models Lighter and Faster

A deep dive into pruning, quantization, distillation, and other techniques to make your neural networks more efficient and easier to deploy.

The post Model Compression: Make Your Machine Learning Models Lighter and Faster appeared first on Towards Data Science.

3 часа назад @ towardsdatascience.com
ACP: The Internet Protocol for AI Agents
ACP: The Internet Protocol for AI Agents

ACP aims to be the "HTTP of agent communication,” transforming our current landscape of siloed agents into interoperable agentic systems. The post ACP: The Internet Protocol for AI Agents appeared first on Towards Data Science.

3 часа назад @ towardsdatascience.com
The Dangers of Deceptive Data Part 2–Base Proportions and Bad Statistics
The Dangers of Deceptive Data Part 2–Base Proportions and Bad Statistics

An accessible dive into correlation, base proportions, summary statistics, and uncertainty.

The post The Dangers of Deceptive Data Part 2–Base Proportions and Bad Statistics appeared first on Towards Data Science.

3 часа назад @ towardsdatascience.com
The Shadow Side of AutoML: When No-Code Tools Hurt More Than Help
The Shadow Side of AutoML: When No-Code Tools Hurt More Than Help

Abstraction is nothing new in software, but in machine learning, abstraction without oversight turns automation into an architectural risk.

The post The Shadow Side of AutoML: When No-Code Tools Hurt More Than Help appeared first on Towards Data Science.

10 часов назад @ towardsdatascience.com
Pharmacy Placement in Urban Spain
Pharmacy Placement in Urban Spain

Identify spatial gaps in the urban pharmacy network suitable for the installation of new pharmacies, while adhering to legal requirements on minimum distance between establishments, using geospatial tools such as OSMnx and NetworkX.

The post Pharmacy Placement in Urban Spain appeared first on Towards Data Science.

13 часов назад @ towardsdatascience.com
Generating Data Dictionary for Excel Files Using OpenPyxl and AI Agents
Generating Data Dictionary for Excel Files Using OpenPyxl and AI Agents

Automate Excel Documentation with AI: Leveraging OpenPyxl and Generative AI to create data dictionaries. Learn how to harness AI agents to add column descriptions and metadata to your Excel files, boosting transparency and collaboration.

The post Generating Data Dictionary for Excel Files Using OpenPyxl and AI Agents appeared first on Towards Data Science.

1 day, 2 hours назад @ towardsdatascience.com
A Practical Guide to BERTopic for Transformer-Based Topic Modeling
A Practical Guide to BERTopic for Transformer-Based Topic Modeling

A deep dive into BERTopic’s 6 modules to transform financial news into insightful topics

The post A Practical Guide to BERTopic for Transformer-Based Topic Modeling appeared first on Towards Data Science.

1 day, 2 hours назад @ towardsdatascience.com
Real-Time Interactive Sentiment Analysis in Python
Real-Time Interactive Sentiment Analysis in Python

How to visualize sentiment using a procedural smiley face in Python with OpenCV and Tkinter

The post Real-Time Interactive Sentiment Analysis in Python appeared first on Towards Data Science.

1 day, 6 hours назад @ towardsdatascience.com
Uh-Uh, Not Guilty
Uh-Uh, Not Guilty

Who will take the blame for AI mistakes, and what can you do about it?

The post Uh-Uh, Not Guilty appeared first on Towards Data Science.

1 day, 6 hours назад @ towardsdatascience.com
From RGB to HSV — and Back Again
From RGB to HSV — and Back Again

A practical introduction to color spaces with Python and OpenCV

The post From RGB to HSV — and Back Again appeared first on Towards Data Science.

1 day, 11 hours назад @ towardsdatascience.com
Regression Discontinuity Design: How It Works and When to Use It
Regression Discontinuity Design: How It Works and When to Use It

From core ideas to real-world analysis — how RDD causal inference works, how to run it, and how to get it right.

The post Regression Discontinuity Design: How It Works and When to Use It appeared first on Towards Data Science.

2 days, 3 hours назад @ towardsdatascience.com
We Need a Fourth Law of Robotics in the Age of AI
We Need a Fourth Law of Robotics in the Age of AI

Artificial Intelligence has become a mainstay of our daily lives, revolutionizing industries, accelerating scientific discoveries, and reshaping how we communicate. Yet, alongside its undeniable benefits, AI has also ignited a range of ethical and social dilemmas that our existing regulatory frameworks have struggled to address. Two tragic incidents from late 2024 serve as grim reminders […]

The post We Need a Fourth Law of Robotics in the Age of AI appeared first on Towards Data Science.

2 days, 3 hours назад @ towardsdatascience.com
Retrieval Augmented Classification: Improving Text Classification with External Knowledge
Retrieval Augmented Classification: Improving Text Classification with External Knowledge

When and How to best use LLMs as text classifiers

The post Retrieval Augmented Classification: Improving Text Classification with External Knowledge appeared first on Towards Data Science.

2 days, 4 hours назад @ towardsdatascience.com
How I Built Business-Automating Workflows with AI Agents
How I Built Business-Automating Workflows with AI Agents

How I make money helping businesses boost their productivity and cut costs by automating supply chain analytics workflows using n8n.

The post How I Built Business-Automating Workflows with AI Agents appeared first on Towards Data Science.

2 days, 4 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 2 weeks, 1 day назад
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

2 weeks, 1 day назад @ montecarlodata.com
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

1 month назад @ montecarlodata.com
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

7 months, 3 weeks назад @ montecarlodata.com
What is a Data Mesh — and How Not to Mesh it Up
What is a Data Mesh — and How Not to Mesh it Up

A beginner’s guide to implementing the latest industry trend: a data mesh.

8 months, 1 week назад @ montecarlodata.com
Most Data Quality Initiatives Fail Before They Start. Here’s Why.
Most Data Quality Initiatives Fail Before They Start. Here’s Why.

Show me your data quality scorecard and I’ll tell you whether you will be successful a year from now.

9 months, 3 weeks назад @ montecarlodata.com
Is Modern Data Warehouse Architecture Broken?
Is Modern Data Warehouse Architecture Broken?

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

9 months, 3 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 7 months, 4 weeks назад
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

7 months, 4 weeks назад @ t.me
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

7 months, 4 weeks назад @ t.me
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

8 months назад @ t.me
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

8 months назад @ t.me
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

8 months назад @ t.me
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

8 months назад @ t.me
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

8 months, 1 week назад @ t.me
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

8 months, 2 weeks назад @ t.me
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

8 months, 2 weeks назад @ t.me
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

8 months, 3 weeks назад @ t.me
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

8 months, 3 weeks назад @ t.me
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

8 months, 3 weeks назад @ t.me
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

8 months, 3 weeks назад @ t.me
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

8 months, 3 weeks назад @ t.me
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

8 months, 3 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 7 часов назад
On-call — это такая штука, которая может напрочь отбить удовольствие от работы.Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший
On-call — это такая штука, которая может напрочь отбить удовольствие от работы.Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший On-call — это такая штука, которая может напрочь отбить удовольствие от работы.Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший

On-call — это такая штука, которая может напрочь отбить удовольствие от работы.Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший прод.А вот для дата-команд в 99% случаев это не критично для бизнеса, и можно спокойно пофиксить всё в рабочие часы. В идеале. Хотя как повезёт.По своему опыту скажу — мне скорее везло, и я редко что-то чинил вне рабочего времени или в выходные.Хотя если вам нужно для галочки показать, какой вы прилежный и ответственный сотрудник, то, конечно, чините всё ночью и в выходные. Все будут думать, что вы работаете круглосуточно и горите делом!(С…

7 часов назад @ t.me
Письмо от CEO Fiverr. "Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.Если что, на собеседовании говорите - в
Письмо от CEO Fiverr. "Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.Если что, на собеседовании говорите - в Письмо от CEO Fiverr. "Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.Если что, на собеседовании говорите - в

Письмо от CEO Fiverr. "Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.Если что, на собеседовании говорите - вы за AI, и благодаря AI вам теперь возможно невозможное и вы безмерно рады, что простые задачки больше не надо делать самому! 🍸

1 day, 7 hours назад @ t.me
Про дату пока нет новостей, зато могу рассказать про недвижимость. Вообще эта тема заслуживает отдельного поста на хабр, так как там много всяких нюансов и скрытых расходов.Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моей garage sa
Про дату пока нет новостей, зато могу рассказать про недвижимость. Вообще эта тема заслуживает отдельного поста на хабр, так как там много всяких нюансов и скрытых расходов.Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моей garage sa

Про дату пока нет новостей, зато могу рассказать про недвижимость. Вообще эта тема заслуживает отдельного поста на хабр, так как там много всяких нюансов и скрытых расходов.Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моей garage sale распродажей.С 2016 по 2020 год мы жили в Виктории, настоящий остров в Тихом Океане, самый южный город Канады. Дом купили за 600к CAD (взяли ипотеку) и он вырос до 1.2 млн CAD, и потом стал снижаться, и уже продается в районе 1млн CAD. Идеальный семейный дом.Одна из особенностей дома, в них есть basement suite, в котором можно делать свой Airbnb. В сэзон окупает ипотеку.Потом стало понятно, что Виктория это деревня с точки зрения развити…

2 days, 2 hours назад @ t.me
Алексей Колоков все время что-то придумывает! Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и
Алексей Колоков все время что-то придумывает! Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и

Алексей Колоков все время что-то придумывает! Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и к 18:00 уже прийти в полной готовности отвечать на дата вопросы.....Алексей, еще сказал, что для девушек будет автограф сессия🍸15 мая в клубе анонимных аналитиков пройдет Крейзи Дата Квиз!Это тематическая вечеринка в формате квиза, адаптированного под аналитиков! Рекомендую всем, кто будет в МосквеВы можете собрать свою команду (от 4 чел), либо попасть в рандомную (так больше нетворкинга)Расписание:18:00 - знакомимся, рассаживаемся по кома…

2 days, 18 hours назад @ t.me
Мне понравилась статья Zака - The 2025 AI-enabled Data Engineering Roadmap. По самому названию понятно, о чём идёт речь — как AI будет влиять на инженеров данных. Мне эта тема тоже интересна и близка. На текущий момент использование AI скорее приветствуетс
Мне понравилась статья Zака - The 2025 AI-enabled Data Engineering Roadmap. По самому названию понятно, о чём идёт речь — как AI будет влиять на инженеров данных. Мне эта тема тоже интересна и близка. На текущий момент использование AI скорее приветствуетс

Мне понравилась статья Zака - The 2025 AI-enabled Data Engineering Roadmap. По самому названию понятно, о чём идёт речь — как AI будет влиять на инженеров данных. Мне эта тема тоже интересна и близка. На текущий момент использование AI скорее приветствуется: важно понимать, какие есть инструменты, какие бывают сценарии и как можно сделать команду эффективнее. То есть угрозы полной замены инженера пока нет (хотя Цукерберг и другие боссы скажут вам обратное — но они, возможно, пока больше продают, чем предсказывают).Конечно, всё развивается настолько быстро, что может произойти что угодно. Например, блэкаут — и мы, как испанцы и португальцы недавно, останемся без электричества.Давайте посмотр…

3 days, 2 hours назад @ t.me
в посте - macOS: Essential Productivity Hacks for Developers — No AI Needed автор делится советами по настройки мака, рассказывает про следующие утилитки:- AeroSpace is an i3-like tiling window manager for macOS- JankyBorders is a lightweight tool designed
в посте - macOS: Essential Productivity Hacks for Developers — No AI Needed автор делится советами по настройки мака, рассказывает про следующие утилитки:- AeroSpace is an i3-like tiling window manager for macOS- JankyBorders is a lightweight tool designed

в посте - macOS: Essential Productivity Hacks for Developers — No AI Needed автор делится советами по настройки мака, рассказывает про следующие утилитки:- AeroSpace is an i3-like tiling window manager for macOS- JankyBorders is a lightweight tool designed to add colored borders to user windows on macOS 14.0+- Mac Spaces - apps on dedicated space (встроенная функциональность мака)- Sketchybar replaces the default macOS menu bar with a customizable one — and frees up space.- Raycast - аналог Spotlight (мощная штука, но так и не смог к ней привыкнуть)Из этого списка мне нравятся программки и задачки, которые они решают, но к ним нужно время, чтобы привыкнуть (learning curve) или правильно нас…

4 days, 3 hours назад @ t.me
Когда нужен перерыв от всяких дата и AI штук, use cases, собеседований, и других вещей.
Когда нужен перерыв от всяких дата и AI штук, use cases, собеседований, и других вещей. Когда нужен перерыв от всяких дата и AI штук, use cases, собеседований, и других вещей.

Когда нужен перерыв от всяких дата и AI штук, use cases, собеседований, и других вещей.

5 days, 7 hours назад @ t.me
McKinsey написали статью - The missing data link: Five practical lessons to scale your data productsДата-продукт состоит из пяти компонентов, цель которых — собирать, организовывать и управлять наборами данных, чтобы они были легко доступны и переиспользуе
McKinsey написали статью - The missing data link: Five practical lessons to scale your data productsДата-продукт состоит из пяти компонентов, цель которых — собирать, организовывать и управлять наборами данных, чтобы они были легко доступны и переиспользуе McKinsey написали статью - The missing data link: Five practical lessons to scale your data productsДата-продукт состоит из пяти компонентов, цель которых — собирать, организовывать и управлять наборами данных, чтобы они были легко доступны и переиспользуе

McKinsey написали статью - The missing data link: Five practical lessons to scale your data productsДата-продукт состоит из пяти компонентов, цель которых — собирать, организовывать и управлять наборами данных, чтобы они были легко доступны и переиспользуемы различными командами и системами.Когда дата-продукт спроектирован правильно:- Он решает сразу несколько бизнес-задач.- Его можно масштабировать и адаптировать под разные use case’ы.- Он изначально создаётся с прицелом на повторное использование и развитие.Впервые я обратил внимание на термин «дата-продукт» ещё в Amazon в 2016–2017 годах. Уже тогда дашборды, которые мы создавали, мы называли дата-продуктами. Практически любой конечный ре…

6 days, 16 hours назад @ t.me
Как говорится, AI терминология in plain Russian🇷🇺AGI: ИИ, который может думать как человек.CoT (Chain of Thought): ИИ размышляет пошагово.AI Agents: Автономные программы, принимающие решения.AI Wrapper: Упрощает взаимодействие с ИИ-моделями.AI Alignment: О
Как говорится, AI терминология in plain Russian🇷🇺AGI: ИИ, который может думать как человек.CoT (Chain of Thought): ИИ размышляет пошагово.AI Agents: Автономные программы, принимающие решения.AI Wrapper: Упрощает взаимодействие с ИИ-моделями.AI Alignment: О

Как говорится, AI терминология in plain Russian🇷🇺AGI: ИИ, который может думать как человек.CoT (Chain of Thought): ИИ размышляет пошагово.AI Agents: Автономные программы, принимающие решения.AI Wrapper: Упрощает взаимодействие с ИИ-моделями.AI Alignment: Обеспечивает соответствие ИИ человеческим ценностям.Fine-tuning: Улучшение ИИ с помощью конкретных обучающих данных.Hallucination: Когда ИИ генерирует ложную информацию.AI Model: Обученная система для выполнения задачи.Chatbot: ИИ, имитирующий человеческий разговор.Compute: Вычислительная мощность для ИИ-моделей.Computer Vision: ИИ, который распознаёт изображения и видео.Context: Информация, которую ИИ запоминает для лучших ответов.Deep Lea…

1 week назад @ t.me
Fivetran купил Census. Fivetran это набор коннекторов к сотням источников данных. На одном проекте меня очень выручает, грузим данных из Amazon Seller Central, NetSuite и других сервисов. Так же там есть классная возможность использовать webhooks, чтобы со
Fivetran купил Census. Fivetran это набор коннекторов к сотням источников данных. На одном проекте меня очень выручает, грузим данных из Amazon Seller Central, NetSuite и других сервисов. Так же там есть классная возможность использовать webhooks, чтобы со Fivetran купил Census. Fivetran это набор коннекторов к сотням источников данных. На одном проекте меня очень выручает, грузим данных из Amazon Seller Central, NetSuite и других сервисов. Так же там есть классная возможность использовать webhooks, чтобы со

Fivetran купил Census. Fivetran это набор коннекторов к сотням источников данных. На одном проекте меня очень выручает, грузим данных из Amazon Seller Central, NetSuite и других сервисов. Так же там есть классная возможность использовать webhooks, чтобы собирать все события или по старинке забирать данные из SFTP.Однозначно инструмент экономит тонну времени. Из минусов это цена за кол-во строк. Подойдет для небольших источников. Еще там есть описанная модель данных для каждого источника и можно подключить готовые dbt модели, чтобы рассчитывать метрики и писать результат в хранилище данных.Census это у нас reverse etl. Например, хотите вы в хранилище данных обновить метрики для лидов и клиен…

1 week назад @ t.me
Увидел я значит вакансию в LinkedIn - Principal AI Strategist. Интересно стало посмотреть требования. Все очень классно написано.Executive Client Engagement and Leadership— Главный AI-советник для ключевых клиентов.— Проведение executive briefings, advisor
Увидел я значит вакансию в LinkedIn - Principal AI Strategist. Интересно стало посмотреть требования. Все очень классно написано.Executive Client Engagement and Leadership— Главный AI-советник для ключевых клиентов.— Проведение executive briefings, advisor

Увидел я значит вакансию в LinkedIn - Principal AI Strategist. Интересно стало посмотреть требования. Все очень классно написано.Executive Client Engagement and Leadership— Главный AI-советник для ключевых клиентов.— Проведение executive briefings, advisory sessions и C-level workshops.— Ответственность за pre-sales, solution shaping, storytelling и крупные AI-сделки.— Формирование trusted advisor отношений с клиентами.Offering Ownership and Marketing Impact— Создание и продвижение AI offerings и GTM-стратегий (LLMs, Agentic AI, Predictive Analytics).— Отслеживание AI trends и трансформация их в решения и услуги.— Разработка thought leadership материалов (white papers, кейноты, статьи).— Уч…

1 week, 1 day назад @ t.me
Сегодня за долгое время отсавил отзыв под продуктом в Amazon, и мне предложили отличный инцентив, чтобы я еще пяток оставил - шутка в подарок. Теперь вы знаете, за что Product менеджеры получают по ляму в год. Скорей всего это отличный сценарий использова
Сегодня за долгое время отсавил отзыв под продуктом в Amazon, и мне предложили отличный инцентив, чтобы я еще пяток оставил - шутка в подарок. Теперь вы знаете, за что Product менеджеры получают по ляму в год.  Скорей всего это отличный сценарий использова Сегодня за долгое время отсавил отзыв под продуктом в Amazon, и мне предложили отличный инцентив, чтобы я еще пяток оставил - шутка в подарок. Теперь вы знаете, за что Product менеджеры получают по ляму в год. Скорей всего это отличный сценарий использова

Сегодня за долгое время отсавил отзыв под продуктом в Amazon, и мне предложили отличный инцентив, чтобы я еще пяток оставил - шутка в подарок. Теперь вы знаете, за что Product менеджеры получают по ляму в год. Скорей всего это отличный сценарий использования AI для повышения вовлеченности клиентов. Получился бы отличный keynote для большой AI конференции - "История успеха: Шутки от AI увеличили продажи на 9.87% и сократили отток клиентов на 2.3%"

1 week, 1 day назад @ t.me
Поступление в ШАД: даже одна попытка откроет путь к большим возможностям!Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечён Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если в
Поступление в ШАД: даже одна попытка откроет путь к большим возможностям!Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечён Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если в Поступление в ШАД: даже одна попытка откроет путь к большим возможностям!Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечён Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если в

Поступление в ШАД: даже одна попытка откроет путь к большим возможностям!Попробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечён Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если вас тянет к задачам, над которыми ломают голову лучшие умы, — попробовать точно стоит! В ШАДе вас ждёт не просто теория — здесь с первого дня погружаются в практику: осваивают сложные концепции машинного обучения, решают ИИ-задачи, которые вчера казались невозможными, и получают мощный буст для карьеры. Создавать инновационные решения, продвигать науку, запускать стартапы или делиться опытом — всё это доступно выпускникам ШАДа! Если хотите …

1 week, 2 days назад @ t.me
Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!🧠 Программа — интенсивная, актуальная, от лидеров индустри
Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!🧠 Программа — интенсивная, актуальная, от лидеров индустри Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!🧠 Программа — интенсивная, актуальная, от лидеров индустри

Мечтаете не просто разбираться в управлении данными, а использовать уникальные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!🧠 Программа — интенсивная, актуальная, от лидеров индустрии. С 30 июня по 12 июля вы погрузитесь в мир распределённых хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А ещё познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке!🏙 Кампус — в самом центре Санкт-Петербурга. Несмотря на то, что студкемп проходит на базе ИТМО, заявки ждут от студентов из любых вузов и реги…

1 week, 3 days назад @ t.me
Как понять, что в компании проблема с дата культурой и уровень вовлеченности у команды низкий? Хотя активность высокая. (Подойдет не только для даты команды)Вот некоторые из признаков:1) множество бесполезной активности в чатах/мессенджерах и много emojis
Как понять, что в компании проблема с дата культурой и уровень вовлеченности у команды низкий? Хотя активность высокая. (Подойдет не только для даты команды)Вот некоторые из признаков:1) множество бесполезной активности в чатах/мессенджерах и много emojis

Как понять, что в компании проблема с дата культурой и уровень вовлеченности у команды низкий? Хотя активность высокая. (Подойдет не только для даты команды)Вот некоторые из признаков:1) множество бесполезной активности в чатах/мессенджерах и много emojis и реакций по делу и без (для галочки)2) для каждой задачи проекта создается новый рабочий чат, иногда и не один, потому что каждый хочет быть проактивным и побыстрей создать чатик и пригласить туда коллег (для галочки)3) пишется большое кол-во документов, таких как Playbook/Runbook/ и тп, в которых документируются шаги выполнения команд (для галочки)4) множество звонков и встреч, на которых бывает больше 3х человек5) бесполезные комментари…

1 week, 3 days назад @ t.me
Left Join Left Join
последний пост 23 часа назад
Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень по
Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень по

Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень понятно. Особенно если вы уже пробовали, потратили кучу времени на написание промптов и получили сомнительный результат, который не стоит затраченных усилий.Именно для тех, кто хочет научиться решать реальные практические задачи с помощью ИИ, Институт Бизнес-Аналитики Алексея Колоколова проводит свой новый бизнес-квест. Участники попробуют использовать нейросети для решения разноплановых кейсов — от расчета сметы до составления презентации.🔵…

23 часа назад @ t.me
О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все ещ
О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все ещ

О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все еще часто используется для хранения данных, несмотря на то что за эти 50 лет разработали множество других форматов.Почему так?Юзер с гитхаба уже ответил за нас и перечислил целых 9 причин, почему этот формат заслуживает нашей любви. Как любят писать в кликбейтных статьях, пункт 9 вас поразит!1️⃣ CSV простой — вся суть формата отражена в названии. Ничего лишнего.2️⃣ CSV никому не принадлежит, а потому навсегда останется бесплатным и доступным…

6 days, 22 hours назад @ t.me
Поступление в ШАД: даже одна попытка откроет путь к большим возможностямПопробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечен Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если ва
Поступление в ШАД: даже одна попытка откроет путь к большим возможностямПопробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечен Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если ва Поступление в ШАД: даже одна попытка откроет путь к большим возможностямПопробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечен Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если ва

Поступление в ШАД: даже одна попытка откроет путь к большим возможностямПопробовать поступить в Школу анализа данных Яндекса может каждый, кто увлечен Data Science: неважно, учитесь вы в вузе, работаете в IT или просто любите разбираться в сложном. Если вас тянет к задачам, над которыми ломают голову лучшие умы, — попробовать точно стоит! В ШАДе вас ждет не просто теория — здесь с первого дня погружаются в практику: осваивают сложные концепции машинного обучения, решают ИИ-задачи, которые еще вчера казались невозможными, и получают мощный буст для карьеры. 🔥Классные плюшки для студентов: обучение бесплатное, а если в вашем городе нет филиала, заниматься можно онлайн. 🔜 Подайте заявку на пос…

1 week, 1 day назад @ t.me
Middle Data Engineer в LEFT JOINУ нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именн
Middle Data Engineer в LEFT JOINУ нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именн Middle Data Engineer в LEFT JOINУ нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именн

Middle Data Engineer в LEFT JOINУ нас появилось несколько новых проектов, поэтому мы снова ищем дата-инженеров в команду. Хотите работать над интересными и разнообразными кейсами с заказчиками со всего мира? Тогда читайте вакансию ниже, возможно, это именно то, что вам надо!Обязанности:🔵Создавать и поддерживать ETL/ELT-процессы.🔵Обеспечивать корректность работы отчетов и консистентность данных.🔵Поддерживать и видоизменять имеющиеся модели данных.🔵Создавать и сопровождать витрины данных.🔵Вести документацию.Требования:🔥Опыт работы от 3 лет.🔥Очень важно — отличное владение BigQuery, GCP и dbt.🔵Уверенное владение SQL, Python, Airflow, bash.🔵Опыт разработки ETL, проектирования и разработки храни…

1 week, 2 days назад @ t.me
LEFT JOIN pinned a photo
LEFT JOIN pinned a photo

LEFT JOIN pinned a photo

1 week, 6 days назад @ t.me
Книга «Аналитика для руководителей» — предзаказ открыт!Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.🔵Эта книга — о том, как построить сист
Книга «Аналитика для руководителей» — предзаказ открыт!Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.🔵Эта книга — о том, как построить сист Книга «Аналитика для руководителей» — предзаказ открыт!Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.🔵Эта книга — о том, как построить сист

Книга «Аналитика для руководителей» — предзаказ открыт!Совсем скоро книга Николая Валиотти «Аналитика для руководителей» поступит в продажу, а оформить предзаказ на Ozon, Бук-24 и в Читай-Городе вы можете прямо сейчас.🔵Эта книга — о том, как построить систему аналитики, которая помогает принимать решения на основе данных и увеличивать прибыль. Вы узнаете, из чего состоит эта система и какие люди вам нужны, чтобы она работала правильно, а также — как раскрыть потенциал бизнеса с помощью данных.🔵«Аналитика для руководителей» написана для людей, которым важно уметь работать с данными и цифрами, но которые при этом не являются аналитиками и дата-инженерами. В ней понятным языком объясняются все…

1 week, 6 days назад @ t.me
Управление данными: летний студкемп от Яндекс Образования и ИТМОМечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по да
Управление данными: летний студкемп от Яндекс Образования и ИТМОМечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по да Управление данными: летний студкемп от Яндекс Образования и ИТМОМечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по да

Управление данными: летний студкемп от Яндекс Образования и ИТМОМечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!🔵 С 30 июня по 12 июля вы погрузитесь в мир распределенных хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А еще познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке.🔵 Студкемп проходит в Санкт-Петербурге на базе ИТМО. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется…

2 weeks назад @ t.me
KARPOV.CONF 2025: как данные помогают бизнесуНаши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью ра
KARPOV.CONF 2025: как данные помогают бизнесуНаши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью ра KARPOV.CONF 2025: как данные помогают бизнесуНаши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью ра

KARPOV.CONF 2025: как данные помогают бизнесуНаши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью растить бизнес, принимать решения и находить точки роста. На ней выступят спикеры от Яндекса, МТС и Райффайзен Банка, которые поделятся кейсами из своей практики.Что еще будет в программе?🔵Обсуждение актуальных тем и трендов — в том числе, машинное обучение и Deep Learning.🔵Лучшие практики, советы от экспертов и рекомендации, как избежать распространенных ошибок при работе над BI-проектами.🔵Шанс выиграть менторскую сессию с Анатолием Карповы…

3 weeks назад @ t.me
Visual DB — фронтенд для базы данныхЛюбопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требу
Visual DB — фронтенд для базы данныхЛюбопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требу Visual DB — фронтенд для базы данныхЛюбопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требу

Visual DB — фронтенд для базы данныхЛюбопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требует знания SQL для работы, а еще предлагает использовать ИИ для создания форм.🔵Работает с распространенными БД, СУБД и облачными сервисами: MySQL, MariaDB, PostgreSQL, Oracle, Neon, Azure SQL, Amazon RDS, Google Cloud SQL, AlloyDB.🔵Можно пользоваться облачной версией, можно захостить на своем сервере (или просто на ПК или ноуте).🔵Инструмент бесплатный, но есть тариф Business аж за 5 долларов в месяц с юзера. Его главное отличие в отсутствии…

3 weeks, 6 days назад @ t.me
За что вы на самом деле платите, внедряя BI?BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 ап
За что вы на самом деле платите, внедряя BI?BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 ап За что вы на самом деле платите, внедряя BI?BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 ап

За что вы на самом деле платите, внедряя BI?BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 апреля в 16:00 по Москве:🔵как объективно оценить, во сколько аналитика обходится бизнесу,🔵как оптимизировать затраты без потери качества,🔵как избежать ошибок, которые удорожают BI-проекты.А также — реальный опыт компаний, которые уже прошли этот путь:🔵 Альфа-Лизинг – Цена данных: что на самом деле оплачивает бизнес?🔵 Газпромбанк – BI как центр затрат или источник экономии? Опыт интеграции FineBI с Service Desk через Rest Api🔵 СИБУР – Self-se…

4 weeks, 1 day назад @ t.me
Как в Яндексе работают с Big Data? Узнайте на бесплатном интенсиве Big DWH Week!Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки
Как в Яндексе работают с Big Data? Узнайте на бесплатном интенсиве Big DWH Week!Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки Как в Яндексе работают с Big Data? Узнайте на бесплатном интенсиве Big DWH Week!Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки

Как в Яндексе работают с Big Data? Узнайте на бесплатном интенсиве Big DWH Week!Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки больших данных, которая помогает не только систематизировать огромные объемы информации, но и делать их доступными и легко управляемыми.🔜 Познакомиться с платформой с точки зрения разработки и построения эффективных систем можно на Big DWH Week.Это бесплатный онлайн-интенсив Яндекса и ШАДа, который пройдет с 21 по 25 апреля. За 8 занятий вы узнаете, как YTsaurus используется в реальных проектах Яндекса, как строится архитектура платформы и…

4 weeks, 1 day назад @ t.me
Каталог чартов TableauTableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инстру
Каталог чартов TableauTableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инстру Каталог чартов TableauTableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инстру

Каталог чартов TableauTableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инструмента.🔜 Для случаев, когда надо вдохновиться особенно сильно или подсмотреть, как круче сделать какой-то конкретный график, есть целый каталог чартов. В нем собрали ссылки на Viz of the Day, где использовали различные виды графиков и визуализаций. Есть и весьма небанальные, так что если вам надо будет посмотреть, как сделать в Tableau прогресс-бар или завернуть линейный график в круг, в этом каталоге вы найдете ответ.

1 month назад @ t.me
Docs: как Notion, только open sourceОчередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно прави
Docs: как Notion, только open sourceОчередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно прави Docs: как Notion, только open sourceОчередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно прави

Docs: как Notion, только open sourceОчередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно правительствами Франции и Германии. Да, это не просто чей-то pet project, сделанный из любви к искусству. Все серьезно.Визуально Docs выглядит как Notion, но попроще — впрочем, так и надо. Его представляют как бесплатную, удобную и безопасную альтернативу, в которой нет ничего лишнего. Можно писать и форматировать текст одному или вместе с коллегами — как и в Notion, тут есть возможность раздать разные уровни доступа.Есть даже поддержка AI-функ…

1 month назад @ t.me
Студента Columbia отчислили за разработку «читерского» приложенияЧунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с
Студента Columbia отчислили за разработку «читерского» приложенияЧунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с Студента Columbia отчислили за разработку «читерского» приложенияЧунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с

Студента Columbia отчислили за разработку «читерского» приложенияЧунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с которым они запустили несколько проектов, но успеха не сыскали.Тогда они решили, что им нужно придумать какую-то вирусную идею, которая точно зайдет — и так додумались до Interview Coder, ИИ-ассистента, который помогает проходить технические интервью.🔵 Interview Coder можно запустить прямо во время созвона, и его не будет видно, даже если вы расшарите экран. Он не только предлагает решения тестовых заданий, но и дает комментарии и пояснени…

1 month назад @ t.me
Есть ли смысл в геймификации: опыт Самоката, Rostic’s, Альфа-Инвестиций и Детского Мира3 апреля в 12:00 по Москве команда Mindbox проведет вебинар «Геймификация в маркетинге».Если вы откроете приложение банка, доставки еды или интернет-магазина, скорее все
Есть ли смысл в геймификации: опыт Самоката, Rostic’s, Альфа-Инвестиций и Детского Мира3 апреля в 12:00 по Москве команда Mindbox проведет вебинар «Геймификация в маркетинге».Если вы откроете приложение банка, доставки еды или интернет-магазина, скорее все Есть ли смысл в геймификации: опыт Самоката, Rostic’s, Альфа-Инвестиций и Детского Мира3 апреля в 12:00 по Москве команда Mindbox проведет вебинар «Геймификация в маркетинге».Если вы откроете приложение банка, доставки еды или интернет-магазина, скорее все

Есть ли смысл в геймификации: опыт Самоката, Rostic’s, Альфа-Инвестиций и Детского Мира3 апреля в 12:00 по Москве команда Mindbox проведет вебинар «Геймификация в маркетинге».Если вы откроете приложение банка, доставки еды или интернет-магазина, скорее всего, вы увидите какие-нибудь игровые механики. Компании придумывают челленджи, ачивки и целые мини-игры — но есть ли в них на самом деле смысл или они нужны только чтобы развлечь пользователей и засветиться в новостях?На вебинаре расскажут, как зарабатывать на геймификации и прогнозировать ее окупаемость.Что еще будет?🔵Кейсы Самоката, Альфа-Инвестиций, Rostic’s и Детского Мира, которые помогли увеличить средний чек и активность пользователе…

1 month, 1 week назад @ t.me
SQLite на практике SQLite на практике
последний пост 1 day, 19 hours назад
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

1 day, 19 hours назад @ t.me
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

9 months назад @ t.me
Datalytics Datalytics
последний пост 2 weeks, 1 day назад
Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников
Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников

Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников на одной площадке.На сцене — топ-эксперты из Т-Банка, Яндекса, Авито, OZON, Альфа-Банка и других крупнейших компаний Рунета и СНГ: Виктор Кантор (MLinside), Кевин Ханда (Uzum), Сергей Веренцов (EORA), а также профессора и кандидаты наук из ИТМО, РЭШ, Центрального университета.По данным отраслевых отчётов, опросов и исследований, «экономика» — самый востребованный навык для развития среди продуктовых специалистов. Поэтому будем еще больше …

2 weeks, 1 day назад @ t.me
⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные
⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно,  если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные ⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные

⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные в бизнес-инсайты, оформлять их убедительно и выделяться среди других соискателей.22 апреля в 18:30 по МСК проведем вебинар, где Денис Иванов разберет тестовое задание в Т-Банк и построит информативные визуализации в SuperSet. Денис — ведущий продуктовый аналитик.Что будем делать на вебинаре: 🟠 Разберем структуру тестового задания и обсудим, на что обращают внимание рекрутеры;🟠 Вместе решим задачи по SQL разной сложности;🟠 Покажем, как работ…

2 weeks, 3 days назад @ t.me
Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov
Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov

Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.…

3 weeks, 3 days назад @ t.me
⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом
⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом ⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом

⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle. Что будем делать на вебинаре:🟠Разберем имеющиеся данные фильмов с их оценками🟠Проведем предобработку данных🟠Построим рекомендательную систему на основе машинного обучения🟠Проведем расчет и анализ метрик на основе результатов работы моделиВебинар будет интересен как новичкам, так и уже опытным специалистам😶Зарегистрироваться на бесплатный вебинар

3 weeks, 6 days назад @ t.me
Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания
Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания

Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания разобратьсяШАД – не «ещё один курс». Это серьёзная школа датасаентистов и эмельщиков, где учат думать, строить, понимать. Отсюда выходят те, кто запускает стартапы, встраивает ИИ в разные сферы бизнеса и науки и меняет правила игрыНовый набор открыт. Если чувствуешь, что пора — смотри детали и истории выпускников по ссылке.

4 weeks назад @ t.me
Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз
Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз

Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые позволяют улучшать UX и делать шопинг ещё более приятным: ⚫️ Поднимаем метрики поиска по самым нестандартным запросам: помогаем отыскать в каталоге те самые джинсы клёш от колена и малиновые чиносы.⚫️ Персонализируем рекомендации на примере главной страницы.⚫️ Создаём облако тегов и разметку отзывов для более точного выбора товаров.После докладов вас ждут ответы на вопросы и нетворк с закусками и напитками.⏰ Когда: 15 апреля в 19:00 по МСК📍 Г…

4 weeks, 1 day назад @ t.me
Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена   - проектный менеджмент для самы
Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена   - проектный менеджмент для самы

Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена - проектный менеджмент для самых маленьких - как из стартаперской команды сделать продуктовую - история продукта: Figma Если интересно, подписывайтесь - @alexcouncil

1 month назад @ t.me
Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать I
Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать I

Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать IKEA без инструкции.В этом деле важен опыт: гляньте канал Глеба Михайлова, он прошел больше сотни технических собеседований (съел на этом всех собак 🐕🍽).— Работал в Альфе, Сбере, Ростелекоме— 5 лет являлся наставником в Яндекс.Практикуме— Знает все подводные камни тех. собеседований в ТОП компанииКто, как не он, знает, как пройти техсобесы и не сойти с ума?Если ты хочешь левел-апнуться, больше зарабатывать и от души поржать над байками о ра…

1 month назад @ t.me
📊 Бесплатный вебинар для бизнес-аналитиков: «Сквозной процесс управления требованиями» 💡На этом вебинаре вы узнаете:+ Как выглядит сквозной процесс управления требованиями+ К каким проблемами может привести неаккуратная работа с требованиями+ Контрольные т
📊 Бесплатный вебинар для бизнес-аналитиков: «Сквозной процесс управления требованиями» 💡На этом вебинаре вы узнаете:+ Как выглядит сквозной процесс управления требованиями+ К каким проблемами может привести неаккуратная работа с требованиями+ Контрольные т 📊 Бесплатный вебинар для бизнес-аналитиков: «Сквозной процесс управления требованиями» 💡На этом вебинаре вы узнаете:+ Как выглядит сквозной процесс управления требованиями+ К каким проблемами может привести неаккуратная работа с требованиями+ Контрольные т

📊 Бесплатный вебинар для бизнес-аналитиков: «Сквозной процесс управления требованиями» 💡На этом вебинаре вы узнаете:+ Как выглядит сквозной процесс управления требованиями+ К каким проблемами может привести неаккуратная работа с требованиями+ Контрольные точки в процессе управления+ Актуальные инструменты и методы управления требованиями в 2025 году+ Риски и сложные моменты при управлении требованиями❓Кому будет полезно:- Бизнес-аналитикам- Системным аналитикам- Руководителям проектов⏰10 апреля(четверг) в 20:00 мскВебинар в рамках курса «Бизнес-аналитик в IT»🎁После вебинара для вас активен промо-код со скидкой 5% до 18 мая: BUSINESS_04👉Регистрация на вебинар: OTUS.RUРеклама. ООО «Отус онлай…

1 month назад @ t.me
Хочешь стать руководителем? Начни с самого страшного — скажи это вслухМногие аналитики (и не только) хотят расти. В должности, в доходе, в влиянии. Часто — в сторону руководстваНо когда доходят до вопроса «а ты сам своему руководителю об этом говорил?» — т
Хочешь стать руководителем? Начни с самого страшного — скажи это вслухМногие аналитики (и не только) хотят расти. В должности, в доходе, в влиянии. Часто — в сторону руководстваНо когда доходят до вопроса «а ты сам своему руководителю об этом говорил?» — т

Хочешь стать руководителем? Начни с самого страшного — скажи это вслухМногие аналитики (и не только) хотят расти. В должности, в доходе, в влиянии. Часто — в сторону руководстваНо когда доходят до вопроса «а ты сам своему руководителю об этом говорил?» — тишина. Неловкая, густаяНет, не говорилА вдруг подумают, что я самоуверенный?А вдруг теперь будут пристальнее смотреть?А если не получится, будет стыдноМы боимся заявить о намерении, потому что тогда всё становится настоящимМолчишь — как будто ещё не началСказал — всё, теперь отвечаешьНо вот в чём правда: руководителями не становятся по назначению. Сначала — в головеПока ты сам не поверил, что хочешь и можешь вести других — никто не поверит…

1 month назад @ t.me
🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью к
🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью к 🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью к

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области!Что тебя ждет:☑️Денежный призовой фонд☑️Автоматизированная оценка решений☑️2 практические задачи:1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию.2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию.Выбирай одну или обе задачи, показывай лучшие результаты и …

1 month назад @ t.me
Видимость для аналитика: зачем светиться, когда молчать, и почему без дела это всё не имеет смыслаИногда кажется, что быть хорошим аналитиком — это просто «делать свою работу». Копать, считать, визуализировать, находить. Но правда в том, что в реальности п
Видимость для аналитика: зачем светиться, когда молчать, и почему без дела это всё не имеет смыслаИногда кажется, что быть хорошим аналитиком — это просто «делать свою работу». Копать, считать, визуализировать, находить. Но правда в том, что в реальности п

Видимость для аналитика: зачем светиться, когда молчать, и почему без дела это всё не имеет смыслаИногда кажется, что быть хорошим аналитиком — это просто «делать свою работу». Копать, считать, визуализировать, находить. Но правда в том, что в реальности получают бенефиты не всегда те, кто копает глубже. А те, кого видноВидимость — это валютаЕсли тебя не видно, твой вклад обесценивается. Ты превращаешься в сервис: к тебе приходят, когда всё уже решили, и нужна «таблица». А если хочется быть партнером в принятии решений? Придётся выйти из тени — и занять своё место в инфополе командыНо. Видимость не должна подменять работу.Если ты только и делаешь, что отчитываешься, постишь апдейты, презент…

1 month назад @ t.me
Ваш шанс стать аналитиком данных в банке 🚀Международный банк предлагает оплачиваемую стажировку по направлению «Аналитик DWH». Наставник поможет разобраться в рабочих процессах, а вы сможете получить ценный практический опыт и прокачать SQL.Узнать подробно
Ваш шанс стать аналитиком данных в банке 🚀Международный банк предлагает оплачиваемую стажировку по направлению «Аналитик DWH». Наставник поможет разобраться в рабочих процессах, а вы сможете получить ценный практический опыт и прокачать SQL.Узнать подробно Ваш шанс стать аналитиком данных в банке 🚀Международный банк предлагает оплачиваемую стажировку по направлению «Аналитик DWH». Наставник поможет разобраться в рабочих процессах, а вы сможете получить ценный практический опыт и прокачать SQL.Узнать подробно

Ваш шанс стать аналитиком данных в банке 🚀Международный банк предлагает оплачиваемую стажировку по направлению «Аналитик DWH». Наставник поможет разобраться в рабочих процессах, а вы сможете получить ценный практический опыт и прокачать SQL.Узнать подробности и составить резюме можно в боте.⚡️ Перейти в бот ⚡️

1 month, 1 week назад @ t.me
👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем
👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем 👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем

👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем3. Трек от True Tabs Цифровизация через True Tabs: интеграция данных и процессов в единую экосистему4. Трек от Product FactoryTouchVision: AI-ассистент для незрячих и слабовидящих пользователей на основе тактильного и жестового взаимодействия5. Трек от MWS GPT Золотая середина: дистилляция моделей MWS GPTХакатон пройдет 17–25 апреля. Регистрация открыта до 16 апреля. https://truetechhack.ru/Призовой фонд — 1 500 000 рублей.Участие могут пр…

1 month, 1 week назад @ t.me
👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем
👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем

👍😌🙃❤️💫😍🌞☺️🫶🥰Прими участие в хакатоне МТС True Tech Hack 2025 и разработай решение на базе одной из ИТ-платформ МТС.1. Трек от DataOps Platform DataOps Pipeline: оптимизация от сбора до отчета2. Трек от Integration Platform AI Schema Builder: генерация схем3. Трек от True Tabs Цифровизация через True Tabs: интеграция данных и процессов в единую экосистему4. Трек от Product FactoryTouchVision: AI-ассистент для незрячих и слабовидящих пользователей на основе тактильного и жестового взаимодействия5. Трек от MWS GPT Золотая середина: дистилляция моделей MWS GPTХакатон пройдет 17–25 апреля. Регистрация открыта до 16 апреля. https://truetechhack.ru/Призовой фонд — 1 500 000 рублей.Участие могут пр…

1 month, 1 week назад @ t.me
Труба данных Труба данных
последний пост 3 days, 23 hours назад
https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"
https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"

https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"

3 days, 23 hours назад @ t.me
https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не с
https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не с

https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не смог отказать коллеге с острова с поиском.DE, Middle, ремоут пофиг где.Все по ссылке выше.За это злостное нарушение принципов я, возможно, получу, худи 😁

1 week назад @ t.me
https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"
https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"

https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"

1 week, 1 day назад @ t.me
https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"
https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"

https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"

1 week, 1 day назад @ t.me
https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - кана
https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - кана

https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - канал "🕯Труба Данных"

1 week, 3 days назад @ t.me
https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных so
https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных so

https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных source & destinations @ohmydataengineer - канал "🕯Труба Данных"

1 week, 4 days назад @ t.me
subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"
subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"

subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"

2 weeks назад @ t.me
https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"
https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"

https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"

2 weeks, 2 days назад @ t.me
https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹
https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹

https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹

2 weeks, 2 days назад @ t.me
https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @oh
https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @oh

https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @ohmydataengineer - канал "🕯Труба Данных"

2 weeks, 3 days назад @ t.me
https://topicpartition.io/blog/kip-1150-diskless-topics-in-apache-kafkaПомните я вам рассказывал про брокеры сообщений, которые пишут в S3? Warpstream и BufstreamТак вот сама и в Kafka есть KIP-1150 и Diskless Topics (гусары, молчать!) 🤪@ohmydataengineer -
https://topicpartition.io/blog/kip-1150-diskless-topics-in-apache-kafkaПомните я вам рассказывал про брокеры сообщений, которые пишут в S3? Warpstream и BufstreamТак вот сама и в Kafka есть KIP-1150 и Diskless Topics (гусары, молчать!) 🤪@ohmydataengineer -

https://topicpartition.io/blog/kip-1150-diskless-topics-in-apache-kafkaПомните я вам рассказывал про брокеры сообщений, которые пишут в S3? Warpstream и BufstreamТак вот сама и в Kafka есть KIP-1150 и Diskless Topics (гусары, молчать!) 🤪@ohmydataengineer - канал "🕯Труба Данных"

2 weeks, 4 days назад @ t.me
https://vutr.substack.com/p/i-spent-5-hours-understanding-howНе в первый (и точно не в последний раз) советую статьи из этого блога. Сегодня - Uber и Apache Hudi и про то, как это работает на их масштабах. @ohmydataengineer - канал "🕯Труба Данных"
https://vutr.substack.com/p/i-spent-5-hours-understanding-howНе в первый (и точно не в последний раз) советую статьи из этого блога. Сегодня - Uber и Apache Hudi и про то, как это работает на их масштабах. @ohmydataengineer - канал "🕯Труба Данных"

https://vutr.substack.com/p/i-spent-5-hours-understanding-howНе в первый (и точно не в последний раз) советую статьи из этого блога. Сегодня - Uber и Apache Hudi и про то, как это работает на их масштабах. @ohmydataengineer - канал "🕯Труба Данных"

3 weeks, 3 days назад @ t.me
https://langfuse.com/blog/2025-03-19-ai-agent-comparisonТема агентов будет очень горячая в 2025 году, "AI Agent for X" будет самым популярным слоганом маркетинговым.Давайте погружаться, что уж... @ohmydataengineer - канал "🕯Труба Данных"
https://langfuse.com/blog/2025-03-19-ai-agent-comparisonТема агентов будет очень горячая в 2025 году, "AI Agent for X" будет самым популярным слоганом маркетинговым.Давайте погружаться, что уж... @ohmydataengineer - канал "🕯Труба Данных"

https://langfuse.com/blog/2025-03-19-ai-agent-comparisonТема агентов будет очень горячая в 2025 году, "AI Agent for X" будет самым популярным слоганом маркетинговым.Давайте погружаться, что уж... @ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
Что-то пропустил это видео: очень классная презентация от DS Пармы про то, как работать с трекинговыми данными и как масштабировать инфраструктурные решения (на примере AWS). [если техническая часть не интересует - пропускайте следующий абзац]В целом, брат
Что-то пропустил это видео: очень классная презентация от DS Пармы про то, как работать с трекинговыми данными и как масштабировать инфраструктурные решения (на примере AWS). [если техническая часть не интересует - пропускайте следующий абзац]В целом, брат

Что-то пропустил это видео: очень классная презентация от DS Пармы про то, как работать с трекинговыми данными и как масштабировать инфраструктурные решения (на примере AWS). [если техническая часть не интересует - пропускайте следующий абзац]В целом, брать спотовые инстансы и скейлиться горизонтально - хорошее решение, особенно когда все надо пост-матч (а это скаутинг). Но вот когда будет переход на лайв и если будет скелетал, объемы данных возрастут сильно на одну игру (например, по одному крупному провайдеру в лайве с 140+ метров в json / xml до 13 гигов, пост-матч с 50 метров до 730 метров в паркетах), нужен будет нормальный месседж брокер, а лайв потребует serverless из-за быстроты. Эт…

1 month назад @ t.me
https://jsonbench.comВ 25.3 JSON нативный тип станет general available в Clickhouse. Судя по метрикам, для аналитики это райский рай.Методология и датасеты для проверки доступны там же по ссылке.@ohmydataengineer - канал "🕯Труба Данных" опять радуется прик
https://jsonbench.comВ 25.3 JSON нативный тип станет general available в Clickhouse. Судя по метрикам, для аналитики это райский рай.Методология и датасеты для проверки доступны там же по ссылке.@ohmydataengineer - канал "🕯Труба Данных" опять радуется прик https://jsonbench.comВ 25.3 JSON нативный тип станет general available в Clickhouse. Судя по метрикам, для аналитики это райский рай.Методология и датасеты для проверки доступны там же по ссылке.@ohmydataengineer - канал "🕯Труба Данных" опять радуется прик

https://jsonbench.comВ 25.3 JSON нативный тип станет general available в Clickhouse. Судя по метрикам, для аналитики это райский рай.Методология и датасеты для проверки доступны там же по ссылке.@ohmydataengineer - канал "🕯Труба Данных" опять радуется прикольным незнакомым инструментам!

1 month, 1 week назад @ t.me
enthusiastech enthusiastech
последний пост None
data будни data будни
последний пост 2 months, 2 weeks назад
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит 🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

2 months, 2 weeks назад @ t.me
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

2 months, 2 weeks назад @ t.me
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

2 months, 3 weeks назад @ t.me
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

2 months, 3 weeks назад @ t.me
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

2 months, 3 weeks назад @ t.me
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

2 months, 4 weeks назад @ t.me
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

3 months назад @ t.me
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

5 months, 3 weeks назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

5 months, 4 weeks назад @ t.me
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

6 months, 1 week назад @ t.me
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

6 months, 1 week назад @ t.me
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

6 months, 1 week назад @ t.me
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

6 months, 1 week назад @ t.me
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

6 months, 3 weeks назад @ t.me
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

9 months назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост None
Data Brew by Databricks
последний пост 2 weeks назад
Benchmarking Domain Intelligence | |E45
Benchmarking Domain Intelligence | |E45 Benchmarking Domain Intelligence | |E45

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

2 weeks назад @ buzzsprout.com
SWE-bench & SWE-agent | |E44
SWE-bench & SWE-agent | |E44 SWE-bench & SWE-agent | |E44

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

3 weeks назад @ buzzsprout.com
Enterprise AI: Research to Product | |E43
Enterprise AI: Research to Product | |E43 Enterprise AI: Research to Product | |E43

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

4 weeks назад @ buzzsprout.com
Multimodal AI | |E42
Multimodal AI | |E42 Multimodal AI | |E42

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

1 month назад @ buzzsprout.com
Age of Agents | |E41
Age of Agents | |E41 Age of Agents | |E41

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

1 month, 1 week назад @ buzzsprout.com
Reward Models | |E40
Reward Models | |E40 Reward Models | |E40

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

1 month, 2 weeks назад @ buzzsprout.com
Retrieval, rerankers, and RAG tips and tricks | |E39
Retrieval, rerankers, and RAG tips and tricks | |E39 Retrieval, rerankers, and RAG tips and tricks | |E39

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

2 months, 2 weeks назад @ buzzsprout.com
The Power of Synthetic Data | |E38
The Power of Synthetic Data | |E38 The Power of Synthetic Data | |E38

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

3 months назад @ buzzsprout.com
Secret to Production AI: Tools & Infrastructure | |E37
Secret to Production AI: Tools & Infrastructure | |E37 Secret to Production AI: Tools & Infrastructure | |E37

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

3 months, 2 weeks назад @ buzzsprout.com
Mixture of Memory Experts (MoME) | |E36
Mixture of Memory Experts (MoME) | |E36 Mixture of Memory Experts (MoME) | |E36

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

3 months, 4 weeks назад @ buzzsprout.com
Mixed Attention | |E34
Mixed Attention | |E34 Mixed Attention | |E34

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

5 months, 2 weeks назад @ buzzsprout.com
Kumo AI & Relational Deep Learning | |E34
Kumo AI & Relational Deep Learning | |E34 Kumo AI & Relational Deep Learning | |E34

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

6 months, 3 weeks назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 day, 5 hours назад
Искусственный интеллект. Могут ли машины мыслить как люди?
Искусственный интеллект. Могут ли машины мыслить как люди? Искусственный интеллект. Могут ли машины мыслить как люди?

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

1 day, 5 hours назад @ share.transistor.fm
Электромобили. Что мешает электродвигателям изменить мир
Электромобили. Что мешает электродвигателям изменить мир Электромобили. Что мешает электродвигателям изменить мир

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

2 weeks, 1 day назад @ share.transistor.fm
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

3 weeks, 1 day назад @ share.transistor.fm
Заменит ли ИИ программистов?
Заменит ли ИИ программистов?

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

1 month, 1 week назад @ share.transistor.fm
Власть над вниманием. Как нами управляют в цифровой среде
Власть над вниманием. Как нами управляют в цифровой среде

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

1 month, 2 weeks назад @ share.transistor.fm
Наши устройства способны на большее? Говорим о программных ограничениях
Наши устройства способны на большее? Говорим о программных ограничениях

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

1 month, 3 weeks назад @ share.transistor.fm
Интероперабельность. Как подружить сервисы между собой
Интероперабельность. Как подружить сервисы между собой

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

2 months назад @ share.transistor.fm
Как россияне остались без YouTube
Как россияне остались без YouTube

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

2 months, 1 week назад @ share.transistor.fm
GDPR. Как устроена защита персональных данных
GDPR. Как устроена защита персональных данных

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

2 months, 2 weeks назад @ share.transistor.fm
Как работает спутниковый интернет
Как работает спутниковый интернет

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

2 months, 3 weeks назад @ share.transistor.fm
Что означает появление DeepSeek
Что означает появление DeepSeek

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

3 months назад @ share.transistor.fm
Как приложения оказываются на наших устройствах
Как приложения оказываются на наших устройствах

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

3 months, 1 week назад @ share.transistor.fm
Почему Telegram стал центром цифровой жизни
Почему Telegram стал центром цифровой жизни

Продуктовые решения больших площадок влияют на то, как мы общаемся с близкими, взаимодействуем с контентом и сами его создаем. Телеграм — уникальный продукт, в котором все такие решения принимаются одним человеком. Что в нем сделано иначе и как от этого меняется пользовательский опыт? Разбираемся вместе с Йованом Савовичем, создателем Лепрозория и dirty.ru.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeWaYMAКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Ссылка на прошлый эпизод с Йованом: https://pc.st/e/28UiJE1hweX Слушайте бонусные эпизоды «Запуск++», а еще друг…

3 months, 2 weeks назад @ share.transistor.fm
Пространство (не)свободы: как развивался интернет
Пространство (не)свободы: как развивался интернет

Запуск завтра возвращается с новыми эпизодами! 12-й сезон — о власти в цифровом пространстве. В первом выпуске Самат пытается проследить, как менялся интернет по мере прихода туда новых пользователей, больших технологических компаний и государств. Сбылись ли надежды его создателей? Кто на самом деле контролирует цифровое пространство? И есть ли место для технооптимизма в 2025 году? На эти вопросы помогает ответить Алёна Епифанова, исследовательница в германском Совете по международным отношениям.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnje73pCUКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании:…

3 months, 3 weeks назад @ share.transistor.fm
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]
Блокчейн, AR/VR и искусственный интеллект — что изменилось за пять лет? [онлайн-трансляция]

«Запуску завтра» исполнилось пять лет! Неделю назад мы провели праздничную трансляцию, на которой обсудили, что происходило в самых горячих областях индустрии всё это время и куда движется мир технологий теперь. Помогали нам в этом гости наших прошлых эпизодов: Кирилл Пименов рассказал про блокчейн, Артем Родичев порассуждал про будущее искусственного интеллекта, а Ольга Нова — про виртуальную и дополненную реальность. Для тех, кто не смог к нам присоединиться — трансляцию можно послушать в записи в этом эпизоде. Спасибо, что вы с нами!Эпизоды «Запуска завтра» с Кириллом Пименовым и другими экспертами про блокчейн:Эпизод про NFT: https://pc.st/e/9Cx1gPfMK5yЭпизод про криптовалюты: https://p…

5 months назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 1 day, 18 hours назад
Day Special: асинхронность
Day Special: асинхронность

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 day, 18 hours назад @ learnpython.podbean.com
Новости мира Python за апрель 2025
Новости мира Python за апрель 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

5 days, 23 hours назад @ learnpython.podbean.com
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 week, 6 days назад @ learnpython.podbean.com
Day Special: строки в Python или магия под капотом
Day Special: строки в Python или магия под капотом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

2 weeks, 3 days назад @ learnpython.podbean.com
Новости мира Python за март 2025
Новости мира Python за март 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

1 month назад @ learnpython.podbean.com
Для чего пишут на Python в Meta
Для чего пишут на Python в Meta

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 month, 2 weeks назад @ learnpython.podbean.com
Новости мира Python за февраль 2025
Новости мира Python за февраль 2025

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

1 month, 4 weeks назад @ learnpython.podbean.com
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

2 months, 2 weeks назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

2 months, 4 weeks назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

4 months назад @ learnpython.podbean.com
Новости Python за ноябрь 2024
Новости Python за ноябрь 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

4 months, 3 weeks назад @ learnpython.podbean.com
Как из Python, Open source и такой-то матери построить бизнес
Как из Python, Open source и такой-то матери построить бизнес

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

5 months, 2 weeks назад @ learnpython.podbean.com
3.13 и другие новости за октябрь 2024
3.13 и другие новости за октябрь 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

6 months, 1 week назад @ learnpython.podbean.com
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

7 months назад @ learnpython.podbean.com
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE
Django 5.1 / Релиз uv / PyPI реагируют на Malware в течение суток / Рейтинг популярности ЯП от IEEE

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска:

Вышла Django 5.1

Большой релиз uv PyPI снизили время реагировании на mailware до 24 часов

IEEE опубликовали очередной рейтинг популярности языков, python на первом месте Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

7 months, 3 weeks назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 3 days, 16 hours назад
Podlodka #423 – Groovy
Podlodka #423 – Groovy Podlodka #423 – Groovy

Продолжаем наше погружение в экосистему JVM и пополняем коллекцию языковых выпусков — на этот раз вместе с Барухом Садогурским обсуждаем Groovy!

Что делает Groovy по-настоящему groovy 🕺🏼 ? Какие фишки помогали ему претендовать на звание более веселой и дружелюбной альтернативы Java? В каких нишах язык в итоге закрепился — и почему это DSL? Правда ли, что если бы не Kotlin, всё могло бы сложиться совсем иначе? Детальный разбор языка, весёлые байки и щепоточка конспирологии — включайте новый выпуск! Ждем тебя 26-го мая на Java Podlodka Crew. Тема конференции "Java и производительность". По промокоду GROOVY будет приятная скидка. Не пропусти сезон! Забирай билет: https://podlodka.io/javacrew Т…

3 days, 16 hours назад @ soundcloud.com
Podlodka #422 – Spring Framework
Podlodka #422 – Spring Framework Podlodka #422 – Spring Framework

Обсуждаем самый знаменитый фреймворк из мира Java – Spring Framework. Что у него под капотом, почему он такой, какой он есть, и что ждет его в мире победивших LLM – разбираемся вместе с Евгением Борисовым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: ТГ-канал гостя t.me/borisovtrainings

1 week, 2 days назад @ soundcloud.com
Podlodka #421 – Прогнозирование погоды
Podlodka #421 – Прогнозирование погоды Podlodka #421 – Прогнозирование погоды

За последнее десятилетие технологии сделали огромный скачок вперед: в наши карманах лежат вычислительные устройства невероятной мощи, а искусственный интеллект вот-вот перешагнет порог AGI. Но при всем при этом получить надежный прогноз погоды на месяц вперед – задача где-то за гранью реальности. Чтобы разобраться, почему погода – это настолько сложно, мы позвали Александра Ганьшина, руководителя Яндекс Погоды, который рассказал кучу интересного про историю развития методов прогнозирования, state of the art пайплайны сбора и обработки данных, и даже про то, как на данных о погоде строить бизнес. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://…

2 weeks, 3 days назад @ soundcloud.com
Podlodka #420 – Crystal
Podlodka #420 – Crystal Podlodka #420 – Crystal

Все языки программирования вдохновляются друг другом, но иногда эволюцию конкретных идей между языками отследить довольно сложно. Crystal – уникальный случай. Его авторы одновременно невероятно сильно любили синтаксис Ruby и компилируемые языки со статической типизацией. В итоге у них получился очень душевный язык, на котором можно выразительно описывать как высокоуровневую бизнес-логику, так и требовательный к производительности низкоуровневый код. Сергей Кузнецов - разработчик дебаггера для Crystal, поделился своей большой любовью к языку и рассказал много интересного про то, как он устроен. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.…

3 weeks, 3 days назад @ soundcloud.com
Podlodka #419 – Готовим красиво между митингами
Podlodka #419 – Готовим красиво между митингами Podlodka #419 – Готовим красиво между митингами

В этом выпуске С Тоней Поповой говорим о том, как подружиться с едой и сделать готовку частью повседневной жизни: не изматывающей, а вдохновляющей. Обсуждаем что такое “лего-подход” к готовке, и как один кусок тыквы превращается в три разных блюда; как сделать еду красивой, не используя трюфели и золото; как собрать удобную и рабочую кладовую, которая сэкономит деньги, время и нервные клетки; почему планеры питания не работают и как сделать, чтобы заработали; какой минимум посуды нужен, чтобы вы не бросили готовить через неделю. Этот выпуск для всех, кто хочет начать готовить вкусно, красиво и просто и готовить чаще, но тратить на это меньше сил. Также ждем вас, ваши лайки, репосты и коммен…

1 month назад @ soundcloud.com
Podlodka #418 – Профессия: системный аналитик
Podlodka #418 – Профессия: системный аналитик Podlodka #418 – Профессия: системный аналитик

Системный аналитик — тот самый невидимый связующий элемент между бизнесом и технологиями. В новом выпуске вместе с Ольгой Пономарёвой, основательницей онлайн-школы по системному анализу, разбираемся, чем эта роль отличается от бизнес-аналитики, как распределяются зоны ответственности между продактами, системными аналитиками и архитекторами, и какие конфигурации команд самые эффективные. Обсуждаем, что ждёт системных аналитиков в эпоху AI, куда можно расти дальше и как понять, что эта сфера — твоя и как вкатиться в айти через системный анализ. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanew…

1 month, 1 week назад @ soundcloud.com
Podlodka #417 – Swift
Podlodka #417 – Swift Podlodka #417 – Swift

Большинство из вас знает Swift как нишевый язык для iOS разработки. Но на самом деле – это очень круто задизайненный язык программирования общего назначения, который по многим параметрам выигрывает у C++ или Rust. Swift избегает крайностей и находит качественный баланс, оставаясь консервативным там, где это нужно, и при этом привнося много новых идей. Про историю развития, ключевые фичи и необычные технические концепции в языке нам рассказал Глеб Лукьянец. Партнер эпизода — экосистема для бизнеса Контур. Каждая третья компания в России пользуется их продуктами. 2500+ разработчиков развивают сервисы и инфраструктурные решения на C# под .NET, Python, Java, Go. Все iOS-приложения написаны на S…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #416 – Node.js
Podlodka #416 – Node.js Podlodka #416 – Node.js

Node.js начинался с невинного вопроса: «А что будет, если запустить Javascript вне браузера?». Несмотря на предубеждения и скепсис, отрицать бессмысленно – эксперимент удался, ведь миллионы разработчиков используют Node.js каждый день. Почему так вышло – разбираемся с Игорем Антоновым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Блог «Про JavaScript и разработку» в телеграм — https://t.me/antonovjs

Блог «Про JavaScript …

1 month, 3 weeks назад @ soundcloud.com
Podlodka #415 – Лямбда исчисление
Podlodka #415 – Лямбда исчисление Podlodka #415 – Лямбда исчисление

Лямбда исчисление — база! Или нет? Разбираемся в новом выпуске с Виталием Брагилевским! Как лямбда исчисление появилось и почему эта формальная система так мощна и изящна? Как связаны между собой Чёрч и Тьюринг? И как в конце-концов труды Чёрча повлияли на Lisp, Haskell, и другие функциональные языки? История, математика, теория языков программирования и щепоточка отборного юмора — скорее включайте новый выпуск, чтобы насладиться всем и сразу! Партнёр эпизода — компания YADRO. YADRO — это крупнейшая технологическая компания, которая создает фундаментальные для российского рынка продукты, начиная от серверов, и заканчивая собственной базовой станцией. Большое инженерное сообщество, амбициозн…

2 months назад @ soundcloud.com
Podlodka #414 – Высшее образование для программиста
Podlodka #414 – Высшее образование для программиста Podlodka #414 – Высшее образование для программиста

Вместе с Иваном Углянским, разработчиком виртуальных машин и одним из авторов профиля “Системное программирование” в ММФ НГУ, обсуждаем вечные вопросы про программистов и высшее образование. Нужна ли вышка для того, чтобы стать хорошим программистом? А если да, то чему вообще нужно учить студентов, как удерживать баланс между необходимой теорией и прикладными знаниями, и одновременно с этим готовить выпускников к будущей реальной жизни? Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast В…

2 months, 1 week назад @ soundcloud.com
Podlodka #413 – IT в логистике
Podlodka #413 – IT в логистике Podlodka #413 – IT в логистике

Как работает логистика на уровне IT-продукта? CTO X5 Александр Костин объясняет, почему управление поставками — это не просто оптимизация маршрутов, а сложная оркестрация физических процессов, данных и автоматизированных решений. Поговорим о том, какие системы помогают прогнозировать запасы, как строится маршрутизация курьеров, почему внедрение фич идет медленно, а A/B-тесты — редкость. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова

2 months, 2 weeks назад @ soundcloud.com
Podlodka #412 – Как создаются истории
Podlodka #412 – Как создаются истории Podlodka #412 – Как создаются истории

В этом выпуске мы вместе с Алексеем Поляриновым – автором таких книг, как Кадавры и Риф – разбираемся в непростых вопросах из мира писательства. Например, для кого писать – для себя, или для читателя? Должно ли читателю всегда быть приятно? Открытые концовки – это хорошо, или автору просто лень? Все ответы – в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал Алексея

https://t.me/Polyarinov Инстаграм А…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #411 – Открытие зарплаты
Podlodka #411 – Открытие зарплаты Podlodka #411 – Открытие зарплаты

Информация о зарплатах в компаниях чаще всего скрыта; в лучшем случае известны вилки. При этом зарплата — это одна из главных метрик, по которой сотрудник оценивается работодателем. Но если зарплаты закрыты, можно ли быть уверенным в справедливом распределении фонда оплаты труда? И возможна ли вообще справедливость в таких условиях? Некоторые компании решаются на радикальный шаг — открывают информацию о зарплатах для всех сотрудников. Зачем они это делают? Какие плюсы и риски несет эта практика? Включайте выпуск! В гостях — Антон Бевзюк, который рассказал об опыте внедрения открытых зарплат на примере MindBox. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegra…

2 months, 4 weeks назад @ soundcloud.com
Podlodka #410 – SexTech
Podlodka #410 – SexTech Podlodka #410 – SexTech

В этом выпуске мы погружаемся в мир секстеха вместе с Таней Дмитриевой — секс-просветительницей, предпринимательницей и терапевткой. Обсуждаем, какие инновации уже существуют: от виртуальных партнеров и AI до теледильдоники и иммерсивного опыта. Разбираемся, как развивается рынок секс-игрушек, какие приложения помогают в планировании сексуальной жизни и чем сексологи отличаются от классических психотерапевтов. Ну и конечно говорим о будущем индустрии, вопросах этики, цензуры и маркетинга. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ T…

3 months назад @ soundcloud.com
Podlodka #409 – Релокация в США, часть 2
Podlodka #409 – Релокация в США, часть 2 Podlodka #409 – Релокация в США, часть 2

Снова в гостях Артем Зиннатуллин и снова трехчасовой хронометраж, а что это значит? Все верно – это вторая часть выпуска про релокацию в США! Как никогда вовремя: в стране большие перемены, и совершенно непонятно, что это значит для релокантов. Поговорили и про это, и про бытовые нюансы, начиная от жилья и налогов, и заканчивая автомобилями. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Твиттер Артема

https://x.com/abstra…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 weeks назад
Борис Тарасов: от Маруси до Ровера
Борис Тарасов: от Маруси до Ровера

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 weeks назад @ buzzsprout.com
Книжный клуб: Диапазон
Книжный клуб: Диапазон

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

3 weeks, 1 day назад @ buzzsprout.com
Анна Ривина: домашнее насилие
Анна Ривина: домашнее насилие

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month назад @ buzzsprout.com
Книжный клуб: Амстердам История Самого Либерального Города
Книжный клуб: Амстердам История Самого Либерального Города

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month назад @ buzzsprout.com
Александр Мерзликин: чемпионат по сну
Александр Мерзликин: чемпионат по сну

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months назад @ buzzsprout.com
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

5 months, 1 week назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months, 2 weeks назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months, 3 weeks назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months назад @ buzzsprout.com
Геннадий Асиньяров: "Марсианин" из Красноярска
Геннадий Асиньяров: "Марсианин" из Красноярска

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 1 week назад @ buzzsprout.com
Сергей Нурк: как и зачем читают геном
Сергей Нурк: как и зачем читают геном

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 2 weeks назад @ buzzsprout.com
Александр Гечис: "GTA" на автозаводе
Александр Гечис: "GTA" на автозаводе

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months назад @ buzzsprout.com
Артём Родичев: эмпатия искусственного интеллекта
Артём Родичев: эмпатия искусственного интеллекта

Артём Родичев — основатель и CEO стартапа ex-Human. ex-Human создаёт искусственный интеллект, способный поддерживать беседу на любую, даже очень личную, тему.Ex-human AI: https://exh.ai/Support the Show.ApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

9 months, 2 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 3 days, 23 hours назад
#431 Nerd Gas
#431 Nerd Gas #431 Nerd Gas

Topics include pirel: Python release cycle in your terminal, FastAPI Cloud, and Python's new t-strings.

3 days, 23 hours назад @ pythonbytes.fm
#430 Or you go to jail
#430 Or you go to jail #430 Or you go to jail

Topics include pip 25.1 has dependency groups, pylock.toml, plus more, aiohttp goes free threaded, uv 0.6.15 supports pylock.toml, and Whenever.

1 week, 3 days назад @ pythonbytes.fm
#429 Nitpicking Python
#429 Nitpicking Python #429 Nitpicking Python

Topics include Huly, CVE Foundation, drawdb, and 14 Advanced Python Features.

2 weeks, 3 days назад @ pythonbytes.fm
#428 How old is your Python?
#428 How old is your Python? #428 How old is your Python?

Topics include How to Write a Git Commit Message, Caddy Web Server, , and juv.

3 weeks, 3 days назад @ pythonbytes.fm
#427 Rise of the Python Lord
#427 Rise of the Python Lord #427 Rise of the Python Lord

Topics include Git Town, PEP 751 – A file format to record Python dependencies for installation reproducibility, git-who watchgha, and Share Python Scripts Like a Pro: uv and PEP 723 for Easy Deployment.

1 month назад @ pythonbytes.fm
#426 Committing to Formatted Markdown
#426 Committing to Formatted Markdown #426 Committing to Formatted Markdown

Topics include mdformat, pre-commit-uv, , and Serie books.

1 month, 1 week назад @ pythonbytes.fm
#425 If You Were a Klingon Programmer
#425 If You Were a Klingon Programmer #425 If You Were a Klingon Programmer

Topics include Why aren't you using uv, Python Developer Tooling Handbook, Calling all doc writers: blacken-docs, and Reinventing notebooks as reusable Python programs.

1 month, 2 weeks назад @ pythonbytes.fm
#424 We Will Test in Production
#424 We Will Test in Production #424 We Will Test in Production

Topics include The weird quirk with rounding in Python, Python interpreter adds tail calls, Remove punctuation from a string with translate and maketrans, and.

1 month, 3 weeks назад @ pythonbytes.fm
#423 Traveling the Python Universe
#423 Traveling the Python Universe #423 Traveling the Python Universe

Topics include pysqlscribe, A map of Python, Rust, C++, and Python trends in jobs on Hacker News 2025), and The features of Python's help() function.

1 month, 4 weeks назад @ pythonbytes.fm
#422 You need 4 spaces
#422 You need 4 spaces #422 You need 4 spaces

Topics include My 2025 uv-based Python Project Layout for Production Apps, aiolimiter, A peek into a possible future of Python in the browser, and Reloadium.

2 months назад @ pythonbytes.fm
#421 22 years old
#421 22 years old #421 22 years old

Topics include httpdbg, PyPI Now Supports iOS and Android Wheels for Mobile Python Development, Arcade Game Platform, and PEP 765 – Disallow return/break/continue that exit a finally block.

2 months, 1 week назад @ pythonbytes.fm
#420 90% Done in 50% of the Available Time
#420 90% Done in 50% of the Available Time #420 90% Done in 50% of the Available Time

Topics include PEP 772 – Packaging governance process, Official Django MongoDB Backend, Developer Philosophy, and Python 3.13.2.

2 months, 2 weeks назад @ pythonbytes.fm
#419 Is your back end popular?
#419 Is your back end popular? #419 Is your back end popular?

Topics include content-types package, Wagtail 6.4, Build It Yourself, and Build backend popularity over time.

3 months назад @ pythonbytes.fm
#418 I'm a tea pot
#418 I'm a tea pot #418 I'm a tea pot

Topics include In memoriam: Michael Foord 1974-2025, Valkey Replacement), 30 best practices for software development and testing, and mimetype.io.

3 months, 1 week назад @ pythonbytes.fm
#417 Bugs hide from the light
#417 Bugs hide from the light #417 Bugs hide from the light

Topics include LLM Catcher, , RESPX, and Unpacking kwargs with custom objects.

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 22 часа назад
Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis
Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis

Grand Theft Auto III is a 2001 an open-world action-adventure game developed by Rockstar Games and it had a profound impact on both gaming and popular culture. Its success cemented video games as a dominant form of entertainment and storytelling, and paved the way for future blockbuster franchises. The game was also a technological milestone

The post Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis appeared first on Software Engineering Daily.

22 часа назад @ softwareengineeringdaily.com
Polypane with Kilian Valkhof
Polypane with Kilian Valkhof

Polypane is a specialized web development browser that simplifies creating and testing modern websites. A key feature is that it provides multiple screen sizes at once, with synchronized scrolling and interactions, so developers can test different layouts and breakpoints simultaneously. Polypane also focuses on accessibility tools, real-time previews, and debugging features. Kilian Valkhof is the

The post Polypane with Kilian Valkhof appeared first on Software Engineering Daily.

2 days, 22 hours назад @ softwareengineeringdaily.com
LiveKit and OpenAI with Russ d’Sa
LiveKit and OpenAI with Russ d’Sa

LiveKit is a platform that provides developers with tools to build real-time audio and video applications at scale. It offers an open-source WebRTC stack for creation of live, interactive experiences like video conferencing, streaming, and virtual events. LiveKit has gained significant attention for its partnership with OpenAI for the Advanced Voice feature. Russ d’Sa is

The post LiveKit and OpenAI with Russ d’Sa appeared first on Software Engineering Daily.

1 week назад @ softwareengineeringdaily.com
SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50
SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50

Welcome to the pilot episode of SED News, a new podcast series from Software Engineering Daily. Join hosts Gregor Van and Sean Falconer as they break down the week’s most important stories in software engineering, machine learning, and developer culture. In this episode, Gregor and Sean discuss the CoreWeave IPO and the company’s recent acquisition

The post SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50 appeared first on Software Engineering Daily.

1 week, 2 days назад @ softwareengineeringdaily.com
Vibe Coding at Heroku with Vish Abrams
Vibe Coding at Heroku with Vish Abrams

AI tools are transforming how developers write code, and although it’s difficult to pinpoint how much code is now AI-generated code, estimates suggest it’s between 20% and 40%, and this figure is poised to grow in the coming years. This evolution has given rise to a new coding paradigm in which developers act as directors,

The post Vibe Coding at Heroku with Vish Abrams appeared first on Software Engineering Daily.

2 weeks назад @ softwareengineeringdaily.com
Agentic AI at Glean with Eddie Zhou
Agentic AI at Glean with Eddie Zhou

Glean is a workplace search and knowledge discovery company that helps organizations find and access information across various internal tools and data sources. Their platform uses AI to provide personalized search results to assist members of an organization in retrieving relevant documents, emails, and conversations. The rise of LLM-based agentic reasoning systems now presents new

The post Agentic AI at Glean with Eddie Zhou appeared first on Software Engineering Daily.

2 weeks, 2 days назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with Martin Hellman
Turing Award Special: A Conversation with Martin Hellman

Martin Hellman is an American cryptographer known for co-inventing public-key cryptography with Whitfield Diffie and Ralph Merkle in the 1970s. Their groundbreaking Diffie-Hellman key exchange method allowed secure communication over insecure channels, laying the foundation for modern encryption protocols. Hellman has also contributed to cybersecurity policy and ethical discussions on nuclear risk. His work has

The post Turing Award Special: A Conversation with Martin Hellman appeared first on Software Engineering Daily.

3 weeks назад @ softwareengineeringdaily.com
Prometheus and Open-Source Observability with Eric Schabell
Prometheus and Open-Source Observability with Eric Schabell

Modern cloud-native systems are highly dynamic and distributed, which makes it difficult to monitor cloud infrastructure using traditional tools designed for static environments. This has motivated the development and widespread adoption of dedicated observability platforms. Prometheus is an open-source observability tool designed for cloud-native environments. Its strong integration with Kubernetes and pull-based data collection model

The post Prometheus and Open-Source Observability with Eric Schabell appeared first on Software Engineering Daily.

3 weeks, 2 days назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with David Patterson
Turing Award Special: A Conversation with David Patterson

David A. Patterson is a pioneering computer scientist known for his contributions to computer architecture, particularly as a co-developer of Reduced Instruction Set Computing, or RISC, which revolutionized processor design. He has co-authored multiple books, including the highly influential Computer Architecture: A Quantitative Approach. David is a UC Berkeley Pardee professor emeritus, a Google distinguished

The post Turing Award Special: A Conversation with David Patterson appeared first on Software Engineering Daily.

4 weeks назад @ softwareengineeringdaily.com
Uber’s On-Call Copilot with Paarth Chothani and Eduards Sidorovics
Uber’s On-Call Copilot with Paarth Chothani and Eduards Sidorovics

At Uber, there are many platform teams supporting engineers across the company, and maintaining robust on-call operations is crucial to keeping services functioning smoothly. The prospect of enhancing the efficiency of these engineering teams motivated Uber to create Genie, which is an AI-powered on-call copilot. Genie assists with on-call management by providing real-time responses to

The post Uber’s On-Call Copilot with Paarth Chothani and Eduards Sidorovics appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with John Hennessy
Turing Award Special: A Conversation with John Hennessy

John Hennessy is a computer scientist, entrepreneur, and academic known for his significant contributions to computer architecture. He co-developed the RISC architecture, which revolutionized modern computing by enabling faster and more efficient processors. Hennessy served as the president of Stanford University from 2000 to 2016 and later co-founded MIPS Computer Systems and Atheros Communications. Currently,

The post Turing Award Special: A Conversation with John Hennessy appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Sourcegraph and the Frontier of AI in Software Engineering with Beyang Liu
Sourcegraph and the Frontier of AI in Software Engineering with Beyang Liu

Sourcegraph is a powerful code search and intelligence tool that helps developers navigate and understand large codebases efficiently. It provides advanced search functionality across multiple repositories, making it easier to find references, functions, and dependencies. Additionally, Sourcegraph integrates with various development workflows to streamline code reviews and collaboration across teams. Beyang Liu is the CTO

The post Sourcegraph and the Frontier of AI in Software Engineering with Beyang Liu appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with Jeffrey Ullman
Turing Award Special: A Conversation with Jeffrey Ullman

Jeffrey Ullman is a renowned computer scientist and professor emeritus at Stanford University, celebrated for his groundbreaking contributions to database systems, compilers, and algorithms. He co-authored influential texts like Principles of Database Systems and Compilers: Principles, Techniques, and Tools (often called the “Dragon Book”), which have shaped generations of computer science students. Jeffrey received the

The post Turing Award Special: A Conversation with Jeffrey Ullman appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Knowledge Graphs as Agentic Memory with Daniel Chalef
Knowledge Graphs as Agentic Memory with Daniel Chalef

Contextual memory in AI is a major challenge because current models struggle to retain and recall relevant information over time. While humans can build long-term semantic relationships, AI systems often rely on fixed context windows, leading to loss of important past interactions. Zep is a startup that’s developing a memory layer for AI agents using

The post Knowledge Graphs as Agentic Memory with Daniel Chalef appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
React Remix with Ryan Florence
React Remix with Ryan Florence

Remix is a full-stack, open-source web framework that was developed by the creators of the popular React Router library. It focuses on features such as server-side rendering and efficient data loading, and it emphasizes developer experience. Ryan Florence is a co-creator of React Remix and in this episode he speaks with Josh Goldberg about the

The post React Remix with Ryan Florence appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
⌨ Coding
Martin Fowler
последний пост 2 days, 18 hours назад
Function calling using LLMs
Function calling using LLMs Function calling using LLMs

Function calling is a capability that enables LLMs to go beyond simple text generation by interacting with external tools and real-world applications.

With function calling, an LLM can analyze a natural language input, extract the user’s intent, and generate a structured output containing the function name and the necessary arguments to invoke that function.

It’s important to emphasize that when using function calling, the LLM itself does not execute the function.

This part of the Chat Completions API call defines the available functions that the LLM can invoke, specifying their structure and purpose: tools=[ {"type": "function", "function": SEARCH_SCHEMA}, {"type": "function", "function": …

2 days, 18 hours назад @ martinfowler.com
Building TMT Mirror Visualization with LLM
Building TMT Mirror Visualization with LLM Building TMT Mirror Visualization with LLM

This article documents a journey in building a complex, interactive UI with no prior experience in D3.js or UI development in general.

The work was done as part of building a prototype for an operational user interface for the telescope's primary mirror, designed to show real-time status of mirror segments.

Step 3: Adding a Second Hexagon “Nice... Now let's add one more hexagon next to this one.

Step 4: Creating the Second Row “Now let's add one more row.

The hexagons in the second row share vertical edges with each other similar to the first row.

1 week, 1 day назад @ martinfowler.com
Additional explanatory material for the Deepseek Overview
Additional explanatory material for the Deepseek Overview Additional explanatory material for the Deepseek Overview

DeepSeek uses more fine-grained experts than previous models, dividing them into two kinds: Shared Experts handle universal patterns for every token.

Co-Designed Frameworks: FP8, DualPipe, and PTX Optimizations Scaling an MoE model to 671B demanded HPC-level solutions for training and inference.

The authors emphasize: Through the co-design of algorithms, frameworks, and hardware, we overcome the communication bottleneck in cross-node MoE training, achieving near-full computation- communication overlap.

DeepSeek-R1: Reinforcement Learning for Deeper Reasoning It's worth noting that both DeepSeek R1 and DeepSeek R1-Zero are architecturally identical to DeepSeek V3.

This led them to DeepSeek-R…

2 weeks, 3 days назад @ martinfowler.com
Guiding an LLM for Robust Java ByteBuffer Code
Guiding an LLM for Robust Java ByteBuffer Code Guiding an LLM for Robust Java ByteBuffer Code

We'll use the common task of reading and writing a fixed-structure header within a Java ByteBuffer.

The Scenario: Defining a Page Header Our goal is to create a Java class to manage a simple page header structure within a ByteBuffer.

LLM-Generated Code (Using position()) Certainly.

Using absolute offset methods avoids modifying the buffer's position state, which is much safer for shared or concurrent use cases.

Guiding Towards Robust Patterns: The developer explicitly prompted for stateless, absolute offset methods, leveraging deep knowledge of safe low-level programming practices.

3 weeks назад @ martinfowler.com
Updating yesterday's post on social media engagement
Updating yesterday's post on social media engagement Updating yesterday's post on social media engagement

Now when I announce a new article, I post on LinkedIn, Bluesky, Mastodon, as well as X (Twitter).

Here X (Twitter) shows a notable lead, but I strongly suspect that many of my followers there are inactive (or bots).

That indicates a clear pecking order with LinkedIn > X > Bluesky > Mastodon.

As we can see X (Twitter) was the dominant figure in 2023 but in 2025 LinkedIn has surged to a much greater amount of traffic.

Overall, I'd say that LinkedIn has taken over as the number one social network for my posts, but X (Twitter) is still important.

1 month назад @ martinfowler.com
Social Media Engagement in Early 2025
Social Media Engagement in Early 2025 Social Media Engagement in Early 2025

Now when I announce a new article, I post on LinkedIn, Bluesky, Mastodon, as well as X (Twitter).

Here X (Twitter) shows a notable lead, but I strongly suspect that many of my followers there are inactive (or bots).

So every dot in the linkedIn column is the value for one linkedin post.

That indicates a clear pecking order with LinkedIn > X > Bluesky > Mastodon.

Overall, I'd say that LinkedIn has taken over as the number one social network for my posts, but X (Twitter) is still important.

1 month назад @ martinfowler.com
I've been kidnapped by Robert Caro
I've been kidnapped by Robert Caro I've been kidnapped by Robert Caro

I've always enjoyed reading, and for most of my life I've particularly enjoyed reading history.

My wife is a structural engineer (well “was”, as she's now retired) and long urged me to read one of her favorite books: The Power Broker, by Robert Caro.

He's a highly regarded writer, so I might try something else, but his other work is a biography of Lyndon Johnson.

It was the best book I've read for many years.

Reviewers I've read say the next in the series, Master of the Senate, is the best volume.

1 month, 1 week назад @ martinfowler.com
The role of developer skills in agentic coding
The role of developer skills in agentic coding The role of developer skills in agentic coding

As agentic coding assistants get more capable, Birgitta Böckeler is trying them to change existing codebases. This has led to some impressive collaboration sessions, but she's needed to intervene, correct and steer all the time. In her latest post, she describes examples of these interventions, giving ideas of the types of skills we currently need to correct the tools' missteps. more…

1 month, 2 weeks назад @ localhost:1963
Comments on US passport applications
Comments on US passport applications Comments on US passport applications

Martin Fowler: 26 Feb 2025The new US administration has decided to eliminate the “X” option for gender/sex on passports.

I have several non-binary friends, and I don’t see why they should have to select an option that makes no sense for them.

I also don’t see how an “X” option on identity documents causes a material problem for anyone else.

There are three such pages:DS-11 new passport application: (deadline 3/17/25) https://www.federalregister.gov/documents/2025/02/14/2025-02648/30-day-notice-of-proposed-information-collection-application-for-a-us-passportDS-82 passport renewal: (deadline 3/20/25) https://www.federalregister.gov/documents/2025/02/18/2025-02697/30-day-notice-of-…

2 months, 1 week назад @ martinfowler.com
GenAI Patterns: Fine Tuning
GenAI Patterns: Fine Tuning GenAI Patterns: Fine Tuning

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

LLM models are constantly improving so it is important to have these prompt evals in our build pipeline to track progress.

2 months, 1 week назад @ martinfowler.com
GenAI Patterns: Guardrails and RAG overview
GenAI Patterns: Guardrails and RAG overview GenAI Patterns: Guardrails and RAG overview

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

Provide a comprehensive, accurate, and coherent response to the user query, using the provided context.

Hybrid Retriever Minimalistic user query Not all users are able to clearly articulate their intent in a well-formed natural language query.

However, for vector search on description we have to explicitly add an additional field to store its corresponding embedding.

2 months, 2 weeks назад @ martinfowler.com
What role does LLM reasoning play for software tasks?
What role does LLM reasoning play for software tasks? What role does LLM reasoning play for software tasks?

So I asked the AI tools to not mock the input object, and instead set up reasonable test data for it.

(After about 1 hour of fiddling with Maven, which the AI tools could not help me with.)

There is a mindset shift we have to make when using Generative AI tools in general.

When you adjust these expectations, and give yourself some time to understand the behaviours and quirks of the eager donkey, you’ll get more out of AI coding assistants.

LLM-based AI coding assistants perform best when they divide-and-conquer problems, and TDD is how we do that for software development.

2 months, 2 weeks назад @ martinfowler.com
GenAI Patterns: Reranker
GenAI Patterns: Reranker GenAI Patterns: Reranker

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

2 months, 3 weeks назад @ martinfowler.com
GenAI Patterns: Query Rewriting
GenAI Patterns: Query Rewriting GenAI Patterns: Query Rewriting

When to use it While this is useful in many contexts, and its usage triggered the wide excitement about using LLMs, it has some significant shortcomings.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

However, for vector search on description we have to explicitly add an additional field to store its corresponding embedding.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

2 months, 3 weeks назад @ martinfowler.com
The DeepSeek Series: A Technical Overview
The DeepSeek Series: A Technical Overview The DeepSeek Series: A Technical Overview

All four papers revolve around a singular challenge: building ever-larger language models with minimal cost, memory overhead, and training instability.

Emergent Reasoning: In R1, large-scale Reinforcement Learning (RL) unlocks advanced chain-of-thought capabilities, culminating in “R1-Zero” and its purely RL-driven approach to reasoning tasks.

DeepSeek-R1: Reinforcement Learning for Deeper Reasoning It's worth noting that both DeepSeek R1 and DeepSeek R1-Zero are architecturally identical to DeepSeek V3 (but uses the “only-pretrained” base version).

This led them to DeepSeek-R1: an alignment pipeline combining small cold-start data, RL, rejection sampling, and more RL, to “fill in the g…

3 months назад @ martinfowler.com