Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 week, 2 days назад
Understanding and Improving SwiftUI Performance
Understanding and Improving SwiftUI Performance Understanding and Improving SwiftUI Performance

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

1 week, 2 days назад @ medium.com
Load Testing with Impulse at Airbnb
Load Testing with Impulse at Airbnb Load Testing with Impulse at Airbnb

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

3 weeks, 3 days назад @ medium.com
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support… Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

1 month назад @ medium.com
How Airbnb Measures Listing Lifetime Value
How Airbnb Measures Listing Lifetime Value How Airbnb Measures Listing Lifetime Value

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

3 months, 1 week назад @ medium.com
Embedding-Based Retrieval for Airbnb Search
Embedding-Based Retrieval for Airbnb Search Embedding-Based Retrieval for Airbnb Search

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

3 months, 2 weeks назад @ medium.com
Accelerating Large-Scale Test Migration with LLMs
Accelerating Large-Scale Test Migration with LLMs Accelerating Large-Scale Test Migration with LLMs

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

3 months, 3 weeks назад @ medium.com
Improving Search Ranking for Maps
Improving Search Ranking for Maps Improving Search Ranking for Maps

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

6 months, 2 weeks назад @ medium.com
Airbnb at KDD 2024
Airbnb at KDD 2024 Airbnb at KDD 2024

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

6 months, 2 weeks назад @ medium.com
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

7 months назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

7 months, 1 week назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

7 months, 2 weeks назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

7 months, 3 weeks назад @ medium.com
Adopting Bazel for Web at Scale
Adopting Bazel for Web at Scale Adopting Bazel for Web at Scale

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

7 months, 3 weeks назад @ medium.com
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

7 months, 3 weeks назад @ medium.com
Automation Platform v2: Improving Conversational AI at Airbnb
Automation Platform v2: Improving Conversational AI at Airbnb Automation Platform v2: Improving Conversational AI at Airbnb

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

8 months, 1 week назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 day, 14 hours назад
Driving Content Delivery Efficiency Through Classifying Cache Misses
Driving Content Delivery Efficiency Through Classifying Cache Misses Driving Content Delivery Efficiency Through Classifying Cache Misses

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

1 day, 14 hours назад @ netflixtechblog.com
AV1 @ Scale: Film Grain Synthesis, The Awakening
AV1 @ Scale: Film Grain Synthesis, The Awakening AV1 @ Scale: Film Grain Synthesis, The Awakening

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

1 day, 15 hours назад @ netflixtechblog.com
Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix
Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

3 weeks назад @ netflixtechblog.com
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

1 month, 1 week назад @ netflixtechblog.com
Behind the Scenes: Building a Robust Ads Event Processing Pipeline
Behind the Scenes: Building a Robust Ads Event Processing Pipeline Behind the Scenes: Building a Robust Ads Event Processing Pipeline

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

1 month, 3 weeks назад @ netflixtechblog.com
Measuring Dialogue Intelligibility for Netflix Content
Measuring Dialogue Intelligibility for Netflix Content Measuring Dialogue Intelligibility for Netflix Content

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

1 month, 3 weeks назад @ netflixtechblog.com
How Netflix Accurately Attributes eBPF Flow Logs
How Netflix Accurately Attributes eBPF Flow Logs How Netflix Accurately Attributes eBPF Flow Logs

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

2 months, 3 weeks назад @ netflixtechblog.com
Globalizing Productions with Netflix’s Media Production Suite
Globalizing Productions with Netflix’s Media Production Suite Globalizing Productions with Netflix’s Media Production Suite

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

3 months назад @ netflixtechblog.com
Foundation Model for Personalized Recommendation
Foundation Model for Personalized Recommendation Foundation Model for Personalized Recommendation

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

3 months, 1 week назад @ netflixtechblog.com
HDR10+ Now Streaming on Netflix
HDR10+ Now Streaming on Netflix HDR10+ Now Streaming on Netflix

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

3 months, 1 week назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

4 months назад @ netflixtechblog.com
Introducing Impressions at Netflix
Introducing Impressions at Netflix Introducing Impressions at Netflix

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

4 months, 2 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

5 months, 4 weeks назад @ netflixtechblog.com
Part 3: A Survey of Analytics Engineering Work at Netflix
Part 3: A Survey of Analytics Engineering Work at Netflix Part 3: A Survey of Analytics Engineering Work at Netflix

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

5 months, 4 weeks назад @ netflixtechblog.com
Part 2: A Survey of Analytics Engineering Work at Netflix
Part 2: A Survey of Analytics Engineering Work at Netflix Part 2: A Survey of Analytics Engineering Work at Netflix

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

6 months назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 week, 2 days назад
Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines
Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

1 week, 2 days назад @ medium.com
Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads
Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

3 weeks назад @ medium.com
Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations
Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

3 weeks, 6 days назад @ medium.com
Automated Migration and Scaling of Hadoop™ Clusters
Automated Migration and Scaling of Hadoop™ Clusters Automated Migration and Scaling of Hadoop™ Clusters

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

4 weeks назад @ medium.com
Adopting Docs-as-Code at Pinterest
Adopting Docs-as-Code at Pinterest Adopting Docs-as-Code at Pinterest

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

1 month назад @ medium.com
Healthier Personalization with Surveys
Healthier Personalization with Surveys Healthier Personalization with Surveys

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

1 month назад @ medium.com
Modernizing Home Feed Pre-Ranking Stage
Modernizing Home Feed Pre-Ranking Stage Modernizing Home Feed Pre-Ranking Stage

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

1 month назад @ medium.com
How Pinterest Accelerates ML Feature Iterations via Effective Backfill
How Pinterest Accelerates ML Feature Iterations via Effective Backfill How Pinterest Accelerates ML Feature Iterations via Effective Backfill

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

1 month, 2 weeks назад @ medium.com
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework 500X Scalability of Experiment Metric Computing with Unified Dynamic Framework

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

1 month, 3 weeks назад @ medium.com
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads… Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

2 months, 1 week назад @ medium.com
Migrating 3.7 Million Lines of Flow Code to TypeScript
Migrating 3.7 Million Lines of Flow Code to TypeScript Migrating 3.7 Million Lines of Flow Code to TypeScript

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

2 months, 2 weeks назад @ medium.com
Improving Pinterest Search Relevance Using Large Language Models
Improving Pinterest Search Relevance Using Large Language Models Improving Pinterest Search Relevance Using Large Language Models

Han Wang | Machine Learning Engineer II, Relevance & Query Understanding; Mukuntha Narayanan | Machine Learning Engineer II, Relevance & Query Understanding; Onur Gungor | (former) Staff Machine Learning Engineer, Relevance & Query Understanding; Jinfeng Rao | Senior Staff Machine Learning Engineer, Pinner DiscoveryFigure: Illustration of the search relevance system at Pinterest.BackgroundPinterest Search is one of the key surfaces on Pinterest where users can discover inspiring content that aligns with their information needs. Search relevance measures how well the search results aligned with the search query. Using a relevance objective allows the search engine to ensure that the content …

3 months назад @ medium.com
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery

Megan Blake, Usha Amrutha Nookala, Jeremy Browning, Sarah Tao, AJ Oxendine, Siddarth MalreddyOverview & ContextThe holiday shopping season presents a unique challenge: helping millions of Pinners discover and save perfect gifts across a vast sea of possibilities. While Pinterest has always been a destination for gift inspiration, our data showed that users were facing two key friction points: discovery overwhelm and fragmented wishlists. With 85% of weekly US Pinners having made a purchase based on Pins from brands¹, we saw an opportunity to create a more streamlined gift discovery experience that meets Pinners where they already are — at the early stages of shopping inspiration.The Challen…

3 months, 1 week назад @ medium.com
Module Relevance on Homefeed
Module Relevance on Homefeed Module Relevance on Homefeed

Usha Amrutha Nookala, Jason Madeano, Siddarth Malreddy, Lucy Song, Alekhya PIn the past, Homefeed on Pinterest recommended a grid of Pins that are most relevant to a user. The grid limits our ability to provide more context on the recommendations as well as show new topics the user might be interested in. To address this, we introduced modules to the Homefeed. We developed several components to ensure that the user’s Homefeed remains relevant with this new content type. This blog post details these components. The figure below provides an overview of our system and demonstrates how it interacts with the existing main feed of Pins.Figure 1: Overview of the module relevance backendModulesModu…

3 months, 2 weeks назад @ medium.com
Infrastructure Advancements at AWS ReInvent 2024
Infrastructure Advancements at AWS ReInvent 2024 Infrastructure Advancements at AWS ReInvent 2024

Madhuri Racherla, VP, Engineering — Infra & SREAt the recent AWS ReInvent 2024 conference, Madhuri Racherla, VP of Infrastructure & SRE, shared an inspiring story of the company’s ongoing journey to optimize performance and reduce costs. Her talk not only highlighted Pinterest’s strategic infrastructure advancements but also aimed to motivate engineers to pursue innovation and excellence.A Vision of Boundless CreativityMadhuri kicked off her presentation by painting a picture of a world where creativity knows no bounds. With Pinterest’s mission to inspire over 553 million monthly active users* to create lives they love, the platform isn’t just a hub for ideas; it’s a movement celebrating cr…

4 months, 2 weeks назад @ medium.com
Facebook
последний пост 1 month, 3 weeks назад
Accelerating GPU indexes in Faiss with NVIDIA cuVS
Accelerating GPU indexes in Faiss with NVIDIA cuVS

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

1 month, 3 weeks назад @ engineering.fb.com
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

2 months назад @ engineering.fb.com
Building multimodal AI for Ray-Ban Meta glasses
Building multimodal AI for Ray-Ban Meta glasses

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

4 months назад @ engineering.fb.com
Revolutionizing software testing: Introducing LLM-powered bug catchers
Revolutionizing software testing: Introducing LLM-powered bug catchers

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

4 months, 4 weeks назад @ engineering.fb.com
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

7 months назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

7 months, 2 weeks назад @ engineering.fb.com
OCP Summit 2024: The open future of networking hardware for AI
OCP Summit 2024: The open future of networking hardware for AI

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
Meta’s open AI hardware vision
Meta’s open AI hardware vision

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

9 months назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

9 months, 3 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 month, 3 weeks назад
Incident Report: Spotify Outage on April 16, 2025
Incident Report: Spotify Outage on April 16, 2025

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

2 months, 1 week назад @ engineering.atspotify.com
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

2 months, 2 weeks назад @ engineering.atspotify.com
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

3 months, 1 week назад @ engineering.atspotify.com
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

6 months, 3 weeks назад @ engineering.atspotify.com
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

7 months, 1 week назад @ engineering.atspotify.com
How We Generated Millions of Content Annotations
How We Generated Millions of Content Annotations

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

8 months, 2 weeks назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост None
Smart Data
последний пост 4 days, 8 hours назад
How Data Analytics Reduces Truck Accidents and Speeds Up Claims
How Data Analytics Reduces Truck Accidents and Speeds Up Claims

Data analytics is helping companies prevent truck accidents and handle insurance claims with more speed and accuracy than ever before.

4 days, 8 hours назад @ smartdatacollective.com
Interior Designers Boost Profits with Predictive Analytics
Interior Designers Boost Profits with Predictive Analytics

Predictive analytics helps interior designers understand clients and grow profits through smarter, data-driven decisions.

4 days, 8 hours назад @ smartdatacollective.com
What the Rise of AI Web Scrapers Means for Data Teams
What the Rise of AI Web Scrapers Means for Data Teams

AI is becoming essential for managing, cleaning, and analyzing the massive flow of business data.

1 week, 4 days назад @ smartdatacollective.com
Free AI Tools to Test Website Accessibility
Free AI Tools to Test Website Accessibility

AI is changing how websites work, from design tweaks to smarter user interactions.

2 weeks, 2 days назад @ smartdatacollective.com
Thinking Machines At Work: How Generative AI Models Are Redefining Business Intelligence
Thinking Machines At Work: How Generative AI Models Are Redefining Business Intelligence

From data patterns to boardroom strategy - how generative AI is becoming the ultimate business co-pilot, redefining what's possible in analytics.

2 weeks, 3 days назад @ smartdatacollective.com
The Power of AI for Personalization in Email
The Power of AI for Personalization in Email

AI tools help tailor emails to each person, boosting engagement without the extra workload.

3 weeks, 6 days назад @ smartdatacollective.com
Improving LinkedIn Ad Strategies with Data Analytics
Improving LinkedIn Ad Strategies with Data Analytics

Data helps marketers reach the right audience and spend ad budgets more wisely on LinkedIn.

1 month назад @ smartdatacollective.com
Data Helps Speech-Language Pathologists Deliver Better Results
Data Helps Speech-Language Pathologists Deliver Better Results

Data helps speech-language pathologists make more precise, informed, and effective decisions for their clients.

1 month назад @ smartdatacollective.com
AI Helps Businesses Develop Better Marketing Strategies
AI Helps Businesses Develop Better Marketing Strategies

More marketers are turning to AI tools to keep up with fast deadlines and changing audience needs.

1 month, 1 week назад @ smartdatacollective.com
Agenic AI is Paying Huge Dividends for Companies Trying to Improve Decision-Making
Agenic AI is Paying Huge Dividends for Companies Trying to Improve Decision-Making

We have talked a lot about some of the benefits of using AI to run a business. There is no wonder that companies around the world are expected to spend over $244 billion on AI by the end of this year. One of the biggest reasons companies are using AI is to improve their decision-making, […]

1 month, 2 weeks назад @ smartdatacollective.com
Forensic AI Technology is Doing Wonders for Law Enforcement
Forensic AI Technology is Doing Wonders for Law Enforcement

New tools are helping law enforcement process complex evidence faster and revisit unsolved cases with fresh eyes.

1 month, 2 weeks назад @ smartdatacollective.com
LangGraph Orchestrator Agents: Streamlining AI Workflow Automation
LangGraph Orchestrator Agents: Streamlining AI Workflow Automation

Transform your AI processes with LangGraph Orchestrator Agents! Streamline workflows and boost efficiency like never before. #AIAutomation

1 month, 3 weeks назад @ smartdatacollective.com
Will AI Replace Personal Trainers? A Data-Driven Look at the Future of Fitness Careers
Will AI Replace Personal Trainers? A Data-Driven Look at the Future of Fitness Careers

There are a number of huge ways that AI technology is helping with fitness.

1 month, 3 weeks назад @ smartdatacollective.com
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity

Unfortunately, we don’t all experience the healthcare system the same way. While the vast majority of patients in the United States have complaints regarding their healthcare options, the actual experiences vary significantly—based largely on cultural or economic grounds. Better data has improved our ability to understand who is being let down by healthcare—and what to […]

2 months назад @ smartdatacollective.com
Data Analytics Is Revolutionizing Medical Credentialing
Data Analytics Is Revolutionizing Medical Credentialing

Advanced data tools are improving how medical credentials are verified to better protect patient safety.

2 months, 2 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 6 days, 14 hours назад
Power BI: A Complete Introduction for Career and Business Use
Power BI: A Complete Introduction for Career and Business Use

Power BI Tutorial | A Series – Part 1: Why Learn Power BI and How It Can Accelerate Your Career or Business Every click, sale, and interaction in today’s data-driven economy produces information that is ready for analysis. However, raw data without proper interpretation is just noise. This gap is filled by Microsoft’s business intelligence […]

The post Power BI: A Complete Introduction for Career and Business Use appeared first on WeCloudData.

6 days, 14 hours назад @ weclouddata.com
How AI and Automation Are Transforming Jobs & Businesses
How AI and Automation Are Transforming Jobs & Businesses

AI and automation are reshaping the global economy. Professionals in every industry, as well as startups and small enterprises, can now access what was formerly the domain of enterprise tech giants. Smarter operations, lower expenses, and quicker decision-making are just a few of the obvious benefits of AI automation for business. AI Is No Longer […]

The post How AI and Automation Are Transforming Jobs & Businesses appeared first on WeCloudData.

1 week назад @ weclouddata.com
Descriptive Analytics: Unlocking Business Insight Through Data
Descriptive Analytics: Unlocking Business Insight Through Data

In today’s data-rich environment, businesses recognize the need to be data-driven; however, effectively acting on that data begins with descriptive analytics. Before a business can predict outcomes or optimize operations, it first needs to understand what has already happened. Descriptive data analytic provide critical insights hidden in historical data to paint a comprehensive picture of […]

The post Descriptive Analytics: Unlocking Business Insight Through Data appeared first on WeCloudData.

1 week, 1 day назад @ weclouddata.com
Crafting an Effective Resume with OpenAI
Crafting an Effective Resume with OpenAI

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

1 week, 2 days назад @ weclouddata.com
Character AI: Meet the Most Advanced AI Chatbot With Personality
Character AI: Meet the Most Advanced AI Chatbot With Personality

The advancement in Artificial Intelligence has transformed the way we interact with technology. Conversational AI has made life more exciting and hassle-free. Among the most exciting developments in conversational artificial intelligence is ‘Character AI’. It brings personality, creativity, and emotional intelligence to every conversation. Character AI has one of the most engaging and human-like AI […]

The post Character AI: Meet the Most Advanced AI Chatbot With Personality appeared first on WeCloudData.

1 week, 6 days назад @ weclouddata.com
What Is Predictive Analytics: How Businesses Are Using It
What Is Predictive Analytics: How Businesses Are Using It

Businesses are always looking for more intelligent ways to predict customer needs, streamline processes, and obtain a competitive edge in today’s data-driven environment. Predictive analytics is one of the most effective technologies that can help achieve these goals. But what is predictive analytics, and how are businesses utilizing it to stay ahead? In this blog […]

The post What Is Predictive Analytics: How Businesses Are Using It appeared first on WeCloudData.

2 weeks назад @ weclouddata.com
How Businesses Are Using Intelligent Agents in AI: Real-World Applications
How Businesses Are Using Intelligent Agents in AI: Real-World Applications

With the development of artificial intelligence, the corporate landscape is undergoing rapid change. Artificial Intelligence agents are software programs that can interact with their environment, collect data, perceive, learn, and perform actions based on their environment. AI intelligent agents in business have practical applications in multiple domains; they can be virtual assistants like Google Assistant, […]

The post How Businesses Are Using Intelligent Agents in AI: Real-World Applications appeared first on WeCloudData.

2 weeks, 1 day назад @ weclouddata.com
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

2 weeks, 2 days назад @ weclouddata.com
Consulting Case Study: E-commerce Customer Segmentation
Consulting Case Study: E-commerce Customer Segmentation

Background Our client is a company manufacturing consumer electronic products like mobile devices, printers, computer monitors and so on, who is leading the electronic goods merchant wholesalers industry for many years. Their advanced data analytics team connected to WeCloudData for the machine learning solution on predicting their top merchandize sales and marketing strategies on their […]

The post Consulting Case Study: E-commerce Customer Segmentation appeared first on WeCloudData.

2 weeks, 3 days назад @ weclouddata.com
Build Your First Chatbot Using Python-NLTK
Build Your First Chatbot Using Python-NLTK

Chatbots have revolutionized the way we engage with technology. Their effect is extensive, ranging from providing customer service to serving as personal assistants. If you’re looking to start building a chatbot in python using nltk, you’re in the right place. In this tutorial, we’ll guide you through creating a basic Python chatbot from scratch using […]

The post Build Your First Chatbot Using Python-NLTK appeared first on WeCloudData.

3 weeks назад @ weclouddata.com
Top Essential Python Libraries for Data Science in 2025
Top Essential Python Libraries for Data Science in 2025

Python’s ease of use, adaptability, and constantly expanding toolkit have made it the foundation of modern data research. In 2025, this programming language continues to dominate the market due to its multiple essential libraries, which cover everything from data manipulation to machine learning, system operations, and web communication. Using the right Python libraries can help […]

The post Top Essential Python Libraries for Data Science in 2025 appeared first on WeCloudData.

3 weeks, 1 day назад @ weclouddata.com
From Data to Decisions: Market Basket Analysis for Retailers Using Python
From Data to Decisions: Market Basket Analysis for Retailers Using Python

In today’s data-driven world, understanding customer purchasing behavior plays a crucial role for businesses aiming to enhance sales and customer satisfaction. Market Basket Analysis is a powerful technique that helps in discovering associations between products purchased together, enabling retailers to make informed decisions on product placements, promotions, and recommendations. Market basket analysis is a great […]

The post From Data to Decisions: Market Basket Analysis for Retailers Using Python appeared first on WeCloudData.

3 weeks, 2 days назад @ weclouddata.com
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

3 weeks, 3 days назад @ weclouddata.com
Natural Language Processing in Healthcare
Natural Language Processing in Healthcare

Natural Language Processing (NLP) is the key to all the recent advancements in Generative AI. Like many other industries, NLP has also revolutionized the life sciences and healthcare. The application of NLP in the medical domain ranges from drug discovery and efficient diagnosis to patient care and automating administrative tasks. To learn more about how […]

The post Natural Language Processing in Healthcare appeared first on WeCloudData.

4 weeks назад @ weclouddata.com
Building a Book Recommendation System Using Python
Building a Book Recommendation System Using Python

At WeCloudData, we empower learners to bridge the gap between theory and real-world data science skills. In this blog, we’ll explore how to build a book recommendation system using python, a practical application of machine learning that not only enhances your coding proficiency but also strengthens your data science portfolio. This blog is designed for […]

The post Building a Book Recommendation System Using Python appeared first on WeCloudData.

1 month назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост 3 months, 3 weeks назад
Terraform module to manage Oxbow Lambda and its components
Terraform module to manage Oxbow Lambda and its components

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

3 months, 3 weeks назад @ tech.scribd.com
Cloud-native Data Ingestion with AWS Aurora and Delta Lake
Cloud-native Data Ingestion with AWS Aurora and Delta Lake

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

5 months, 2 weeks назад @ tech.scribd.com
Jesse Anderson Jesse Anderson
последний пост 1 month, 3 weeks назад
Unapologetically Technical Episode 20 – Shane Murray
Unapologetically Technical Episode 20 – Shane Murray 1 month, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 19 – Jacopo Tagliabue
Unapologetically Technical Episode 19 – Jacopo Tagliabue 2 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 18 – Adrian Woodhead
Unapologetically Technical Episode 18 – Adrian Woodhead 3 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 17 – Semih Salihoglu
Unapologetically Technical Episode 17 – Semih Salihoglu 4 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 16 – David Jayatillake
Unapologetically Technical Episode 16 – David Jayatillake 5 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 15 – Frances Perry
Unapologetically Technical Episode 15 – Frances Perry 6 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 14 – Cliff Crosland
Unapologetically Technical Episode 14 – Cliff Crosland

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

8 months, 1 week назад @ jesse-anderson.com
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 9 months, 2 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 13 часов назад
Build conversational AI search with Amazon OpenSearch Service
Build conversational AI search with Amazon OpenSearch Service

Amazon OpenSearch Service is a versatile search and analytics tool. In this post, we explore conversational search, its architecture, and various ways to implement it.

13 часов назад @ aws.amazon.com
Enhance stability with dedicated cluster manager nodes using Amazon OpenSearch Service
Enhance stability with dedicated cluster manager nodes using Amazon OpenSearch Service

In this post, we show how to enhance the stability of your OpenSearch Service domain with dedicated cluster manager nodes and how using these in deployment enhances your cluster’s stability and reliability.

13 часов назад @ aws.amazon.com
SQL to NoSQL: Modernizing data access layer with Amazon DynamoDB
SQL to NoSQL: Modernizing data access layer with Amazon DynamoDB

The transition from SQL-based access patterns to a DynamoDB API-driven approach presents opportunities to optimize how your application interacts with its data layer. This final part of our series focuses on implementing an effective abstraction layer and handling various data access patterns in DynamoDB.

13 часов назад @ aws.amazon.com
SQL to NoSQL: Modeling data in Amazon DynamoDB
SQL to NoSQL: Modeling data in Amazon DynamoDB

In this post, we explore strategies for designing DynamoDB data models, including entity identification, table design decisions, and relationship modeling approaches. We examine practical scenarios comparing different modeling strategies, helping you make informed decisions for your specific use case.

13 часов назад @ aws.amazon.com
SQL to NoSQL: Planning your application migration to Amazon DynamoDB
SQL to NoSQL: Planning your application migration to Amazon DynamoDB

This is the first part of a series exploring how to effectively migrate from SQL to DynamoDB. We will examine how to analyze existing database structures and access patterns to prepare for migration, focusing on schema analysis, query patterns, and usage metrics that inform DynamoDB data model design.

13 часов назад @ aws.amazon.com
Transforming network operations with AI: How Swisscom built a network assistant using Amazon Bedrock
Transforming network operations with AI: How Swisscom built a network assistant using Amazon Bedrock

In this post, we explore how Swisscom developed their Network Assistant. We discuss the initial challenges and how they implemented a solution that delivers measurable benefits. We examine the technical architecture, discuss key learnings, and look at future enhancements that can further transform network operations.

15 часов назад @ aws.amazon.com
End-to-End model training and deployment with Amazon SageMaker Unified Studio
End-to-End model training and deployment with Amazon SageMaker Unified Studio

In this post, we guide you through the stages of customizing large language models (LLMs) with SageMaker Unified Studio and SageMaker AI, covering the end-to-end process starting from data discovery to fine-tuning FMs with SageMaker AI distributed training, tracking metrics using MLflow, and then deploying models using SageMaker AI inference for real-time inference. We also discuss best practices to choose the right instance size and share some debugging best practices while working with JupyterLab notebooks in SageMaker Unified Studio.

15 часов назад @ aws.amazon.com
Kaltura reduces observability operational costs by 60% with Amazon OpenSearch Service
Kaltura reduces observability operational costs by 60% with Amazon OpenSearch Service

In this post, we share how Kaltura transformed its observability strategy and technological stack by migrating from a software as a service (SaaS) logging solution to Amazon OpenSearch Service—achieving higher log retention, a 60% reduction in cost, and a centralized platform that empowers multiple teams with real-time insights.

15 часов назад @ aws.amazon.com
AWS DMS validation: A custom serverless architecture
AWS DMS validation: A custom serverless architecture

AWS DMS customers might choose not to use the data validation feature provided by the AWS DMS service due to the time it takes to complete validation after a load, a large dataset transfer or a data reload, where business requires rapid availability of data in the target environment. As a result, you might opt to perform validation manually or use a single pass full load only validation, which requires additional effort and time. In this post, we walk you through how to build a custom AWS DMS data validation solution with AWS serverless services.

1 day, 8 hours назад @ aws.amazon.com
Optimize RAG in production environments using Amazon SageMaker JumpStart and Amazon OpenSearch Service
Optimize RAG in production environments using Amazon SageMaker JumpStart and Amazon OpenSearch Service

In this post, we show how to use Amazon OpenSearch Service as a vector store to build an efficient RAG application.

1 day, 8 hours назад @ aws.amazon.com
Advancing AI agent governance with Boomi and AWS: A unified approach to observability and compliance
Advancing AI agent governance with Boomi and AWS: A unified approach to observability and compliance

In this post, we share how Boomi partnered with AWS to help enterprises accelerate and scale AI adoption with confidence using Agent Control Tower.

1 day, 10 hours назад @ aws.amazon.com
Introducing GenAI-powered business description recommendations for custom assets in Amazon SageMaker Catalog
Introducing GenAI-powered business description recommendations for custom assets in Amazon SageMaker Catalog

Amazon SageMaker Catalog now supports generative AI-powered recommendations for business descriptions, including table summaries, use cases, and column-level descriptions for custom structured assets registered programmatically. In this post, we demonstrate how to generate AI recommendations for business descriptions for custom structured assets in SageMaker Catalog.

2 days, 7 hours назад @ aws.amazon.com
Use Amazon SageMaker Unified Studio to build complex AI workflows using Amazon Bedrock Flows
Use Amazon SageMaker Unified Studio to build complex AI workflows using Amazon Bedrock Flows

In this post, we demonstrate how you can use SageMaker Unified Studio to create complex AI workflows using Amazon Bedrock Flows.

2 days, 9 hours назад @ aws.amazon.com
Accelerating AI innovation: Scale MCP servers for enterprise workloads with Amazon Bedrock
Accelerating AI innovation: Scale MCP servers for enterprise workloads with Amazon Bedrock

In this post, we present a centralized Model Context Protocol (MCP) server implementation using Amazon Bedrock that provides shared access to tools and resources for enterprise AI workloads. The solution enables organizations to accelerate AI innovation by standardizing access to resources and tools through MCP, while maintaining security and governance through a centralized approach.

2 days, 11 hours назад @ aws.amazon.com
Choosing the right approach for generative AI-powered structured data retrieval
Choosing the right approach for generative AI-powered structured data retrieval

In this post, we explore five different patterns for implementing LLM-powered structured data query capabilities in AWS, including direct conversational interfaces, BI tool enhancements, and custom text-to-SQL solutions.

2 days, 11 hours назад @ aws.amazon.com
AWS
последний пост 13 часов назад
Revolutionizing drug data analysis using Amazon Bedrock multimodal RAG capabilities
Revolutionizing drug data analysis using Amazon Bedrock multimodal RAG capabilities

In this post, we explore how Amazon Bedrock's multimodal RAG capabilities revolutionize drug data analysis by efficiently processing complex medical documentation containing text, images, graphs, and tables.

2 days, 11 hours назад @ aws.amazon.com
Fluent Commerce’s approach to near-zero downtime Amazon Aurora PostgreSQL upgrade at 32 TB scale using snapshots and AWS DMS ongoing replication
Fluent Commerce’s approach to near-zero downtime Amazon Aurora PostgreSQL upgrade at 32 TB scale using snapshots and AWS DMS ongoing replication

Fluent Commerce, an omnichannel commerce platform, offers order management solutions that enable businesses to deliver seamless shopping experiences across various channels. Fluent uses Amazon Aurora PostgreSQL-Compatible Edition as its high-performance OLTP database engine to process their customers’ intricate search queries efficiently. Fluent Commerce strategically combined AWS-based upgrade approaches—including snapshot restores and AWS DMS ongoing replication—to seamlessly upgrade their 32 TB Aurora PostgreSQL databases with minimal downtime. In this post, we explore a pragmatic and cost-effective approach to achieve near-zero downtime during database upgrades. We explore the method of…

2 days, 12 hours назад @ aws.amazon.com
Accelerate SQL Server to Amazon Aurora migrations with a customizable solution
Accelerate SQL Server to Amazon Aurora migrations with a customizable solution

Migrating from SQL Server to Amazon Aurora can significantly reduce database licensing costs and modernize your data infrastructure. To accelerate your migration journey, we have developed a migration solution that offers ease and flexibility. You can use this migration accelerator to achieve fast data migration and minimum downtime while customizing it to meet your specific business requirements. In this post, we showcase the core features of the migration accelerator, demonstrated through a complex use case of consolidating 32 SQL Server databases into a single Amazon Aurora instance with near-zero downtime, while addressing technical debt through refactoring.

2 days, 12 hours назад @ aws.amazon.com
Build and deploy AI inference workflows with new enhancements to the Amazon SageMaker Python SDK
Build and deploy AI inference workflows with new enhancements to the Amazon SageMaker Python SDK

In this post, we provide an overview of the user experience, detailing how to set up and deploy these workflows with multiple models using the SageMaker Python SDK. We walk through examples of building complex inference workflows, deploying them to SageMaker endpoints, and invoking them for real-time inference.

3 days, 8 hours назад @ aws.amazon.com
Restore an Amazon RDS Custom for SQL Server instance using a backup from AWS Backup
Restore an Amazon RDS Custom for SQL Server instance using a backup from AWS Backup

AWS Backup supports the creation of on-demand backups of RDS Custom for SQL Server instances. However, the restoration of RDS Custom for SQL Server instances through AWS Backup is not natively supported at the time of writing this post. Nonetheless, this post presents a workaround solution that enables the successful restoration of RDS Custom for SQL Server instances using AWS Backup-created backups.

3 days, 8 hours назад @ aws.amazon.com
Better together: Amazon RDS for SQL Server and Amazon SageMaker Lakehouse, a generative AI data integration use case
Better together: Amazon RDS for SQL Server and Amazon SageMaker Lakehouse, a generative AI data integration use case

Generative AI solutions are transforming how businesses operate worldwide. It has now become paramount for businesses to integrate generative AI capabilities into their customer-facing services and applications. The challenge they often face is the need to use massive amounts of relational data hosted on SQL Server databases to contextualize these new generative AI solutions. In this post, we demonstrate how you can address this challenge by combining Amazon RDS for SQL Server and Amazon SageMaker Lakehouse.

3 days, 8 hours назад @ aws.amazon.com
Announcing Valkey GLIDE 2.0 with support for Go, OpenTelemetry, and batching
Announcing Valkey GLIDE 2.0 with support for Go, OpenTelemetry, and batching

AWS recently announced, in partnership with Google Cloud and the Valkey community, the general availability of Valkey General Language Independent Driver for the Enterprise (GLIDE) 2.0, the latest release. Valkey GLIDE is multi-language client library designed for reliability and performance. In this post, we discuss what Valkey GLIDE is and its key benefits, and then dive into its new enhancements.

3 days, 9 hours назад @ aws.amazon.com
Amazon Redshift Python user-defined functions will reach end of support after June 30, 2026
Amazon Redshift Python user-defined functions will reach end of support after June 30, 2026

The Amazon Redshift integration with AWS Lambda provides the capability to create Amazon Redshift Lambda user-defined functions (UDFs). Because Lambda UDFs provide these significant advantages in integration, flexibility, scalability, and security, we will be ending support for Python UDFs in Amazon Redshift. In this post, we walk you through how to migrate your existing Python UDFs to Lambda UDFs, set up monitoring and cost evaluations, and review key considerations for a smooth transition.

3 days, 10 hours назад @ aws.amazon.com
Enforce table level access control on data lake tables using AWS Glue 5.0 with AWS Lake Formation
Enforce table level access control on data lake tables using AWS Glue 5.0 with AWS Lake Formation

In this post, we show you how to enforce FTA control on AWS Glue 5.0 through Lake Formation permissions.

3 days, 13 hours назад @ aws.amazon.com
Context extraction from image files in Amazon Q Business using LLMs
Context extraction from image files in Amazon Q Business using LLMs

In this post, we look at a step-by-step implementation for using the custom document enrichment (CDE) feature within an Amazon Q Business application to process standalone image files. We walk you through an AWS Lambda function configured within CDE to process various image file types, and showcase an example scenario of how this integration enhances Amazon Q Business's ability to provide comprehensive insights.

3 days, 15 hours назад @ aws.amazon.com
Build AWS architecture diagrams using Amazon Q CLI and MCP
Build AWS architecture diagrams using Amazon Q CLI and MCP

In this post, we explore how to use Amazon Q Developer CLI with the AWS Diagram MCP and the AWS Documentation MCP servers to create sophisticated architecture diagrams that follow AWS best practices. We discuss techniques for basic diagrams and real-world diagrams, with detailed examples and step-by-step instructions.

3 days, 15 hours назад @ aws.amazon.com
Supercharging AWS database development with AWS MCP servers
Supercharging AWS database development with AWS MCP servers

Amazon Aurora, Amazon DynamoDB, and Amazon ElastiCache are popular choices for developers powering critical workloads, including global commerce platforms, financial systems, and real-time analytics applications. To enhance productivity, developers are supplementing everyday tasks with AI-assisted tools that understand context, suggest improvements, and help reason through system configurations. Model Context Protocol (MCP) is at the helm of this revolution, rapidly transforming how developers integrate AI assistants into their development pipelines. In this post, we explore the core concepts behind MCP and demonstrate how new AWS MCP servers can accelerate your database development through…

6 days, 8 hours назад @ aws.amazon.com
Leveling up Amazon RDS with AWS Graviton4: Benchmarks
Leveling up Amazon RDS with AWS Graviton4: Benchmarks

In November 2024, AWS introduced the latest evolution of its custom-designed ARM-based processors with Graviton4, delivering significant performance and efficiency improvements for Amazon RDS for PostgreSQL, MySQL, and MariaDB and Amazon Aurora. In this post, we focus on Amazon RDS for PostgreSQL and compare the performance of the new Graviton4 instances to both Graviton3 and Graviton2. Using benchmarks, we evaluate throughput, latency, and price-performance, showcasing the advantages of Graviton4 for modern database workloads.

6 days, 12 hours назад @ aws.amazon.com
AWS costs estimation using Amazon Q CLI and AWS Cost Analysis MCP
AWS costs estimation using Amazon Q CLI and AWS Cost Analysis MCP

In this post, we explore how to use Amazon Q CLI with the AWS Cost Analysis MCP server to perform sophisticated cost analysis that follows AWS best practices. We discuss basic setup and advanced techniques, with detailed examples and step-by-step instructions.

6 days, 13 hours назад @ aws.amazon.com
Tailor responsible AI with new safeguard tiers in Amazon Bedrock Guardrails
Tailor responsible AI with new safeguard tiers in Amazon Bedrock Guardrails

In this post, we introduce the new safeguard tiers available in Amazon Bedrock Guardrails, explain their benefits and use cases, and provide guidance on how to implement and evaluate them in your AI applications.

1 week назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Built a real-time trust scoring system for ethical marketing—can you suggest features or improvements to make it more impactful?
Built a real-time trust scoring system for ethical marketing—can you suggest features or improvements to make it more impactful?

Hey everyone! I recently participated in a hackathon with the theme “Building Trustworthy Marketing Automation”, which focuses on designing ethical, secure, and privacy-respecting AI/automation systems for digital marketing. 🔍 Here’s what I built: My project is called ZOBON – Sankalp Score. It’s a real-time, scalable system that evaluates public sentiment, trust, and bias in Indian EV brand campaigns (like Tata EV, Ola Electric, Ather). It uses: • Kafka for real-time data ingestion • Apache Spark for processing streaming sentiment signals • Airflow for orchestrating daily trust score pipelines • AWS for deployment and scale • GenAI (LLMs) for: • Summarizing campaigns and social chatter • In…

1 час назад @ reddit.com
Feeling cheated - Please help
Feeling cheated - Please help

Hello guys , I recently joined an organisation it’s a Bank as data engineer. During selection process - they asked lot of GenAI related questions and told me they are going to migrate to certain cloud soon and all work will be around that. But after joining I see they are still using onprem things , no genAI work . I feel cheated and it’s kind of depressing for me to see all this, as I have always worked on latest tech stacks Current tech stack they are using - sql , DBT core , airflow Will be moving to gcp in sometime. I don’t know what to do , should I switch to other companies as I am still under probation. Please help submitted by /u/Careless_Wafer2287 [link] [comments]

1 час назад @ reddit.com
Switching from QA to Data Engineer Internally – Need Advice
Switching from QA to Data Engineer Internally – Need Advice

Hey all, I’m a QA Engineer with strong SQL skills, mostly working on API testing and DB validation. I’m very interested in moving into a Data Engineering role within my current company which is one of the top MNCs Has anyone here made a similar transition? How should I approach my internal team or manager about this? submitted by /u/Educational-Cap-3134 [link] [comments]

1 час назад @ reddit.com
Technical Assessment Algorithms
Technical Assessment Algorithms

I have a technical screen where they’ll be testing me on basic LC question specifically around algorithms in python. I’ve posted on this sub quite a few times about my lack of python experience but I kick ass at SQL. The role is for an analytics engineer and I was told it’s primarily SQL focused so I’m not sure why they’re having me do this instead of testing my SQL. Anyway my question is if it’s realistic that I’d be able to pass if I grind through by practicing LC? It’s next Thursday. I’ve learned some python in past so it’s not like I’m going into this brand spanking new. I just don’t have the experience in terms of being able to write it efficiently and fluidly. submitted by /u/burningb…

3 часа назад @ reddit.com
Over 350 Practice Questions for dbt Analytics Engineering Certification – Free Access Available
Over 350 Practice Questions for dbt Analytics Engineering Certification – Free Access Available Over 350 Practice Questions for dbt Analytics Engineering Certification – Free Access Available

Hey fellow data folks 👋 If you're preparing for the dbt Analytics Engineering Certification, I’ve created a focused set of 350+ practice questions to help you master the key topics. It’s part of a platform I built called FlashGenius, designed to help learners prep for tech and data certifications with: ✅ Topic-wise practice exams 🔁 Flashcards to drill core dbt concepts 📊 Performance tracking to help identify weak areas You can try the 10 questions per day for free. The full set covers the dbt Analytics Engineering Best Practices, dbt Fundamentals and Architecture, Data Modeling and Transformations, and more—aligned with the official exam blueprint. Would love for you to give it a shot and l…

4 часа назад @ reddit.com
Hel a SWE get better at SQL
Hel a SWE get better at SQL

Hello all I'm an engineer whose recently migrated from SWE to DE. I've worked for approx 5 years in SWE before moving to DE. Before moving to DE, I was decent at SQL. Currently working on Pyspark so SQL concepts are important for me as I'd like to think in terms of the SQL query and translate that into spark commands / code. So the question is, how do I get better at writing / thinking SQL? With the rise of AI, it it even an important skill anymore as well? Do let me know Currently, I'm working on Datalemur (Free) and Danny's data challenge to improve my understanding of SQL. I'm right now able to solve medium leetcode style SQL questions anywhere from 5-20 minutes (20 minutes if I do not k…

5 часов назад @ reddit.com
Senior+ level questions?
Senior+ level questions?

So I've been tagged in on a bunch of interviews and told to ask higher level questions as a differentiator between senior and above senior roles. I've been asking some stack and process level things: e.g. what is skew, possible solutions and approaches with progressive layers of problems. Here's a hypothetical pipeline, now the CEO want's to add streaming data type X to it. What do you do? What are pro/cons of NoSQL databases? Here's an arch, using NoSQL as a primary data-store has led to these problems, how do you mitigate them? Any other good questions? I need to be really clear here - some of this is title inflation. I would consider this to be Senior level but whatever. submitted by /u/…

6 часов назад @ reddit.com
My company has every cloud and there is a boxing match to take over other's data lakes
My company has every cloud and there is a boxing match to take over other's data lakes

At my workplace, we are part of a large organization that has undergone numerous acquisitions, and we utilize AWS, GCP, Azure, Oracle Cloud, and many of our own data centers. We run everything from MongoDB to PostgreSQL, and Azure SQL to on-premises SQL Server, Oracle, BigQuery, and Redshift — you name it, someone has bought it and it's being used for something. We have every BI tool that has ever been sold, as well as most SaaS solutions you could name. I'm assuming this is common in large matrixed organizations. I bring this up because people often get caught up in tools and stacks in data engineering, but the ultimate goal is how well you serve your customers. You can deliver good servic…

8 часов назад @ reddit.com
How do you handle deadlines when everything’s unpredictable?
How do you handle deadlines when everything’s unpredictable?

with data science projects, no matter how much you plan, something always pops up and messes with your schedule. i usually add a lot of extra time, sometimes double or triple what i expect, to avoid last-minute stress. how do you handle this? do you give yourself more time upfront or set tight deadlines and adjust later? how do you explain the uncertainty when people want firm dates? i’ve been using tools like DeepSeek to speed up some of the repetitive debugging and code searching, but it hasn’t worked well for me. wondering what other tools people use or recommend for this kind of stuff. anyone else deal with this? how do you keep from burning out while managing it all? would be good to h…

8 часов назад @ reddit.com
How are you integrating Neo4j into your systems and ensuring data security?
How are you integrating Neo4j into your systems and ensuring data security?

Just wondering what the process is for this. submitted by /u/throwaway0134hdj [link] [comments]

9 часов назад @ reddit.com
Setting up an On-Prem Big Data Cluster in 2026—Need Advice on Hive Metastore & Table Management
Setting up an On-Prem Big Data Cluster in 2026—Need Advice on Hive Metastore & Table Management

Hey folks, We're currently planning to deploy an on-premise big data cluster using Kubernetes. Our core stack includes MinIO, Apache Spark, probably Trino, some Scheduler for backend/compute as well as Jupyter + some web based SQL UI as front ends. Here’s where I’m hitting a roadblock: table management, especially as we scale. We're expecting a ton of Delta tables, and I'm unsure how best to track where each table lives and whether it's in Hive, Delta, or Iceberg format. I was thinking of introducing Hive Metastore (HMS) as a central point of truth for all table definitions, so both analysts and data engineers can rely on it when interacting with Spark. But honestly, the HMS documentation f…

9 часов назад @ reddit.com
Want to help shape Databricks products & experiences? Join our UX Research panel
Want to help shape Databricks products & experiences? Join our UX Research panel

Hi there! The UX Research team at Databricks is building a panel of people who want to share feedback to help shape the future of the Databricks website. By joining our UX Research panel, you’ll get occasional invites to participate in remote research studies (like interviews or usability tests). Each session is optional, and if you participate, you’ll receive a thank you gift card (usually $50-$150 depending on the study). Who we’re looking: People who work with data (data engineers, analysts, scientists, platform admins, etc.) Or anyone experienced or interested in modern data tools (Snowflake, BigQuery, Spark, etc.) Interested? Fill out this quick 2 minute form to join the panel. If you’…

9 часов назад @ reddit.com
Data Without Direction Retail Needs Better Questions Not More
Data Without Direction Retail Needs Better Questions Not More Data Without Direction Retail Needs Better Questions Not More

submitted by /u/Subject-Insect7219 [link] [comments]

10 часов назад @ reddit.com
How do I transition from technical writer (6 years) to data engineering?
How do I transition from technical writer (6 years) to data engineering?

With over six years of experience as a technical writer, I initially entered the field by circumstance rather than choice, but have developed strong practical skills over time. In the past two years, I realized that technical writing no longer excites me, and I've become increasingly interested in data engineering and data science. To pursue this new direction, I’ve completed several courses and have been actively learning, aiming to transition into these fields. Despite my efforts—including applying for internal transfers and external roles—I’ve found it challenging to break in, as most positions require prior experience in data engineering. I understand that making a career switch is diff…

11 часов назад @ reddit.com
DAMA-DMBOK
DAMA-DMBOK

Hi all - I work in data privacy on the legal (80%) and operations (20%) end. Have you found DAMA-DMBOK to be a useful resource and framework? I’m mostly a NIST guy but would be very interested in your impressions and if it’s a worthwhile body to explore. Thx! submitted by /u/Tough_Conference_350 [link] [comments]

11 часов назад @ reddit.com
Towards Data Science
последний пост 6 часов назад
Fairness Pruning: Precision Surgery to Reduce Bias in LLMs
Fairness Pruning: Precision Surgery to Reduce Bias in LLMs

From unjustified shootings to neutral stories: how to fix toxic narratives with selective pruning

The post Fairness Pruning: Precision Surgery to Reduce Bias in LLMs appeared first on Towards Data Science.

6 часов назад @ towardsdatascience.com
GraphRAG in Action: A Simple Agent for Know-Your-Customer Investigations
GraphRAG in Action: A Simple Agent for Know-Your-Customer Investigations

This blog post provides a hands-on guide for AI engineers and developers on how to build an initial KYC agent prototype with the OpenAI Agents SDK. We'll explore how to equip our agent with a suite of tools (including MCP Server tools) to uncover and investigate potential fraud patterns.

The post GraphRAG in Action: A Simple Agent for Know-Your-Customer Investigations appeared first on Towards Data Science.

10 часов назад @ towardsdatascience.com
Taking ResNet to the Next Level
Taking ResNet to the Next Level

Understanding how ResNeXt improves upon ResNet, with a comprehensive PyTorch implementation guide

The post Taking ResNet to the Next Level appeared first on Towards Data Science.

1 day, 1 hour назад @ towardsdatascience.com
Software Engineering in the LLM Era
Software Engineering in the LLM Era

On growing new software engineers, even when it’s inefficient

The post Software Engineering in the LLM Era appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
Interactive Data Exploration for Computer Vision Projects with Rerun
Interactive Data Exploration for Computer Vision Projects with Rerun

Analyse dynamic signals in a computer vision pipeline in Python using OpenCV and Rerun

The post Interactive Data Exploration for Computer Vision Projects with Rerun appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
Four AI Minds in Concert: A Deep Dive into Multimodal AI Fusion
Four AI Minds in Concert: A Deep Dive into Multimodal AI Fusion

Introduction: From System Architecture to Algorithmic Execution In my previous article, I explored the architectural foundations of the VisionScout multimodal AI system, tracing its evolution from a simple object detection model into a modular framework. There, I highlighted how careful layering, module boundaries, and coordination strategies can break down complex multimodal tasks into manageable components. […]

The post Four AI Minds in Concert: A Deep Dive into Multimodal AI Fusion appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
Why We Should Focus on AI for Women
Why We Should Focus on AI for Women

A simulation study on gender disparities entrenched in AI.

The post Why We Should Focus on AI for Women appeared first on Towards Data Science.

1 day, 13 hours назад @ towardsdatascience.com
How to Maximize Technical Events – NVIDIA GTC Paris 2025
How to Maximize Technical Events – NVIDIA GTC Paris 2025

Learn about my experience at NVIDIA GTC Paris 25, and how you can get the most out of similar technical events

The post How to Maximize Technical Events – NVIDIA GTC Paris 2025 appeared first on Towards Data Science.

1 day, 13 hours назад @ towardsdatascience.com
How to Access NASA’s Climate Data — And How It’s Powering the Fight Against Climate Change Pt. 1
How to Access NASA’s Climate Data — And How It’s Powering the Fight Against Climate Change Pt. 1

From architectural design to food security. The post How to Access NASA’s Climate Data — And How It’s Powering the Fight Against Climate Change Pt. 1 appeared first on Towards Data Science.

2 days, 9 hours назад @ towardsdatascience.com
STOP Building Useless ML Projects – What Actually Works
STOP Building Useless ML Projects – What Actually Works

How to find machine learning projects that will get you hired.

The post STOP Building Useless ML Projects – What Actually Works appeared first on Towards Data Science.

2 days, 11 hours назад @ towardsdatascience.com
An Introduction to Remote Model Context Protocol Servers
An Introduction to Remote Model Context Protocol Servers

Writing, testing and using them.

The post An Introduction to Remote Model Context Protocol Servers appeared first on Towards Data Science.

2 days, 11 hours назад @ towardsdatascience.com
Implementing IBCS rules in Power BI
Implementing IBCS rules in Power BI

Is there a way to use the out-of-the-box features of Power BI to be IBCS compliant?

The post Implementing IBCS rules in Power BI appeared first on Towards Data Science.

2 days, 12 hours назад @ towardsdatascience.com
Revisiting Benchmarking of Tabular Reinforcement Learning Methods
Revisiting Benchmarking of Tabular Reinforcement Learning Methods

Introducing a modular framework and improving model performance.

The post Revisiting Benchmarking of Tabular Reinforcement Learning Methods appeared first on Towards Data Science.

2 days, 13 hours назад @ towardsdatascience.com
From Reporting to Reasoning: How AI Is Rewriting the Rules of Data App Development
From Reporting to Reasoning: How AI Is Rewriting the Rules of Data App Development

Explore the shift from static reports to intelligent apps with our first ebook.

The post From Reporting to Reasoning: How AI Is Rewriting the Rules of Data App Development appeared first on Towards Data Science.

2 days, 13 hours назад @ towardsdatascience.com
Prescriptive Modeling Makes Causal Bets – Whether you know it or not!
Prescriptive Modeling Makes Causal Bets – Whether you know it or not!

An explanation of the causal assumption implicit in prescriptive modeling and how to satisfy it.

The post Prescriptive Modeling Makes Causal Bets – Whether you know it or not! appeared first on Towards Data Science.

3 days, 9 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 month, 1 week назад
12 Data Quality Metrics That ACTUALLY Matter
12 Data Quality Metrics That ACTUALLY Matter

How to improve your Data Quality Metrics and why it matters for your business.

1 month, 1 week назад @ montecarlodata.com
Best Data Observability Tools (with RFP Template)
Best Data Observability Tools (with RFP Template)

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

1 month, 3 weeks назад @ montecarlodata.com
Data Vault Architecture: Everything You Need to Know Before You Build
Data Vault Architecture: Everything You Need to Know Before You Build

How Pie Insurance improves data quality across their data vault architecture.

1 month, 4 weeks назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

2 months, 1 week назад @ montecarlodata.com
Data Observability: How to Build Your Own Data Anomaly Detectors Using SQL
Data Observability: How to Build Your Own Data Anomaly Detectors Using SQL

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

2 months, 2 weeks назад @ montecarlodata.com
How to Conduct Data Incident Management for Data Teams
How to Conduct Data Incident Management for Data Teams

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

2 months, 2 weeks назад @ montecarlodata.com
5 Generative AI Use Cases Companies Should Know About in 2025
5 Generative AI Use Cases Companies Should Know About in 2025

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

3 months назад @ montecarlodata.com
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

3 months назад @ montecarlodata.com
What Good Data Product Managers Do — And Why You Probably Need One
What Good Data Product Managers Do — And Why You Probably Need One

A data product manager is responsible for data democratization and increasing the time to value for the data itself.

3 months назад @ montecarlodata.com
Are Apache Iceberg Tables Right For Your Data Lake? 6 Reasons Why.
Are Apache Iceberg Tables Right For Your Data Lake? 6 Reasons Why.

Everything you need to know when considering Apache Iceberg tables, one of hottest new tools in data.

3 months, 1 week назад @ montecarlodata.com
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

9 months, 2 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 3 weeks назад
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и нап
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и нап

Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.Судя по всему релиз 3.0.3 не за горами.

3 weeks назад @ t.me
Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow
Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow

Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!

3 weeks назад @ t.me
Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и о
Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и о

Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2

3 weeks, 2 days назад @ t.me
⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если
⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если ⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если

⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опытаЧто будет на вебинаре?🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;🟠 Лайфхаки трудоустройства:— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;— обсудите, какие от…

3 weeks, 6 days назад @ t.me
Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (неско
Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (неско

Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:— High-Performance Python: Faster Type Checking and Free Threaded Execution— Building AI Applications the Pydantic Way— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku— Evolving Django: What We Learned by Integrating MongoDB— Accelerated Python: The Community and EcosystemПолн…

1 month, 1 week назад @ t.me
Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigge
Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigge

Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigger-based scheduling)— Consistent timing metrics across all backends— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)

1 month, 2 weeks назад @ t.me
The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practi
The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practi

The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?

2 months назад @ t.me
Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она н
Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она н

Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)Подробности читайте здесь.

2 months, 1 week назад @ t.me
Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали
Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали

Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали его у себя?

2 months, 3 weeks назад @ t.me
На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼
На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼 На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼

На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼

2 months, 3 weeks назад @ t.me
Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.
Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.

Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.

3 months назад @ t.me
Привет!За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:— data engineeri
Привет!За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:— data engineeri Привет!За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:— data engineeri

Привет!За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:— data engineering— data processing— distributed systems— ml/ai engineeringУ меня возникла идея сделать аналог hackernews только по нашей теме. Там мы вместе сможем делиться интересным материалом, обсуждать и коллективно оценивать его.Я даже наговновайбкодил прототип 🤓, он сверху 🔝Что скажете? Накидайте мнений в комментах.

3 months назад @ t.me
Прямо в сердце 😄
Прямо в сердце 😄 Прямо в сердце 😄

Прямо в сердце 😄

4 months, 3 weeks назад @ t.me
Deep Dive into LLMs like ChatGPTНа канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал бол
Deep Dive into LLMs like ChatGPTНа канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал бол

Deep Dive into LLMs like ChatGPTНа канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов просмотров!

4 months, 3 weeks назад @ t.me
AI Agent CourseНа следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в прода
AI Agent CourseНа следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в прода

AI Agent CourseНа следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.

5 months назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 10 часов назад
Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд. Согласно Гуглу
Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд. Согласно Гуглу Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд. Согласно Гуглу

Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд. Согласно Гуглу у них около 1000 сотрудников.

10 часов назад @ t.me
В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем кр
В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем кр В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем кр

В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем круче университет, тем дороже. Вроде бы все логично.Но что происходит последние годы? Цитата из подкаста:«Потому что обещание, которое мы дали в Америке — это Американская мечта: если ты поступишь в колледж, ты выпустишься, будешь зарабатывать, у тебя будет стабильность, ты сможешь купить дом.»Я думаю сейчас это относится не только к образованию в США, но и во всем мире. Известный факт, что большинство выпускников в США выпускаются с огромны…

4 days, 9 hours назад @ t.me
В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных. Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает
В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных. Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает

В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных. Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает продуктивность (генерация кода, документации и тп), но он несет в себе риски, так как уже много раз было новости про косяки в безопасности, про утечку персональных данных и пароли в открытом доступе.Изначально мы все радовались (радуемся) vibe coding, но часто под этим подразумевается бездумная генерация кода по принципу %як-%як и продакшн. Поэтому автор предлагает другой термин - "Augmented coding” - то есть используем GenAI только как по…

5 days, 8 hours назад @ t.me
В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.Под куполом цитата:Books are the legacies that a great genius leaves to mankind, which are delivered down from
В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.Под куполом цитата:Books are the legacies that a great genius leaves to mankind, which are delivered down from В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.Под куполом цитата:Books are the legacies that a great genius leaves to mankind, which are delivered down from

В Чикагском Культорном центре, есть зал - Preston Bradley Hall с куполом из витражей Tiffany - крупнейшим в мире стеклянным куполом ручной работы.Под куполом цитата:Books are the legacies that a great genius leaves to mankind, which are delivered down from generation to generation as presents to posterity.”«Книги — это наследие, которое великий гений оставляет человечеству и которое передаётся из поколения в поколение как дар потомкам.»Несмотря на обилие контента, видео, аудио, книги все еще являются самым лучшим способом, чтобы делиться информацией, учиться, ну и оставлять дар потомкам.

5 days, 11 hours назад @ t.me
Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:😇Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.Amazon - одна из лучших компаний, где мне доводи
Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:😇Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.Amazon - одна из лучших компаний, где мне доводи Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:😇Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.Amazon - одна из лучших компаний, где мне доводи

Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:😇Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.Amazon - одна из лучших компаний, где мне доводилось работать. Там было много сообществ, и они реально работали.Я сам руководил тремя из них:BI Tech Talks - я унаследовал это сообщество от другого инженера, который стал SDM-менеджером. В нём было больше 90 BI/DE-команд со всего мира. Я старался проводить вебинары, на которых команды делились опытом, а иногда приглашал титулованных спикеров из LinkedIn. Amazon открывал все двери.Subsidiary BI Collaboration - сообщество, в которое входили…

6 days, 13 hours назад @ t.me
Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI. Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI. Сегодня увидел в канале Минцифры пост п
Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI. Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI. Сегодня увидел в канале Минцифры пост п

Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI. Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI. Сегодня увидел в канале Минцифры пост про бесплатные курсы для школьников, обязательно воспользуйтесь!Так же сегодня увидел цитату основателя антропика (claude) о том, что в 2026 году мы можем увидеть компанию единорог, в которой всего один основатель, а все остальное завязано на AI. Хочу летом поближе детей познакомить с концептом vibe-coding и надеюсь они смогут закодить, что-нибудь прикольное. Думать абстракциями и давать инструкции (prompts) вместо написания кода намного ве…

1 week назад @ t.me
Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025 Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы. Расписание 11:00 – 13:30 — доклады о ключевых продуктовых
Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025  Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы.  Расписание 11:00 – 13:30 — доклады о ключевых продуктовых Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025 Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы. Расписание 11:00 – 13:30 — доклады о ключевых продуктовых

Сегодня в 11:00! Прямой эфир конференции VK Cloud Conf 2025 Подключайтесь к просмотру конференции. Вас ждут актуальные облачные технологии, новые продукты, исследования рынка и практические кейсы. Расписание 11:00 – 13:30 — доклады о ключевых продуктовых релизах VK Cloud, а также отчет по большому исследованию рынка облачных сервисов России.Смотреть трансляцию 13:30 – 14:30 — перерыв. 14:30 – 16:30 — два потока докладов: «Инфраструктура и разработка» и «Данные». Выбирайте самые интересные для себя доклады. Смотреть поток «Инфраструктура и разработка» Смотреть поток «Данные» 16:30 – 17:30 — перерыв. 17:30 – 19:30 — технологический трек от экспертов с докладами о решении конкретных рабочих ке…

1 week назад @ t.me
Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.Microsoft абсолютный лидер с Power BI и Fabric.Следом Tableau и Looker, как проверенные временем надежные BI инструменты. Sigm
Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.Microsoft абсолютный лидер с Power BI и Fabric.Следом Tableau и Looker, как проверенные временем надежные BI инструменты. Sigm Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.Microsoft абсолютный лидер с Power BI и Fabric.Следом Tableau и Looker, как проверенные временем надежные BI инструменты. Sigm

Свежий квадрант Gartner по BI системам. Как видите MicroStrategy все еще в нем, но уже Strategy, несмотря на их увлечение bitcoin.Microsoft абсолютный лидер с Power BI и Fabric.Следом Tableau и Looker, как проверенные временем надежные BI инструменты. Sigma BI замыкает список с конца, мне очень нравится инструмент, но мы платим 50k $ в год только platform fee в одном стартапе👹 (быть в таком уважаемом квадранте не бесплатное удовольствие для вендора)Не хватает тут Metabase и Superset, а зря. Помню как раньше тут был отечественный Прогноз… кстати как он поживает?

1 week, 1 day назад @ t.me
Наконец-то норм курсы по BI от MicroStrategy:🇷🇺 Bitcoin 102: Corporate Adoption and the Bitcoin Standard🇷🇺 Bitcoin 103: Financial Fluency for Bitcoin🇷🇺 Bitcoin 104: Bitcoin in the Corporate Treasury and the Strategy Story💰
Наконец-то норм курсы по BI от MicroStrategy:🇷🇺 Bitcoin 102: Corporate Adoption and the Bitcoin Standard🇷🇺 Bitcoin 103: Financial Fluency for Bitcoin🇷🇺 Bitcoin 104: Bitcoin in the Corporate Treasury and the Strategy Story💰

Наконец-то норм курсы по BI от MicroStrategy:🇷🇺 Bitcoin 102: Corporate Adoption and the Bitcoin Standard🇷🇺 Bitcoin 103: Financial Fluency for Bitcoin🇷🇺 Bitcoin 104: Bitcoin in the Corporate Treasury and the Strategy Story💰

1 week, 1 day назад @ t.me
Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.
Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах. Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.

Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.

1 week, 2 days назад @ t.me
Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил
Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил

Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил

1 week, 2 days назад @ t.me
Каждую неделю я стараюсь слушать подкаст All-in, где обеспеченные мужички, которые срубили бабла на бывших IPO обсуждают как чего там в индустрии, куда все двигается и тому подобное. Они все еще продолжают инвестировать. Я уже к ним привык, прикольно их сл
Каждую неделю я стараюсь слушать подкаст All-in, где обеспеченные мужички, которые срубили бабла на бывших IPO обсуждают как чего там в индустрии, куда все двигается и тому подобное. Они все еще продолжают инвестировать. Я уже к ним привык, прикольно их сл Каждую неделю я стараюсь слушать подкаст All-in, где обеспеченные мужички, которые срубили бабла на бывших IPO обсуждают как чего там в индустрии, куда все двигается и тому подобное. Они все еще продолжают инвестировать. Я уже к ним привык, прикольно их сл

Каждую неделю я стараюсь слушать подкаст All-in, где обеспеченные мужички, которые срубили бабла на бывших IPO обсуждают как чего там в индустрии, куда все двигается и тому подобное. Они все еще продолжают инвестировать. Я уже к ним привык, прикольно их слушать и смотреть на 1.2х, пока в тренажерке. В последнее время они ушли в политику и обсуждали , выборы, войны, президентов США и тп. Что стало скучно их смотреть.Например, на прошлом выпуске был Такер Карлсон, который рекламировал свой нюхательный табак и делился мнениям по протестам в Америке. Они обсуждали, норм давить людей, кто камнями в полицию кидают, или уже перебор. И другие выпуски были в меньшей степени про технологии и рынки.И …

1 week, 3 days назад @ t.me
Tableau Lego и невозможные визуализации.В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эк
Tableau Lego и невозможные визуализации.В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций.  Эк Tableau Lego и невозможные визуализации.В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эк

Tableau Lego и невозможные визуализации.В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эксперты могут посмотреть на любую работу и примерно рассказать как она сделана. В периметре Tableau существуют "невозможные визуализации" - такие, которые мало кто может повторить без мануала, и до их создания построение считалось невозможным. Обычно на скриншот с такой визуализацией говорят что "это сделано не в Табло".Сегодня расскажу о своей визуализации Tableau Lego. Ей 5 лет, она стала классикой в своём сегменте, но не каждый Tableau эк…

1 week, 3 days назад @ t.me
Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.IT‑специальность с экспертизой Яндекса + диплом магистра гособразца
Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.IT‑специальность с экспертизой Яндекса + диплом магистра гособразца Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.IT‑специальность с экспертизой Яндекса + диплом магистра гособразца

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ. Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.IT‑специальность с экспертизой Яндекса + диплом магистра гособразца = новая ступень в карьере. Приёмная кампания уже идёт!Все подробности — на дне открытых дверей:— Разбор совместной программы с НИЯУ МИФИ.— Всё о формате прикладной онлайн-магистратуры: что взяли от классического высшего, а что добавили из опыта специалистов Яндекса.— Общение с экспертами из вуза и ответы на вопросы.— Всё про поступление: сроки, экзамены, документы, оплата и образовательный кредит.▷ Ждём вас 26 июня в 19:00 мск.→ Зарегистри…

1 week, 3 days назад @ t.me
Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS). SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Ser
Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS). SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Ser Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS). SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Ser

Оказывается есть еще очень много компаний, которые используют Microsoft Reporting Service (SSRS). SSRS (SQL Server Reporting Services) был создан Microsoft и впервые представлен как часть SQL Server 2000 в 2004 году (в составе SQL Server 2000 Reporting Services add-on, релиз - январь 2004). Основная цель - дать пользователям SQL Server инструмент для создания отчётов, который интегрируется с экосистемой Microsoft и конкурирует с Crystal Reports (в то время популярным решением).И вот, на конференции sqlBits в июне Microsoft объявил о завершении поддержки SSRS. В новом SQL Server будет уже Power BI Report Server (PBIRS), который будет работать с ключом лицензии SSRS.Но обещана поддержка до 20…

1 week, 5 days назад @ t.me
Left Join Left Join
последний пост 1 day, 18 hours назад
Бенчмарк для дата-командВсегда интересно, а иногда и полезно, посмотреть, как другие решают те же задачи, с которыми многим из нас приходится сталкиваться регулярно.🔜 Например, создание дата-команды в компании — сколько человек в ней должно быть? Какое дол
Бенчмарк для дата-командВсегда интересно, а иногда и полезно, посмотреть, как другие решают те же задачи, с которыми многим из нас приходится сталкиваться регулярно.🔜 Например, создание дата-команды в компании — сколько человек в ней должно быть? Какое дол

Бенчмарк для дата-командВсегда интересно, а иногда и полезно, посмотреть, как другие решают те же задачи, с которыми многим из нас приходится сталкиваться регулярно.🔜 Например, создание дата-команды в компании — сколько человек в ней должно быть? Какое должно быть распределение ролей, сколько нужно аналитиков, а сколько — инженеров? На сайте databenchmarks.com можно увидеть, как на эти вопросы ответили в компаниях вроде Zoom, Notion, Tinder и так далее — там много громких названий. Авторы исследования собрали данные из открытых источников вроде LinkedIn, верифицировали через своих инсайдеров в индустрии и отобразили на графиках: 🔵размер дата-команды относительно всей компании;🔵состав команд…

1 day, 18 hours назад @ t.me
Эксперимент с LLM привел к экзистенциальном кризису Anthropic объединилась с Andon Labs, чтобы проверить, насколько их Claude Sonnet готов полноценно отбирать работу у людей — не просто выполнять отдельные запросы, а брать на себя все обязанности от и до.
Эксперимент с LLM привел к экзистенциальном кризису Anthropic объединилась с Andon Labs, чтобы проверить, насколько их Claude Sonnet готов полноценно отбирать работу у людей — не просто выполнять отдельные запросы, а брать на себя все обязанности от и до.

Эксперимент с LLM привел к экзистенциальном кризису Anthropic объединилась с Andon Labs, чтобы проверить, насколько их Claude Sonnet готов полноценно отбирать работу у людей — не просто выполнять отдельные запросы, а брать на себя все обязанности от и до.Они создали LLM-агента Claudius, который должен быть отвечать за работу вендингового автомата в офисе Anthropic: связываться с «поставщиками» (их роль выполняли сотрудники Andon Labs), собирать отзывы и предложения у покупателей в Slack, формировать ассортимент и выставлять цены.Со своими задачами он справился неважно. Денег Claudius не заработал, страдал от галлюцинаций (о них ниже) и принимал не слишком удачные решения. Например, ввести с…

3 days, 19 hours назад @ t.me
DataChain: AI-хранилище для текстов, картинок, видео и не толькоТак совпало, что эта неделя у нас оказалась посвящена разным способам хранения данных. Не будет отходить от темы и закончим на DataChain — AI-хранилище для преобразования и анализа неструктури
DataChain: AI-хранилище для текстов, картинок, видео и не толькоТак совпало, что эта неделя у нас оказалась посвящена разным способам хранения данных. Не будет отходить от темы и закончим на DataChain — AI-хранилище для преобразования и анализа неструктури

DataChain: AI-хранилище для текстов, картинок, видео и не толькоТак совпало, что эта неделя у нас оказалась посвящена разным способам хранения данных. Не будет отходить от темы и закончим на DataChain — AI-хранилище для преобразования и анализа неструктурированных данных.🔵DataChain интегрируется с внешним хранилищем вроде S3, где у вас лежат ваши тексты, картинки, видео и прочие данные. Он создает свой внутренний датасет, где собирает информацию обо всех этих объектах и дополняет мета-данными, которые генерирует с помощью ИИ. 🔵Затем вы с этими данными можете делать почти что угодно — трансформировать, фильтровать, группировать, искать файлы по заданным критериям (например, выбрать только вс…

6 days, 18 hours назад @ t.me
Каким облачным хранилищем вы пользуетесь? Если Skype (RIP) — лучший файлообменник, то Youtube — лучшее облачное хранилище. Да, мы продолжаем тему любопытных способов хранения данных. Если печатать их на бумаге не с руки, то как насчет зашифровать в видео и
Каким облачным хранилищем вы пользуетесь? Если Skype (RIP) — лучший файлообменник, то Youtube — лучшее облачное хранилище. Да, мы продолжаем тему любопытных способов хранения данных. Если печатать их на бумаге не с руки, то как насчет зашифровать в видео и

Каким облачным хранилищем вы пользуетесь? Если Skype (RIP) — лучший файлообменник, то Youtube — лучшее облачное хранилище. Да, мы продолжаем тему любопытных способов хранения данных. Если печатать их на бумаге не с руки, то как насчет зашифровать в видео и залить на YouTube? Алгоритм такой:🔵Упаковать все данные в архив.🔵Прогнать архив через специальный софт отсюда. 🔵Впечатлиться размером получившегося видео, которое, скорее всего, будет больше исходного архива. Визуалом впечатлиться вряд ли получится, потому что видео выглядят на первый взгляд, как черно-белые помехи на экране. 🔵Залить видео на Youtube. Желательно ограничить доступ, если не хотите делиться своими данными со всем интернетом.…

1 week, 1 day назад @ t.me
Где хранить данные? Локально или в облаке? SSD или HDD? Облако может упасть, диски подвержены ошибкам и сбоям, которые могут повредить данные, зато рукописи, как известно, не горят. Разные способы кодирования позволяют довольно плотно упаковать данные на л
Где хранить данные? Локально или в облаке? SSD или HDD? Облако может упасть, диски подвержены ошибкам и сбоям, которые могут повредить данные, зато рукописи, как известно, не горят. Разные способы кодирования позволяют довольно плотно упаковать данные на л

Где хранить данные? Локально или в облаке? SSD или HDD? Облако может упасть, диски подвержены ошибкам и сбоям, которые могут повредить данные, зато рукописи, как известно, не горят. Разные способы кодирования позволяют довольно плотно упаковать данные на листе бумаги, а некоторые потом (теоретически) даже можно прочитать и декодировать самостоятельно без сканера или камеры. 🔵Первый же скрин в этом посте — программа, закодированная по стандарту Base64. Этот метод называется OCR (optical character recognition, оптическое распознавание символов). У автора скрина, в зависимости от размера шрифта и стандарта кодирования, получалось «упаковать» до 17 килобайт на листе А4. Правда, чем убористее те…

1 week, 3 days назад @ t.me
У аналитиков свои марафоныС приходом тепла все парки (и соцсети заодно) захватывают любители бега, хвастаются медалями и преодоленными километрами. А на выходных еще и дороги перекрывают для очередного городского марафона.У нас тоже есть свой марафон — тол
У аналитиков свои марафоныС приходом тепла все парки (и соцсети заодно) захватывают любители бега, хвастаются медалями и преодоленными километрами. А на выходных еще и дороги перекрывают для очередного городского марафона.У нас тоже есть свой марафон — тол У аналитиков свои марафоныС приходом тепла все парки (и соцсети заодно) захватывают любители бега, хвастаются медалями и преодоленными километрами. А на выходных еще и дороги перекрывают для очередного городского марафона.У нас тоже есть свой марафон — тол

У аналитиков свои марафоныС приходом тепла все парки (и соцсети заодно) захватывают любители бега, хвастаются медалями и преодоленными километрами. А на выходных еще и дороги перекрывают для очередного городского марафона.У нас тоже есть свой марафон — только особенный, специально для тех, кто бегать не хочет и дороги перекрывать не собирается.🔜 Это, конечно, «Марафон знаний» — бесплатный курс по SQL и Python, разработанный нашей командой.Курс рассчитан на людей, которые начинают знакомство с аналитикой — для студентов, джунов и тех, кто только задумывается о работе в этой сфере.«Марафон знаний» не просто дает теорию по SQL и Python, но и помогает получше узнать, что из себя представляет пр…

1 week, 6 days назад @ t.me
Почему разговаривать с компьютерами — плохая идеяНо не всегда.Скорое наступление эры умных компьютеров, с которыми можно говорить, как с человеком, предсказывают еще с момента появления голосовых ассистентов вроде Siri. Потом были умные колонки вроде Alexa
Почему разговаривать с компьютерами — плохая идеяНо не всегда.Скорое наступление эры умных компьютеров, с которыми можно говорить, как с человеком, предсказывают еще с момента появления голосовых ассистентов вроде Siri. Потом были умные колонки вроде Alexa

Почему разговаривать с компьютерами — плохая идеяНо не всегда.Скорое наступление эры умных компьютеров, с которыми можно говорить, как с человеком, предсказывают еще с момента появления голосовых ассистентов вроде Siri. Потом были умные колонки вроде Alexa, а вот теперь — ИИ-помощники и чат-боты с LLM под капотом, которых добавляют во все сервисы и приложения подряд.Но теперь давайте честно — сколько людей на самом деле пользуются этими ИИ-ассистентами? Если что, вопрос не риторический, пишите ответы в комментах. Каждая новая технология оказывается на деле не такой прорывной, как на словах, и все ждут следующую итерацию, которая точно изменит мир.👀 Но может быть на самом деле нам это не нуж…

2 weeks, 1 day назад @ t.me
Онлайн-магистратура по дата-аналитике: набор открыт!Онлайн-курсам часто не хватает фундаментальной вузовской базы, а многие университетские программы не успевают за развитием индустрии и не дают актуальные знания. Институт искусственного интеллекта и анали
Онлайн-магистратура по дата-аналитике: набор открыт!Онлайн-курсам часто не хватает фундаментальной вузовской базы, а многие университетские программы не успевают за развитием индустрии и не дают актуальные знания. Институт искусственного интеллекта и анали Онлайн-магистратура по дата-аналитике: набор открыт!Онлайн-курсам часто не хватает фундаментальной вузовской базы, а многие университетские программы не успевают за развитием индустрии и не дают актуальные знания. Институт искусственного интеллекта и анали

Онлайн-магистратура по дата-аналитике: набор открыт!Онлайн-курсам часто не хватает фундаментальной вузовской базы, а многие университетские программы не успевают за развитием индустрии и не дают актуальные знания. Институт искусственного интеллекта и анализа больших данных BASAND.AI ТГУ совместно с Академией Дата-Дайвинг разработали онлайн-магистратуру, которая решает обе эти проблемы. Программа «Дата-аналитика для бизнеса» создана, чтобы готовить специалистов, которые умеют не просто строить графики, а решать реальные бизнес-задачи с помощью данных по трем направлениям: 🔵продуктовая аналитика,🔵маркетинговая аналитика,🔵BI-аналитика.Студенты учатся онлайн, но со всеми плюсами очного образова…

2 weeks, 3 days назад @ t.me
Про превосходство таблиц над пончикамиПайчарты и их разновидности (вроде «пончиков» из заголовка, которые те же пайчарты, по сути, просто с дыркой в центре) — парадоксальный способ визуализации данных.🔜 С одной стороны, это один из самых популярных чартов,
Про превосходство таблиц над пончикамиПайчарты и их разновидности (вроде «пончиков» из заголовка, которые те же пайчарты, по сути, просто с дыркой в центре) — парадоксальный способ визуализации данных.🔜 С одной стороны, это один из самых популярных чартов, Про превосходство таблиц над пончикамиПайчарты и их разновидности (вроде «пончиков» из заголовка, которые те же пайчарты, по сути, просто с дыркой в центре) — парадоксальный способ визуализации данных.🔜 С одной стороны, это один из самых популярных чартов,

Про превосходство таблиц над пончикамиПайчарты и их разновидности (вроде «пончиков» из заголовка, которые те же пайчарты, по сути, просто с дыркой в центре) — парадоксальный способ визуализации данных.🔜 С одной стороны, это один из самых популярных чартов, которые хотя бы иногда используют все: от аналитиков и спецов по датавизу до школьников и студентов, которые готовят презентации для уроков. Это очевидный и интуитивный способ показать соотношение долей.🔜 С другой стороны, многие их не любят, считая неудобными и неинформативными: якобы все, что можно изобразить на пайчарте, можно намного эффективнее и понятнее показать на каком-нибудь другом графике. Если вы подумали, что сейчас мы этот т…

2 weeks, 6 days назад @ t.me
А вы видели топ книжных бестселлеров мая?«Причем здесь аналитика и книжные бестселлеры?» — спросите вы.А при том, что в этот топ попала книга Николая Валиотти «Аналитика для руководителей»! 🔥Мы про нее уже много раз рассказывали на этом канале, поэтому не
А вы видели топ книжных бестселлеров мая?«Причем здесь аналитика и книжные бестселлеры?» — спросите вы.А при том, что в этот топ попала книга Николая Валиотти «Аналитика для руководителей»! 🔥Мы про нее уже много раз рассказывали на этом канале, поэтому не А вы видели топ книжных бестселлеров мая?«Причем здесь аналитика и книжные бестселлеры?» — спросите вы.А при том, что в этот топ попала книга Николая Валиотти «Аналитика для руководителей»! 🔥Мы про нее уже много раз рассказывали на этом канале, поэтому не

А вы видели топ книжных бестселлеров мая?«Причем здесь аналитика и книжные бестселлеры?» — спросите вы.А при том, что в этот топ попала книга Николая Валиотти «Аналитика для руководителей»! 🔥Мы про нее уже много раз рассказывали на этом канале, поэтому не будем повторяться — ну почти. Просто напомним про лендинг c ссылками на все магазины, где вы можете ее купить, если еще этого не сделали.

3 weeks назад @ t.me
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

3 weeks, 2 days назад @ t.me
Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!
Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков! Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!

Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!

3 weeks, 2 days назад @ t.me
Как работают data-специалисты в 2025?Инженеры, аналитики, дата-сайентисты, ML-специалисты — как у вас дела? Как работа? Чем вы занимаетесь и какие инструменты используете?А хотите не только про себя рассказать, но и узнать, как дела у коллег?🔵Узнать про тр
Как работают data-специалисты в 2025?Инженеры, аналитики, дата-сайентисты, ML-специалисты — как у вас дела? Как работа? Чем вы занимаетесь и какие инструменты используете?А хотите не только про себя рассказать, но и узнать, как дела у коллег?🔵Узнать про тр Как работают data-специалисты в 2025?Инженеры, аналитики, дата-сайентисты, ML-специалисты — как у вас дела? Как работа? Чем вы занимаетесь и какие инструменты используете?А хотите не только про себя рассказать, но и узнать, как дела у коллег?🔵Узнать про тр

Как работают data-специалисты в 2025?Инженеры, аналитики, дата-сайентисты, ML-специалисты — как у вас дела? Как работа? Чем вы занимаетесь и какие инструменты используете?А хотите не только про себя рассказать, но и узнать, как дела у коллег?🔵Узнать про тренды в индустрии и набирающие популярность инструменты.🔵Увидеть, как обстоят дела на рынке труда и сколько работодатели готовы специалистам вашего профиля.🔵Подсмотреть, как устроены рабочие процессы в других компаниях и перенять лучший опыт.Тогда пройдите опрос от команды DevCrowd. Он займет 15 минут и поможет составить честную и объективную картину data-рынка в 2025 году. Результаты выложат в открытый доступ в августе.🔜 Пройти опросP.S. А…

3 weeks, 2 days назад @ t.me
Неуверенный калькуляторБыло бы здорово, если бы все в этом мире было точно и однозначно, особенно, когда речь идет о цифрах. Например, когда вы планируете переезд в другой город или хотите прикинуть доход от инвестиций.Но так бывает не всегда, и нам регуля
Неуверенный калькуляторБыло бы здорово, если бы все в этом мире было точно и однозначно, особенно, когда речь идет о цифрах. Например, когда вы планируете переезд в другой город или хотите прикинуть доход от инвестиций.Но так бывает не всегда, и нам регуля

Неуверенный калькуляторБыло бы здорово, если бы все в этом мире было точно и однозначно, особенно, когда речь идет о цифрах. Например, когда вы планируете переезд в другой город или хотите прикинуть доход от инвестиций.Но так бывает не всегда, и нам регулярно приходится иметь дело с неопределенностью, когда в уравнении слишком много переменных. Вместо точных цифр — размытое «зарплата от 50 до 150к», «ремонт будет стоить то ли 10 000, то ли 100 000 и займет где-то от недели до полугода» и все в таком духе.И как быть?🔜 Вечный вопрос, на который у нас наконец-то есть ответ — использовать неуверенный калькулятор. Суть проста: вы вносите в него не точные цифры, а диапазон от минимального возможн…

3 weeks, 6 days назад @ t.me
Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подс
Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подс

Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подсказки с учетом контекста, а также на 10% (а то и больше!) снизить расходы на хранение данных. 🔵Расширение dbt VS Code — чтобы все новые фичи dbt стали доступны и в VS Code.🔵dbt MCP Server — инструмент для интеграции LLM в проекты в dbt.🔵dbt Canvas, dbt Insights и dbt Catalog (бывший dbt Explorer) — инструменты для аналитиков, которые сделают удобнее и проще работу с данными. В Canvas можно будет простым drag-and-drop строить и редактироват…

1 month назад @ t.me
SQLite на практике SQLite на практике
последний пост 1 month, 2 weeks назад
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

1 month, 2 weeks назад @ t.me
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

1 month, 2 weeks назад @ t.me
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

1 month, 3 weeks назад @ t.me
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

1 month, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 3 days, 15 hours назад
🎓 1 июля в 20:00 МСК OTUS проведёт открытый вебинар «Архитектура DWH по рецепту: метод борща в действии». Это необычный формат, где этапы приготовления блюда помогают понять логику построения хранилища данных.🎯 На уроке разберём, как «подготовка ингредиент
🎓 1 июля в 20:00 МСК OTUS проведёт открытый вебинар «Архитектура DWH по рецепту: метод борща в действии». Это необычный формат, где этапы приготовления блюда помогают понять логику построения хранилища данных.🎯 На уроке разберём, как «подготовка ингредиент 🎓 1 июля в 20:00 МСК OTUS проведёт открытый вебинар «Архитектура DWH по рецепту: метод борща в действии». Это необычный формат, где этапы приготовления блюда помогают понять логику построения хранилища данных.🎯 На уроке разберём, как «подготовка ингредиент

🎓 1 июля в 20:00 МСК OTUS проведёт открытый вебинар «Архитектура DWH по рецепту: метод борща в действии». Это необычный формат, где этапы приготовления блюда помогают понять логику построения хранилища данных.🎯 На уроке разберём, как «подготовка ингредиентов» (сбор и очистка данных) отражается в core-слое DWH, а «подача блюда» (аналитический слой) превращается в понятные бизнес-отчёты. Вы увидите реальные примеры проектирования масштабируемой аналитической платформы и поймёте, какие компетенции нужны команде.Участники смогут сразу применять принципы: иерархия слоёв, оптимизация storage-запросов и построение BI-дашбордов, которые будут понятны конечному пользователю. Вы узнаете, как избежать…

3 days, 15 hours назад @ t.me
Аналитика данных без понимания бизнеса — просто цифры в вакуумеМожно идеально владеть SQL и Python, но без глубокого понимания бизнес-процессов ваши отчёты останутся просто красивыми графиками. Настоящая аналитика — это когда данные не просто описывают сит
Аналитика данных без понимания бизнеса — просто цифры в вакуумеМожно идеально владеть SQL и Python, но без глубокого понимания бизнес-процессов ваши отчёты останутся просто красивыми графиками. Настоящая аналитика — это когда данные не просто описывают сит

Аналитика данных без понимания бизнеса — просто цифры в вакуумеМожно идеально владеть SQL и Python, но без глубокого понимания бизнес-процессов ваши отчёты останутся просто красивыми графиками. Настоящая аналитика — это когда данные не просто описывают ситуацию, а меняют ее: выявляют узкие места, предсказывают спрос, сокращают издержки. Но как этому научиться? Короткие курсы дают технические навыки, но не объясняют, как данные работают на реальный бизнес.2 июля в 18:00 (мск) Анатолий Карпов (основатель karpovꓸcourses) и Евгений Соколов (руководитель департамента больших данных НИУ ВШЭ) расскажут о совместной онлайн-магистратуре «Аналитика больших данных». Это программа, где учат не просто с…

3 days, 21 hours назад @ t.me
Тимлид, вам слово📣 Приглашаем на митап по управлению командамиВоспользуйтесь летним затишьем, чтобы посмотреть на практику коллег, промониторить «погоду» в своей команде и, возможно, обновить стратегию работы. Обсудим дела тимлидские на офлайн-встрече Team
Тимлид, вам слово📣 Приглашаем на митап по управлению командамиВоспользуйтесь летним затишьем, чтобы посмотреть на практику коллег, промониторить «погоду» в своей команде и, возможно, обновить стратегию работы. Обсудим дела тимлидские на офлайн-встрече Team Тимлид, вам слово📣 Приглашаем на митап по управлению командамиВоспользуйтесь летним затишьем, чтобы посмотреть на практику коллег, промониторить «погоду» в своей команде и, возможно, обновить стратегию работы. Обсудим дела тимлидские на офлайн-встрече Team

Тимлид, вам слово📣 Приглашаем на митап по управлению командамиВоспользуйтесь летним затишьем, чтобы посмотреть на практику коллег, промониторить «погоду» в своей команде и, возможно, обновить стратегию работы. Обсудим дела тимлидские на офлайн-встрече TeamLead Talks в офисе Lamoda. 🪢 Обменяемся опытом, разберем кейсы командного управления и выберем лучшие решения. 🍕 Наладить непринужденное общение помогут нетворкинг-разогрев, игра «IT-бункер», закуски и напитки.Присоединяйтесь к Team Lead Talks:🗓 2 июля в 19:00. 📍Офлайн, Москва, офис Lamoda. 🔗 Регистрируйтесь по ссылке, количество мест ограничено.Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:2W5zFGTFktx

1 week, 2 days назад @ t.me
DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнат
DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнат DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнат

DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнать, как растут зарплаты и роли в индустрии,– получить данные, которые можно использовать для самодиагностики и карьерного планирования.🗂 Пример прошлогоднего исследования — devcrowd.ru/ds24📝 Опрос займёт 15 минут, результаты появятся в открытом доступе в августе.👉 Пройти опрос

1 week, 3 days назад @ t.me
У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, ч
У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, ч

У меня была нудная задача. Признаюсь, что я очень многие задачи считаю нудными по умолчанию. И я вынужден сам вдыхать в них какую-то творческую составляющую, чтобы они переставали быть такими нудными. В общем, я сам себе сначала рою яму отчаяния от того, что «боже мой какая же это скучная задача», а потом из этой ямы выкарабкиваюсь различными героическими и почти что поэтическими путямиЗадача моя состояла в том, чтобы сделать тренд-репорт о том, что вообще происходит с использованием ИИ в продуктах — какие тренды, нововведения. И я не хотел сознательно просто рассказывать про то, что появляются новые модели и т.д. и т.п. Также мне не хотелось делать компиляцию из уже известных тренд-репорто…

2 weeks, 2 days назад @ t.me
🚀 Вы — аналитик или руководитель? Тогда вам знакома проблема целеполагания.Саша Мирской, директор аналитики вертикали Авито Товары, рассказывает, как правильно ставить цели менеджерам аналитики и на что на самом деле стоит тратить ресурсы.☄️ Почему руковод
🚀 Вы — аналитик или руководитель? Тогда вам знакома проблема целеполагания.Саша Мирской, директор аналитики вертикали Авито Товары, рассказывает, как правильно ставить цели менеджерам аналитики и на что на самом деле стоит тратить ресурсы.☄️ Почему руковод 🚀 Вы — аналитик или руководитель? Тогда вам знакома проблема целеполагания.Саша Мирской, директор аналитики вертикали Авито Товары, рассказывает, как правильно ставить цели менеджерам аналитики и на что на самом деле стоит тратить ресурсы.☄️ Почему руковод

🚀 Вы — аналитик или руководитель? Тогда вам знакома проблема целеполагания.Саша Мирской, директор аналитики вертикали Авито Товары, рассказывает, как правильно ставить цели менеджерам аналитики и на что на самом деле стоит тратить ресурсы.☄️ Почему руководителей аналитики невозможно адекватно оценить по старым схемам.☄️ Что такое «гигиенические проекты» и почему их стоит ограничивать.☄️ Как цели превращаются в карьерный рост, а не просто в отчет.💡 Не SMART-теория, а живой фреймворк с реальными примерами → смотрите новый впуск!

2 weeks, 2 days назад @ t.me
⚡️Кто такие дата-инженеры и почему без них не обойтись современному бизнесу?Сейчас каждая компания собирает тонны данных: продажи, клиенты, маркетинг, логистика. Но сырые цифры бесполезны, если их нельзя превратить в понятные отчёты и выводы.Приглашаем вас
⚡️Кто такие дата-инженеры и почему без них не обойтись современному бизнесу?Сейчас каждая компания собирает тонны данных: продажи, клиенты, маркетинг, логистика. Но сырые цифры бесполезны, если их нельзя превратить в понятные отчёты и выводы.Приглашаем вас ⚡️Кто такие дата-инженеры и почему без них не обойтись современному бизнесу?Сейчас каждая компания собирает тонны данных: продажи, клиенты, маркетинг, логистика. Но сырые цифры бесполезны, если их нельзя превратить в понятные отчёты и выводы.Приглашаем вас

⚡️Кто такие дата-инженеры и почему без них не обойтись современному бизнесу?Сейчас каждая компания собирает тонны данных: продажи, клиенты, маркетинг, логистика. Но сырые цифры бесполезны, если их нельзя превратить в понятные отчёты и выводы.Приглашаем вас на вебинар 3 июня в 18:30 по МСК, где наш новый спикер — Владислав Вареник, Data Engineer в Сравни.ру — расскажет кто такие дата-инженеры и как они ускоряют работу бизнеса.Что вы узнаете на вебинаре?🟠Поговорим о профессии дата-инженера и почему эта профессия востребована.🟠Как устроен процесс работы с данными.🟠Как автоматизировать отчёты с помощью dbt и SQL.🟠Пример из реальной практики.Даже если вы далеки от аналитики — покажем, как начать…

1 month назад @ t.me
За последние полгода на волне хайпа AI я видел, как команды пытаются внедрить AI-ассистентов в процессы BI, при этом не умея толком настроить отчётность. Покупают Tableau за миллионы, а потом год разбираются, почему метрики не сходятсяПроблема в том, что B
За последние полгода на волне хайпа AI я видел, как команды пытаются внедрить AI-ассистентов в процессы BI, при этом не умея толком настроить отчётность. Покупают Tableau за миллионы, а потом год разбираются, почему метрики не сходятсяПроблема в том, что B За последние полгода на волне хайпа AI я видел, как команды пытаются внедрить AI-ассистентов в процессы BI, при этом не умея толком настроить отчётность. Покупают Tableau за миллионы, а потом год разбираются, почему метрики не сходятсяПроблема в том, что B

За последние полгода на волне хайпа AI я видел, как команды пытаются внедрить AI-ассистентов в процессы BI, при этом не умея толком настроить отчётность. Покупают Tableau за миллионы, а потом год разбираются, почему метрики не сходятсяПроблема в том, что BI воспринимают как чисто «техническую задачу». Мол, наймём аналитиков, они всё настроят. А на деле это стратегический вопрос: как данные помогают принимать решения?Я давно слежу за тем, что делает Александр Бараков (автор канала data nature) — он один из немногих, кто понимает разницу между «сделать дашборд» и «выстроить data-driven культуру». И когда увидел, что он запускает курс по BI-стратегии, подумал — наконец-то кто-то будет учить не…

1 month назад @ t.me
Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна
Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна

Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это значит и как сделать первые шаги на поприще — читайте в карточках. А для полного погружения в тему Роман подготовил полезные ссылки:• Матрица компетенций для BI-аналитика с подробным гайдом• Список самых нужных книг по теме• Статья о разновидностях визуализации данных• Бесплатный курс по DataLens• Видео о визуализации собственных данных#Мнение

1 month назад @ t.me
Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа
Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа

Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа охватывает все, что важно для уверенной работы в BI и data-driven-командах:1) Вычисляемые поля и параметры2) Построение чартов и дашбордов3) Работа с датасетами и источниками данных4) Навигация и доступыНа сайте сертификации — бесплатный курс и все, что нужно для подготовки.🧠 Подходит специалистам по BI, аналитикам данных и тем, кто активно использует DataLens в повседневной работе.💸 До конца августа — цена прохождения экзамена снижена на…

1 month назад @ t.me
🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️http
🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️http

🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️https://t.me/+hASxh8fnM49mMGJiErid: 2Vtzqx4vUd2 Реклама.ИП Пяташева Александра Витальевна ИНН 744518674547

1 month, 1 week назад @ t.me
Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы
Лучше практики может быть только…еще больше практикиВ karpovꓸcourses  это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы

Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы для продвинутого изучения Data Science.К примеру, «Симулятор аналитика» позволит пройти полный цикл выстраивания аналитических процессов в компании под руководством ведущих экспертов сферы — и все это онлайн, в комфортном режиме, с возможностью совмещать обучение и жизнь. За 2 месяца вы погрузитесь в полноценный рабочий процесс, узнаете, с какими задачами ежедневно сталкиваются аналитики, и сами научитесь их решать.А если решитесь начать об…

1 month, 1 week назад @ t.me
🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд
🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд 🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд

🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс между быть в теме важных нововведений/исследований и не захлебнуться от информации13:10 | Сложные вопросы и ответы про A/B-тесты 25:44 | Про Академию аналитиков Авито32:40 | Снова про hard-скилы аналитика и инструменты 36:44 | Как попасть в Академию аналитиков 40:34 | Где ищем интересные аналитические кейсы, которые затем применяем в работе44:10 | Про исследования ➡️ Больше контента от инженеров Авито смотрите на YouTube канале AvitoTech

1 month, 2 weeks назад @ t.me
Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌
Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌ Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌

Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌ ощущать, что не хватает технических знаний, чтобы «соображать» в работе, ❌ не понимать терминологии и о чем идет речь на встречах команды, ❌ не понимать с какого края подступиться к решению рабочих задач, ❌ что не хватает структурности, системности и уверенности, то есть решение ✅ Канал Александра Нездемина, практикующего системного аналитика с 14летним опытом. В его канале ты найдешь емкие и структурные разборы задач из собесов, реальные …

1 month, 3 weeks назад @ t.me
⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex
⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex ⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex

⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.Что будет на вебинаре?🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;🟠Научимся использовать DataLoader для эффективной загрузки данных;🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);🟠Обучим и протестируем модель.🕗 Встречаемся 14 мая …

1 month, 3 weeks назад @ t.me
Труба данных Труба данных
последний пост 1 day назад
Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык
Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык

Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую выкладывать примеры дашбордов и отмечать в них интересные детали, которыми можно обогатить свои проекты.Почему я решила создать такую рубрику?В визуализации данных популярен формат «прожарки», когда эксперты критически оценивают дашборды и предлагают варианты улучшения. Такие разборы очень полезны для развития датавиз-навыков и понимания того, «как не надо», но для развития также важно тренировать насмотренность на хорошее и черпать свежие ид…

1 day назад @ t.me
Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏
Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏

Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏

1 day назад @ t.me
Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"
Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных" Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"

Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"

2 weeks назад @ t.me
Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"
Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных" Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"

Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"

2 weeks, 6 days назад @ t.me
https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"
https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"

https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"

3 weeks, 1 day назад @ t.me
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

3 weeks, 2 days назад @ t.me
Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!
Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков! Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!

Редкое явление для нашего острова!Зато под одной крышей солидная кучка дата инженеров и дата аналитиков!

3 weeks, 2 days назад @ t.me
Неделя или месяц покупок- Snowflake -> Crunchy Data https://techcrunch.com/2025/06/02/snowflake-to-acquire-database-startup-crunchy-data/ (видимо, чтобы сделать Snowflake Postgres)- Salesforce -> Informatica https://techcrunch.com/2025/05/27/salesfor
Неделя или месяц покупок- Snowflake -> Crunchy Data https://techcrunch.com/2025/06/02/snowflake-to-acquire-database-startup-crunchy-data/ (видимо, чтобы сделать Snowflake Postgres)- Salesforce -> Informatica https://techcrunch.com/2025/05/27/salesfor

Неделя или месяц покупок- Snowflake -> Crunchy Data https://techcrunch.com/2025/06/02/snowflake-to-acquire-database-startup-crunchy-data/ (видимо, чтобы сделать Snowflake Postgres)- Salesforce -> Informatica https://techcrunch.com/2025/05/27/salesforce-acquires-informatica-for-8-billion/ (оно еще живо и дергается на 8 миллиардов 🤪)- Alation -> Numbers Station https://techcrunch.com/2025/05/20/alation-acquires-numbers-station-to-bolster-its-ai-agent-offerings/ (шо-то модное для агентов)- ServiceNow -> Data.World https://techcrunch.com/2025/05/07/servicenow-acquires-data-world-two-months-after-acquiring-moveworks/ (кто-нибудь слышал про этот каталог и governance platform?)- Databricks -> Neon…

3 weeks, 3 days назад @ t.me
https://clickhouse.com/blog/clickstack-a-high-performance-oss-observability-stack-on-clickhouseТут Clickhouse аннонсировал опенсорсное (но платно тоже можно) решение для логов, метрик, трейсов - ClickStack@ohmydataengineer - канал "🕯Труба Данных"
https://clickhouse.com/blog/clickstack-a-high-performance-oss-observability-stack-on-clickhouseТут Clickhouse аннонсировал опенсорсное (но платно тоже можно) решение для логов, метрик, трейсов - ClickStack@ohmydataengineer - канал "🕯Труба Данных"

https://clickhouse.com/blog/clickstack-a-high-performance-oss-observability-stack-on-clickhouseТут Clickhouse аннонсировал опенсорсное (но платно тоже можно) решение для логов, метрик, трейсов - ClickStack@ohmydataengineer - канал "🕯Труба Данных"

4 weeks назад @ t.me
Исследование специалистов по работе с данными — 2025DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как
Исследование специалистов по работе с данными — 2025DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как

Исследование специалистов по работе с данными — 2025DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.Зачем участвовать?– чтобы понять, какие задачи и инструменты сейчас в тренде,– увидеть, как устроена работа у коллег в других продуктах,– узнать, как растут зарплаты и роли в индустрии,– получить данные, которые можно использовать для самодиагностики и карьерного планирования.🗂 Пример прошлогоднего исследования — https://devcrowd.ru/ds24📝 Опрос займёт 15 минут, результаты появятся в открытом доступе в августе.👉 Пройти опрос - https://survey.alchemer.eu/s3/90842227/data-2025@ohmydataengineer

1 month назад @ t.me
Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"
Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных" Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"

Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка
Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка

Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка для аналитических задач не существует, поэтому всегда полезно расширить кругозор.Авторы предлагаю следующую классификацию для OLAP DB: General Purpose Engines (Spark), Interactive SQL Engines (Presto, Trino), and Realtime OLAP Engines (ClickHouse, StarRocks)Кстати, StarRocks имеет на удивление самый высокий metascore. Spark - самый старый и в целом уже с legacy концепцией работы поверх map reduce - раза в 3 меньше по рейтингу, хотя он наи…

1 month назад @ t.me
Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"
Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных" Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"

Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"

1 month, 1 week назад @ t.me
Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме
Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме

Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме отправили руководителю разработки, который меня позвал на собес (тут я уже обрадовался от радости). А собес я провалил, знатно, причем вопросы были не алгоритмические упражнения с литкода, а вполне себе разработческие, например, чем отличается `git pull` от `git fetch`?Но мне дали второй шанс: тестовое домашнее задание. Нужно было написать сервис, который делает всякое разное с записями в базе данных. И я тут отыгрался: и докер контейнер с…

1 month, 1 week назад @ t.me
https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscription
https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscription

https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscriptions)Configuration from 800+ Kubernetes clusters managing around 400,000 pods6-7 million rows of real-time data at any given moment4 TB of new data ingested monthly@ohmydataengineer - канал "🕯Труба Данных"

1 month, 2 weeks назад @ t.me
enthusiastech enthusiastech
последний пост None
data будни data будни
последний пост 4 months, 1 week назад
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит 🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

4 months, 1 week назад @ t.me
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

4 months, 2 weeks назад @ t.me
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

4 months, 2 weeks назад @ t.me
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

4 months, 2 weeks назад @ t.me
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

4 months, 2 weeks назад @ t.me
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

4 months, 3 weeks назад @ t.me
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

5 months назад @ t.me
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

7 months, 3 weeks назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

7 months, 3 weeks назад @ t.me
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

8 months назад @ t.me
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

8 months назад @ t.me
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

8 months, 1 week назад @ t.me
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

8 months, 1 week назад @ t.me
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

8 months, 2 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост None
Data Brew by Databricks
последний пост 2 months, 1 week назад
Benchmarking Domain Intelligence | |E45
Benchmarking Domain Intelligence | |E45 Benchmarking Domain Intelligence | |E45

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

2 months, 1 week назад @ buzzsprout.com
SWE-bench & SWE-agent | |E44
SWE-bench & SWE-agent | |E44 SWE-bench & SWE-agent | |E44

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

2 months, 2 weeks назад @ buzzsprout.com
Enterprise AI: Research to Product | |E43
Enterprise AI: Research to Product | |E43 Enterprise AI: Research to Product | |E43

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

2 months, 3 weeks назад @ buzzsprout.com
Multimodal AI | |E42
Multimodal AI | |E42 Multimodal AI | |E42

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

2 months, 3 weeks назад @ buzzsprout.com
Age of Agents | |E41
Age of Agents | |E41 Age of Agents | |E41

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

3 months, 1 week назад @ buzzsprout.com
Reward Models | |E40
Reward Models | |E40 Reward Models | |E40

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

3 months, 2 weeks назад @ buzzsprout.com
Retrieval, rerankers, and RAG tips and tricks | |E39
Retrieval, rerankers, and RAG tips and tricks | |E39 Retrieval, rerankers, and RAG tips and tricks | |E39

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

4 months, 1 week назад @ buzzsprout.com
The Power of Synthetic Data | |E38
The Power of Synthetic Data | |E38 The Power of Synthetic Data | |E38

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

4 months, 4 weeks назад @ buzzsprout.com
Secret to Production AI: Tools & Infrastructure | |E37
Secret to Production AI: Tools & Infrastructure | |E37 Secret to Production AI: Tools & Infrastructure | |E37

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

5 months, 1 week назад @ buzzsprout.com
Mixture of Memory Experts (MoME) | |E36
Mixture of Memory Experts (MoME) | |E36 Mixture of Memory Experts (MoME) | |E36

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

5 months, 3 weeks назад @ buzzsprout.com
Mixed Attention | |E34
Mixed Attention | |E34 Mixed Attention | |E34

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

7 months, 2 weeks назад @ buzzsprout.com
Kumo AI & Relational Deep Learning | |E34
Kumo AI & Relational Deep Learning | |E34 Kumo AI & Relational Deep Learning | |E34

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

8 months, 3 weeks назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 month назад
Опрос слушателей по итогам 12 сезона
Опрос слушателей по итогам 12 сезона

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

1 month назад @ share.transistor.fm
Космос. Как стартапы вышли на орбиту
Космос. Как стартапы вышли на орбиту Космос. Как стартапы вышли на орбиту

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

1 month, 1 week назад @ share.transistor.fm
Роботы. Чему мы смогли их научить за последние 100 лет
Роботы. Чему мы смогли их научить за последние 100 лет Роботы. Чему мы смогли их научить за последние 100 лет

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

1 month, 2 weeks назад @ share.transistor.fm
Искусственный интеллект. Могут ли машины мыслить как люди?
Искусственный интеллект. Могут ли машины мыслить как люди? Искусственный интеллект. Могут ли машины мыслить как люди?

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

1 month, 3 weeks назад @ share.transistor.fm
Электромобили. Что мешает электродвигателям изменить мир
Электромобили. Что мешает электродвигателям изменить мир Электромобили. Что мешает электродвигателям изменить мир

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

2 months, 1 week назад @ share.transistor.fm
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

2 months, 2 weeks назад @ share.transistor.fm
Заменит ли ИИ программистов?
Заменит ли ИИ программистов?

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

3 months, 1 week назад @ share.transistor.fm
Власть над вниманием. Как нами управляют в цифровой среде
Власть над вниманием. Как нами управляют в цифровой среде

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

3 months, 2 weeks назад @ share.transistor.fm
Наши устройства способны на большее? Говорим о программных ограничениях
Наши устройства способны на большее? Говорим о программных ограничениях

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

3 months, 3 weeks назад @ share.transistor.fm
Интероперабельность. Как подружить сервисы между собой
Интероперабельность. Как подружить сервисы между собой

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

3 months, 4 weeks назад @ share.transistor.fm
Как россияне остались без YouTube
Как россияне остались без YouTube

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

4 months назад @ share.transistor.fm
GDPR. Как устроена защита персональных данных
GDPR. Как устроена защита персональных данных

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

4 months, 1 week назад @ share.transistor.fm
Как работает спутниковый интернет
Как работает спутниковый интернет

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

4 months, 2 weeks назад @ share.transistor.fm
Что означает появление DeepSeek
Что означает появление DeepSeek

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

4 months, 3 weeks назад @ share.transistor.fm
Как приложения оказываются на наших устройствах
Как приложения оказываются на наших устройствах

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

5 months назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 3 weeks, 4 days назад
Новости мира Python за мая 2025
Новости мира Python за мая 2025

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

3 weeks, 4 days назад @ learnpython.podbean.com
Day Special: dependency injection в Python
Day Special: dependency injection в Python

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 month, 2 weeks назад @ learnpython.podbean.com
Day Special: асинхронность
Day Special: асинхронность

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 month, 3 weeks назад @ learnpython.podbean.com
Новости мира Python за апрель 2025
Новости мира Python за апрель 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

2 months назад @ learnpython.podbean.com
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

2 months, 1 week назад @ learnpython.podbean.com
Day Special: строки в Python или магия под капотом
Day Special: строки в Python или магия под капотом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

2 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за март 2025
Новости мира Python за март 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

2 months, 4 weeks назад @ learnpython.podbean.com
Для чего пишут на Python в Meta
Для чего пишут на Python в Meta

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

3 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за февраль 2025
Новости мира Python за февраль 2025

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

3 months, 3 weeks назад @ learnpython.podbean.com
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

4 months, 1 week назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

4 months, 3 weeks назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

6 months назад @ learnpython.podbean.com
Новости Python за ноябрь 2024
Новости Python за ноябрь 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

6 months, 3 weeks назад @ learnpython.podbean.com
Как из Python, Open source и такой-то матери построить бизнес
Как из Python, Open source и такой-то матери построить бизнес

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

7 months, 1 week назад @ learnpython.podbean.com
3.13 и другие новости за октябрь 2024
3.13 и другие новости за октябрь 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

8 months назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 3 days, 16 hours назад
Podlodka #431 – Вычисления на GPU
Podlodka #431 – Вычисления на GPU Podlodka #431 – Вычисления на GPU

GPU – это не только запустить новый Doom на максималках, но и возможность решать вычислительные задачи в тысячи раз быстрее, чем на CPU. Как это работает и для каких задач – разбираемся в выпуске с Николаем Полярным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал

https://t.me/UnicornGlade Лекция про то как работает Nanite в Unreal Engine 5

https://www.youtube.com/watch?v=ltUzX1IR9JI Концентрат-лекция про вид…

3 days, 16 hours назад @ soundcloud.com
Podlodka #430 – Зачем программисту PhD?
Podlodka #430 – Зачем программисту PhD? Podlodka #430 – Зачем программисту PhD?

PhD — путь к великим открытиям или очередной способ пострадать? Почему айтишники задумываются о науке и как понять, что пора задуматься и тебе? Обсуждаем, зачем идти в PhD и как в этом выжить: на что обратить внимание до поступления, чего ждать от процесса и легко ли потом вернуться в индустрию. Какие плюшки даёт академический бэкграунд — и стоят ли они того, если можно просто кодить? Разбираемся вместе с Ваней Ямщиковым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуск…

1 week, 3 days назад @ soundcloud.com
Podlodka #429 – Fear of missing out
Podlodka #429 – Fear of missing out Podlodka #429 – Fear of missing out

Последнее время куда ни посмотришь – все уже начали использовать AI, код вовсю пишут агенты, количество успешных стартапов растет, а всех программистов скоро обещают разогнать. Из-за этого у многих появляется сильная тревога выражающаяся в FOMO – Fear of missing out – ощущении, что все что-то знают и делают, а только ты – нет. Чтобы разобраться, откуда берется это чувство, насколько ему стоит верить, и как с ним бороться, мы позвали Евгения Кота, менеджера с 20-летним стажем в IT и психологическим образованием за плечами. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook…

2 weeks, 3 days назад @ soundcloud.com
Podlodka #428 – Как и зачем писать хорошие тексты?
Podlodka #428 – Как и зачем писать хорошие тексты? Podlodka #428 – Как и зачем писать хорошие тексты?

Если ИИ теперь пишет за нас – зачем этому учиться? Вместе с Галиной Юзефович разбираемся, почему навык письма всё ещё актуален, как он прокачивает мышление, и что именно делает текст хорошим. Спойлер: хороший текст – это не продукт вдохновения, а четкая структура и тщательная работа с идеями. Как читать, чтобы писать лучше? Какие вопросы задавать себе в процессе? Какие конструкции и фреймворки действительно работают? И с чего начать, если хочется научиться? Всё это – в новом выпуске!

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitte…

3 weeks, 3 days назад @ soundcloud.com
Podlodka #427 – AI в небольших командах
Podlodka #427 – AI в небольших командах Podlodka #427 – AI в небольших командах

С каждой неделей AI становится все умнее, и это влияет не только на то, как пишется код, но и на то, как работают целые команды. Андрей Володин – фаундер стартапа Gracia, рассказал про то, как AI агенты изменили его собственный подход к разработке, как поменялись роли в их команде, инженерные стандарты, технический стек, и как в итоге они ускорились во много раз, не жертвуя при этом качеством. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой…

1 month назад @ soundcloud.com
Podlodka #426 – Мнемотехника: запомнить всё
Podlodka #426 – Мнемотехника: запомнить всё Podlodka #426 – Мнемотехника: запомнить всё

Почему мозг так упрямо забывает важное, но помнит строчки из рекламы 2007 года? Что вообще такое память и можно ли натренировать её так, чтобы не забывать ни имён, ни паролей, ни зачем пришёл на кухню? Разбираемся, как устроено запоминание, почему эмоции и внимание — это топливо для памяти, и как мнемотехника превращает мозг в суперхранилище. Вспоминаем истории чемпионатов по запоминанию, смотрим, что говорит нейронаука, и обсуждаем, как связаны насмотренность, креатив и способность держать в голове абстрактные концепции. Байки, наука, техники — всё как мы любим! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: htt…

1 month, 1 week назад @ soundcloud.com
Podlodka #425 – Языки программирования будущего
Podlodka #425 – Языки программирования будущего Podlodka #425 – Языки программирования будущего

Кто-то говорит, что нынешний бум AI – это просто хайп. А кто-то видит в нем смену парадигмы разработки. А что, если вместо написания кода разработчики будут описывать бизнес-логику и требования, а ИИ будет трансформировать все это в код? Как это могло бы работать – обсуждаем с Андреем Бреславом на примере его нынешнего проекта! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Проект Андрея https://codespeak.dev

1 month, 2 weeks назад @ soundcloud.com
Podlodka #424 – Нейроинтерфейсы
Podlodka #424 – Нейроинтерфейсы Podlodka #424 – Нейроинтерфейсы

Нейроинтерфейсы — это всё ещё про научную фантастику или уже про реальность? Можно ли играть в WoW силой мысли? А киборги — они уже среди нас? Neuralink и Илон Маск — это хайповый маркетинг или реально будущее индустрии?

Чтобы разобраться, нужно сначала хотя бы немного понять, как работает мозг, а потом посмотреть, на что способны нейроинтерфейсы — инвазивные, неинвазивные и полуинвазивные. В чем их ограничения, в чём потенциал, и что уже умеет наука и индустрия.

Всё это (+ байки, куда же без них!) обсуждаем в выпуске вместе с нейроучёным и кандидатом психологических наук Ильёй Захаровым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/po…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #423 – Groovy
Podlodka #423 – Groovy Podlodka #423 – Groovy

Продолжаем наше погружение в экосистему JVM и пополняем коллекцию языковых выпусков — на этот раз вместе с Барухом Садогурским обсуждаем Groovy!

Что делает Groovy по-настоящему groovy 🕺🏼 ? Какие фишки помогали ему претендовать на звание более веселой и дружелюбной альтернативы Java? В каких нишах язык в итоге закрепился — и почему это DSL? Правда ли, что если бы не Kotlin, всё могло бы сложиться совсем иначе? Детальный разбор языка, весёлые байки и щепоточка конспирологии — включайте новый выпуск! Ждем тебя 26-го мая на Java Podlodka Crew. Тема конференции "Java и производительность". По промокоду GROOVY будет приятная скидка. Не пропусти сезон! Забирай билет: https://podlodka.io/javacrew Т…

1 month, 4 weeks назад @ soundcloud.com
Podlodka #422 – Spring Framework
Podlodka #422 – Spring Framework Podlodka #422 – Spring Framework

Обсуждаем самый знаменитый фреймворк из мира Java – Spring Framework. Что у него под капотом, почему он такой, какой он есть, и что ждет его в мире победивших LLM – разбираемся вместе с Евгением Борисовым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: ТГ-канал гостя t.me/borisovtrainings

2 months назад @ soundcloud.com
Podlodka #421 – Прогнозирование погоды
Podlodka #421 – Прогнозирование погоды Podlodka #421 – Прогнозирование погоды

За последнее десятилетие технологии сделали огромный скачок вперед: в наши карманах лежат вычислительные устройства невероятной мощи, а искусственный интеллект вот-вот перешагнет порог AGI. Но при всем при этом получить надежный прогноз погоды на месяц вперед – задача где-то за гранью реальности. Чтобы разобраться, почему погода – это настолько сложно, мы позвали Александра Ганьшина, руководителя Яндекс Погоды, который рассказал кучу интересного про историю развития методов прогнозирования, state of the art пайплайны сбора и обработки данных, и даже про то, как на данных о погоде строить бизнес. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://…

2 months, 1 week назад @ soundcloud.com
Podlodka #420 – Crystal
Podlodka #420 – Crystal Podlodka #420 – Crystal

Все языки программирования вдохновляются друг другом, но иногда эволюцию конкретных идей между языками отследить довольно сложно. Crystal – уникальный случай. Его авторы одновременно невероятно сильно любили синтаксис Ruby и компилируемые языки со статической типизацией. В итоге у них получился очень душевный язык, на котором можно выразительно описывать как высокоуровневую бизнес-логику, так и требовательный к производительности низкоуровневый код. Сергей Кузнецов - разработчик дебаггера для Crystal, поделился своей большой любовью к языку и рассказал много интересного про то, как он устроен. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #419 – Готовим красиво между митингами
Podlodka #419 – Готовим красиво между митингами Podlodka #419 – Готовим красиво между митингами

В этом выпуске С Тоней Поповой говорим о том, как подружиться с едой и сделать готовку частью повседневной жизни: не изматывающей, а вдохновляющей. Обсуждаем что такое “лего-подход” к готовке, и как один кусок тыквы превращается в три разных блюда; как сделать еду красивой, не используя трюфели и золото; как собрать удобную и рабочую кладовую, которая сэкономит деньги, время и нервные клетки; почему планеры питания не работают и как сделать, чтобы заработали; какой минимум посуды нужен, чтобы вы не бросили готовить через неделю. Этот выпуск для всех, кто хочет начать готовить вкусно, красиво и просто и готовить чаще, но тратить на это меньше сил. Также ждем вас, ваши лайки, репосты и коммен…

2 months, 4 weeks назад @ soundcloud.com
Podlodka #418 – Профессия: системный аналитик
Podlodka #418 – Профессия: системный аналитик Podlodka #418 – Профессия: системный аналитик

Системный аналитик — тот самый невидимый связующий элемент между бизнесом и технологиями. В новом выпуске вместе с Ольгой Пономарёвой, основательницей онлайн-школы по системному анализу, разбираемся, чем эта роль отличается от бизнес-аналитики, как распределяются зоны ответственности между продактами, системными аналитиками и архитекторами, и какие конфигурации команд самые эффективные. Обсуждаем, что ждёт системных аналитиков в эпоху AI, куда можно расти дальше и как понять, что эта сфера — твоя и как вкатиться в айти через системный анализ. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanew…

3 months назад @ soundcloud.com
Podlodka #417 – Swift
Podlodka #417 – Swift Podlodka #417 – Swift

Большинство из вас знает Swift как нишевый язык для iOS разработки. Но на самом деле – это очень круто задизайненный язык программирования общего назначения, который по многим параметрам выигрывает у C++ или Rust. Swift избегает крайностей и находит качественный баланс, оставаясь консервативным там, где это нужно, и при этом привнося много новых идей. Про историю развития, ключевые фичи и необычные технические концепции в языке нам рассказал Глеб Лукьянец. Партнер эпизода — экосистема для бизнеса Контур. Каждая третья компания в России пользуется их продуктами. 2500+ разработчиков развивают сервисы и инфраструктурные решения на C# под .NET, Python, Java, Go. Все iOS-приложения написаны на S…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 days, 18 hours назад
Антон Маскелиаде: как делать свою музыку
Антон Маскелиаде: как делать свою музыку

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 days, 18 hours назад @ buzzsprout.com
Борис Тарасов: от Маруси до Ровера
Борис Тарасов: от Маруси до Ровера

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 months, 1 week назад @ buzzsprout.com
Книжный клуб: Диапазон
Книжный клуб: Диапазон

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 months, 2 weeks назад @ buzzsprout.com
Анна Ривина: домашнее насилие
Анна Ривина: домашнее насилие

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 months, 3 weeks назад @ buzzsprout.com
Книжный клуб: Амстердам История Самого Либерального Города
Книжный клуб: Амстердам История Самого Либерального Города

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

2 months, 3 weeks назад @ buzzsprout.com
Александр Мерзликин: чемпионат по сну
Александр Мерзликин: чемпионат по сну

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 3 weeks назад @ buzzsprout.com
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

7 months назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months, 2 weeks назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months, 3 weeks назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months, 4 weeks назад @ buzzsprout.com
Геннадий Асиньяров: "Марсианин" из Красноярска
Геннадий Асиньяров: "Марсианин" из Красноярска

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months назад @ buzzsprout.com
Сергей Нурк: как и зачем читают геном
Сергей Нурк: как и зачем читают геном

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 1 week назад @ buzzsprout.com
Александр Гечис: "GTA" на автозаводе
Александр Гечис: "GTA" на автозаводе

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 3 days, 21 hours назад
#438 Motivation time
#438 Motivation time #438 Motivation time

Topics include Python Cheat Sheets from Trey Hunner, Automatisch, mureq-typed, and My CLI World.

3 days, 21 hours назад @ pythonbytes.fm
#437 Python Language Summit 2025 Highlights
#437 Python Language Summit 2025 Highlights #437 Python Language Summit 2025 Highlights

Topics include The Python Language Summit 2025, Fixing Python Properties, complexipy, and juvio.

1 week, 3 days назад @ pythonbytes.fm
#436 Slow tests go last
#436 Slow tests go last #436 Slow tests go last

Topics include , typed-ffmpeg, pyleak, and Optimizing Test Execution: Running live_server Tests Last with pytest.

2 weeks, 3 days назад @ pythonbytes.fm
#435 Stop with .folders in my ~/
#435 Stop with .folders in my ~/ #435 Stop with .folders in my ~/

Topics include platformdirs, poethepoet, Python Pandas Ditches NumPy for Speedier PyArrow, and pointblank: Data validation made beautiful and powerful.

3 weeks, 3 days назад @ pythonbytes.fm
#434 Most of OpenAI’s tech stack runs on Python
#434 Most of OpenAI’s tech stack runs on Python #434 Most of OpenAI’s tech stack runs on Python

Topics include Making PyPI’s test suite 81% faster, People aren’t talking enough about how most of OpenAI’s tech stack runs on Python, PyCon Talks on YouTube, and Optimizing Python Import Performance.

1 month назад @ pythonbytes.fm
#433 Dev in the Arena
#433 Dev in the Arena #433 Dev in the Arena

Topics include git-flight-rules, Uravelling t-strings, neohtop, and Introducing Pyrefly: A new type checker and IDE experience for Python.

1 month, 1 week назад @ pythonbytes.fm
#432 How To Fix Your Computer
#432 How To Fix Your Computer #432 How To Fix Your Computer

Topics include pre-commit: install with uv, PEP 773, Changes for Textual, and The Best Programmers I Know.

1 month, 2 weeks назад @ pythonbytes.fm
#431 Nerd Gas
#431 Nerd Gas #431 Nerd Gas

Topics include pirel: Python release cycle in your terminal, FastAPI Cloud, and Python's new t-strings.

1 month, 4 weeks назад @ pythonbytes.fm
#430 Or you go to jail
#430 Or you go to jail #430 Or you go to jail

Topics include pip 25.1 has dependency groups, pylock.toml, plus more, aiohttp goes free threaded, uv 0.6.15 supports pylock.toml, and Whenever.

2 months назад @ pythonbytes.fm
#429 Nitpicking Python
#429 Nitpicking Python #429 Nitpicking Python

Topics include Huly, CVE Foundation, drawdb, and 14 Advanced Python Features.

2 months, 1 week назад @ pythonbytes.fm
#428 How old is your Python?
#428 How old is your Python? #428 How old is your Python?

Topics include How to Write a Git Commit Message, Caddy Web Server, , and juv.

2 months, 2 weeks назад @ pythonbytes.fm
#427 Rise of the Python Lord
#427 Rise of the Python Lord #427 Rise of the Python Lord

Topics include Git Town, PEP 751 – A file format to record Python dependencies for installation reproducibility, git-who watchgha, and Share Python Scripts Like a Pro: uv and PEP 723 for Easy Deployment.

2 months, 3 weeks назад @ pythonbytes.fm
#426 Committing to Formatted Markdown
#426 Committing to Formatted Markdown #426 Committing to Formatted Markdown

Topics include mdformat, pre-commit-uv, , and Serie books.

3 months назад @ pythonbytes.fm
#425 If You Were a Klingon Programmer
#425 If You Were a Klingon Programmer #425 If You Were a Klingon Programmer

Topics include Why aren't you using uv, Python Developer Tooling Handbook, Calling all doc writers: blacken-docs, and Reinventing notebooks as reusable Python programs.

3 months, 1 week назад @ pythonbytes.fm
#424 We Will Test in Production
#424 We Will Test in Production #424 We Will Test in Production

Topics include The weird quirk with rounding in Python, Python interpreter adds tail calls, Remove punctuation from a string with translate and maketrans, and.

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 20 часов назад
AI at Anaconda with Greg Jennings
AI at Anaconda with Greg Jennings

Anaconda is a software company that’s well-known for its solutions for managing packages, environments, and security in large-scale data workflows. The company has played a major role in making Python-based data science more accessible, efficient, and scalable. Anaconda has also invested heavily in AI tool development. Greg Jennings is the VP of Engineering and AI

The post AI at Anaconda with Greg Jennings appeared first on Software Engineering Daily.

20 часов назад @ softwareengineeringdaily.com
ByteDance’s Container Networking Stack with Chen Tang
ByteDance’s Container Networking Stack with Chen Tang

ByteDance is a global technology company operating a wide range of content platforms around the world, and is best known for creating TikTok. The company operates at a massive scale, which naturally presents challenges in ensuring performance and stability across its data centers. It has over a million servers running containerized applications, and this required

The post ByteDance’s Container Networking Stack with Chen Tang appeared first on Software Engineering Daily.

2 days, 20 hours назад @ softwareengineeringdaily.com
WayForward Games with Tomm Hulett and Voldi Way
WayForward Games with Tomm Hulett and Voldi Way

WayForward is a renowned video game studio that was founded in 1990. The company has developed games for publishers such as Capcom, Konami, and Nintendo and has released their games across major hardware platforms from the last 35 years. They are also the creators of the Shantae series of 2D platformers. WayForward recently developed the

The post WayForward Games with Tomm Hulett and Voldi Way appeared first on Software Engineering Daily.

1 week назад @ softwareengineeringdaily.com
CodeRabbit and RAG for Code Review with Harjot Gill
CodeRabbit and RAG for Code Review with Harjot Gill

One of the most immediate and high-impact applications of LLMs has been in software development. The models can significantly accelerate code writing, but with that increased velocity comes a greater need for thoughtful, scalable approaches to codereview. Integrating AI into the development workflow requires rethinking how to ensure quality,security, and maintainability at scale. CodeRabbit is

The post CodeRabbit and RAG for Code Review with Harjot Gill appeared first on Software Engineering Daily.

1 week, 2 days назад @ softwareengineeringdaily.com
Emulating Retro Games on Modern Consoles with Robin Lavallée and Bill Litshauer
Emulating Retro Games on Modern Consoles with Robin Lavallée and Bill Litshauer

Emulating retro games on modern consoles is a growing trend, and allows players to experience classic titles with improved performance, enhanced resolution, and added features like save states and rewinding. However, this process raises many challenging technical questions related to hardware compatibility, performance optimization, rendering, and state management. Implicit Conversions is a company focused on

The post Emulating Retro Games on Modern Consoles with Robin Lavallée and Bill Litshauer appeared first on Software Engineering Daily.

2 weeks назад @ softwareengineeringdaily.com
SED News: Corporate Spies, Postgres, and the Weird Life of Devs Right Now
SED News: Corporate Spies, Postgres, and the Weird Life of Devs Right Now

Welcome back to SED News, a podcast series from Software Engineering Daily where hosts Gregor Vand and Sean Falconer break down the latest stories in software engineering, Silicon Valley, and wider tech world. In this episode, Gregor and Sean unpack what’s going with Deel and Rippling, explore why Databricks and Snowflake are making big bets

The post SED News: Corporate Spies, Postgres, and the Weird Life of Devs Right Now appeared first on Software Engineering Daily.

2 weeks, 2 days назад @ softwareengineeringdaily.com
TanStack and the Future of Frontend with Tanner Linsley
TanStack and the Future of Frontend with Tanner Linsley

TanStack is an open-source collection of high-performance libraries for JavaScript and TypeScript applications, primarily focused on state management, data fetching, and table utilities. It includes popular libraries like TanStack Query, TanStack Table, and TanStack Router. These libraries emphasize declarative APIs, optimized performance, and developer-friendly features, and they are increasingly popular for modern frontend development. Tanner

The post TanStack and the Future of Frontend with Tanner Linsley appeared first on Software Engineering Daily.

3 weeks назад @ softwareengineeringdaily.com
The Challenge of AI Model Evaluations with Ankur Goyal
The Challenge of AI Model Evaluations with Ankur Goyal

Evaluations are critical for assessing the quality, performance, and effectiveness of software during development. Common evaluation methods include code reviews and automated testing, and can help identify bugs, ensure compliance with requirements, and measure software reliability. However, evaluating LLMs presents unique challenges due to their complexity, versatility, and potential for unpredictable behavior. Ankur Goyal is

The post The Challenge of AI Model Evaluations with Ankur Goyal appeared first on Software Engineering Daily.

3 weeks, 2 days назад @ softwareengineeringdaily.com
Modern Distributed Applications with Stephan Ewen
Modern Distributed Applications with Stephan Ewen

A major challenge with creating distributed applications is achieving resilience, reliability, and fault tolerance. It can take considerable engineering time to address non-functional concerns like retries, state synchronization, and distributed coordination. Event-driven models aim to simplify these issues, but often introduce new difficulties in debugging and operations. Stephan Ewen is the Founder at Restate which

The post Modern Distributed Applications with Stephan Ewen appeared first on Software Engineering Daily.

4 weeks назад @ softwareengineeringdaily.com
Crew AI with João Moura
Crew AI with João Moura

Agentic AI is seen as a key frontier in artificial intelligence, enabling systems to autonomously act, adapt in real-time, and solve complex, multi-step problems based on objectives and context. Unlike traditional rule-based or generative AI, which are limited to predefined or reactive tasks, agentic AI processes vast information, models uncertainty, and makes context-sensitive decisions, mimicking

The post Crew AI with João Moura appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Chip Design in the AI Era with Thomas Andersen
Chip Design in the AI Era with Thomas Andersen

Synopsys is a leading electronic design automation company specializing in silicon design and verification, as well as software integrity and security. Their tools are foundational to the creation of modern chips and embedded software, powering everything from smartphones to cars. Chip design is a deeply complex process, often taking months or years and requiring the

The post Chip Design in the AI Era with Thomas Andersen appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
OpenTofu with Cory O’Daniel and Malcolm Matalka
OpenTofu with Cory O’Daniel and Malcolm Matalka

OpenTofu is an open-source alternative to Terraform, designed for managing infrastructure as code. It enables users to define, provision, and manage their cloud and on-premises resources using a declarative configuration language. OpenTofu was created to ensure an open and community-driven approach to infrastructure tooling, and it emphasizes compatibility and extensibility for diverse deployment scenarios. Cory

The post OpenTofu with Cory O’Daniel and Malcolm Matalka appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Mojo and Building a CUDA Replacement with Chris Lattner
Mojo and Building a CUDA Replacement with Chris Lattner

Python is the dominant language for AI and data science applications, but it lacks the performance and low-level control needed to fully leverage GPU hardware. As a result, developers often rely on NVIDIA’s CUDA framework, which adds complexity and fragments the development stack. Mojo is a new programming language designed to combine the simplicity of

The post Mojo and Building a CUDA Replacement with Chris Lattner appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Building PostgreSQL for the Future with Heikki Linnakangas
Building PostgreSQL for the Future with Heikki Linnakangas

PostgreSQL is an open-source database known for its robustness, extensibility, and compliance with SQL standards. Its ability to handle complex queries and maintain high data integrity has made it a top choice for both start-ups and large enterprises. Heikki Linnakangas is a leading developer for the PostgreSQL project, and he’s a co-founder at Neon, which

The post Building PostgreSQL for the Future with Heikki Linnakangas appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Security at Coinbase with Philip Martin
Security at Coinbase with Philip Martin

Cryptocurrency exchanges face unique security challenges that require specialized threat assessments and planning. Coinbase is a cryptocurrency exchange based in the United States. It was founded in 2012 and has evolved alongside cryptocurrency as a technology. Philip Martin is the Chief Security Officer at Coinbase. Prior to Coinbase, Philip built and led the Incident Response

The post Security at Coinbase with Philip Martin appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
⌨ Coding
Martin Fowler
последний пост 1 day, 15 hours назад
Why Organizations Need Expert Generalists
Why Organizations Need Expert Generalists Why Organizations Need Expert Generalists

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

The relationship between Expert Generalists and LLMs is often similar to that between Expert Generalists and specialists in a team.

Why Organizations Need Expert Generalists The simplest reason why organizations should pay more attention to Expert Generalists is the loss of opportunities to staff teams.

1 day, 15 hours назад @ martinfowler.com
Expert Generalists need specialists (and LLMs)
Expert Generalists need specialists (and LLMs) Expert Generalists need specialists (and LLMs)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

Expert Generalists still need Specialists While we've spent this article praising the Expert Generalist, we simultaneously do not deny the value of specialist knowledge.

The relationship between Expert Generalists and LLMs is often similar to that between Expert Generalists and specialists in a team.

2 days, 16 hours назад @ martinfowler.com
Growing Expert Generalists
Growing Expert Generalists Growing Expert Generalists

(But beware, we find many Expert Generalists, including at least one author of this article, cringe at the word “expert”.)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

When joining a new team, expert generalists tend to listen to the established ways that a team works, introducing different approaches thoughtfully.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nurturing —expert generalists: the hiring interview and ongoing career progression.

1 week, 1 day назад @ martinfowler.com
LLMs bring new nature of abstraction
LLMs bring new nature of abstraction LLMs bring new nature of abstraction

I think the appearance of LLMs will change software development to a similar degree as the change from assembler to the first high-level programming languages.

The further development of languages and frameworks increased our abstraction level and productivity, but didn’t have that kind of impact on the nature of programming.

LLMs are making that degree of impact, but with the distinction that it isn’t just raising the level of abstraction, but also forcing us to consider what it means to program with non-deterministic tools.

LLMs introduce a non-deterministic abstraction, so I can’t just store my prompts in git and know that I’ll get the same behavior each time.

As we learn to use …

1 week, 2 days назад @ martinfowler.com
LLMs bring new nature of abstraction
LLMs bring new nature of abstraction LLMs bring new nature of abstraction

I think the appearance of LLMs will change software development to a similar degree as the change from assembler to the first high-level programming languages.

The further development of languages and frameworks increased our abstraction level and productivity, but didn't have that kind of impact on the nature of programming.

LLMs introduce a non-deterministic abstraction, so I can't just store my prompts in git and know that I'll get the same behavior each time.

As my colleague Birgitta put it, we're not just moving up the abstraction levels, we're moving sideways into non-determinism at the same time.

illustration: Birgitta BöckelerAs we learn to use LLMs in our work, we have to get figu…

1 week, 2 days назад @ martinfowler.com
Assessing Expert Generalists
Assessing Expert Generalists Assessing Expert Generalists

We've long noticed that not just anyone succeeds as an Expert Generalist, but once we understand the traits that are key for such Expert Generalists, organizations can shape learning programs, hiring filters, and career paths that deliberately develop them.

(But beware, we find many Expert Generalists, including at least one author of this article, cringe at the word “expert”.)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

Assessing Expert Generalists We have two crucial checkpoints for spotting —and then nur…

1 week, 2 days назад @ martinfowler.com
Expert Generalists: three more characteristics
Expert Generalists: three more characteristics Expert Generalists: three more characteristics

We've long noticed that not just anyone succeeds as an Expert Generalist, but once we understand the traits that are key for such Expert Generalists, organizations can shape learning programs, hiring filters, and career paths that deliberately develop them.

(But beware, we find many Expert Generalists, including at least one author of this article, cringe at the word “expert”.)

The Characteristics of an Expert Generalist When we've observed Expert Generalists, there are certain attributes that stand out.

Curiosity Expert generalists are full of curiosity Expert Generalists display a lot of curiosity.

This characteristic is noticeable when Expert Generalists get an answer to a question.

2 weeks назад @ martinfowler.com
Expert Generalists: first three characteristics
Expert Generalists: first three characteristics Expert Generalists: first three characteristics

I've since been dismissed as a “patterns guy”, “agile guy”, “architecture guy”, “java guy”, “ruby guy”, and “anti-architect guy”.

Specialists are seen as people with a deep skill in a specific subject, while generalists have broad but shallow skills.

We've seen this capability be an essential quality in our best colleagues, to the degree that its importance is something we've taken for granted.

We've long noticed that not just anyone succeeds as an Expert Generalist, but once we understand the traits that are key for such Expert Generalists, organizations can shape learning programs, hiring filters, and career paths that deliberately develop them.

(But beware, we fin…

2 weeks, 1 day назад @ martinfowler.com
Autonomous coding agents: A Codex example
Autonomous coding agents: A Codex example Autonomous coding agents: A Codex example

  I’ll search for “to human” in the src directory to find relevant references.

  I’m checking if the category-to-human-readable transformation is handled in _navigation_items or elsewhere.

  I’m going to look up “human readable” to get more info on the topic.

  Filtering the search to just the “src” folder to avoid node_modules noise.

  I’m checking the whole repo in case the logic is in the backend or a library.

4 weeks, 1 day назад @ martinfowler.com
Should I still use analytics?
Should I still use analytics? Should I still use analytics?

Martin Fowler: 03 Jun 2025I set up Google Analytics on my site in 2010, and since then use it to track page views to my site.

I only care about page views, which I find useful to figure out which pages get the most traffic.

But Google collects much more information than just page views, and it’s tracking is more intrusive than I would like.

I took a look at it the following day, and everything seemed to be ok, but now, a couple of weeks later, page views reported by Google Analytics have dropped drastically.

Maybe I just live without analytics data.

1 month назад @ martinfowler.com
Bliki: Say Your Writing
Bliki: Say Your Writing Bliki: Say Your Writing

This advice is for those who, like me, strive to get a conversational tone to their writings.

A lot of people are taught to write in a different way than they speak, but I find prose much more engaging with this conversational tone.

I've heard people say that when reading my work, they can hear me speaking it - which is exactly the effect I'm after.

Too often I read prose that feels flabby.

In my case I find I constantly (silently) speak the words as I'm writing.

1 month назад @ martinfowler.com
Interviewed by James Lewis at goto Copenhagen
Interviewed by James Lewis at goto Copenhagen Interviewed by James Lewis at goto Copenhagen

At goto copenhagen last year, my friend James Lewis interviewed me and Goto have just released the video. I talk about when I learned about iterative design from Kent Beck, the dangers of product owners interfering with business-developer communication, and writing the agile manifesto. During this he specifically asked about my essay Is Design Dead. There's also a some audience questions asking if pair programming is a bad thing for introverts like us (no), and (inevitably) the role of LLMs for programmers today.

more…

1 month, 1 week назад @ youtube.com
Refresh of Agile Threat Modeling
Refresh of Agile Threat Modeling Refresh of Agile Threat Modeling

We believe effective threat modeling should start simple and grow incrementally, rather than relying on exhaustive upfront analysis.

To demonstrate this in practice, we begin with outlining the core insights required for threat modeling.

We then dive into practical threat modeling examples using the STRIDE framework.

The key to cutting through complexity in threat modeling lies in tracing how data moves through your technology stack.

We use these STRIDE cards internally during threat modeling sessions either as printed cards or have them on screen.

1 month, 2 weeks назад @ martinfowler.com
Building Custom Tooling with LLMs
Building Custom Tooling with LLMs Building Custom Tooling with LLMs

Diagram as code - A PlantUML primer Before diving into the development process, let's briefly introduce PlantUML for those who might be unfamiliar.

Step 2: Building the Parser Logic (and Debugging) “Now we need to parse the plantuml files and separate out step.

I'll help you create a Gradle task to process PlantUML files and generate step-by-step diagrams.

Now we need to generate a HTML viewer for the step files to be shown one by one.

This setup allowed us to quickly generate step diagrams from a single PlantUML file, and view them in a step by step manner.

1 month, 2 weeks назад @ martinfowler.com
Coding Assistants Threaten the Software Supply Chain
Coding Assistants Threaten the Software Supply Chain Coding Assistants Threaten the Software Supply Chain

We have long recognized that developer environments represent a weak point in the software supply chain.

As a result, any malicious code introduced at this stage can have a broad and significant impact radius particularly with sensitive data and services.

Coding assistants introduce new components and vulnerabilities to the software supply chain, but can also be owned or compromised themselves in novel and intriguing ways.

: Malicious responses from external tools or APIs can trigger unintended behaviors within the assistant, amplifying malicious instructions through feedback loops.

Escalation of privilege: A compromised assistant, particularly if lightly supervised, can execute deceptive o…

1 month, 3 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 1 week назад
Интерактивный тур по Go 1.25
Интерактивный тур по Go 1.25 Интерактивный тур по Go 1.25

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

1 week назад @ antonz.ru
fuzzy: Нечеткое сравнение строк в SQLite
fuzzy: Нечеткое сравнение строк в SQLite fuzzy: Нечеткое сравнение строк в SQLite

Cравнивать строки на похожесть и транслитерировать текст.

1 month, 2 weeks назад @ antonz.ru
No-Code и заклинатели дождя
No-Code и заклинатели дождя No-Code и заклинатели дождя

Прощай, зерокод.

1 month, 2 weeks назад @ antonz.ru
Stack Overflow помер (ну почти)
Stack Overflow помер (ну почти) Stack Overflow помер (ну почти)

Вернулся в 2007.

1 month, 2 weeks назад @ antonz.ru
Опыт с книгой
Опыт с книгой Опыт с книгой

Здесь денег нет.

2 months, 3 weeks назад @ antonz.ru
rand.Text
rand.Text rand.Text

Криптографически случайная строка.

4 months, 1 week назад @ antonz.ru
Метод-значение
Метод-значение Метод-значение

Функция с приколоченным к ней получателeм.

4 months, 1 week назад @ antonz.ru
Пропуск нулевых значений в JSON
Пропуск нулевых значений в JSON Пропуск нулевых значений в JSON

omitzero на замену omitempty.

4 months, 1 week назад @ antonz.ru
SHA-3 и его друзья
SHA-3 и его друзья SHA-3 и его друзья

Больше криптографии.

4 months, 2 weeks назад @ antonz.ru
Больше итераторов в Go 1.24
Больше итераторов в Go 1.24 Больше итераторов в Go 1.24

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

4 months, 2 weeks назад @ antonz.ru
Контекст для тестов
Контекст для тестов Контекст для тестов

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .

4 months, 3 weeks назад @ antonz.ru
Как стать дата-сатанистом, не выходя из VS Code
Как стать дата-сатанистом, не выходя из VS Code Как стать дата-сатанистом, не выходя из VS Code

И сжечь все ноутбуки.

6 months, 1 week назад @ antonz.ru
Заглушить логи
Заглушить логи Заглушить логи

Через io.Discard.

6 months, 3 weeks назад @ antonz.ru
Say It in Russian
Say It in Russian Say It in Russian

Эмодзи-пак с текстовыми реакциями для телеграма.

7 months назад @ antonz.ru
cmp.Or
cmp.Or cmp.Or

Редкий пример сахарка в Go.

7 months, 3 weeks назад @ antonz.ru