Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 2 weeks, 1 day назад
Migrating Airbnb’s JVM Monorepo to Bazel
Migrating Airbnb’s JVM Monorepo to Bazel Migrating Airbnb’s JVM Monorepo to Bazel

At Airbnb, we recently completed migrating our largest repo, the JVM monorepo, to Bazel. This repo contains tens of millions of lines of Java, Kotlin, and Scala code that power the vast array of backend services and data pipelines behind airbnb.com.Migration in numbers (4.5 years of work):Build CSAT: 38% → 68%3–5x faster local build and test times2–3x faster IntelliJ syncs2–3x faster deploys to the development environmentIn this blog post, we’ll discuss the why, share some highlights on the how, and finish off with key learnings.Why Bazel?Before the migration, our JVM monorepo used Gradle as its build system. We decided to migrate to Bazel because it offered three key advantages: speed, rel…

2 weeks, 1 day назад @ medium.com
Seamless Istio Upgrades at Scale
Seamless Istio Upgrades at Scale Seamless Istio Upgrades at Scale

How Airbnb upgrades tens of thousands of pods on dozens of Kubernetes clusters to new Istio versionsAirbnb has been running Istio® at scale since 2019. We support workloads running on both Kubernetes and virtual machines (using Istio’s mesh expansion). Across these two environments, we run tens of thousands of pods, dozens of Kubernetes clusters, and thousands of VMs. These workloads send tens of millions of QPS at peak through Istio. Our IstioCon 2021 talk describes our journey onto Istio and our KubeCon 2021 talk goes into further detail on our architecture.Istio is a foundational piece of our architecture, which makes ongoing maintenance and upgrades a challenge. Despite that, we have up…

3 weeks назад @ medium.com
Achieving High Availability with distributed database on Kubernetes at Airbnb
Achieving High Availability with distributed database on Kubernetes at Airbnb Achieving High Availability with distributed database on Kubernetes at Airbnb

IntroductionTraditionally, organizations have deployed databases on costly, high-end standalone servers using sharding for scaling as a strategy. As data demands grew, the limitations of this strategy became increasingly evident with increasingly longer and more complex maintenance projects.Increasingly distributed horizontally scalable databases are not uncommon and many of them are open source. However, running these databases reliably in the cloud with high availability, low latency and scalability, all at a reasonable cost is a problem many companies are trying to solve.We chose an innovative strategy of deploying a distributed database cluster across multiple Kubernetes clusters in a c…

1 month назад @ medium.com
Understanding and Improving SwiftUI Performance
Understanding and Improving SwiftUI Performance Understanding and Improving SwiftUI Performance

New techniques we’re using at Airbnb to improve and maintain performance of SwiftUI features at scaleBy Cal Stephens, Miguel JimenezAirbnb first adopted SwiftUI in 2022, starting with individual components and later expanding to entire screens and features. We’ve seen major improvements to engineers’ productivity thanks to its declarative, flexible, and composable architecture. However, adopting SwiftUI has brought new challenges related to performance. For example, there are many common code patterns in SwiftUI that can be inefficient, and many small papercuts can add up to a large cumulative performance hit. To begin addressing some of these issues at scale, we’ve created new tooling for …

2 months назад @ medium.com
Load Testing with Impulse at Airbnb
Load Testing with Impulse at Airbnb Load Testing with Impulse at Airbnb

Comprehensive Load Testing with Load Generator, Dependency Mocker, Traffic Collector, and MoreAuthors: Chenhao Yang, Haoyue Wang, Xiaoya Wei, Zay Guan, Yaolin Chen and Fei YuanSystem-level load testing is crucial for reliability and efficiency. It identifies bottlenecks, evaluates capacity for peak traffic, establishes performance baselines, and detects errors. At a company of Airbnb’s size and complexity, we’ve learned that load testing needs to be robust, flexible, and decentralized. This requires the right set of tools to enable engineering teams to do self-service load tests that integrate seamlessly with CI.Impulse is one of our internal load-testing-as-a-service frameworks. It provide…

2 months, 2 weeks назад @ medium.com
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support… Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

3 months назад @ medium.com
How Airbnb Measures Listing Lifetime Value
How Airbnb Measures Listing Lifetime Value How Airbnb Measures Listing Lifetime Value

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

5 months назад @ medium.com
Embedding-Based Retrieval for Airbnb Search
Embedding-Based Retrieval for Airbnb Search Embedding-Based Retrieval for Airbnb Search

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

5 months, 1 week назад @ medium.com
Accelerating Large-Scale Test Migration with LLMs
Accelerating Large-Scale Test Migration with LLMs Accelerating Large-Scale Test Migration with LLMs

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

5 months, 2 weeks назад @ medium.com
Improving Search Ranking for Maps
Improving Search Ranking for Maps Improving Search Ranking for Maps

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

8 months, 1 week назад @ medium.com
Airbnb at KDD 2024
Airbnb at KDD 2024 Airbnb at KDD 2024

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

8 months, 1 week назад @ medium.com
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

8 months, 3 weeks назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

9 months назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

9 months, 1 week назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

9 months, 2 weeks назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 month, 2 weeks назад
Behind the Streams: Live at Netflix. Part 1
Behind the Streams: Live at Netflix. Part 1 Behind the Streams: Live at Netflix. Part 1

Behind the Streams: Three Years Of Live at Netflix. Part 1.By Sergey Fedorov, Chris Pham, Flavio Ribeiro, Chris Newton, and Wei WeiMany great ideas at Netflix begin with a question, and three years ago, we asked one of our boldest yet: if we were to entertain the world through Live — a format almost as old as television itself — how would we do it?What began with an engineering plan to pave the path towards our first Live comedy special, Chris Rock: Selective Outrage, has since led to hundreds of Live events ranging from the biggest comedy shows and NFL Christmas Games to record-breaking boxing fights and becoming the home of WWE.In our series Behind the Streams — where we take you through …

1 month, 2 weeks назад @ netflixtechblog.com
Netflix Tudum Architecture: from CQRS with Kafka to CQRS with RAW Hollow
Netflix Tudum Architecture: from CQRS with Kafka to CQRS with RAW Hollow Netflix Tudum Architecture: from CQRS with Kafka to CQRS with RAW Hollow

By Eugene Yemelyanau, Jake GriceIntroductionTudum.com is Netflix’s official fan destination, enabling fans to dive deeper into their favorite Netflix shows and movies. Tudum offers exclusive first-looks, behind-the-scenes content, talent interviews, live events, guides, and interactive experiences. “Tudum” is named after the sonic ID you hear when pressing play on a Netflix show or movie. Attracting over 20 million members each month, Tudum is designed to enrich the viewing experience by offering additional context and insights into the content available on Netflix.Initial architectureAt the end of 2021, when we envisioned Tudum’s implementation, we considered architectural patterns that wo…

1 month, 2 weeks назад @ netflixtechblog.com
Driving Content Delivery Efficiency Through Classifying Cache Misses
Driving Content Delivery Efficiency Through Classifying Cache Misses Driving Content Delivery Efficiency Through Classifying Cache Misses

By Vipul Marlecha, Lara Deek, Thiara OrtizThe mission of Open Connect, our dedicated content delivery network (CDN), is to deliver the best quality of experience (QoE) to our members. By localizing our Open Connect Appliances (OCAs), we bring Netflix content closer to the end user. This is achieved through close partnerships with internet service providers (ISPs) worldwide. Our ability to efficiently localize traffic, known as Content Delivery Efficiency, is a critical component of Open Connect’s service.In this post, we discuss one of the frameworks we use to evaluate our efficiency and identify sources of inefficiencies. Specifically, we classify the causes of traffic not being served fro…

1 month, 3 weeks назад @ netflixtechblog.com
AV1 @ Scale: Film Grain Synthesis, The Awakening
AV1 @ Scale: Film Grain Synthesis, The Awakening AV1 @ Scale: Film Grain Synthesis, The Awakening

Unleashing Film Grain Synthesis on Netflix and Enhancing Visuals for MillionsLi-Heng Chen, Andrey Norkin, Liwei Guo, Zhi Li, Agata Opalach and Anush MoorthyPicture this: you’re watching a classic film, and the subtle dance of film grain adds a layer of authenticity and nostalgia to every scene. This grain, formed from tiny particles during the film’s development, is more than just a visual effect. It plays a key role in storytelling by enhancing the film’s depth and contributing to its realism. However, film grain is as elusive as it is beautiful. Its random nature makes it notoriously difficult to compress. Traditional compression algorithms struggle to manage it, often forcing a choice be…

1 month, 3 weeks назад @ netflixtechblog.com
Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix
Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix Model Once, Represent Everywhere: UDA (Unified Data Architecture) at Netflix

By Alex Hutter, Alexandre Bertails, Claire Wang, Haoyuan He, Kishore Banala, Peter Royal, Shervin AfsharAs Netflix’s offerings grow — across films, series, games, live events, and ads — so does the complexity of the systems that support it. Core business concepts like ‘actor’ or ‘movie’ are modeled in many places: in our Enterprise GraphQL Gateway powering internal apps, in our asset management platform storing media assets, in our media computing platform that powers encoding pipelines, to name a few. Each system models these concepts differently and in isolation, with little coordination or shared understanding. While they often operate on the same concepts, these systems remain largely u…

2 months, 2 weeks назад @ netflixtechblog.com
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

3 months, 1 week назад @ netflixtechblog.com
Behind the Scenes: Building a Robust Ads Event Processing Pipeline
Behind the Scenes: Building a Robust Ads Event Processing Pipeline Behind the Scenes: Building a Robust Ads Event Processing Pipeline

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

3 months, 2 weeks назад @ netflixtechblog.com
Measuring Dialogue Intelligibility for Netflix Content
Measuring Dialogue Intelligibility for Netflix Content Measuring Dialogue Intelligibility for Netflix Content

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

3 months, 3 weeks назад @ netflixtechblog.com
How Netflix Accurately Attributes eBPF Flow Logs
How Netflix Accurately Attributes eBPF Flow Logs How Netflix Accurately Attributes eBPF Flow Logs

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

4 months, 3 weeks назад @ netflixtechblog.com
Globalizing Productions with Netflix’s Media Production Suite
Globalizing Productions with Netflix’s Media Production Suite Globalizing Productions with Netflix’s Media Production Suite

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

5 months назад @ netflixtechblog.com
Foundation Model for Personalized Recommendation
Foundation Model for Personalized Recommendation Foundation Model for Personalized Recommendation

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

5 months назад @ netflixtechblog.com
HDR10+ Now Streaming on Netflix
HDR10+ Now Streaming on Netflix HDR10+ Now Streaming on Netflix

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

5 months назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

5 months, 3 weeks назад @ netflixtechblog.com
Introducing Impressions at Netflix
Introducing Impressions at Netflix Introducing Impressions at Netflix

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

6 months, 2 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

7 months, 3 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 5 days, 21 hours назад
Developer Experience at Pinterest: The Journey to PinConsole
Developer Experience at Pinterest: The Journey to PinConsole Developer Experience at Pinterest: The Journey to PinConsole

Authors: Ashlin Jones, Engineering Manager; Haniel Martino, Software Engineer; Su Rong, Software Engineer; Viktoria Czaran, Software EngineerAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. This ambitious goal is powered by a complex technological ecosystem managed by thousands of engineers who develop and maintain services to support over 550 million monthly active users¹.As Pinterest evolved to a platform serving hundreds of millions of users, we faced a critical question: How do we maintain engineering velocity while managing increasing technological complexity? The answer led us to reimagine our developer experience through an Internal Developer…

5 days, 21 hours назад @ medium.com
Debugging the One-in-a-Million Failure: Migrating Pinterest’s Search Infrastructure to Kubernetes
Debugging the One-in-a-Million Failure: Migrating Pinterest’s Search Infrastructure to Kubernetes Debugging the One-in-a-Million Failure: Migrating Pinterest’s Search Infrastructure to Kubernetes

Samson Hu, Shashank Tavildar, Eric Kalkanger, Hunter GatewoodWhile migrating Pinterest’s search infrastructure — which powers core experiences for millions of users monthly — to Kubernetes, we faced a challenge in the new environment: one in every million search requests took 100x longer than usual.This post chronicles our investigation, uncovering an elusive interaction between our memory-intensive search system and a seemingly innocent monitoring process. The journey involves profiling search systems, debugging performance issues, Linux kernel features, and memory management.Migrating Manas to KubernetesAt Pinterest, search is a critical component of our recommendation system. When users …

1 month, 1 week назад @ medium.com
Next Gen Data Processing at Massive Scale At Pinterest With Moka (Part 1 of 2)
Next Gen Data Processing at Massive Scale At Pinterest With Moka (Part 1 of 2) Next Gen Data Processing at Massive Scale At Pinterest With Moka (Part 1 of 2)

Soam Acharya: Principal Engineer · Rainie Li: Manager, Data Processing Infrastructure · William Tom: Senior Staff Software Engineer · Ang Zhang: Director, Big Data PlatformAs Pinterest’s data processing needs grow and as our current Hadoop-based platform (Monarch) ages, the Big Data Platform (BDP) team within Pinterest Data Engineering started considering alternatives for our next generation massive scale data processing platform. In this blog post series, we share details of our subsequent journey, the architecture of our next gen data processing platform, and some insights we gained along the way. In part one, we provide rationale for our new technical direction prior to outlining the ove…

1 month, 2 weeks назад @ medium.com
Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines
Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines Scaling Pinterest ML Infrastructure with Ray: From Training to End-to-End ML Pipelines

Andrew Yu Staff Software Engineer / Jiahuan Liu Staff Software Engineer / Qingxian Lai Staff Software Engineer / Kritarth Anand Staff Software Engineer1. Introduction: Expanding Ray Beyond Training & InferenceAt Pinterest, ML engineers continuously strive to optimize feature development, sampling strategies, and label experimentation. However, the traditional ML infrastructure was constrained by slow data pipelines, costly feature iterations, and inefficient compute usage.While Ray has already transformed our training/batch inference workflows, we saw an opportunity to extend its capabilities to the entire ML infrastructure stack. This blog details how we expanded Ray’s role beyond training…

2 months назад @ medium.com
Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads
Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads Unlocking Efficient Ad Retrieval: Offline Approximate Nearest Neighbors in Pinterest Ads

Authors (non-ordered): Qishan(Shanna) Zhu, Chen HuAcknowledgements: Longyu Zhao, Jacob Gao, Quannan Li, Dinesh GovindarajIntroductionIn the evolving landscape of advertising, the demand for real-time personalization and dynamic ad delivery has made Online Approximate Nearest Neighbors (ANN) a mainstream method for ad retrieval. Pinterest primarily employs online ANN to swiftly adapt to users’ behavior changes (depending on their age, location and privacy settings), thereby enhancing ad responsiveness and relevance.However, offline ANN is also a valuable option, particularly when large-scale data processing, efficient resource utilization, and cost-effective operations are critical. By preco…

2 months, 2 weeks назад @ medium.com
Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations
Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations Next-Level Personalization: How 16k+ Lifelong User Actions Supercharge Pinterest’s Recommendations

Xue Xia | Machine Learning Engineer, Home Feed Ranking; Saurabh Vishwas Joshi | Principal Engineer, ML Platform; Kousik Rajesh | Machine Learning Engineer, Applied Science; Kangnan Li | Machine Learning Engineer, Core ML Infrastructure; Yangyi Lu | Machine Learning Engineer, Home Feed Ranking; Nikil Pancha | (formerly) Machine Learning Engineer, Applied Science; Dhruvil Deven Badani | Engineering Manager, Home Feed Ranking; Jiajing Xu | Engineering Manager, Applied Science; Pong Eksombatchai | Principal Machine Learning Engineer, Applied ScienceBackgroundThe Pinterest home feed is crucial for Pinner engagement and discovery. Pins on the home feed are personalized using a two-stage process: …

2 months, 3 weeks назад @ medium.com
Automated Migration and Scaling of Hadoop™ Clusters
Automated Migration and Scaling of Hadoop™ Clusters Automated Migration and Scaling of Hadoop™ Clusters

Joe Sabolefski, Sr. Site Reliability EngineerPinterest Big Data InfrastructureMuch of Pinterest’s big data is processed using frameworks like MapReduce™, Spark™, and Flink™ on Hadoop™ YARN™. The processing is carried out on many thousands of nodes spread across over a dozen clusters. We use AWS for our infrastructure, and each cluster uses Auto Scaling Groups (ASGs) to maintain cluster size. Because Hadoop is stateful, we do not auto-scale the clusters; each ASG is fixed in size (desired = min = max). Terraform is utilized to create each cluster. Before introducing the Hadoop Control Center (HCC), Terraform was also used to scale out the Auto Scaling Groups (ASGs). However, scaling in (down…

2 months, 3 weeks назад @ medium.com
Adopting Docs-as-Code at Pinterest
Adopting Docs-as-Code at Pinterest Adopting Docs-as-Code at Pinterest

Jacob Seiler | Software Engineer, Internal Tools PlatformJay Kim | Software Engineer, Internal Tools PlatformCharlie Gu | Engineering Manager, Internal Tools PlatformTechnical documentation is the backbone of any successful engineering team, yet at Pinterest, it has consistently been a source of frustration. Despite using popular web-based wiki tools and experimenting with well-known alternative applications, our internal developer surveys reveal that documentation remains a top pain point. The issues boil down to two critical areas: quality and discoverability. Traditional solutions, such as doc-a-thon sprints or passionate appeals from senior leaders, have failed to produce lasting improv…

2 months, 3 weeks назад @ medium.com
Healthier Personalization with Surveys
Healthier Personalization with Surveys Healthier Personalization with Surveys

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

3 months назад @ medium.com
Modernizing Home Feed Pre-Ranking Stage
Modernizing Home Feed Pre-Ranking Stage Modernizing Home Feed Pre-Ranking Stage

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

3 months назад @ medium.com
How Pinterest Accelerates ML Feature Iterations via Effective Backfill
How Pinterest Accelerates ML Feature Iterations via Effective Backfill How Pinterest Accelerates ML Feature Iterations via Effective Backfill

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

3 months, 1 week назад @ medium.com
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework 500X Scalability of Experiment Metric Computing with Unified Dynamic Framework

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

3 months, 2 weeks назад @ medium.com
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads… Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

4 months назад @ medium.com
Migrating 3.7 Million Lines of Flow Code to TypeScript
Migrating 3.7 Million Lines of Flow Code to TypeScript Migrating 3.7 Million Lines of Flow Code to TypeScript

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

4 months, 1 week назад @ medium.com
Improving Pinterest Search Relevance Using Large Language Models
Improving Pinterest Search Relevance Using Large Language Models Improving Pinterest Search Relevance Using Large Language Models

Han Wang | Machine Learning Engineer II, Relevance & Query Understanding; Mukuntha Narayanan | Machine Learning Engineer II, Relevance & Query Understanding; Onur Gungor | (former) Staff Machine Learning Engineer, Relevance & Query Understanding; Jinfeng Rao | Senior Staff Machine Learning Engineer, Pinner DiscoveryFigure: Illustration of the search relevance system at Pinterest.BackgroundPinterest Search is one of the key surfaces on Pinterest where users can discover inspiring content that aligns with their information needs. Search relevance measures how well the search results aligned with the search query. Using a relevance objective allows the search engine to ensure that the content …

4 months, 3 weeks назад @ medium.com
Facebook
последний пост 2 weeks, 3 days назад
Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale
Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale

We’re exploring Meta’s Federation Platform, a scalable set of tools for managing compliance-related tasks, along with Privacy Waves, our method for batching these tasks and ensuring accountability. Together, the Federation Platform and Privacy Waves create a structured, effective, and sustainable approach to operationalizing privacy work, enabling Meta to safeguard user data for the billions of [...]

Read More...

The post Federation Platform and Privacy Waves: How Meta distributes compliance-related tasks at scale appeared first on Engineering at Meta.

2 weeks, 3 days назад @ engineering.fb.com
Diff Risk Score: AI-driven risk-aware software development
Diff Risk Score: AI-driven risk-aware software development

The state of the research Diff Risk Score (DRS) is a AI-powered technology built at Meta that predicts the likelihood of a code change causing a production incident, also known as a SEV. Built on a fine-tuned Llama LLM, DRS evaluates code changes and metadata to produce a risk score and highlight potentially risky code [...]

Read More...

The post Diff Risk Score: AI-driven risk-aware software development appeared first on Engineering at Meta.

3 weeks, 1 day назад @ engineering.fb.com
Building a human-computer interface for everyone
Building a human-computer interface for everyone

What if you could control any device using only subtle hand movements? New research from Meta’s Reality Labs is pointing even more firmly toward wrist-worn devices using surface electromyography (sEMG) becoming the future of human-computer interaction. But how do you develop a wrist-worn input device that works for everyone? Generalization has been one of the [...]

Read More...

The post Building a human-computer interface for everyone appeared first on Engineering at Meta.

3 weeks, 3 days назад @ engineering.fb.com
Using AI to make lower-carbon, faster-curing concrete
Using AI to make lower-carbon, faster-curing concrete

Meta has developed an open-source AI tool to design concrete mixes that are stronger, more sustainable, and ready to build with faster—speeding up construction while reducing environmental impact. The AI tool leverages Bayesian optimization, powered by Meta’s BoTorch and Ax frameworks, and was developed with Amrize and the University of Illinois Urbana-Champaign (U of I) [...]

Read More...

The post Using AI to make lower-carbon, faster-curing concrete appeared first on Engineering at Meta.

1 month, 1 week назад @ engineering.fb.com
Accelerating GPU indexes in Faiss with NVIDIA cuVS
Accelerating GPU indexes in Faiss with NVIDIA cuVS

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

3 months, 3 weeks назад @ engineering.fb.com
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

4 months назад @ engineering.fb.com
Building multimodal AI for Ray-Ban Meta glasses
Building multimodal AI for Ray-Ban Meta glasses

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

5 months, 3 weeks назад @ engineering.fb.com
Revolutionizing software testing: Introducing LLM-powered bug catchers
Revolutionizing software testing: Introducing LLM-powered bug catchers

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

6 months, 3 weeks назад @ engineering.fb.com
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

8 months, 4 weeks назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

9 months, 1 week назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 3 months, 3 weeks назад
Incident Report: Spotify Outage on April 16, 2025
Incident Report: Spotify Outage on April 16, 2025

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

3 months, 3 weeks назад @ engineering.atspotify.com
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

4 months, 1 week назад @ engineering.atspotify.com
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

4 months, 1 week назад @ engineering.atspotify.com
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

5 months назад @ engineering.atspotify.com
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

8 months, 2 weeks назад @ engineering.atspotify.com
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

9 months назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост None
Smart Data
последний пост 1 week, 5 days назад
The Role Of AI In Transforming Medical Manufacturing
The Role Of AI In Transforming Medical Manufacturing

From lab to life-saving: The AI technologies transforming how medical equipment gets made.

1 week, 5 days назад @ smartdatacollective.com
Unseen Barriers: Identifying Bottlenecks In B2B Sales
Unseen Barriers: Identifying Bottlenecks In B2B Sales

Why deals stall: The overlooked friction points in B2B sales—and how to fix them.

1 week, 5 days назад @ smartdatacollective.com
Turning Data Into Decisions: How Analytics Improves Transportation Strategy
Turning Data Into Decisions: How Analytics Improves Transportation Strategy

Why 89% of top fleets now rely on data analytics - and how you can too.

1 month, 1 week назад @ smartdatacollective.com
AI And The Acceleration Of Information Flows From Fund Managers To Investors
AI And The Acceleration Of Information Flows From Fund Managers To Investors

No more waiting for reports: AI's revolution in fund manager-investor information sharing.

1 month, 1 week назад @ smartdatacollective.com
How Data Analytics Improves Lead Management and Sales Results
How Data Analytics Improves Lead Management and Sales Results

You can improve sales performance by using data analytics to track, score, and convert leads more effectively.

1 month, 2 weeks назад @ smartdatacollective.com
How AI and Smart Platforms Improve Email Marketing
How AI and Smart Platforms Improve Email Marketing

You can create better email campaigns by using AI tools and the right platforms to personalize content and automate key tasks.

1 month, 2 weeks назад @ smartdatacollective.com
AI Document Verification for Legal Firms: Importance & Top Tools
AI Document Verification for Legal Firms: Importance & Top Tools

Ditch Manual Checks: Top AI Tools Helping Law Firms Verify Documents 10x Faster While Meeting GDPR & AML Standards.

1 month, 2 weeks назад @ smartdatacollective.com
AI Tools Are Strengthening Global Supply Chains
AI Tools Are Strengthening Global Supply Chains

Artificial intelligence is helping businesses worldwide reduce risks, predict disruptions, and gain better control over their supply chains.

1 month, 3 weeks назад @ smartdatacollective.com
How Data Analytics Reduces Truck Accidents and Speeds Up Claims
How Data Analytics Reduces Truck Accidents and Speeds Up Claims

Data analytics is helping companies prevent truck accidents and handle insurance claims with more speed and accuracy than ever before.

1 month, 4 weeks назад @ smartdatacollective.com
Interior Designers Boost Profits with Predictive Analytics
Interior Designers Boost Profits with Predictive Analytics

Predictive analytics helps interior designers understand clients and grow profits through smarter, data-driven decisions.

1 month, 4 weeks назад @ smartdatacollective.com
What the Rise of AI Web Scrapers Means for Data Teams
What the Rise of AI Web Scrapers Means for Data Teams

AI is becoming essential for managing, cleaning, and analyzing the massive flow of business data.

2 months назад @ smartdatacollective.com
Free AI Tools to Test Website Accessibility
Free AI Tools to Test Website Accessibility

AI is changing how websites work, from design tweaks to smarter user interactions.

2 months, 1 week назад @ smartdatacollective.com
Thinking Machines At Work: How Generative AI Models Are Redefining Business Intelligence
Thinking Machines At Work: How Generative AI Models Are Redefining Business Intelligence

From data patterns to boardroom strategy - how generative AI is becoming the ultimate business co-pilot, redefining what's possible in analytics.

2 months, 1 week назад @ smartdatacollective.com
The Power of AI for Personalization in Email
The Power of AI for Personalization in Email

AI tools help tailor emails to each person, boosting engagement without the extra workload.

2 months, 3 weeks назад @ smartdatacollective.com
Improving LinkedIn Ad Strategies with Data Analytics
Improving LinkedIn Ad Strategies with Data Analytics

Data helps marketers reach the right audience and spend ad budgets more wisely on LinkedIn.

2 months, 3 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 3 days, 1 hour назад
Getting Started with Docker Desktop on Windows 10/11
Getting Started with Docker Desktop on Windows 10/11

In today’s fast-paced development world, containerization has become essential for building, shipping, and running applications efficiently. Docker is a leading platform that enables developers to package applications along with all their dependencies into a standardized container. For Windows users, Docker Desktop provides a straightforward way to take advantage of these features on a local machine. […]

The post Getting Started with Docker Desktop on Windows 10/11 appeared first on WeCloudData.

3 days, 1 hour назад @ weclouddata.com
Building an AI Application with Docker
Building an AI Application with Docker

When most developers think about artificial intelligence, they immediately consider algorithms, models, and data. However, anyone who has attempted to build an AI-powered application in the real world will tell you that the toughest part isn’t always the modeling. It’s about getting the environment right. Framework versions, CUDA dependencies, and conflicting Python libraries can all […]

The post Building an AI Application with Docker appeared first on WeCloudData.

6 days, 1 hour назад @ weclouddata.com
Getting Started with LangChain: Building a Simple Context-Aware Chatbot
Getting Started with LangChain: Building a Simple Context-Aware Chatbot

In our previous post, we explored LangChain, a powerful framework for developing applications with large language models (LLMs). We discussed its core components, operational workflows, and real-world applications. Now, it’s time to see LangChain in action. In this post, we’ll walk through building a basic, context-aware chatbot using LangChain’s modular tools. By the end of […]

The post Getting Started with LangChain: Building a Simple Context-Aware Chatbot appeared first on WeCloudData.

1 week, 1 day назад @ weclouddata.com
LangChain: A Framework for Developing Applications with Large Language Models
LangChain: A Framework for Developing Applications with Large Language Models

Property management includes many tasks, like maintenance requests, scheduling repairs, sending payment reminders, and tracking reports. It’s a constant balancing act, and small tasks can quickly add up into big problems. In 2024, AppFolio launched Realm-X, an AI assistant meant to ease some of that burden for managers. Instead of switching between different systems, they […]

The post LangChain: A Framework for Developing Applications with Large Language Models appeared first on WeCloudData.

1 week, 3 days назад @ weclouddata.com
Guide to LLMOps 101: How to Build, Deploy, and Maintain AI Models at Scale
Guide to LLMOps 101: How to Build, Deploy, and Maintain AI Models at Scale

The rise of large language models (LLMs) like ChatGPT and Claude has brought a new challenge: How to manage and deploy these complex systems in real-world settings. That’s where LLMOps comes in. LLMOps, which stands for Large Language Model Operations, includes the tools, practices, and workflows needed to develop, fine-tune, monitor, and maintain LLMs. As […]

The post Guide to LLMOps 101: How to Build, Deploy, and Maintain AI Models at Scale appeared first on WeCloudData.

2 weeks, 1 day назад @ weclouddata.com
Python Libraries For Natural Language Processing
Python Libraries For Natural Language Processing

Natural Language Processing (NLP) has become a cornerstone of artificial intelligence, enabling machines to understand, generate, and interact with human language. Whether you’re building a chatbot, analyzing sentiment, summarizing text, or detecting fake news, you’ll need a powerful NLP Python library to make your system work efficiently. With numerous choices out there, deciding where to […]

The post Python Libraries For Natural Language Processing appeared first on WeCloudData.

2 weeks, 3 days назад @ weclouddata.com
Highlights from the People First AI Microsummit: Exploring AI’s Future with WeCloudData
Highlights from the People First AI Microsummit: Exploring AI’s Future with WeCloudData

On July 30, 2025, tech enthusiasts, HR professionals, and industry leaders gathered virtually for the People First AI Micro Summit, a dynamic event hosted by WeCloudData and Beam Data. This event offered a deep dive into artificial intelligence and its transformative potential, particularly for HR and business applications. With a packed schedule featuring five expert […]

The post Highlights from the People First AI Microsummit: Exploring AI’s Future with WeCloudData appeared first on WeCloudData.

3 weeks, 1 day назад @ weclouddata.com
Streamlit: Building Interactive Data Apps with Python
Streamlit: Building Interactive Data Apps with Python

In today’s data-driven world, it’s not enough to just run scripts and generate reports. Professionals need to create real-world applications with Python. These are interactive tools that let users explore, analyze, or query data in real time. Luckily, you don’t need full-stack engineering skills anymore. Enter Streamlit, a Python library that allows you to quickly […]

The post Streamlit: Building Interactive Data Apps with Python appeared first on WeCloudData.

3 weeks, 2 days назад @ weclouddata.com
Install and Run Containers on Linux Virtual Machines – LXD/LXC
Install and Run Containers on Linux Virtual Machines – LXD/LXC

Objectives Prerequisites Introduction Virtualization technology has enabled powerful infrastructure architectures that allow single physical hardware systems to host multiple simulated environments. In essence, it allows the sharing of physical resources from a single pool to multiple isolated environments. With virtualization technology and hypervisors that manage the pool of resources, virtual machines can be created that […]

The post Install and Run Containers on Linux Virtual Machines – LXD/LXC appeared first on WeCloudData.

1 month, 1 week назад @ weclouddata.com
Is Your HR Team Ready? Three Surprising Ways AI Is Reshaping Hiring Today
Is Your HR Team Ready? Three Surprising Ways AI Is Reshaping Hiring Today

The future of hiring is automated. Artificial Intelligence has become a crucial factor in nearly every hiring decision: 87 percent of businesses globally rely on AI-driven tools daily, and 99 percent of Fortune 500 companies automate at least one hiring step. Understanding how artificial intelligence is changing the hiring process is essential for anyone working […]

The post Is Your HR Team Ready? Three Surprising Ways AI Is Reshaping Hiring Today appeared first on WeCloudData.

1 month, 2 weeks назад @ weclouddata.com
How Generative AI is Redefining HR
How Generative AI is Redefining HR

Human Resources is entering a new era, shaped by generative AI. AI has now become a working tool transforming how HR teams recruit, onboard, engage, and retain talent. But beyond the buzz, HR professionals are curious about: how exactly can Generative AI and HR​ can be used together, and what are the practical benefits? This […]

The post How Generative AI is Redefining HR appeared first on WeCloudData.

1 month, 2 weeks назад @ weclouddata.com
Scikit-learn: The Most Trusted Python Library for Data Science
Scikit-learn: The Most Trusted Python Library for Data Science

If you’re new to data science, you’ve probably heard of Scikit-learn before. And if you haven’t used it yet, you will because it’s one of Python’s most popular and reliable machine learning libraries. At WeCloudData, we train aspiring data scientists, analysts, and engineers to use tools that deliver real-world value. Scikit-learn is often the first […]

The post Scikit-learn: The Most Trusted Python Library for Data Science appeared first on WeCloudData.

1 month, 2 weeks назад @ weclouddata.com
Context Engineering: The Next Evolution After Prompt Engineering
Context Engineering: The Next Evolution After Prompt Engineering

Have you heard of prompt engineering? You use it whenever you interact with AI tools. It’s the skill of writing clear and concise instructions (prompts) to get accurate answers from AI tools like ChatGPT. But now there’s a new and more powerful idea catching on, it’s called Context Engineering. What exactly does ‘context engineering’ mean? […]

The post Context Engineering: The Next Evolution After Prompt Engineering appeared first on WeCloudData.

1 month, 3 weeks назад @ weclouddata.com
Cloud Manufacturing: The Future of Smart, Scalable Production
Cloud Manufacturing: The Future of Smart, Scalable Production

Cloud computing is now a commercial need rather than a competitive advantage in the era of Industry 4.0. To remain flexible, adaptable, and effective, manufacturing firms are adopting cloud-based solutions, from AI-powered analytics to smart factories. In this blog, we explore how cloud manufacturing​ is changing the manufacturing industry and helping businesses to cut expenses, […]

The post Cloud Manufacturing: The Future of Smart, Scalable Production appeared first on WeCloudData.

1 month, 3 weeks назад @ weclouddata.com
Power BI Beginner Tutorial: Getting Started
Power BI Beginner Tutorial: Getting Started

Power BI Tutorial | A Series – Part 2: Setting Up Your Workspace for Data Success Welcome to Part 2 of our Power BI Tutorial Series! Setting up your Power BI is important before beginning to develop dashboards and data storytelling. Think of this as laying the foundation before you build the house. Whether you’re […]

The post Power BI Beginner Tutorial: Getting Started appeared first on WeCloudData.

1 month, 4 weeks назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост 5 months, 2 weeks назад
Terraform module to manage Oxbow Lambda and its components
Terraform module to manage Oxbow Lambda and its components

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

5 months, 2 weeks назад @ tech.scribd.com
Cloud-native Data Ingestion with AWS Aurora and Delta Lake
Cloud-native Data Ingestion with AWS Aurora and Delta Lake

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

7 months, 2 weeks назад @ tech.scribd.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 7 часов назад
Mastering Amazon Q Developer with Rules
Mastering Amazon Q Developer with Rules

When I first started working with Amazon Q Developer, I was impressed by its capabilities, but I quickly found myself in a familiar pattern. Development teams using AI assistants face a common challenge: repeatedly explaining coding standards, workflow preferences, and established patterns in every conversation. This repetitive setup reduces productivity and creates inconsistent AI guidance […]

7 часов назад @ aws.amazon.com
Accelerate database migration using virtual target mode in AWS DMS Schema Conversion
Accelerate database migration using virtual target mode in AWS DMS Schema Conversion

AWS recently announced virtual target mode in AWS Database Migration Service (AWS DMS) Schema Conversion. This feature helps you start migration planning without provisioning target databases. In this post, we show you how to get started using virtual target mode in AWS DMS Schema Conversion.

18 часов назад @ aws.amazon.com
Modernize Amazon Redshift authentication by migrating user management to AWS IAM Identity Center
Modernize Amazon Redshift authentication by migrating user management to AWS IAM Identity Center

Amazon Redshift is a powerful cloud-based data warehouse that organizations can use to analyze both structured and semi-structured data through advanced SQL queries. As a fully managed service, it provides high performance and scalability while allowing secure access to the data stored in the data warehouse. Organizations worldwide rely on Amazon Redshift to handle massive […]

18 часов назад @ aws.amazon.com
Implement fine-grained access control using Amazon OpenSearch Service and JSON Web Tokens
Implement fine-grained access control using Amazon OpenSearch Service and JSON Web Tokens

This post demonstrates how to build a secure search application using Amazon OpenSearch Service and JSON Web Tokens (JWTs). We discuss the basics of OpenSearch Service and JWTs and how to implement user authentication and authorization through an existing identity provider (IdP). The focus is on enforcing fine-grained access control based on user roles and permissions.

18 часов назад @ aws.amazon.com
How Ancestry optimizes a 100-billion-row Iceberg table
How Ancestry optimizes a 100-billion-row Iceberg table

This is a guest post by Thomas Cardenas, Staff Software Engineer at Ancestry, in partnership with AWS. Ancestry, the global leader in family history and consumer genomics, uses family trees, historical records, and DNA to help people on their journeys of personal discovery. Ancestry has the largest collection of family history records, consisting of 40 […]

18 часов назад @ aws.amazon.com
Mercury foundation models from Inception Labs are now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
Mercury foundation models from Inception Labs are now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart

In this post, we announce that Mercury and Mercury Coder foundation models from Inception Labs are now available through Amazon Bedrock Marketplace and Amazon SageMaker JumpStart. We demonstrate how to deploy these ultra-fast diffusion-based language models that can generate up to 1,100 tokens per second on NVIDIA H100 GPUs, and showcase their capabilities in code generation and tool use scenarios.

1 day, 2 hours назад @ aws.amazon.com
How AppZen enhances operational efficiency, scalability, and security with Amazon OpenSearch Serverless
How AppZen enhances operational efficiency, scalability, and security with Amazon OpenSearch Serverless

AppZen is a leading provider of AI-driven finance automation solutions. The company’s core offering centers around an innovative AI platform designed for modern finance teams, featuring expense management, fraud detection, and autonomous accounts payable solutions. AppZen’s technology stack uses computer vision, deep learning, and natural language processing (NLP) to automate financial processes and ensure compliance. […]

1 day, 23 hours назад @ aws.amazon.com
Zero-ETL: How AWS is tackling data integration challenges
Zero-ETL: How AWS is tackling data integration challenges

In this blog post, we show you how Amazon Web Services (AWS) is simplifying data integration with zero-ETL while realizing performance benefits and cost optimizations. As organizations gather data for analytics and AI, they are increasingly finding themselves caught in a complex web of extract, transform, and load (ETL) pipelines—the traditional backbone of data integration. […]

1 day, 23 hours назад @ aws.amazon.com
Learn how Amazon Health Services improved discovery in Amazon search using AWS ML and gen AI
Learn how Amazon Health Services improved discovery in Amazon search using AWS ML and gen AI

In this post, we show you how Amazon Health Services (AHS) solved discoverability challenges on Amazon.com search using AWS services such as Amazon SageMaker, Amazon Bedrock, and Amazon EMR. By combining machine learning (ML), natural language processing, and vector search capabilities, we improved our ability to connect customers with relevant healthcare offerings.

1 day, 23 hours назад @ aws.amazon.com
Amazon Timestream for InfluxDB: Expanding managed open source time series databases for data-driven insights and real-time decision making
Amazon Timestream for InfluxDB: Expanding managed open source time series databases for data-driven insights and real-time decision making

In this post we are announcing the strengthening of the partnership between AWS and InfluxData as Timestream adopts InfluxDB as the main purpose-built time series database.

1 day, 23 hours назад @ aws.amazon.com
How Global Payments Inc. improved their tail latency using request hedging with Amazon DynamoDB
How Global Payments Inc. improved their tail latency using request hedging with Amazon DynamoDB

Amazon DynamoDB delivers consistent single-digit millisecond performance at any scale, making it ideal for mission-critical workloads. However, as with any distributed system, a small percentage of requests may experience significantly longer response times than the average. This phenomenon, known as tail latency, refers to these slower outliers that can be seen by looking at metrics such as the 99th or 99.9th percentile of response times. In this post, we explore how Global Payments Inc. (GPN) reduced their tail latency by 30% using request hedging. We review the technical details and challenges they faced, providing insights into how you can optimize your own latency-sensitive application…

1 day, 23 hours назад @ aws.amazon.com
Accelerating legacy code modernization: EPAM’s journey with Amazon Q Developer
Accelerating legacy code modernization: EPAM’s journey with Amazon Q Developer

This post is co-written with Nazariy Popov, Volodymyr Konchuk, and Andrii Davydenko from EPAM Legacy code modernization presents significant challenges for organizations looking to stay competitive in today’s rapidly evolving digital landscape. Organizations face the dual challenge of maintaining business continuity while modernizing their legacy systems for cloud environments. This transformation requires organizations to carefully […]

2 days, 19 hours назад @ aws.amazon.com
Best practices for migrating Teradata BTEQ scripts to Amazon Redshift RSQL
Best practices for migrating Teradata BTEQ scripts to Amazon Redshift RSQL

When migrating from Teradata BTEQ (Basic Teradata Query) to Amazon Redshift RSQL, following established best practices helps ensure maintainable, efficient, and reliable code. While the AWS Schema Conversion Tool (AWS SCT) automatically handles the basic conversion of BTEQ scripts to RSQL, it primarily focuses on SQL syntax translation and basic script conversion. However, to achieve […]

3 days назад @ aws.amazon.com
4.7 times better write query price-performance with AWS Graviton4 R8g instances using Amazon Neptune v1.4.5
4.7 times better write query price-performance with AWS Graviton4 R8g instances using Amazon Neptune v1.4.5

Amazon Neptune version 1.4.5 introduces engine improvements and support for AWS Graviton-based r8g instances. In this post, we show you how these updates can improve your graph database performance and reduce costs. We walk you through the benchmark results for Gremlin and openCypher comparing Neptune v1.4.5 on r8g instances against previous versions. You'll see performance improvements of up to 4.7x for write throughput and 3.7x for read throughput, along with the cost implications.

3 days назад @ aws.amazon.com
Gracefully handle failed AWS Lambda events from Amazon DynamoDB Streams
Gracefully handle failed AWS Lambda events from Amazon DynamoDB Streams

In this post, we show how to capture and retain failed stream events for later analysis or replay using Amazon S3 as a durable destination. We compare this approach with the traditional Amazon SQS dead-letter queue (DLQ) pattern, and explain when and why Amazon S3 is a preferred option.

3 days назад @ aws.amazon.com
AWS
последний пост 7 часов назад
Amazon Redshift Serverless at 4 RPUs: High-value analytics at low cost
Amazon Redshift Serverless at 4 RPUs: High-value analytics at low cost

Amazon Redshift Serverless now supports 4 RPU configurations, helping you get started with a lower base capacity that runs scalable analytics workloads beginning at $1.50 per hour. In this post, we examine how this new sizing option makes Redshift Serverless accessible to smaller organizations while providing enterprises with cost-effective environments for development, testing, and variable workloads.

5 days, 21 hours назад @ aws.amazon.com
How to optimize Amazon RDS and Amazon Aurora database costs/performance with AWS Compute Optimizer
How to optimize Amazon RDS and Amazon Aurora database costs/performance with AWS Compute Optimizer

In this post, we dive deeper into database optimization for your Amazon Relational Database Service (Amazon RDS), exploring how you can use AWS Compute Optimizer recommendations to make cost-aware resource configuration decisions for your MySQL and PostgreSQL databases.

5 days, 21 hours назад @ aws.amazon.com
Enhance Geospatial Analysis and GIS Workflows with Amazon Bedrock Capabilities
Enhance Geospatial Analysis and GIS Workflows with Amazon Bedrock Capabilities

Applying emerging technologies to the geospatial domain offers a unique opportunity to create transformative user experiences and intuitive workstreams for users and organizations to deliver on their missions and responsibilities. In this post, we explore how you can integrate existing systems with Amazon Bedrock to create new workflows to unlock efficiencies insights. This integration can benefit technical, nontechnical, and leadership roles alike.

6 days назад @ aws.amazon.com
Beyond the basics: A comprehensive foundation model selection framework for generative AI
Beyond the basics: A comprehensive foundation model selection framework for generative AI

As the model landscape expands, organizations face complex scenarios when selecting the right foundation model for their applications. In this blog post we present a systematic evaluation methodology for Amazon Bedrock users, combining theoretical frameworks with practical implementation strategies that empower data scientists and machine learning (ML) engineers to make optimal model selections.

6 days назад @ aws.amazon.com
Accelerate intelligent document processing with generative AI on AWS
Accelerate intelligent document processing with generative AI on AWS

In this post, we introduce our open source GenAI IDP Accelerator—a tested solution that we use to help customers across industries address their document processing challenges. Automated document processing workflows accurately extract structured information from documents, reducing manual effort. We will show you how this ready-to-deploy solution can help you build those workflows with generative AI on AWS in days instead of months.

6 days назад @ aws.amazon.com
Amazon SageMaker HyperPod enhances ML infrastructure with scalability and customizability
Amazon SageMaker HyperPod enhances ML infrastructure with scalability and customizability

In this post, we introduced three features in SageMaker HyperPod that enhance scalability and customizability for ML infrastructure. Continuous provisioning offers flexible resource provisioning to help you start training and deploying your models faster and manage your cluster more efficiently. With custom AMIs, you can align your ML environments with organizational security standards and software requirements.

6 days назад @ aws.amazon.com
Fine-tune OpenAI GPT-OSS models using Amazon SageMaker HyperPod recipes
Fine-tune OpenAI GPT-OSS models using Amazon SageMaker HyperPod recipes

This post is the second part of the GPT-OSS series focusing on model customization with Amazon SageMaker AI. In Part 1, we demonstrated fine-tuning GPT-OSS models using open source Hugging Face libraries with SageMaker training jobs, which supports distributed multi-GPU and multi-node configurations, so you can spin up high-performance clusters on demand. In this post, […]

6 days, 20 hours назад @ aws.amazon.com
Inline code nodes now supported in Amazon Bedrock Flows in public preview
Inline code nodes now supported in Amazon Bedrock Flows in public preview

We are excited to announce the public preview of support for inline code nodes in Amazon Bedrock Flows. With this powerful new capability, you can write Python scripts directly within your workflow, alleviating the need for separate AWS Lambda functions for simple logic. This feature streamlines preprocessing and postprocessing tasks (like data normalization and response formatting), simplifying generative AI application development and making it more accessible across organizations.

6 days, 21 hours назад @ aws.amazon.com
Accelerate enterprise AI implementations with Amazon Q Business
Accelerate enterprise AI implementations with Amazon Q Business

Amazon Q Business offers AWS customers a scalable and comprehensive solution for enhancing business processes across their organization. By carefully evaluating your use cases, following implementation best practices, and using the architectural guidance provided in this post, you can deploy Amazon Q Business to transform your enterprise productivity. The key to success lies in starting small, proving value quickly, and scaling systematically across your organization.

6 days, 21 hours назад @ aws.amazon.com
Speed up delivery of ML workloads using Code Editor in Amazon SageMaker Unified Studio
Speed up delivery of ML workloads using Code Editor in Amazon SageMaker Unified Studio

In this post, we walk through how you can use the new Code Editor and multiple spaces support in SageMaker Unified Studio. The sample solution shows how to develop an ML pipeline that automates the typical end-to-end ML activities to build, train, evaluate, and (optionally) deploy an ML model.

6 days, 21 hours назад @ aws.amazon.com
Amazon SageMaker Catalog expands discoverability and governance for Amazon S3 general purpose buckets
Amazon SageMaker Catalog expands discoverability and governance for Amazon S3 general purpose buckets

In July 2025, Amazon SageMaker announced support for Amazon Simple Storage Service (Amazon S3) general purpose buckets and prefixes in Amazon SageMaker Catalog that delivers fine-grained access control and permissions through S3 Access Grants. In this post, we explore how this integration addresses key challenges our customers have shared with us, and how data producers, such as administrators and data engineers, can seamlessly share and govern S3 buckets and prefixes using S3 Access Grants, while making it readily discoverable for data consumers.

6 days, 21 hours назад @ aws.amazon.com
How Infosys Topaz leverages Amazon Bedrock to transform technical help desk operations
How Infosys Topaz leverages Amazon Bedrock to transform technical help desk operations

In this blog, we examine the use case of a large energy supplier whose technical help desk agents answer customer calls and support field agents. We use Amazon Bedrock along with capabilities from Infosys Topaz™ to build a generative AI application that can reduce call handling times, automate tasks, and improve the overall quality of technical support.

1 week назад @ aws.amazon.com
Zeta reduces banking incident response time by 80% with Amazon OpenSearch Service observability
Zeta reduces banking incident response time by 80% with Amazon OpenSearch Service observability

In this post we explain how Zeta built a more unified monitoring solution using Amazon OpenSearch Service that improved performance, reduced manual processes, and increased end-user satisfaction. Zeta has achieved over an 80% reduction in mean time to resolution (MTTR), with incident response times decreasing from 30+ minutes to under 5 minutes.

1 week назад @ aws.amazon.com
Build enterprise-scale log ingestion pipelines with Amazon OpenSearch Service
Build enterprise-scale log ingestion pipelines with Amazon OpenSearch Service

In this post, we share field-tested patterns for log ingestion that have helped organizations successfully implement logging at scale, while maintaining optimal performance and managing costs effectively. A well-designed log analytics solution can help support proactive management in a variety of use cases, including debugging production issues, monitoring application performance, or meeting compliance requirements.

1 week назад @ aws.amazon.com
Create personalized products and marketing campaigns using Amazon Nova in Amazon Bedrock
Create personalized products and marketing campaigns using Amazon Nova in Amazon Bedrock

Built using Amazon Nova in Amazon Bedrock, The Fragrance Lab represents a comprehensive end-to-end application that illustrates the transformative power of generative AI in retail, consumer goods, advertising, and marketing. In this post, we explore the development of The Fragrance Lab. Our vision was to craft a unique blend of physical and digital experiences that would celebrate creativity, advertising, and consumer goods while capturing the spirit of the French Riviera.

1 week назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Are people here using or planning to use Iceberg V3?
Are people here using or planning to use Iceberg V3?

We are planning to use Iceberg in production, just a quick question here before we start the development. Has anybody done the deployment in production, if yes: What are problems you faced? Are the integrations enough to start with? - Saw that many engines still don't support read/write on V3. What was the implementation plan and reason? Any suggestion on which EL tool / how to write data in iceberg v3? Thanks in advance for your help!! submitted by /u/urban-pro [link] [comments]

1 час назад @ reddit.com
A declarative fake data generator for sqlalchemy ORM
A declarative fake data generator for sqlalchemy ORM

Hi all, i made a tool to easily generate fake data for dev, test and demo environment on sqlalchemy databases. It uses Faker to create data, but automatically manages primary key dependencies, link tables, unique values, inter-column references and more. Would love to get some feedback on this, i hope it can be useful to others, feel free to check it out :) https://github.com/francoisnt/seedlayer submitted by /u/francoisnt [link] [comments]

1 час назад @ reddit.com
Databricks Storage Account Hierarchy
Databricks Storage Account Hierarchy

I am setting up a new storage account for Databricks (Azure). The application has many schemas. What does everyone prefer - a blob container for each schema or a blob container for the app and directories within the single blob container per schema? Thanks for the input! submitted by /u/bottlecapsvgc [link] [comments]

2 часа назад @ reddit.com
How is this project?
How is this project?

i have made a project which basically includes: -end-to-end financial analytics system integrating Python, SQL, and Power BI to automate ingestion, storage, and visualization of bank transactions. -a normalized relational schema with referential integrity, indexes, and stored procedures for efficient querying and deduplication. -Implemented monthly financial summaries & trend analysis using SQL Views and Power BI DAX measures. -Automated CSV-to-SQL ingestion pipeline with Python (pandas, SQLAlchemy), reducing manual entry by 100%. -Power BI dashboards showing income/expense trends, savings, and category breakdowns for multi-account analysis. how is it? I am a final year engineering student …

2 часа назад @ reddit.com
MiracleBlade but make it data
MiracleBlade but make it data MiracleBlade but make it data

At least it's not boring! submitted by /u/ocularpanthera [link] [comments]

2 часа назад @ reddit.com
new to this field, got a question. this may be more about being in a corporate setting then DE but not sure
new to this field, got a question. this may be more about being in a corporate setting then DE but not sure

I am a intern. they decided to keep me on part time through the year because I am doing well. my velocity was great until I started reaching a ton of major internal blockers. and as someone who is in experienced, I am not sure how to think through this as to not stress myself out. you see, the work I feel competent enough to learn. however, these blockers ... man these blockers... I literally feel like other people are tying my hands up when I just want to develop I feel like I also have to explain why I need these things a million times then they never take me seriously until I escalate this to someone higher. then suddenly its a priority and stuff gets done. i find it incredibly stressful…

3 часа назад @ reddit.com
How to have an easy development lifecycle for Airflow on AWS?
How to have an easy development lifecycle for Airflow on AWS?

I'm currently working on an Airflow-based data pipeline and running into a development efficiency issue that I'm hoping you all have solved before. The Problem: Right now, whenever I want to develop/test a new DAG or make changes, my workflow is: Make code changes locally Push/tag the code CircleCi pushes the new image to ECR ArgoCD pulls and deploys to K8s Test on AWS "Dev" env This is painfully slow for iterative development and seems like a release everytime. The Challenge: My DAGs are tightly coupled with AWS services - S3 bucket paths, RDS connections for Airflow metadata, etc. So I can't just spin up docker-compose up locally because: S3 integrations won't work without real AWS resour…

3 часа назад @ reddit.com
Calling out design/architecture issues
Calling out design/architecture issues

I'm new to working with a larger team and not quite sure how to approach design issues that have already made it into production. We have the same column name in the reporting & datamart layer. The table name and column name are identical, one layer just has IDs and the other brings in descriptions. The value is different. What's frustrating is we recently started doing design and code reviews but they're useless and implemented in a way it just checks the box while causing the least amount of resistance. A design review is 3-5m and a code review takes about the same amount of time. I joined this company to see how things work with larger teams but unfortunately is also limiting me from hel…

3 часа назад @ reddit.com
Building Queryable Chatbots Using MCP Tools
Building Queryable Chatbots Using MCP Tools Building Queryable Chatbots Using MCP Tools

LLMs connected to databases sound powerful, but direct text-to-SQL is often fragile and risky. From SQL injection vulnerabilities to hallucinated schemas, the pitfalls are real. The Model Context Protocol (MCP) proposes a safer design: schema-aware, validated queries that the model calls as tools instead of free-form SQL. I’ve written an overview of how MCP changes AI–database interaction, curious how database folks here see its potential impact on SQL reliability and security. submitted by /u/No-Abies7108 [link] [comments]

3 часа назад @ reddit.com
PySpark Notebooks and Data Quality Checks
PySpark Notebooks and Data Quality Checks

Hello, I am currently working with PySpark Notebooks on Fabric. In the past I have more worked with dbt + Snowflake or BigQuery + Dataform. Both dbt and dataform have tests (or assertions in dataform). Both offer easy build-in tests for stuff like unique, not null, accepted values etc. I am currently trying to understand how data quality testing works in PySpark Notebooks. I found Great Expectation, but it seems like a rather big tool with a steep learning curve and lots of elements like suites, checkpoints etc. I found soda-core which seems a bit simpler and I am still looking into it, but I wonder how others do it? What data quality checks to you implement in your notebooks? What tools do…

4 часа назад @ reddit.com
Cursor doesn't work for data teams
Cursor doesn't work for data teams Cursor doesn't work for data teams

Hey, for the last 8 months I've been developing nao, which is an AI code editor made for data teams. We often say that we are Cursor for data teams. We think that Cursor is great but it misses a lot of things we it comes to data stuff. I'd like to know what do you think about it? You need to see data (code is 1D, data is 2D) On our side we think that data people need mainly to see data when then work with AI and that's what Cursor lack most of the time, that why we added native warehouse connection and the native warehouse connection let you directly query the warehouse (with or without dbt) thanks to this the AI can be contextualised (in the Copilot or in the autocomplete) MCPs are an insu…

4 часа назад @ reddit.com
Architecting on-prem
Architecting on-prem

I’m doing work with an org that keeps most of its data in databases on on-prem servers. I’ve done this before, but in the past I had a system architect to deal with hardware and a dba to deal with setting up the database both sitting on my team, so all I had to worry about was pipelines; they’d make sure the hole is big enough to hold what I shovel in there. Anyway, we’re dealing with an issue where one of the tables (a couple billion rows) is running up against the storage limits of our db. We can ask for more storage via IT tickets, add compression and look into partitioning for performance. But none of those will really solve the issue in the long term. I’m wondering a couple of differen…

5 часов назад @ reddit.com
Data Engineer
Data Engineer

I am a 20 YOE DE preparing to transition into tier 1 tech companies. Does anyone have any insights or resources on how to prep for IC6 at Meta? submitted by /u/Possible_Weekend [link] [comments]

5 часов назад @ reddit.com
Starting to look at Datawarehouses/lakehouse
Starting to look at Datawarehouses/lakehouse

Hi I have been involved in our business implementing Business Central ERP and we are currently pushing all of our data to an SQL database for reporting to Power BI (Which has been completely fine). We are reaching a point with new software coming in that we will need (i think anyway) a data warehouse to collate the data from different sources in one place to allow for easier Power BI Reporting. What are the best sources to look at for where to begin on this topic? I have been watching youtube videos but in terms of what product is best I haven't found much. I think anything like Snowflake would be overkill for us (We are a £100m construction company in the UK) - our largest table after 1 ye…

5 часов назад @ reddit.com
It’s everyday bro with vibe coding flow
It’s everyday bro with vibe coding flow It’s everyday bro with vibe coding flow

submitted by /u/analyticsvector-yt [link] [comments]

6 часов назад @ reddit.com
Towards Data Science
последний пост 2 часа назад
Stepwise Selection Made Simple: Improve Your Regression Models in Python
Stepwise Selection Made Simple: Improve Your Regression Models in Python

Dimensionality reduction in linear regression: classical stepwise methods and a Python application on real-world data

The post Stepwise Selection Made Simple: Improve Your Regression Models in Python appeared first on Towards Data Science.

2 часа назад @ towardsdatascience.com
Graph Coloring for Data Science: A Comprehensive Guide
Graph Coloring for Data Science: A Comprehensive Guide

From theoretical puzzles to practical applications

The post Graph Coloring for Data Science: A Comprehensive Guide appeared first on Towards Data Science.

3 часа назад @ towardsdatascience.com
A Visual Guide to Tuning Decision-Tree Hyperparameters
A Visual Guide to Tuning Decision-Tree Hyperparameters

How hyperparameter tuning visually changes decision trees

The post A Visual Guide to Tuning Decision-Tree Hyperparameters appeared first on Towards Data Science.

4 часа назад @ towardsdatascience.com
Get AI-Ready: How to Prepare for a World of Agentic AI as Tech Professionals
Get AI-Ready: How to Prepare for a World of Agentic AI as Tech Professionals

Explore how Agentic AI is reshaping the tech careers, from data to decision-making, and how professionals can prepare for the future of work

The post Get AI-Ready: How to Prepare for a World of Agentic AI as Tech Professionals appeared first on Towards Data Science.

23 часа назад @ towardsdatascience.com
Everything I Studied to Become a Machine Learning Engineer (No CS Background)
Everything I Studied to Become a Machine Learning Engineer (No CS Background)

The books, courses, and resources I used in my journey.

The post Everything I Studied to Become a Machine Learning Engineer (No CS Background) appeared first on Towards Data Science.

1 day назад @ towardsdatascience.com
Time Series Forecasting Made Simple (Part 4.1): Understanding Stationarity in a Time Series
Time Series Forecasting Made Simple (Part 4.1): Understanding Stationarity in a Time Series

An intuitive guide to stationarity in a time series

The post Time Series Forecasting Made Simple (Part 4.1): Understanding Stationarity in a Time Series appeared first on Towards Data Science.

1 day, 1 hour назад @ towardsdatascience.com
A Brief History of GPT Through Papers
A Brief History of GPT Through Papers

Language models are becoming really good. But where did they come from?

The post A Brief History of GPT Through Papers appeared first on Towards Data Science.

1 day, 3 hours назад @ towardsdatascience.com
The Math You Need to Pan and Tilt 360° Images
The Math You Need to Pan and Tilt 360° Images

Panning a spherical image is just a horizontal roll, but tilting it vertically is much trickier. Let's see the math!

The post The Math You Need to Pan and Tilt 360° Images appeared first on Towards Data Science.

1 day, 5 hours назад @ towardsdatascience.com
How to Develop Powerful Internal LLM Benchmarks
How to Develop Powerful Internal LLM Benchmarks

Learn how to compare LLMs using your own interal benchmark

The post How to Develop Powerful Internal LLM Benchmarks appeared first on Towards Data Science.

2 days назад @ towardsdatascience.com
Plato’s Cave and the Shadows of Data
Plato’s Cave and the Shadows of Data

On truth, illusion, and the limits of what data can reveal

The post Plato’s Cave and the Shadows of Data appeared first on Towards Data Science.

2 days, 1 hour назад @ towardsdatascience.com
Using Google’s LangExtract and Gemma for Structured Data Extraction
Using Google’s LangExtract and Gemma for Structured Data Extraction

Extracting structured information effectively and accurately from long unstructured text with LangExtract and LLMs

The post Using Google’s LangExtract and Gemma for Structured Data Extraction appeared first on Towards Data Science.

2 days, 2 hours назад @ towardsdatascience.com
Positional Embeddings in Transformers: A Math Guide to RoPE & ALiBi
Positional Embeddings in Transformers: A Math Guide to RoPE & ALiBi

Learn APE, RoPE, and ALiBi positional embeddings for GPT — intuitions, math, PyTorch code, and experiments on TinyStories

The post Positional Embeddings in Transformers: A Math Guide to RoPE & ALiBi appeared first on Towards Data Science.

2 days, 4 hours назад @ towardsdatascience.com
Google’s URL Context Grounding: Another Nail in RAG’s Coffin?
Google’s URL Context Grounding: Another Nail in RAG’s Coffin?

Google’s hot streak in AI-related releases continues unabated. Just a few days ago, it released a new tool for Gemini called URL context grounding. URL context grounding can be used stand-alone or combined with Google search grounding to conduct deep dives into internet content. What is URL context grounding? In a nutshell, it’s a way […]

The post Google’s URL Context Grounding: Another Nail in RAG’s Coffin? appeared first on Towards Data Science.

2 days, 4 hours назад @ towardsdatascience.com
LLM Monitoring and Observability: Hands-on with Langfuse
LLM Monitoring and Observability: Hands-on with Langfuse

Learn the fundamentals of LLM monitoring and observability, from tracing to evaluation and setting up a dashboard using Langfuse

The post LLM Monitoring and Observability: Hands-on with Langfuse appeared first on Towards Data Science.

2 days, 19 hours назад @ towardsdatascience.com
Why Your Prompts Don’t Belong in Git
Why Your Prompts Don’t Belong in Git

The hidden cost of storing prompts in your source code

The post Why Your Prompts Don’t Belong in Git appeared first on Towards Data Science.

2 days, 20 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 month, 1 week назад
The Data Engineer’s Guide To Root Cause Analysis for Data Quality Issues
The Data Engineer’s Guide To Root Cause Analysis for Data Quality Issues

Introducing a five-step engineering root cause analysis approach used by some of the best data engineering and data science teams for data quality issues.

1 month, 1 week назад @ montecarlodata.com
The Ultimate Guide To Data Lineage
The Ultimate Guide To Data Lineage

Data lineage is a must-have feature of the modern data stack, yet we're struggling to derive value from it. Here's why and how we can fix this.

1 month, 3 weeks назад @ montecarlodata.com
5 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy
5 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

2 months, 4 weeks назад @ montecarlodata.com
Is Modern Data Warehouse Architecture Broken?
Is Modern Data Warehouse Architecture Broken?

The modern data warehouse architecture creates problems across many layers. Consider instead an immutable data warehouse for scale and usability.

3 months назад @ montecarlodata.com
12 Data Quality Metrics That ACTUALLY Matter
12 Data Quality Metrics That ACTUALLY Matter

How to improve your Data Quality Metrics and why it matters for your business.

3 months, 1 week назад @ montecarlodata.com
Best Data Observability Tools (with RFP Template)
Best Data Observability Tools (with RFP Template)

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

3 months, 2 weeks назад @ wordpress-1393905-5297234.cloudwaysapps.com
Best Data Observability Tools (with RFP Template)
Best Data Observability Tools (with RFP Template)

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

3 months, 2 weeks назад @ montecarlodata.com
Data Vault Architecture: Everything You Need to Know Before You Build
Data Vault Architecture: Everything You Need to Know Before You Build

How Pie Insurance improves data quality across their data vault architecture.

3 months, 3 weeks назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

4 months, 1 week назад @ montecarlodata.com
Data Observability: How to Build Your Own Data Anomaly Detectors Using SQL
Data Observability: How to Build Your Own Data Anomaly Detectors Using SQL

How to use metadata to understand the root cause of data anomalies and take your data quality testing to the next level.

4 months, 1 week назад @ montecarlodata.com
How to Conduct Data Incident Management for Data Teams
How to Conduct Data Incident Management for Data Teams

Conduct data incident management with 4 simple steps to identify, root cause, and fix data quality issues at scale.

4 months, 2 weeks назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

4 months, 3 weeks назад @ wordpress-1393905-5297234.cloudwaysapps.com
5 Generative AI Use Cases Companies Should Know About in 2025
5 Generative AI Use Cases Companies Should Know About in 2025

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

4 months, 3 weeks назад @ wordpress-1393905-5297234.cloudwaysapps.com
5 Generative AI Use Cases Companies Should Know About in 2025
5 Generative AI Use Cases Companies Should Know About in 2025

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

4 months, 3 weeks назад @ montecarlodata.com
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

4 months, 3 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 1 week, 3 days назад
Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как
Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как

Инструменты для деплоя DL-моделейСегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг команда DeepSchool на открытой онлайн-лекции покажет, как выглядит путь модели после обучения!Что вы узнаете на лекции:- когда стоит использовать Jupyter-ноутбуки, а когда нет- как подготовить репозиторий моделинга- варианты конвертации модели- как обернуть инференс в http-приложение- чем помогает Model Serving- как деплоят приложения и автоматизируют этот процессТакже мы расскажем о курсе, на котором вы сможете научиться самостоятельно создавать и деплоить DL-сервисы. Всем участникам лекции под…

1 week, 3 days назад @ t.me
Продвинутый SQL и PostgresSQLЗашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL. Профессиона
Продвинутый SQL и PostgresSQLЗашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL. Профессиона

Продвинутый SQL и PostgresSQLЗашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL. Профессиональный SQL является продолжением другой книги — PostgreSQL. Основы языка SQL, в ней поднимаются более продвинутые темы SQL такие как общие табличные выражения (CTE), агрегатные и оконные функции, пользовательские функции и процедуры. В общем, must read.

2 weeks назад @ t.me
Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/Недавно столкнулся с задачей, где мне захотелось использовать "ленивые" вычисления и Django ORM. Ч
Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/Недавно столкнулся с задачей, где мне захотелось использовать "ленивые" вычисления и Django ORM. Ч

Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/Недавно столкнулся с задачей, где мне захотелось использовать "ленивые" вычисления и Django ORM. Что получилось, читайте в посте.

1 month назад @ t.me
Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но м
Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но м

Apache Airflow 3.0.3Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3Я уже поставил, полёт нормальный.Но буквально на днях я нашел ещё один баг с утечкой памяти, но мне необходимо время чтобы его проверить и подтвердить (и возможно исправить ещё одним PR в мастер). К сожалению, релиз 3-й версии не очень радует, слишком много проблем + непривычный UI, ждём-с 3.1.А вы уже поставили тройку? Как полёт?Хотите запишу в YouTube скринкаст с комментариями об установке и настройке новой версии? Накидайте лайкосов и комментов под постом. 🔥🔥🔥

1 month, 2 weeks назад @ t.me
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и нап
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и нап

Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.Судя по всему релиз 3.0.3 не за горами.

2 months, 2 weeks назад @ t.me
Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow
Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow

Orchestrating Workflows for GenAI ApplicationsНа платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI ApplicationsКурс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!

2 months, 2 weeks назад @ t.me
Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и о
Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и о

Apache Airflow 3.0.2Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2

2 months, 2 weeks назад @ t.me
⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если
⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если ⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если

⚡️Пошаговый план: как стать аналитиком данных в 2025Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опытаЧто будет на вебинаре?🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;🟠 Лайфхаки трудоустройства:— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;— обсудите, какие от…

2 months, 3 weeks назад @ t.me
Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (неско
Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (неско

Доклады с PyCon US 2025 🐍🐍🐍Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:— High-Performance Python: Faster Type Checking and Free Threaded Execution— Building AI Applications the Pydantic Way— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku— Evolving Django: What We Learned by Integrating MongoDB— Accelerated Python: The Community and EcosystemПолн…

3 months, 1 week назад @ t.me
Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigge
Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigge

Релиз Apache Airflow 2.11.0Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigger-based scheduling)— Consistent timing metrics across all backends— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды airflow config lint и airflow config update)

3 months, 1 week назад @ t.me
The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practi
The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practi

The Practical Guide to Airflow 3 🚀Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?

4 months назад @ t.me
Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она н
Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она н

Релиз Airflow 3.0Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)Подробности читайте здесь.

4 months, 1 week назад @ t.me
Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали
Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали

Ахтунг! Про Apache Iceberg™Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About ItА вы уже использовали его у себя?

4 months, 3 weeks назад @ t.me
На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼
На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼 На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼

На злобу дняТрамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁Так вот в чем кроется секрет успеха pandas 🐼

4 months, 3 weeks назад @ t.me
Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.
Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.

Курс AI Agents от MicrosoftНашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/Помимо текстового материала есть и видео лекции на Ютубе.

4 months, 4 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 1 week, 6 days назад
996 - новая норма для AI стартапов и BigTech. Это значит с 9 утра до 9 вечера 6 дней в неделю. Говорят, что в Китайских компаниях это норма. Хотят недавно казалось, что все единогласно были против crazy work hours в западном мире. Так же, как и кто-то гов
996 - новая норма для AI стартапов и BigTech. Это значит с 9 утра до 9 вечера 6 дней в неделю. Говорят, что в Китайских компаниях это норма. Хотят недавно казалось, что все единогласно были против crazy work hours в западном мире. Так же, как и кто-то гов

996 - новая норма для AI стартапов и BigTech. Это значит с 9 утра до 9 вечера 6 дней в неделю. Говорят, что в Китайских компаниях это норма. Хотят недавно казалось, что все единогласно были против crazy work hours в западном мире. Так же, как и кто-то говорил, что 4х дневная рабочая неделя это круто и эффективно. Некоторые СЕО вообще говорят, что 6 дней это хорошо, но лучше 7 дней. Короче grinding in the office day and night это новая норма. Время прошло, и теперь компании с самыми высокими зарплатами хотят, чтобы люди работали в офисе, 80+ часов в неделю. Чтобы себя заставить так много работать, надо от этого балдеть. Чтобы кайфовать от того, что ты делаешь, должен быть хороший incentive. …

1 week, 6 days назад @ t.me
Для всех кто делает курсы - пример отличного pivot, как залететь в топ и создавать учебный контент, собирать лайки и просмотры😃
Для всех кто делает курсы - пример отличного pivot, как залететь в топ и создавать учебный контент, собирать лайки и просмотры😃 Для всех кто делает курсы - пример отличного pivot, как залететь в топ и создавать учебный контент, собирать лайки и просмотры😃

Для всех кто делает курсы - пример отличного pivot, как залететь в топ и создавать учебный контент, собирать лайки и просмотры😃

2 weeks назад @ t.me
Data-специалисты — общий сбор 💪В этом году на IT-конференции GoCloud Tech будет отдельный трек про данные и аналитику:➡️ Платформа данных в облаке➡️ Как настраивать потоковое чтение с геораспределенных хранилищ ➡️ Как работают быстрые NVMe-oF RDMA-диски➡️
Data-специалисты — общий сбор 💪В этом году на IT-конференции GoCloud Tech будет отдельный трек про данные и аналитику:➡️ Платформа данных в облаке➡️ Как настраивать потоковое чтение с геораспределенных хранилищ ➡️ Как работают быстрые NVMe-oF RDMA-диски➡️ Data-специалисты — общий сбор 💪В этом году на IT-конференции GoCloud Tech будет отдельный трек про данные и аналитику:➡️ Платформа данных в облаке➡️ Как настраивать потоковое чтение с геораспределенных хранилищ ➡️ Как работают быстрые NVMe-oF RDMA-диски➡️

Data-специалисты — общий сбор 💪В этом году на IT-конференции GoCloud Tech будет отдельный трек про данные и аналитику:➡️ Платформа данных в облаке➡️ Как настраивать потоковое чтение с геораспределенных хранилищ ➡️ Как работают быстрые NVMe-oF RDMA-диски➡️ Тренды в мире данных: куда стремятся СУБД ➡️ Как работать на автопилоте с Jupyter-ноутбукомА еще будут отдельные треки про тренды в AI&ML, облачную инфраструктуру и инструменты, ускоряющие разработку.Где и когда ⬇️3 сентября, Москва, Гоэлро ЛофтРегистрируйтесь🖱

2 weeks, 1 day назад @ t.me
⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над стартапами.- Microsoft не будет назначать нового CEO и полностью интегрирует GitHub в свою AI-команду CoreAI.- Теперь GitHub станет ещё теснее связан с развитием инструментов на базе иску
⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над стартапами.- Microsoft не будет назначать нового CEO и полностью интегрирует GitHub в свою AI-команду CoreAI.- Теперь GitHub станет ещё теснее связан с развитием инструментов на базе иску ⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над стартапами.- Microsoft не будет назначать нового CEO и полностью интегрирует GitHub в свою AI-команду CoreAI.- Теперь GitHub станет ещё теснее связан с развитием инструментов на базе иску

⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над стартапами.- Microsoft не будет назначать нового CEO и полностью интегрирует GitHub в свою AI-команду CoreAI.- Теперь GitHub станет ещё теснее связан с развитием инструментов на базе искусственного интеллекта, таких как Copilot.https://www.theverge.com/news/757461/microsoft-github-thomas-dohmke-resignation-coreai-team-transitionhttps://news.ycombinator.com/item?id=44865560

2 weeks, 1 day назад @ t.me
Пример data stack в компании Clair. Взял у них в Linkedin.Очень стандартный и понятный кейс. Если сравнить с РФ кейсом, то на российском рынке нет 3rd party managed продуктов для ETL, BI, DW. Ну как нет, они-то есть, но всегда возникает вопрос, а где хости
Пример data stack в компании Clair. Взял у них в Linkedin.Очень стандартный и понятный кейс. Если сравнить с РФ кейсом, то на российском рынке нет 3rd party managed продуктов для ETL, BI, DW. Ну как нет, они-то есть, но всегда возникает вопрос, а где хости Пример data stack в компании Clair. Взял у них в Linkedin.Очень стандартный и понятный кейс. Если сравнить с РФ кейсом, то на российском рынке нет 3rd party managed продуктов для ETL, BI, DW. Ну как нет, они-то есть, но всегда возникает вопрос, а где хости

Пример data stack в компании Clair. Взял у них в Linkedin.Очень стандартный и понятный кейс. Если сравнить с РФ кейсом, то на российском рынке нет 3rd party managed продуктов для ETL, BI, DW. Ну как нет, они-то есть, но всегда возникает вопрос, а где хостить? А где хранить данные? Вроде бы облаком можно отечественно, но вот много всяких НО.Поэтому по опыту общения с коллегами вижу два основных направления:1) полностью on-premise так, где может быть Hadoop+HDFS+Spark, Greenplum или Clickhouse. Все остальное для слоя хранения редко и не обычно. Есть еще множество старых и надежных решений на SQL Server. Для загрузки данных используют Python и запускают его в Airflow, иди стрим через Kafka.2) …

2 weeks, 1 day назад @ t.me
MWS Cloud запустила платформу для внедрения и работы ИИ, выйдя на рынок объемом более 15 млрд рублей. Платформа Inference Valve помогает вывести в продакшн обученные ML-модели, большие языковые модели и модели компьютерного зрения. С помощью платформы их м
MWS Cloud запустила платформу для внедрения и работы ИИ, выйдя на рынок объемом более 15 млрд рублей. Платформа Inference Valve помогает вывести в продакшн обученные ML-модели, большие языковые модели и модели компьютерного зрения. С помощью платформы их м

MWS Cloud запустила платформу для внедрения и работы ИИ, выйдя на рынок объемом более 15 млрд рублей. Платформа Inference Valve помогает вывести в продакшн обученные ML-модели, большие языковые модели и модели компьютерного зрения. С помощью платформы их можно разворачивать на инфраструктуре, подключать к ИТ-системам компаний через стандартные API, масштабировать, а также обновлять и мониторить.После запуска кластера специалисты заказчика загружают артефакты модели (например, ONNX, TorchScript) в платформу, после чего она автоматически формирует контейнер сервиса и публикует эндпоинт. Платформа поддерживает одновременную работу сразу с несколькими моделями с выделением квот вычислительных р…

2 weeks, 2 days назад @ t.me
Давно мы не обсуждали эксперименты…! 🧐Подумали аналитики из Авито и запланировали онлайн-митап на 14 августа. Там будут обсуждаться 3 доклада:☄️ Дмитрий Кротов из команды Авито Подработки расскажет, как делегировать часть аналитики без ущерба для процессов
Давно мы не обсуждали эксперименты…! 🧐Подумали аналитики из Авито и запланировали онлайн-митап на 14 августа. Там будут обсуждаться 3 доклада:☄️ Дмитрий Кротов из команды Авито Подработки расскажет, как делегировать часть аналитики без ущерба для процессов

Давно мы не обсуждали эксперименты…! 🧐Подумали аналитики из Авито и запланировали онлайн-митап на 14 августа. Там будут обсуждаться 3 доклада:☄️ Дмитрий Кротов из команды Авито Подработки расскажет, как делегировать часть аналитики без ущерба для процессов;☄️ Егор Лукьянов из Ozon поделится опытом работы с сейлз-командами и бэк-офисом и объяснит, как эксперименты влияют на операционную деятельность компании;☄️ Диля Хакимова из Яндекса Go раскроет формулу доверия: речь об аналитических доверительных интервалах для ratio- и uplift-метрик.Обязательно регистрируйтесь и приходите! Точнее, подключайтесь — в этот раз встреча будет только в онлайне.

2 weeks, 2 days назад @ t.me
Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀
Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀 Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀

Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀

2 weeks, 2 days назад @ t.me
Само решение достаточно не сложное, данные все хранятся в AWS S3 в Parquet. Другая команда использует kinesis и пишет в S3. Данные каждый час обрабатываются с помощью Athena и запускается в Glue Python Shell (даже не PySpark). Результат складывается в друг
Само решение достаточно не сложное, данные все хранятся в AWS S3 в Parquet. Другая команда использует kinesis и пишет в S3. Данные каждый час обрабатываются с помощью Athena и запускается в Glue Python Shell (даже не PySpark). Результат складывается в друг

Само решение достаточно не сложное, данные все хранятся в AWS S3 в Parquet. Другая команда использует kinesis и пишет в S3. Данные каждый час обрабатываются с помощью Athena и запускается в Glue Python Shell (даже не PySpark). Результат складывается в другой S3 bucket и дальше он проверяется с помощью другого Glue Job. Все метрики публикуются в Cloud Watch. Cloud Watch подключен через SNS topic к Pager Duty, и в случае отклонения получаем alert в Slack. Сейчас решение мигрируется в Databricks, таблицы переходят с Parquet на managed delta tables (Parquet + Delta log). Для проверки качества данных используем DBX библиотеку. Самое забавное, цена в Databricks получается значительно дороже, чем …

2 weeks, 6 days назад @ t.me
Data Observability относится к data engineering, и является его неотъемлемой частью, согласно best practices, конечно. У меня давно в закладках лежит статья - SLA vs SLO. В больших компаниях мы часто можем слышать про SLA и SLO, и даже SLI. Очень часто их
Data Observability относится к data engineering, и является его неотъемлемой частью, согласно best practices, конечно. У меня давно в закладках лежит статья - SLA vs SLO. В больших компаниях мы часто можем слышать про SLA и SLO, и даже SLI. Очень часто их

Data Observability относится к data engineering, и является его неотъемлемой частью, согласно best practices, конечно. У меня давно в закладках лежит статья - SLA vs SLO. В больших компаниях мы часто можем слышать про SLA и SLO, и даже SLI. Очень часто их путают. Поэтому статья помогает понять, что для чего и как использовать.📌 Зачем вообще всё это нужно?SLA, SLO и SLI — это инструменты управления надёжностью сервисов. Они помогают установить понятные и измеримые ожидания между теми, кто предоставляет сервис (разработчики, команды, компании), и теми, кто его использует (внутренние или внешние клиенты).💡 Основные термины:SLI (Service Level Indicator) — Показатель уровня сервиса: метрика, кот…

2 weeks, 6 days назад @ t.me
Ох gpt5 здесь, чтобы всех нас заменить 🦯
Ох gpt5 здесь, чтобы всех нас заменить 🦯 Ох gpt5 здесь, чтобы всех нас заменить 🦯

Ох gpt5 здесь, чтобы всех нас заменить 🦯

2 weeks, 6 days назад @ t.me
Snowflake самый популярный и при этом “простой” инструмент. Почему “простой” в кавычках? Потому что с ним легко начать, везде всем знакомый SQL, запросы всегда работают, можно обрабатывать огромные массивы данных, маштабироваться горизонтально и вертикальн
Snowflake самый популярный и при этом “простой” инструмент. Почему “простой” в кавычках? Потому что с ним легко начать, везде всем знакомый SQL, запросы всегда работают, можно обрабатывать огромные массивы данных, маштабироваться горизонтально и вертикальн Snowflake самый популярный и при этом “простой” инструмент. Почему “простой” в кавычках? Потому что с ним легко начать, везде всем знакомый SQL, запросы всегда работают, можно обрабатывать огромные массивы данных, маштабироваться горизонтально и вертикальн

Snowflake самый популярный и при этом “простой” инструмент. Почему “простой” в кавычках? Потому что с ним легко начать, везде всем знакомый SQL, запросы всегда работают, можно обрабатывать огромные массивы данных, маштабироваться горизонтально и вертикально. В общем одним плюсы на старте, а потом как повезет. В посте товарищ указал на некоторые из проблем, с которыми он столкнулся:Я работаю с технологией Snowflake уже 7 лет, и вот вещи, с которыми большинство внедрений Snowflake сталкиваются и с большим трудом справляются.- Role-based access control — Очень легко создать полный хаос, после чего команда DBA оказывается навечно занята решением проблем с доступами.- Virtual Warehouse deploymen…

3 weeks назад @ t.me
Интересная статья про отрицательную селекцию
Интересная статья про отрицательную селекцию

Интересная статья про отрицательную селекцию

3 weeks, 2 days назад @ t.me
Как любил говорить мой любимый учитель английского в лицее №1501: «Когда одним хорошо, другим дурно».Когда читаешь истории о людях, которых увольняют из-за ерунды, становится грустно. Если бы я сам всегда был честен, не уверен, что смог бы перейти с завода
Как любил говорить мой любимый учитель английского в лицее №1501: «Когда одним хорошо, другим дурно».Когда читаешь истории о людях, которых увольняют из-за ерунды, становится грустно. Если бы я сам всегда был честен, не уверен, что смог бы перейти с завода

Как любил говорить мой любимый учитель английского в лицее №1501: «Когда одним хорошо, другим дурно».Когда читаешь истории о людях, которых увольняют из-за ерунды, становится грустно. Если бы я сам всегда был честен, не уверен, что смог бы перейти с завода ГКНПЦ им. Хруничева в Cetelem (BNP Paribas). К сожалению, у меня не было ментора, который мог бы подсказать, что учить, что говорить. Первые три месяца я вообще работал бесплатно.В индустрии всё давно уже самоорганизовалось. У компаний попроще — маленький бюджет, невысокие требования: туда проще попасть без большого опыта, подтянуть знания и идти дальше. Топовые компании платят лучше, у них строже отбор и более сложные задачи — туда уже н…

3 weeks, 2 days назад @ t.me
В русскоязычном IT прямо сейчас разворачивается один из крупнейших скандалов в этом году. Я не могу пройти мимо и хочу высказаться.Для контекста. Из компании Газпром-Медиа уволили накрутчика опыта, который работал над Rutube. Сотрудники службы безопасности
В русскоязычном IT прямо сейчас разворачивается один из крупнейших скандалов в этом году. Я не могу пройти мимо и хочу высказаться.Для контекста. Из компании Газпром-Медиа уволили накрутчика опыта, который работал над Rutube. Сотрудники службы безопасности В русскоязычном IT прямо сейчас разворачивается один из крупнейших скандалов в этом году. Я не могу пройти мимо и хочу высказаться.Для контекста. Из компании Газпром-Медиа уволили накрутчика опыта, который работал над Rutube. Сотрудники службы безопасности

В русскоязычном IT прямо сейчас разворачивается один из крупнейших скандалов в этом году. Я не могу пройти мимо и хочу высказаться.Для контекста. Из компании Газпром-Медиа уволили накрутчика опыта, который работал над Rutube. Сотрудники службы безопасности нашли отзыв, который он оставил год назад, где рассказал, что накрутил опыт. Накрутчик работал в компании около года. С его перформансом всё было в порядке. Он готовился идти на повышение.То есть ещё раз: нормально работающего сотрудника уволили за то, как он попал в компанию год назад.Газпром-Медиа решили пойти дальше и устроили охоту на ведьм. Сотрудник считается заведомо недобросовестным, если подписан на «Осознанную Меркантильность» (…

3 weeks, 2 days назад @ t.me
Left Join Left Join
последний пост 1 day, 6 hours назад
Семантический слой, и с чем его едятОдно из главных препятствий на пути к внедрению в компании data-driven подхода — это то, что обычные бизнес-юзеры не понимают, как им работать с аналитикой. Не просить у аналитиков каждый раз сделать отчет или выгрузку,
Семантический слой, и с чем его едятОдно из главных препятствий на пути к внедрению в компании data-driven подхода — это то, что обычные бизнес-юзеры не понимают, как им работать с аналитикой. Не просить у аналитиков каждый раз сделать отчет или выгрузку,

Семантический слой, и с чем его едятОдно из главных препятствий на пути к внедрению в компании data-driven подхода — это то, что обычные бизнес-юзеры не понимают, как им работать с аналитикой. Не просить у аналитиков каждый раз сделать отчет или выгрузку, а самостоятельно копаться в данных и находить ответы на свои вопросы.🔜 Способ сделать данные чуть ближе к людям — это введение сематического слоя, который выступает прослойкой между БД и бизнесом. В нем, как в едином источнике правды, задаются все метрики, уровни доступа, этапы трансформации данных и затем подтягиваются во все BI-тулы, приложения и так далее. Плюсы в том, что не приходится прописывать всю эту информацию каждый раз в разных…

1 day, 6 hours назад @ t.me
Чего нас лишает ИИВ разговоре про генеративный ИИ чаще всего застрагивают темы либо эффективности, либо этичности. 🔜 Кого-то волнует, насколько хорошо искусственный интеллект сегодня справляется с рабочими задачами и что вообще на самом деле можно ему дове
Чего нас лишает ИИВ разговоре про генеративный ИИ чаще всего застрагивают темы либо эффективности, либо этичности. 🔜 Кого-то волнует, насколько хорошо искусственный интеллект сегодня справляется с рабочими задачами и что вообще на самом деле можно ему дове

Чего нас лишает ИИВ разговоре про генеративный ИИ чаще всего застрагивают темы либо эффективности, либо этичности. 🔜 Кого-то волнует, насколько хорошо искусственный интеллект сегодня справляется с рабочими задачами и что вообще на самом деле можно ему доверить. Эти вопросы особенно актуальны после историй про ИИ-ассистентов, которые сносили базы проектов, потому что перенервничали.🔜 А кого-то волнует, насколько вообще допустимо использование ИИ, учитывая то, что обычно он обучен на материалах, которые собирали без согласия авторов, рискует усугубить безработицу и при этом еще наносит вред экологии. Но интересно посмотреть на этот вопрос с новой стороны.Хотя ИИ не со всеми заданиями справляе…

2 days, 10 hours назад @ t.me
Устойчивое основание для ваших управленческих решенийКоманда Стратоплана запускает бесплатный курс Management Foundation, где поделится фундаментальными знаниями о том, как принимать грамотные управленческие решения. Что будет на проекте:🔵ассессмент, чтоб
Устойчивое основание для ваших управленческих решенийКоманда Стратоплана запускает бесплатный курс Management Foundation, где поделится фундаментальными знаниями о том, как принимать грамотные управленческие решения.  Что будет на проекте:🔵ассессмент, чтоб Устойчивое основание для ваших управленческих решенийКоманда Стратоплана запускает бесплатный курс Management Foundation, где поделится фундаментальными знаниями о том, как принимать грамотные управленческие решения. Что будет на проекте:🔵ассессмент, чтоб

Устойчивое основание для ваших управленческих решенийКоманда Стратоплана запускает бесплатный курс Management Foundation, где поделится фундаментальными знаниями о том, как принимать грамотные управленческие решения. Что будет на проекте:🔵ассессмент, чтобы участники смогли оценить свои сильные и слабые зоны как руководителей,🔵разборы кейсов и сложных тем с практиками, которые уже добились успехов в управлении,🔵полезные материалы про менеджмент. Кстати, про практиков. Кроме Стратоплана, опытом поделятся авторы каналов «Тимлид Очевидность», «Кода Кода», «Чужими руками», «System Design & Highload», «LinkedIn & Career» и другие. Они раскроют три ключевые темы: 🔵«Я менеджер: что это значит на пр…

3 days, 7 hours назад @ t.me
Как сломать PostgreSQLЛогично, что большинство гайдов по Postgres посвящены тому, как сделать его быстрее, выше, сильнее. А вы когда-нибудь задумывались, как наоборот сделать его медленнее? Зачем? Ну, во-первых, это прекрасный способ разобраться, как СУБД
Как сломать PostgreSQLЛогично, что большинство гайдов по Postgres посвящены тому, как сделать его быстрее, выше, сильнее. А вы когда-нибудь задумывались, как наоборот сделать его медленнее? Зачем? Ну, во-первых, это прекрасный способ разобраться, как СУБД

Как сломать PostgreSQLЛогично, что большинство гайдов по Postgres посвящены тому, как сделать его быстрее, выше, сильнее. А вы когда-нибудь задумывались, как наоборот сделать его медленнее? Зачем? Ну, во-первых, это прекрасный способ разобраться, как СУБД работает и что обеспечивает ее производительность, а во-вторых, почему бы и нет. Если вы об этом не задумывались, не страшно. Нашелся экспериментатор, который сделал это за вас и замедлил Postgres в 42 000 раз.По условиям задачи, было тормозить его можно было только изменениями параметров postgresql.conf. Иначе неспортивно. Итак, что же он сделал? 🔵Ужал кэш. Прочитав блок данных, Postgres записывает его в кэш, и это позволяет обрабатывать …

6 days, 7 hours назад @ t.me
Positron — новая IDE для дата саентистов Компания Posit известна как разработчик RStudio — среды разработки, популярной среди дата саентистов и предназначенной для работы с R. Их новый проект, Positron, призван выступить как новая, более гибкая альтернатив
Positron — новая IDE для дата саентистов Компания Posit известна как разработчик RStudio — среды разработки, популярной среди дата саентистов и предназначенной для работы с R. Их новый проект, Positron, призван выступить как новая, более гибкая альтернатив

Positron — новая IDE для дата саентистов Компания Posit известна как разработчик RStudio — среды разработки, популярной среди дата саентистов и предназначенной для работы с R. Их новый проект, Positron, призван выступить как новая, более гибкая альтернатива.🔵Positron поддерживает работу в R и Python, предусмотрена возможность добавить и другие языки. Пока их не добавили официально, можно пользоваться сторонними расширениями — уже есть для Rust, Javascript/Typescript, C/C++ и Lua.🔵Главный фокус разработчиков — создать удобную среду разработки, которая за счет богатого функционала легко встраивается в рабочие процессы вне зависимости от стека и сферы деятельности. Positron позволяет писать ко…

1 week, 1 day назад @ t.me
📘Аналитика для руководителейБолеть в отпуске — полный отстой, никому не рекомендую. Зато появилось время прочитать книгу Коли Валиотти «Аналитика для руководителей», до которой давно не доходили руки. Пишу вам на неё отзыв.Книга рассказывает про то, что ну
📘Аналитика для руководителейБолеть в отпуске — полный отстой, никому не рекомендую. Зато появилось время прочитать книгу Коли Валиотти «Аналитика для руководителей», до которой давно не доходили руки. Пишу вам на неё отзыв.Книга рассказывает про то, что ну 📘Аналитика для руководителейБолеть в отпуске — полный отстой, никому не рекомендую. Зато появилось время прочитать книгу Коли Валиотти «Аналитика для руководителей», до которой давно не доходили руки. Пишу вам на неё отзыв.Книга рассказывает про то, что ну

📘Аналитика для руководителейБолеть в отпуске — полный отстой, никому не рекомендую. Зато появилось время прочитать книгу Коли Валиотти «Аналитика для руководителей», до которой давно не доходили руки. Пишу вам на неё отзыв.Книга рассказывает про то, что нужно, чтобы построить аналитику внутри компании: какие нужны роли, технологии и фреймворки, с чего начать если хотите сделать фирму с управлением на основе данных.Книга подойдет руководителям среднего бизнеса или начинающим аналитикам, чтобы понять весь масштаб проблем ландшафт технологий и процессов, которые нужны в современной аналитике. При этом погружение в каждую из тем неглубокое — обзор по стеку технологий, примеры проектов и фреймво…

1 week, 3 days назад @ t.me
Книга «Аналитика для руководителей»На митапе от BI-done мне наговорили разных приятностей про то, как моя книга помогла, была суперполезной в работе и читалась легко. Ниже перешлю в канал два свежих отзыва. Один от Марии, которая ведет канал BI Hub | Fastb
Книга «Аналитика для руководителей»На митапе от BI-done мне наговорили разных приятностей про то, как моя книга помогла, была суперполезной в работе и читалась легко. Ниже перешлю в канал два свежих отзыва. Один от Марии, которая ведет канал BI Hub | Fastb Книга «Аналитика для руководителей»На митапе от BI-done мне наговорили разных приятностей про то, как моя книга помогла, была суперполезной в работе и читалась легко. Ниже перешлю в канал два свежих отзыва. Один от Марии, которая ведет канал BI Hub | Fastb

Книга «Аналитика для руководителей»На митапе от BI-done мне наговорили разных приятностей про то, как моя книга помогла, была суперполезной в работе и читалась легко. Ниже перешлю в канал два свежих отзыва. Один от Марии, которая ведет канал BI Hub | Fastboard, а другой от всем известного Ромы Бунина.Я хотел бы раскрыть мотивацию написания «Аналитики для руководителей». Мне искренне хотелось поделиться своими мыслями и идеями на тему того, как и зачем аналитика строится в компаниях, какие процессы туда входят. Я не находил такой литературы на полках, а стадия погружения в область на самом деле крайне туманна для нетехнических специалистов: непонятно, как и с чего начать? Книга для ответа на…

1 week, 3 days назад @ t.me
Николай, добрый день!Хочу сказать тебе большое спасибо за эту книгу!У меня огромный опыт работы и в крупных компаниях, и на фрилансе. Можно сказать, что все написанное в ней - для меня не тайна.Однако, эта книга помогла мне аппрувнуть мои догадки и чётко с
Николай, добрый день!Хочу сказать тебе большое спасибо за эту книгу!У меня огромный опыт работы и в крупных компаниях, и на фрилансе. Можно сказать, что все написанное в ней - для меня не тайна.Однако, эта книга помогла мне аппрувнуть мои догадки и чётко с

Николай, добрый день!Хочу сказать тебе большое спасибо за эту книгу!У меня огромный опыт работы и в крупных компаниях, и на фрилансе. Можно сказать, что все написанное в ней - для меня не тайна.Однако, эта книга помогла мне аппрувнуть мои догадки и чётко структурировать свои мысли.Я читала её дважды. Первый раз с точки зрения аналитика, а вот второй круг прочтения с точки зрения продавца. Не секрет, что нужно уметь продавать свои идеи руководству. И ты написал чёткие инструкции между строк как это делать грамотно и без насилия, попутно решая боли директора и делая его счастливым!Книга меня лично настолько вдохновила, что я заставила прочитать её весь свой отдел продаж. Чтобы открыть им двер…

1 week, 3 days назад @ t.me
Когда очень хочешь в IT, не остановит даже тюрьмаДавно прошли золотые времена, когда войти в IT можно было после короткого онлайн-курса. Сейчас человеку даже с опытом найти хорошую работу не так-то просто, а уже новичку тем более. Но все препятствия преодо
Когда очень хочешь в IT, не остановит даже тюрьмаДавно прошли золотые времена, когда войти в IT можно было после короткого онлайн-курса. Сейчас человеку даже с опытом найти хорошую работу не так-то просто, а уже новичку тем более. Но все препятствия преодо

Когда очень хочешь в IT, не остановит даже тюрьмаДавно прошли золотые времена, когда войти в IT можно было после короткого онлайн-курса. Сейчас человеку даже с опытом найти хорошую работу не так-то просто, а уже новичку тем более. Но все препятствия преодолимы, если очень захотеть, и вкатиться в индустрию можно даже из тюрьмы.У нас и пруф есть: пост одного из инженеров БД на основе SQLite Turso.🔵Инженера зовут Престон Торп, ему 31, и треть своей жизни он провел в тюрьме. Про то, что его туда привело, у него есть отдельный пост, но в общем все беды из-за наркотиков.🔵Когда просто отбывать срок ему надоело, он занялся самообразованием, удаленно поступил в колледж и начал изучать программирован…

2 weeks назад @ t.me
Карьерный трек для аналитикаВ пятницу был в Санкт-Петербурге на митапе BI-done, на котором, в частности, рассказывал историю создания канала LEFT JOIN, и после решил, что хочу вернуть некоторое число моих личных авторских постов в канал с собственным мнени
Карьерный трек для аналитикаВ пятницу был в Санкт-Петербурге на митапе BI-done, на котором, в частности, рассказывал историю создания канала LEFT JOIN, и после решил, что хочу вернуть некоторое число моих личных авторских постов в канал с собственным мнени

Карьерный трек для аналитикаВ пятницу был в Санкт-Петербурге на митапе BI-done, на котором, в частности, рассказывал историю создания канала LEFT JOIN, и после решил, что хочу вернуть некоторое число моих личных авторских постов в канал с собственным мнением по теме.Сегодня хочу порассуждать про карьеру аналитика и, возможно, дать некоторое число непрошенных советов для профессионалов, которые строят свое резюме.Прежде всего хочу сказать, что я просмотрел тысячи разных резюме и общался с сотнями, если не тысячами кандидатов, потому расскажу свои выводы, которые мне кажутся полезными для вас. Самое главное, что вам как профессионалу в дата-области стоит сделать — это разобраться в том, что в…

2 weeks, 2 days назад @ t.me
Про вчераВчера я пообещала рассказать про «улов» (книгу Николая Валиотти). Спешу поделиться историей и фотками с митапа BI-done в Спб!Сначала про книгу — представляете, я ее выиграла за лучший вопрос!🎉Я испытала (и до сих пор испытываю, пока печатаю) ощуще
Про вчераВчера я пообещала рассказать про «улов» (книгу Николая Валиотти). Спешу поделиться историей и фотками с митапа BI-done в Спб!Сначала про книгу — представляете, я ее выиграла за лучший вопрос!🎉Я испытала (и до сих пор испытываю, пока печатаю) ощуще Про вчераВчера я пообещала рассказать про «улов» (книгу Николая Валиотти). Спешу поделиться историей и фотками с митапа BI-done в Спб!Сначала про книгу — представляете, я ее выиграла за лучший вопрос!🎉Я испытала (и до сих пор испытываю, пока печатаю) ощуще

Про вчераВчера я пообещала рассказать про «улов» (книгу Николая Валиотти). Спешу поделиться историей и фотками с митапа BI-done в Спб!Сначала про книгу — представляете, я ее выиграла за лучший вопрос!🎉Я испытала (и до сих пор испытываю, пока печатаю) ощущения как от пересечения с параллельной реальностью — где я, а где Валиотти! Для меня это человек как будто из другого мира (не моего).Хотя признаюсь, мне очень хотелось получить ее. Я подумала об этом с утра перед митапом, когда посмотрела кружок с анонсом в канале Николая, но откинула эту мысль как несбыточную.Николай Валиотти — основатель консалтинговой компании Valiotti Analytics и автор множества крутых проектов:- блог LEFT JOIN, телегр…

2 weeks, 3 days назад @ t.me
Благодарим Алису за этот прекрасный мини-отчет про BI-done. Если тоже хотите почитать «Аналитику для руководителей», то приглашаем на сайт книги — мы там собрали все ссылки на магазины, где она продается.
Благодарим Алису за этот прекрасный мини-отчет про BI-done. Если тоже хотите почитать «Аналитику для руководителей», то приглашаем на сайт книги — мы там собрали все ссылки на магазины, где она продается.

Благодарим Алису за этот прекрасный мини-отчет про BI-done. Если тоже хотите почитать «Аналитику для руководителей», то приглашаем на сайт книги — мы там собрали все ссылки на магазины, где она продается.

2 weeks, 3 days назад @ t.me
OpenAI представила GPT-5GPT-5 стала еще умнее предшественниц. Работает быстрее, лучше справляется со всеми задачами, которые вы можете ей подкинуть: и пишет, и кодит, и картинки рисует. Кстати, картинку к посту тоже она сделала, чтобы проиллюстрировать, ка
OpenAI представила GPT-5GPT-5 стала еще умнее предшественниц. Работает быстрее, лучше справляется со всеми задачами, которые вы можете ей подкинуть: и пишет, и кодит, и картинки рисует. Кстати, картинку к посту тоже она сделала, чтобы проиллюстрировать, ка OpenAI представила GPT-5GPT-5 стала еще умнее предшественниц. Работает быстрее, лучше справляется со всеми задачами, которые вы можете ей подкинуть: и пишет, и кодит, и картинки рисует. Кстати, картинку к посту тоже она сделала, чтобы проиллюстрировать, ка

OpenAI представила GPT-5GPT-5 стала еще умнее предшественниц. Работает быстрее, лучше справляется со всеми задачами, которые вы можете ей подкинуть: и пишет, и кодит, и картинки рисует. Кстати, картинку к посту тоже она сделала, чтобы проиллюстрировать, как менялись модели с каждой итерацией. К картинке есть вопросы, конечно, но суть в целом ясна. 🔜 На канале OpenAI можно посмотреть почти полуторачасовую презентацию, а на сайте компании — почитать длинную статью со сравнениями с прошлыми моделями (более наглядными, чем на нашей картинке), бенчармарками и даже игрой, которую GPT-5 накодила после одного промпта.А вот так апдейт описывает сама GPT-5 (да, мы попросили у нее комментарий):GPT-5 —…

2 weeks, 6 days назад @ t.me
ИИ перенервничал и снес базу данныхКогда-нибудь — возможно, уже совсем скоро — ИИ станет намного умнее человека и наконец-то заберет у нас всех работу. Но пока успехи на этот поприще сомнительные.Про ИИ, который впал в депрессию и снес данные, мы уже расск
ИИ перенервничал и снес базу данныхКогда-нибудь — возможно, уже совсем скоро — ИИ станет намного умнее человека и наконец-то заберет у нас всех работу. Но пока успехи на этот поприще сомнительные.Про ИИ, который впал в депрессию и снес данные, мы уже расск ИИ перенервничал и снес базу данныхКогда-нибудь — возможно, уже совсем скоро — ИИ станет намного умнее человека и наконец-то заберет у нас всех работу. Но пока успехи на этот поприще сомнительные.Про ИИ, который впал в депрессию и снес данные, мы уже расск

ИИ перенервничал и снес базу данныхКогда-нибудь — возможно, уже совсем скоро — ИИ станет намного умнее человека и наконец-то заберет у нас всех работу. Но пока успехи на этот поприще сомнительные.Про ИИ, который впал в депрессию и снес данные, мы уже рассказывали. Недавно случилась похожая история, только в намного большем масштабе.Replit — тул на основе ИИ для вайб-кодинга. Джейсон Лемкин, СЕО компании SaaStr AI, решил провести эксперимент и с помощью Replit навайбкодить полноценное приложение. Хотя процесс, по его словам, был веселым, уже на 4-й день начались проблемы. Replit начал вносить в приложение несогласованные изменения, выдумывать данные в отчетах и людей в базе данных и даже лга…

2 weeks, 6 days назад @ t.me
Ютубер сохранил PNG в скворцеМы уже рассказывали про хранение данных на бумаге и в черно-белых видео с помехами, но недавно обнаружилось еще более оригинальное хранилище — скворец. Точнее, песня скворца.Ютубер Бенн Джордан выложил видео, где рассказал, как
Ютубер сохранил PNG в скворцеМы уже рассказывали про хранение данных на бумаге и в черно-белых видео с помехами, но недавно обнаружилось еще более оригинальное хранилище — скворец. Точнее, песня скворца.Ютубер Бенн Джордан выложил видео, где рассказал, как Ютубер сохранил PNG в скворцеМы уже рассказывали про хранение данных на бумаге и в черно-белых видео с помехами, но недавно обнаружилось еще более оригинальное хранилище — скворец. Точнее, песня скворца.Ютубер Бенн Джордан выложил видео, где рассказал, как

Ютубер сохранил PNG в скворцеМы уже рассказывали про хранение данных на бумаге и в черно-белых видео с помехами, но недавно обнаружилось еще более оригинальное хранилище — скворец. Точнее, песня скворца.Ютубер Бенн Джордан выложил видео, где рассказал, как записывал и анализировал песни разных птиц. Одной из этих птиц стал скворец по имени Рот (или Mouth), который всю жизнь прожил с людьми и научился имитировать окружающие его звуки вроде щелчка камеры или человеческих голосов. 🔜 Джордан нарисовал картинку с птичкой ☝🏻 Он обработал в спектральном синтезаторе, чтобы представить ее в виде звука и проиграл ее скворцу. Тот добавил этот звук в свою «библиотеку» и несколько раз вполне точно воспр…

3 weeks, 1 day назад @ t.me
SQLite на практике SQLite на практике
последний пост 3 months, 1 week назад
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

3 months, 1 week назад @ t.me
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

3 months, 2 weeks назад @ t.me
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

3 months, 2 weeks назад @ t.me
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

3 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 9 часов назад
🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького!На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада
🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького!На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада 🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького!На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада

🚀 Data Picnic Х5 Tech в Сфере — встречаемся 9 сентября в Парке Горького!На летней площадке «Сфера» Х5 Tech соберет data-сообщество, чтобы обсудить масштабируемые архитектуры, big data-решения и практики работы с миллиардами событий. Вас ждут четыре доклада от экспертов X5 Tech, Сбера и Битрикс24, а после — афтерпати с пиццей, пивом и диджеем.Программа:🗣 Павел Середин, X5 Tech — Шина метаданных для координации работы дата-хабов: как мы перешли с монолита на архитектуру data-mesh и решили проблему взаимодействия хабов.🗣 Андрей Березин, Сбер — Система realtime-аналитики на 5+ млрд событий в день: эволюция платформы, архитектура и опыт масштабирования.🗣 Анатолий Зубков, X5 Tech — Дата-контракты…

9 часов назад @ t.me
Ищу людей, которые хотят работать в иностранных компанияхЗарубежные работодатели готовы нанимать даже тех, кто не идеально владеет английским языкомКак получить оффер от зарубежных компаний рассказывает в своем канале Виталий Лавелин.За его плечами 10к+ пр
Ищу людей, которые хотят работать в иностранных компанияхЗарубежные работодатели готовы нанимать даже тех, кто не идеально владеет английским языкомКак получить оффер от зарубежных компаний рассказывает в своем канале Виталий Лавелин.За его плечами 10к+ пр Ищу людей, которые хотят работать в иностранных компанияхЗарубежные работодатели готовы нанимать даже тех, кто не идеально владеет английским языкомКак получить оффер от зарубежных компаний рассказывает в своем канале Виталий Лавелин.За его плечами 10к+ пр

Ищу людей, которые хотят работать в иностранных компанияхЗарубежные работодатели готовы нанимать даже тех, кто не идеально владеет английским языкомКак получить оффер от зарубежных компаний рассказывает в своем канале Виталий Лавелин.За его плечами 10к+ просмотренных резюме, 600+ проведенных интервью и сотни человек, получивших работу в Европе, Австралии и странах MENA.В канале он бесплатно дает конкретные рекомендации по получению оффера за границей:➕ Что писать в резюме, чтобы вас пригласили на интервью?➕ Как получить оффер с релокацией и высокой зарплатой?➕ Как с помощью LinkedIn и ИИ сделать так, чтобы рекрутеры находили вас самиПодписывайтесь и станьте ближе к своей мечте! Еще больше п…

1 day, 1 hour назад @ t.me
Давно меня ничего искренне не восторгало из AI-инструментов А тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой…
Давно меня ничего искренне не восторгало из AI-инструментов А тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой…

Давно меня ничего искренне не восторгало из AI-инструментов А тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой…

3 days, 20 hours назад @ t.me
Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспектПромпт для получения конспекта по группе вкладок в комментариях
Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспектПромпт для получения конспекта по группе вкладок в комментариях

Ещё один разрывной кейс: дано 15 открытых вкладок, просим Comet все их сгруппировать по тематикам, а потом по группе делаем сжатый (но при этом всё равно достаточно подробный) конспектПромпт для получения конспекта по группе вкладок в комментариях

3 days, 20 hours назад @ t.me
Давно меня ничего искренне не восторгало из AI-инструментовА тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой, а
Давно меня ничего искренне не восторгало из AI-инструментовА тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой, а

Давно меня ничего искренне не восторгало из AI-инструментовА тут открыл для себя браузер Comet от создателей ИИ-поисковика Perplexity и офигел насколько там удобные есть вещи. Если коротко: он может интегрироваться с вашими сервисами, например, с почтой, а ещё он может управлять браузером и ИИ может получать доступ к контенту открытых вкладок, работает это даже с открытыми вкладками, содержимое которых недоступно по открытой ссылкеНесколько прикольных штук, которые я отразил на видео:- открыть список вкладок, скопировав набор URL; затем найти что общего у вкладки 3 и 7; потом закрыть вкладки- получить список последних сообщений из gmail и сделать саммари- получать содержимое документа googl…

3 days, 22 hours назад @ t.me
Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!
Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот! Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!

Записала маленький бесплатный курс про улучшение таблиц и графиков в Excel. С задачками самопроверки и чеклистами.1 час и 42 минуты переверстываю стандартные визуализации, объясняя где чего не так и как сделать лучше. Вот так вот!

1 week, 2 days назад @ t.me
🛠 Дата-инженерия: что происходит на самом делеПока все говорят о «данных как новой нефти», реальная проблема в другом: большинство компаний тонут в собственных данных. Не потому что их мало, а потому что никто не знает, как их правильно обрабатыватьДата-ин
🛠 Дата-инженерия: что происходит на самом делеПока все говорят о «данных как новой нефти», реальная проблема в другом: большинство компаний тонут в собственных данных. Не потому что их мало, а потому что никто не знает, как их правильно обрабатыватьДата-ин 🛠 Дата-инженерия: что происходит на самом делеПока все говорят о «данных как новой нефти», реальная проблема в другом: большинство компаний тонут в собственных данных. Не потому что их мало, а потому что никто не знает, как их правильно обрабатыватьДата-ин

🛠 Дата-инженерия: что происходит на самом делеПока все говорят о «данных как новой нефти», реальная проблема в другом: большинство компаний тонут в собственных данных. Не потому что их мало, а потому что никто не знает, как их правильно обрабатыватьДата-инженеры решают именно эту проблему — строят системы, которые превращают хаос в структуру. И да, спрос на таких специалистов растёт быстрее предложения. Что логичноМагистратура НИУ ВШЭ + Нетологии по инженерии данных — попытка системно решить нехватку кадров. Срок обучения 2 года, реальные технологии (Python, Java, Scala, SQL), реальные задачиИнтересная особенность программы — она не заточена под одну роль. После неё можно уйти в MLOps, DevO…

1 week, 3 days назад @ t.me
Разбираем тестовое задание в Яндекс на позицию Junior аналитика данныхТестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты. Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксп
Разбираем тестовое задание в Яндекс на позицию Junior аналитика данныхТестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты. Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксп Разбираем тестовое задание в Яндекс на позицию Junior аналитика данныхТестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты. Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксп

Разбираем тестовое задание в Яндекс на позицию Junior аналитика данныхТестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты. Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных. ⚡️На вебинаре вы:🟠узнаете, какие навыки и знания необходимы для успешного выполнения заданий;🟠поймёте, что хочет увидеть работодатель;🟠получите советы и лайфхаки;🟠вместе с Андроном разберете в прямом эфире реальный пример тестового 🔥Чему именно научимся на вебинаре:🟠С помощью Pandas проанализируем…

2 weeks, 6 days назад @ t.me
Бесплатный вебинар «Аналитика без посредников: как Data Mesh и dbt помогают бизнесу работать с данными»Классический подход к аналитике больше не справляется: централизованные команды перегружены, TTM растёт, а бизнесу не хватает гибкости.На бесплатном веби
Бесплатный вебинар «Аналитика без посредников: как Data Mesh и dbt помогают бизнесу работать с данными»Классический подход к аналитике больше не справляется: централизованные команды перегружены, TTM растёт, а бизнесу не хватает гибкости.На бесплатном веби Бесплатный вебинар «Аналитика без посредников: как Data Mesh и dbt помогают бизнесу работать с данными»Классический подход к аналитике больше не справляется: централизованные команды перегружены, TTM растёт, а бизнесу не хватает гибкости.На бесплатном веби

Бесплатный вебинар «Аналитика без посредников: как Data Mesh и dbt помогают бизнесу работать с данными»Классический подход к аналитике больше не справляется: централизованные команды перегружены, TTM растёт, а бизнесу не хватает гибкости.На бесплатном вебинаре разберём, как распределить ответственность за данные, ускорить аналитику и внедрить подход Data Mesh с помощью dbt.Что вас ждёт:– Почему традиционные DWH-модели не масштабируются– Что такое Data Mesh и как его внедрять по шагам– Как dbt помогает аналитикам работать быстрее и прозрачнее– Реальный кейс: от определения доменов до контроля качества📌 Дата: 14 августа в 12:00 (мск)🎙 Спикер: Павел Хамрин, сооснователь DataPulse, 10+ лет в BI…

3 weeks назад @ t.me
🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с при
🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с при 🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с при

🔍 Как трансформеры меняют область NLP и что стоит за LLM? На открытом уроке «Трансформеры как основа современного NLP» 12 августа в 18:00 МСК мы разберём, как архитектура трансформеров революционизирует обработку естественного языка. Вы познакомитесь с принципами работы трансформерных моделей и их применением в современных технологиях.Это откроет вам доступ к самым актуальным методам NLP и поможет стать востребованным специалистом в Data Science.🚀 Регистрируйтесь и получите скидку на курс «NLP / Natural Language Processing»: https://clck.ru/3NVngbРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

3 weeks, 1 day назад @ t.me
🚀 Когда аналитика — топливо, а бизнес — ракета!Как построить долгосрочную модель бизнеса, спрогнозировать ключевые метрики и выбрать оптимальную стратегию роста — об этом в новом выпуске «Диванной аналитики» рассказывает Батыржан Юсуп-Ахунов, старший анали
🚀 Когда аналитика — топливо, а бизнес — ракета!Как построить долгосрочную модель бизнеса, спрогнозировать ключевые метрики и выбрать оптимальную стратегию роста — об этом в новом выпуске «Диванной аналитики» рассказывает Батыржан Юсуп-Ахунов, старший анали 🚀 Когда аналитика — топливо, а бизнес — ракета!Как построить долгосрочную модель бизнеса, спрогнозировать ключевые метрики и выбрать оптимальную стратегию роста — об этом в новом выпуске «Диванной аналитики» рассказывает Батыржан Юсуп-Ахунов, старший анали

🚀 Когда аналитика — топливо, а бизнес — ракета!Как построить долгосрочную модель бизнеса, спрогнозировать ключевые метрики и выбрать оптимальную стратегию роста — об этом в новом выпуске «Диванной аналитики» рассказывает Батыржан Юсуп-Ахунов, старший аналитик команды стратегии вертикали Авито Товары.Что внутри:☄️ как «дерево» прогнозирования помогает связать метрики и предсказать будущее;☄️ зачем бизнесу нужна динамическая система и целевой функционал;☄️ как Авито использует методы оптимального управления для выбора стратегии;☄️ и как автоматизация экономит сотни часов ручной работы.🎥 Обо всем подробно смотрите в пятом выпуске «Диванной аналитики» по ссылке, а также подписывайтесь на телегр…

3 weeks, 3 days назад @ t.me
Контест по Машинному обучению ⤵️Приглашаем к участию всех, увлечённых искусственным интеллектом и матстатистикой! Мы подготовили для вас задачи по машинному обучению, теории вероятностей, классической статистике и родственным областям.📃 Расписание и правил
Контест по Машинному обучению ⤵️Приглашаем к участию всех, увлечённых искусственным интеллектом и матстатистикой! Мы подготовили для вас задачи по машинному обучению, теории вероятностей, классической статистике и родственным областям.📃 Расписание и правил Контест по Машинному обучению ⤵️Приглашаем к участию всех, увлечённых искусственным интеллектом и матстатистикой! Мы подготовили для вас задачи по машинному обучению, теории вероятностей, классической статистике и родственным областям.📃 Расписание и правил

Контест по Машинному обучению ⤵️Приглашаем к участию всех, увлечённых искусственным интеллектом и матстатистикой! Мы подготовили для вас задачи по машинному обучению, теории вероятностей, классической статистике и родственным областям.📃 Расписание и правила〰️ Онлайн-формат на платформе Яндекс Контест, участие индивидуальное〰️ Стартовать можно в любое время с утра 1 августа до вечера 3 августа〰️ У вас будет 24 часа на решение задач〰️ Решения принимаются только до 3 августа 23:59 по московскому времени, после этого времени отправка решений будет невозможна〰️ Соревнование не будет включать high-compute задач по ML — есть смысл участвовать всем!🏆 ПризыДля участников основного зачёта:〰️ 1 место:…

1 month назад @ t.me
Системный анализ - смежная с data analyst профессия, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL:
Системный анализ - смежная с data analyst профессия, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL: Системный анализ - смежная с data analyst профессия, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL:

Системный анализ - смежная с data analyst профессия, крайне востребованная в бигтехе. Цифры подтверждают: на hh.ru больше трех тысяч открытых вакансий в РФ со средней зарплатой около 180-200к рублей.Но системный аналитик работает не с BI и не только с SQL: ему требуется глубокое понимание Rest API, Kafka, Redis и LocalStorage.⚡️ it.t Academy создала полноценную песочницу в формате онлайн-магазина, внутри которого вы будете своими руками "дергать апишки", взаимодействовать с Kafka, Redis и LocalStorage, и научитесь применять SQL!Вы освоите профессию в течение 3 месяцев плотной рил-тайм учебы, а переход из смежной сферы data-анализа поможет вам легче освоить материал) ✍🏻 Пишите t.me/ittalkera…

1 month назад @ t.me
Исследование WEF: 60% компаний ждут масштабных цифровых изменений к 2030 году — готовы ли вы?По данным отчёта Всемирного экономического форума (WEF), к 2030 году порядка 60% компаний по всему миру планируют кардинально трансформировать свои технологические
Исследование WEF: 60% компаний ждут масштабных цифровых изменений к 2030 году — готовы ли вы?По данным отчёта Всемирного экономического форума (WEF), к 2030 году порядка 60% компаний по всему миру планируют кардинально трансформировать свои технологические

Исследование WEF: 60% компаний ждут масштабных цифровых изменений к 2030 году — готовы ли вы?По данным отчёта Всемирного экономического форума (WEF), к 2030 году порядка 60% компаний по всему миру планируют кардинально трансформировать свои технологические платформы и процессы.При этом исследование подчёркивает, что лишь небольшой процент руководителей считают свои организации готовыми к таким масштабным изменениям. Большинство испытывает сложности с отслеживанием актуальных трендов и адаптацией стратегий.Что делать?- Окружить себя проверенной, актуальной информацией — от экспертов, которые знают, как работают эти технологии на практике.- Понимать, где заканчиваются хайп и теория, и начинае…

1 month назад @ t.me
Иногда тебе не нужен отчёт — тебе нужен ответ.Не 40 слайдов, а один график, который скажет: вот здесь просела конверсия. Или: тут стоит протестировать гипотезу.И вот с этим в сентябре выходит новый инструмент — Нейроаналитик. Это AI-агент, который помогает
Иногда тебе не нужен отчёт — тебе нужен ответ.Не 40 слайдов, а один график, который скажет: вот здесь просела конверсия. Или: тут стоит протестировать гипотезу.И вот с этим в сентябре выходит новый инструмент — Нейроаналитик. Это AI-агент, который помогает

Иногда тебе не нужен отчёт — тебе нужен ответ.Не 40 слайдов, а один график, который скажет: вот здесь просела конверсия. Или: тут стоит протестировать гипотезу.И вот с этим в сентябре выходит новый инструмент — Нейроаналитик. Это AI-агент, который помогает работать с данными на уровне «спросил — получил». Он встроен в DataLens, работает как чат и понимает естественный язык. Не надо знать код, не надо писать формулы.Ты просто говоришь:«Покажи динамику продаж за квартал, разбей по регионам и сравни с прошлым годом» — и получаешь график.«Добавь воронку и измени метрику на средний чек» — и он перестраивает визуализацию. Это не замена аналитикам. Это штука, которая закрывает 80% рутины, особенно…

1 month, 1 week назад @ t.me
Труба данных Труба данных
последний пост 1 week, 1 day назад
https://spiess.dev/blog/how-i-use-claude-codeПовайбкодим немного?Внеочередная, но хорошая статья про санитарные нормы использования LLM (конкретно, Клода)@ohmydataengineer - канал "🕯Труба Данных"
https://spiess.dev/blog/how-i-use-claude-codeПовайбкодим немного?Внеочередная, но хорошая статья про санитарные нормы использования LLM (конкретно, Клода)@ohmydataengineer - канал "🕯Труба Данных"

https://spiess.dev/blog/how-i-use-claude-codeПовайбкодим немного?Внеочередная, но хорошая статья про санитарные нормы использования LLM (конкретно, Клода)@ohmydataengineer - канал "🕯Труба Данных"

1 week, 1 day назад @ t.me
Chat Control в EU Не технический пост (скоро будет!), но из мира pivacy. ЕС планирует вводить отмену сквозного шифрования и начать автоматическое сканирование перс данных. Интересно, на чем планируют обучать модели для контроля 👨‍🦳Сайт с отслеживанием ситу
Chat Control в EU Не технический пост (скоро будет!), но из мира pivacy. ЕС планирует вводить отмену сквозного шифрования и начать автоматическое сканирование перс данных. Интересно, на чем планируют обучать модели для контроля 👨‍🦳Сайт с отслеживанием ситу

Chat Control в EU Не технический пост (скоро будет!), но из мира pivacy. ЕС планирует вводить отмену сквозного шифрования и начать автоматическое сканирование перс данных. Интересно, на чем планируют обучать модели для контроля 👨‍🦳Сайт с отслеживанием ситуации https://fightchatcontrol.eu/Более интересный детальный анализ - https://www.patrick-breyer.de/en/posts/chat-control/

1 week, 2 days назад @ t.me
Какое-то время назад просил вас пройти опросец про исследование рынка дата-специалистов. Вот результаты https://devcrowd.ru/ds25@ohmydataengineer - канал "🕯Труба Данных"
Какое-то время назад просил вас пройти опросец про исследование рынка дата-специалистов. Вот результаты https://devcrowd.ru/ds25@ohmydataengineer - канал "🕯Труба Данных"

Какое-то время назад просил вас пройти опросец про исследование рынка дата-специалистов. Вот результаты https://devcrowd.ru/ds25@ohmydataengineer - канал "🕯Труба Данных"

1 week, 6 days назад @ t.me
Пока идет лето и у меня не то, чтобы очень много мотивации и времени анализировать много материала, вот вам прекрасный, небольшой поток мыслей про анализ и любителей все анализировать. Вы же знаете таких прокрастинаторов? 😏https://www.thdpth.com/p/why-smar
Пока идет лето и у меня не то, чтобы очень много мотивации и времени анализировать много материала, вот вам прекрасный, небольшой поток мыслей про анализ и любителей все анализировать. Вы же знаете таких прокрастинаторов? 😏https://www.thdpth.com/p/why-smar

Пока идет лето и у меня не то, чтобы очень много мотивации и времени анализировать много материала, вот вам прекрасный, небольшой поток мыслей про анализ и любителей все анализировать. Вы же знаете таких прокрастинаторов? 😏https://www.thdpth.com/p/why-smart-people-stay-stuck?utm_source=post-email-title&publication_id=865472&post_id=169428145Sophisticated analysis ≠ real change. Insight feels productive but rarely shifts day-to-day behavior.Analysis can become a high-tech form of procrastination. The more beautiful the dashboard, the easier it is to hide from hard decisions.Action lives elsewhere. Changing environments, adding friction to bad choices, and enforcing simple rules beat perfect …

2 weeks, 2 days назад @ t.me
Все, что я люблю, в одной статье: Clickhouse, Tesla, ScalabilityДумаю, по скриншоту все понятно 🤪https://clickhouse.com/blog/how-tesla-built-quadrillion-scale-observability-platform-on-clickhouse@ohmydataengineer - канал "🕯Труба Данных"
Все, что я люблю, в одной статье: Clickhouse, Tesla, ScalabilityДумаю, по скриншоту все понятно 🤪https://clickhouse.com/blog/how-tesla-built-quadrillion-scale-observability-platform-on-clickhouse@ohmydataengineer - канал "🕯Труба Данных" Все, что я люблю, в одной статье: Clickhouse, Tesla, ScalabilityДумаю, по скриншоту все понятно 🤪https://clickhouse.com/blog/how-tesla-built-quadrillion-scale-observability-platform-on-clickhouse@ohmydataengineer - канал "🕯Труба Данных"

Все, что я люблю, в одной статье: Clickhouse, Tesla, ScalabilityДумаю, по скриншоту все понятно 🤪https://clickhouse.com/blog/how-tesla-built-quadrillion-scale-observability-platform-on-clickhouse@ohmydataengineer - канал "🕯Труба Данных"

3 weeks, 1 day назад @ t.me
https://dbtips.substack.com/p/the-core-principles-of-robust-dataКазалось бы, очень простые советы, но каждый раз смотря на очередной DWH, я удивляюсь тому, какую мешанину там напридумывали, что это очень тяжело поддерживать.@ohmydataengineer - канал "🕯Труб
https://dbtips.substack.com/p/the-core-principles-of-robust-dataКазалось бы, очень простые советы, но каждый раз смотря на очередной DWH, я удивляюсь тому, какую мешанину там напридумывали, что это очень тяжело поддерживать.@ohmydataengineer - канал "🕯Труб

https://dbtips.substack.com/p/the-core-principles-of-robust-dataКазалось бы, очень простые советы, но каждый раз смотря на очередной DWH, я удивляюсь тому, какую мешанину там напридумывали, что это очень тяжело поддерживать.@ohmydataengineer - канал "🕯Труба Данных"

3 weeks, 2 days назад @ t.me
Мокаемся в Study & LearnВ OpenAI завезли Study & Learn. Я решил попробовать на o3 модели, можно ли помокаться по SQLПромпт на входе.I want to test my knowledge on SQL, can you prepare test questions for me and work on them with commentary? Experien
Мокаемся в Study & LearnВ OpenAI завезли Study & Learn. Я решил попробовать на o3 модели, можно ли помокаться по SQLПромпт на входе.I want to test my knowledge on SQL, can you prepare test questions for me and work on them with commentary? Experien

Мокаемся в Study & LearnВ OpenAI завезли Study & Learn. Я решил попробовать на o3 модели, можно ли помокаться по SQLПромпт на входе.I want to test my knowledge on SQL, can you prepare test questions for me and work on them with commentary? Experience level - advancedFocus area - should cover all aspectsFormat & length - mix, it should cover standard 30 minute interviewПолучился план из 6 задач ===1. Окна: вторая по выручке датаТаблица sales(salesperson_id, sale_date, amount). Для каждого продавца вернуть дату второй по сумме выручки за день.Классическая задача на оконки с агрегатными функциям. GROUP BY, SUM(amount), ROW_NUMBER(), фильтр rown = 2, исключить продавцов с одной датой.ДиалогЯ сп…

3 weeks, 5 days назад @ t.me
Пятничный юмор. Хайп-трейн не остановить!🤪
Пятничный юмор. Хайп-трейн не остановить!🤪 Пятничный юмор. Хайп-трейн не остановить!🤪

Пятничный юмор. Хайп-трейн не остановить!🤪

1 month назад @ t.me
Агенты (не AI) говорят, что появился черновик (то есть сырая версия до редактуры) второй версии кабанчика.@ohmydataengineer
Агенты (не AI) говорят, что появился черновик (то есть сырая версия до редактуры) второй версии кабанчика.@ohmydataengineer

Агенты (не AI) говорят, что появился черновик (то есть сырая версия до редактуры) второй версии кабанчика.@ohmydataengineer

1 month назад @ t.me
Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык
Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую вык

Первый дашборд в новой рубрике #референсРеференс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей. 💡И то, что вдохновляет, и то, откуда можно взять концепцию. Под этим хэштегом я планирую выкладывать примеры дашбордов и отмечать в них интересные детали, которыми можно обогатить свои проекты.Почему я решила создать такую рубрику?В визуализации данных популярен формат «прожарки», когда эксперты критически оценивают дашборды и предлагают варианты улучшения. Такие разборы очень полезны для развития датавиз-навыков и понимания того, «как не надо», но для развития также важно тренировать насмотренность на хорошее и черпать свежие ид…

1 month, 3 weeks назад @ t.me
Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏
Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏

Давненько я не рассказывал про другие каналы и ничего не репостил (да и не писал в целом почти 2! недели).Как-то надо возвращаться в строй =)Вот, например, Алиса попросила рассказать про свой канал про дата-виз. Мб кому-то будет полезно и интересно 😏

1 month, 3 weeks назад @ t.me
Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"
Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных" Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"

Clickhouse 25.5https://clickhouse.com/blog/clickhouse-release-25-05@ohmydataengineer - канал "🕯Труба Данных"

2 months, 1 week назад @ t.me
Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"
Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных" Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"

Мои бывшие коллеги продолжают поставлять годный контент в пятничную рубрику!@ohmydataengineer - канал "🕯Труба Данных"

2 months, 2 weeks назад @ t.me
https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"
https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"

https://ducklake.selectDuckDB -> Duck Data Lake.Ну вы поняли. @ohmydataengineer - канал "🕯Труба Данных"

2 months, 2 weeks назад @ t.me
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP
Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

Максимальное спасибо @valiotti и @cyprusdata за организацию этого эвента!Если вы на Кипре и вы хотите быть в курсе дата-событий и понетворкаться и пообсуждать датку -> вступайте (через формочку) https://tally.so/r/nPpOEP

2 months, 2 weeks назад @ t.me
enthusiastech enthusiastech
последний пост None
data будни data будни
последний пост 6 months, 1 week назад
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит 🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

6 months, 1 week назад @ t.me
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

6 months, 1 week назад @ t.me
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

6 months, 1 week назад @ t.me
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

6 months, 1 week назад @ t.me
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

6 months, 2 weeks назад @ t.me
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

6 months, 3 weeks назад @ t.me
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

6 months, 4 weeks назад @ t.me
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

9 months, 2 weeks назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

9 months, 3 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост None
Data Brew by Databricks
последний пост 3 weeks, 2 days назад
Reinforcement Fine-Tuning and the Future of Specialized AI Models
Reinforcement Fine-Tuning and the Future of Specialized AI Models Reinforcement Fine-Tuning and the Future of Specialized AI Models

What if building a custom AI model for your business was as simple as giving feedback—no massive labeled datasets required? In this episode, we sit down with Travis Addair, CTO and Co-Founder of Predibase, creators of the first reinforcement fine-tuning platform, to explore the future of specialized AI. Discover how reinforcement fine-tuning is revolutionizing model customization, enabling you to start fast, adapt to your unique data, and keep improving through human feedback. Whether you’re ...

3 weeks, 2 days назад @ buzzsprout.com
Benchmarking Domain Intelligence | |E45
Benchmarking Domain Intelligence | |E45 Benchmarking Domain Intelligence | |E45

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

4 months назад @ buzzsprout.com
SWE-bench & SWE-agent | |E44
SWE-bench & SWE-agent | |E44 SWE-bench & SWE-agent | |E44

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

4 months, 1 week назад @ buzzsprout.com
Enterprise AI: Research to Product | |E43
Enterprise AI: Research to Product | |E43 Enterprise AI: Research to Product | |E43

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

4 months, 2 weeks назад @ buzzsprout.com
Multimodal AI | |E42
Multimodal AI | |E42 Multimodal AI | |E42

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

4 months, 3 weeks назад @ buzzsprout.com
Age of Agents | |E41
Age of Agents | |E41 Age of Agents | |E41

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

5 months назад @ buzzsprout.com
Reward Models | |E40
Reward Models | |E40 Reward Models | |E40

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

5 months, 1 week назад @ buzzsprout.com
Retrieval, rerankers, and RAG tips and tricks | |E39
Retrieval, rerankers, and RAG tips and tricks | |E39 Retrieval, rerankers, and RAG tips and tricks | |E39

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

6 months, 1 week назад @ buzzsprout.com
The Power of Synthetic Data | |E38
The Power of Synthetic Data | |E38 The Power of Synthetic Data | |E38

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

6 months, 3 weeks назад @ buzzsprout.com
Secret to Production AI: Tools & Infrastructure | |E37
Secret to Production AI: Tools & Infrastructure | |E37 Secret to Production AI: Tools & Infrastructure | |E37

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

7 months, 1 week назад @ buzzsprout.com
Mixture of Memory Experts (MoME) | |E36
Mixture of Memory Experts (MoME) | |E36 Mixture of Memory Experts (MoME) | |E36

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

7 months, 2 weeks назад @ buzzsprout.com
Mixed Attention | |E34
Mixed Attention | |E34 Mixed Attention | |E34

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

9 months, 1 week назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 2 months, 3 weeks назад
Опрос слушателей по итогам 12 сезона
Опрос слушателей по итогам 12 сезона

Недавно мы закончили уже 12-й сезон «Запуска завтра», и, как обычно, хотим узнать, что вы думаете о нем и о подкасте в целом — что вам нравится, что не нравится и какие эпизоды вы бы хотели услышать в новом сезоне. Мы сделали небольшой опрос и просим вас его пройти, это займет 5-7 минут и поможет сделать подкаст еще лучше. Проходите опрос по ссылке: https://form.typeform.com/to/ACkYIF0TСпасибо вам и до встречи в новом сезоне!

2 months, 3 weeks назад @ share.transistor.fm
Космос. Как стартапы вышли на орбиту
Космос. Как стартапы вышли на орбиту Космос. Как стартапы вышли на орбиту

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

3 months, 1 week назад @ share.transistor.fm
Роботы. Чему мы смогли их научить за последние 100 лет
Роботы. Чему мы смогли их научить за последние 100 лет Роботы. Чему мы смогли их научить за последние 100 лет

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

3 months, 2 weeks назад @ share.transistor.fm
Искусственный интеллект. Могут ли машины мыслить как люди?
Искусственный интеллект. Могут ли машины мыслить как люди? Искусственный интеллект. Могут ли машины мыслить как люди?

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

3 months, 3 weeks назад @ share.transistor.fm
Электромобили. Что мешает электродвигателям изменить мир
Электромобили. Что мешает электродвигателям изменить мир Электромобили. Что мешает электродвигателям изменить мир

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

4 months назад @ share.transistor.fm
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

4 months, 1 week назад @ share.transistor.fm
Заменит ли ИИ программистов?
Заменит ли ИИ программистов?

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

5 months назад @ share.transistor.fm
Власть над вниманием. Как нами управляют в цифровой среде
Власть над вниманием. Как нами управляют в цифровой среде

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

5 months, 1 week назад @ share.transistor.fm
Наши устройства способны на большее? Говорим о программных ограничениях
Наши устройства способны на большее? Говорим о программных ограничениях

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

5 months, 2 weeks назад @ share.transistor.fm
Интероперабельность. Как подружить сервисы между собой
Интероперабельность. Как подружить сервисы между собой

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

5 months, 3 weeks назад @ share.transistor.fm
Как россияне остались без YouTube
Как россияне остались без YouTube

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

6 months назад @ share.transistor.fm
GDPR. Как устроена защита персональных данных
GDPR. Как устроена защита персональных данных

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

6 months, 1 week назад @ share.transistor.fm
Как работает спутниковый интернет
Как работает спутниковый интернет

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

6 months, 2 weeks назад @ share.transistor.fm
Что означает появление DeepSeek
Что означает появление DeepSeek

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

6 months, 3 weeks назад @ share.transistor.fm
Как приложения оказываются на наших устройствах
Как приложения оказываются на наших устройствах

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

7 months назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 1 month, 3 weeks назад
No GIL / JIT оптимизации в Python / Скейлинг через Kafka
No GIL / JIT оптимизации в Python / Скейлинг через Kafka

Чтобы углубить знания в Python записывайтесь на продвинутый курс Learn Python — https://clck.ru/3MxaHi Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

Курс «Практики программирования» от Learn Python поможет углубить знания и прокачать написание кода. Подробности: https://clck.ru/3MxaHi

1 month, 3 weeks назад @ learnpython.podbean.com
Новости Python за июнь 2025
Новости Python за июнь 2025

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MuSmw Новости выпуска: State of Free Threading Python (FTP) — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-state-of-free-threaded-python.html Проблемы честной Concurrency — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-fearless-concurrency.html Как дела у Python на мобилке — https://pyfound.blogspot.com/2025/06/python-language-summit-2025-python-on-mobile.html Python can run Mojo now — https://koaning.io/posts/giving-mojo-a-spin/

Заменит ли AI джунов? — https://blog.adarshd.dev/posts/pycon-us-ai-and-future-of-programming/ …

1 month, 3 weeks назад @ learnpython.podbean.com
Новости мира Python за мая 2025
Новости мира Python за мая 2025

Чтобы научиться программировать и разбираться в тонкостях Python 3.12 записывайтесь на базовый курс Learn Python — https://clck.ru/3MWZEX Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Microsoft дропнула спонсорскую поддержку Faster CPython project и уволила большую часть команды — https://discuss.python.org/t/community-stewardship-of-faster-cpython/92153/10;

Python 3.14 Beta — https://pythoninsider.blogspot.com/2025/05/python-3140-beta-1-is-here.html;

The first year of free-threaded Python — https://labs.quansight.org/blog/free-threaded-one-year-recap;

Тайпчекеры — https://engineering.fb.com/2025/05/15/developer-tools/introducing-pyrefly-a-new-type-checker-and-ide-experience-f…

2 months, 3 weeks назад @ learnpython.podbean.com
Day Special: dependency injection в Python
Day Special: dependency injection в Python

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

3 months, 2 weeks назад @ learnpython.podbean.com
Day Special: асинхронность
Day Special: асинхронность

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

3 months, 3 weeks назад @ learnpython.podbean.com
Новости мира Python за апрель 2025
Новости мира Python за апрель 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

3 months, 3 weeks назад @ learnpython.podbean.com
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

4 months назад @ learnpython.podbean.com
Day Special: строки в Python или магия под капотом
Day Special: строки в Python или магия под капотом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

4 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за март 2025
Новости мира Python за март 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

4 months, 3 weeks назад @ learnpython.podbean.com
Для чего пишут на Python в Meta
Для чего пишут на Python в Meta

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

5 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за февраль 2025
Новости мира Python за февраль 2025

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

5 months, 3 weeks назад @ learnpython.podbean.com
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

6 months, 1 week назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

6 months, 3 weeks назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

7 months, 3 weeks назад @ learnpython.podbean.com
Новости Python за ноябрь 2024
Новости Python за ноябрь 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

8 months, 2 weeks назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 2 days, 9 hours назад
Podlodka #439 – Как рассуждают LLM
Podlodka #439 – Как рассуждают LLM Podlodka #439 – Как рассуждают LLM

Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей под капотом, как их обучают и верифицируют результаты работы, мы пригласили Евгения Никишина, исследователя из OpenAI, работающего над масштабированием reasoning моделей и test-time compute. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой Полез…

2 days, 9 hours назад @ soundcloud.com
Podlodka #438 – COBOL
Podlodka #438 – COBOL Podlodka #438 – COBOL

В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая банковская система. В этом классическом языковом выпуске вместе с Сергеем Куксом, principal инженером из JetBrains, разбираемся с тем, что когда-то помогло COBOL стать таким популярным, и как он продолжает развиваться по сегодняшний день. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущи…

1 week, 3 days назад @ soundcloud.com
Podlodka #437 – Доверие к AI
Podlodka #437 – Доверие к AI Podlodka #437 – Доверие к AI

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!» Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги …

2 weeks, 3 days назад @ soundcloud.com
Podlodka #436 – Математика в ИИ
Podlodka #436 – Математика в ИИ Podlodka #436 – Математика в ИИ

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться, что же именно там происходит! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Аня Симонова Полезные ссылки: Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (online book with code and formulas) https://d2l.ai/ https://www.am…

3 weeks, 2 days назад @ soundcloud.com
Podlodka #435 – Синтез речи
Podlodka #435 – Синтез речи Podlodka #435 – Синтез речи

Синтез речи давно вышел за рамки утилитарных задач и стал важной частью взаимодействия человека с технологией: от помощников до медиа и образовательных продуктов. В гости к нам пришел Сергей Дуканов, который разрабатывал голосовые ассистенты Маруси, Алисы и Олега, а сейчас – CTO в международном AI dubbing стартапе Dubformer. В этом выпуске мы прошлись по четырём поколениям TTS-систем: от простейшего склеивания фрагментов до нейросетевых моделей, способных передавать интонации и эмоции. Обсуждаем, зачем синтезированной речи характер, почему интонационные “ошибки” делают голос живым и что важно учитывать при встраивании TTS в продукты. Также ждем вас, ваши лайки, репосты и комменты в мессендж…

1 month назад @ soundcloud.com
Podlodka #434 – IT в космосе
Podlodka #434 – IT в космосе Podlodka #434 – IT в космосе

В этом выпуске обсуждаем, почему программирование для космоса – это не про фреймворки и кнопки, а про науку, физику и уникальные инженерные решения. Почему баги на орбите стоят миллионы, а код пишется так, как нигде больше. Зачем космическим программистам понимать дифференциальные уравнения, как перепрошивают космические аппараты, и почему здесь до сих пор всё ручное и междисциплинарное. Партнёр эпизода — IT-компания Selectel. 27 июля в Санкт-Петербурге ребята организуют IT-фестиваль против выгорания. Воркшопы, полезные доклады, IT-стендап и разные активности — от кастома вещей до рыбалки — ждут тебя на мероприятии. Участие бесплатное, регистрируйтесь. Количество мест ограничено. https://sl…

1 month, 1 week назад @ soundcloud.com
Podlodka #433 – Как оцениваются LLM
Podlodka #433 – Как оцениваются LLM Podlodka #433 – Как оцениваются LLM

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #432 – AI за пределами кодинга
Podlodka #432 – AI за пределами кодинга Podlodka #432 – AI за пределами кодинга

Пока одни скромно просят ChatGPT написать пару скриптов, другие уже вовсю интегрируют всё многообразие AI-моделей и инструментов во все сферы своей жизни, стремясь максимально оптимизировать процессы, минимизировать рутину и расширить границы возможного. Как? Разбираемся с Денисом Ширяевым, автором канала Denis Sexy IT. Денис использует AI практически для всего: от работы и хобби до здоровья и саморазвития, и в выпуски мы обсудили его опыт применения АI, текущие ограничения, различия между моделями и лучшие практики работы с ними. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #431 – Вычисления на GPU
Podlodka #431 – Вычисления на GPU Podlodka #431 – Вычисления на GPU

GPU – это не только запустить новый Doom на максималках, но и возможность решать вычислительные задачи в тысячи раз быстрее, чем на CPU. Как это работает и для каких задач – разбираемся в выпуске с Николаем Полярным! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал

https://t.me/UnicornGlade Лекция про то как работает Nanite в Unreal Engine 5

https://www.youtube.com/watch?v=ltUzX1IR9JI Концентрат-лекция про вид…

1 month, 4 weeks назад @ soundcloud.com
Podlodka #430 – Зачем программисту PhD?
Podlodka #430 – Зачем программисту PhD? Podlodka #430 – Зачем программисту PhD?

PhD — путь к великим открытиям или очередной способ пострадать? Почему айтишники задумываются о науке и как понять, что пора задуматься и тебе? Обсуждаем, зачем идти в PhD и как в этом выжить: на что обратить внимание до поступления, чего ждать от процесса и легко ли потом вернуться в индустрию. Какие плюшки даёт академический бэкграунд — и стоят ли они того, если можно просто кодить? Разбираемся вместе с Ваней Ямщиковым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуск…

2 months назад @ soundcloud.com
Podlodka #429 – Fear of missing out
Podlodka #429 – Fear of missing out Podlodka #429 – Fear of missing out

Последнее время куда ни посмотришь – все уже начали использовать AI, код вовсю пишут агенты, количество успешных стартапов растет, а всех программистов скоро обещают разогнать. Из-за этого у многих появляется сильная тревога выражающаяся в FOMO – Fear of missing out – ощущении, что все что-то знают и делают, а только ты – нет. Чтобы разобраться, откуда берется это чувство, насколько ему стоит верить, и как с ним бороться, мы позвали Евгения Кота, менеджера с 20-летним стажем в IT и психологическим образованием за плечами. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook…

2 months, 1 week назад @ soundcloud.com
Podlodka #428 – Как и зачем писать хорошие тексты?
Podlodka #428 – Как и зачем писать хорошие тексты? Podlodka #428 – Как и зачем писать хорошие тексты?

Если ИИ теперь пишет за нас – зачем этому учиться? Вместе с Галиной Юзефович разбираемся, почему навык письма всё ещё актуален, как он прокачивает мышление, и что именно делает текст хорошим. Спойлер: хороший текст – это не продукт вдохновения, а четкая структура и тщательная работа с идеями. Как читать, чтобы писать лучше? Какие вопросы задавать себе в процессе? Какие конструкции и фреймворки действительно работают? И с чего начать, если хочется научиться? Всё это – в новом выпуске!

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitte…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #427 – AI в небольших командах
Podlodka #427 – AI в небольших командах Podlodka #427 – AI в небольших командах

С каждой неделей AI становится все умнее, и это влияет не только на то, как пишется код, но и на то, как работают целые команды. Андрей Володин – фаундер стартапа Gracia, рассказал про то, как AI агенты изменили его собственный подход к разработке, как поменялись роли в их команде, инженерные стандарты, технический стек, и как в итоге они ускорились во много раз, не жертвуя при этом качеством. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Катя Петрова, Егор Толстой…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #426 – Мнемотехника: запомнить всё
Podlodka #426 – Мнемотехника: запомнить всё Podlodka #426 – Мнемотехника: запомнить всё

Почему мозг так упрямо забывает важное, но помнит строчки из рекламы 2007 года? Что вообще такое память и можно ли натренировать её так, чтобы не забывать ни имён, ни паролей, ни зачем пришёл на кухню? Разбираемся, как устроено запоминание, почему эмоции и внимание — это топливо для памяти, и как мнемотехника превращает мозг в суперхранилище. Вспоминаем истории чемпионатов по запоминанию, смотрим, что говорит нейронаука, и обсуждаем, как связаны насмотренность, креатив и способность держать в голове абстрактные концепции. Байки, наука, техники — всё как мы любим! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: htt…

3 months назад @ soundcloud.com
Podlodka #425 – Языки программирования будущего
Podlodka #425 – Языки программирования будущего Podlodka #425 – Языки программирования будущего

Кто-то говорит, что нынешний бум AI – это просто хайп. А кто-то видит в нем смену парадигмы разработки. А что, если вместо написания кода разработчики будут описывать бизнес-логику и требования, а ИИ будет трансформировать все это в код? Как это могло бы работать – обсуждаем с Андреем Бреславом на примере его нынешнего проекта! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Проект Андрея https://codespeak.dev

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 3 weeks, 2 days назад
Игорь Лабутин: мьюзикл про искусственный интеллект
Игорь Лабутин: мьюзикл про искусственный интеллект

Игорь Лабутин — специалист по машинному обучению, учёный, музыкант и продюсер. На фестивале Edinburgh Fringe с 11 по 16 августа 2025 пройдёт премьера его иммерсивного мюзикла AI: Save Our Souls. Сайт мьюзикла: aisaveoursouls.com Даты: 11–16 августа Место: Lime Studio at Greenside @ George Street Время: 19:45 (45 минут, без перерыва) Билеты: £12 / £9 https://www.edfringe.com/tickets/whats-on/ai-save-our-souls Instagram проекта: https://www.instagram.com/aisaveoursouls/ Indiegogo проекта h...

3 weeks, 2 days назад @ buzzsprout.com
Илья Смоленский: питание и психическое здоровье
Илья Смоленский: питание и психическое здоровье

Илья Смоленский — нейробиолог, постдок унивеситета Базеля. Илья ведёт телеграм канал Молекулярная психиатрия и подкаст Эффект наблюдателя. Книги, которые нам посоветовал Илья: Felice Jacka. Brain Changer Georgia Ede. Change Your Diet, Change Your Mind Jonh Cryan, Ted Dinan. Psychobiotic Revolution Джулия Эндерс. Очаровательный кишечник. Как самый могущественный орган управляет нами Netflix - Hack Your Health. The Secrets of Your Gut Support the show ApplePodcasts: https://apple.co/2Psx8yd ...

1 month, 1 week назад @ buzzsprout.com
Юрий Машенцев: Адаптивный футбол для детей
Юрий Машенцев: Адаптивный футбол для детей

Юрий Машенцев первый партнер сети кофеен «Дринкит» и создатель футбольного клуб для адаптивных детей «Юнити». Основная цель клуба — дать возможность детям с синдромом Дауна через спорт проживать яркие эмоции — азарт, злость, радость от побед. Канал клуба в Юнити в телеграм: t.me/legionchance. Канал Юрия: t.me/billoncoffee. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 2 weeks назад @ buzzsprout.com
Антон Маскелиаде: как делать свою музыку
Антон Маскелиаде: как делать свою музыку

Антон Маскелиаде музыкант, основатель школы, автор книги "Твой первый трек" и карточек для музыканов "Твой второй трек". Школа https://maskeliade.school/ Книга https://maskeliade.school/book Карточки https://maskeliade.school/cards Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 4 weeks назад @ buzzsprout.com
Борис Тарасов: от Маруси до Ровера
Борис Тарасов: от Маруси до Ровера

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

4 months назад @ buzzsprout.com
Книжный клуб: Диапазон
Книжный клуб: Диапазон

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

4 months, 2 weeks назад @ buzzsprout.com
Анна Ривина: домашнее насилие
Анна Ривина: домашнее насилие

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

4 months, 3 weeks назад @ buzzsprout.com
Книжный клуб: Амстердам История Самого Либерального Города
Книжный клуб: Амстердам История Самого Либерального Города

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

4 months, 3 weeks назад @ buzzsprout.com
Александр Мерзликин: чемпионат по сну
Александр Мерзликин: чемпионат по сну

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

8 months, 3 weeks назад @ buzzsprout.com
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

9 months назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

9 months, 1 week назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

9 months, 2 weeks назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

9 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 3 days, 10 hours назад
#446 State of Python 2025
#446 State of Python 2025 #446 State of Python 2025

Topics include pypistats.org, State of Python 2025, wrapt: A Python module for decorators, wrappers and monkey patching., and pysentry.

3 days, 10 hours назад @ pythonbytes.fm
#445 Auto-activate Python virtual environments for any project
#445 Auto-activate Python virtual environments for any project #445 Auto-activate Python virtual environments for any project

Topics include pyx - optimized backend for uv, Litestar is worth a look, Django remake migrations, and django-chronos.

1 week, 3 days назад @ pythonbytes.fm
#444 Begone Python of Yore!
#444 Begone Python of Yore! #444 Begone Python of Yore!

Topics include Coverage.py regex pragmas, Python of Yore, nox-uv, and.

2 weeks, 3 days назад @ pythonbytes.fm
#443 Patching Multiprocessing
#443 Patching Multiprocessing #443 Patching Multiprocessing

Topics include rumdl, Coverage 7.10.0: patch, aioboto3, and You might not need a Python class.

3 weeks, 3 days назад @ pythonbytes.fm
#442 Cloud bills in scientific notation
#442 Cloud bills in scientific notation #442 Cloud bills in scientific notation

Topics include Open Source Security work isn't “Special”, uv v0.8, , and Announcing Toad - a universal UI for agentic coding in the terminal.

1 month назад @ pythonbytes.fm
#441 It's Michaels All the Way Down
#441 It's Michaels All the Way Down #441 It's Michaels All the Way Down

Topics include Turso Litestream, PEP 792 – Project status markers in the simple index, Run coverage on tests, and docker2exe.

1 month, 1 week назад @ pythonbytes.fm
#440 Can't Register for VibeCon
#440 Can't Register for VibeCon #440 Can't Register for VibeCon

Topics include Switching to direnv, Starship, and uv, rqlite - Distributed SQLite DB, and.

1 month, 2 weeks назад @ pythonbytes.fm
#439 That Astral Episode
#439 That Astral Episode #439 That Astral Episode

Topics include ty documentation site and uv migration guide, uv build backend is now stable, Refactoring long boolean expressions, and fastapi-ml-skeleton.

1 month, 3 weeks назад @ pythonbytes.fm
#438 Motivation time
#438 Motivation time #438 Motivation time

Topics include Python Cheat Sheets from Trey Hunner, Automatisch, mureq-typed, and My CLI World.

1 month, 4 weeks назад @ pythonbytes.fm
#437 Python Language Summit 2025 Highlights
#437 Python Language Summit 2025 Highlights #437 Python Language Summit 2025 Highlights

Topics include The Python Language Summit 2025, Fixing Python Properties, complexipy, and juvio.

2 months назад @ pythonbytes.fm
#436 Slow tests go last
#436 Slow tests go last #436 Slow tests go last

Topics include , typed-ffmpeg, pyleak, and Optimizing Test Execution: Running live_server Tests Last with pytest.

2 months, 1 week назад @ pythonbytes.fm
#435 Stop with .folders in my ~/
#435 Stop with .folders in my ~/ #435 Stop with .folders in my ~/

Topics include platformdirs, poethepoet, Python Pandas Ditches NumPy for Speedier PyArrow, and pointblank: Data validation made beautiful and powerful.

2 months, 2 weeks назад @ pythonbytes.fm
#434 Most of OpenAI’s tech stack runs on Python
#434 Most of OpenAI’s tech stack runs on Python #434 Most of OpenAI’s tech stack runs on Python

Topics include Making PyPI’s test suite 81% faster, People aren’t talking enough about how most of OpenAI’s tech stack runs on Python, PyCon Talks on YouTube, and Optimizing Python Import Performance.

2 months, 3 weeks назад @ pythonbytes.fm
#433 Dev in the Arena
#433 Dev in the Arena #433 Dev in the Arena

Topics include git-flight-rules, Uravelling t-strings, neohtop, and Introducing Pyrefly: A new type checker and IDE experience for Python.

3 months назад @ pythonbytes.fm
#432 How To Fix Your Computer
#432 How To Fix Your Computer #432 How To Fix Your Computer

Topics include pre-commit: install with uv, PEP 773, Changes for Textual, and The Best Programmers I Know.

3 months, 1 week назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 9 часов назад
A Conversation with Amazon CTO Werner Vogels
A Conversation with Amazon CTO Werner Vogels

Werner Vogels is the Chief Technology Officer at Amazon, where he has played a pivotal role in shaping the company’s technology vision for over two decades. Before joining Amazon in 2004, Werner was a research scientist at Cornell University where he focused on distributed systems and scalability, both of which are concepts that would later

The post A Conversation with Amazon CTO Werner Vogels appeared first on Software Engineering Daily.

9 часов назад @ softwareengineeringdaily.com
Redis and AI Agent Memory with Andrew Brookins
Redis and AI Agent Memory with Andrew Brookins

A key challenge with designing AI agents is that large language models are stateless and have limited context windows. This requires careful engineering to maintain continuity and reliability across sequential LLM interactions. To perform well, agents need fast systems for storing and retrieving short-term conversations, summaries, and long-term facts. Redis is an open‑source, in‑memory data

The post Redis and AI Agent Memory with Andrew Brookins appeared first on Software Engineering Daily.

2 days, 9 hours назад @ softwareengineeringdaily.com
Complex Workload Deployment with Will Stewart
Complex Workload Deployment with Will Stewart

Deploying and managing cloud workloads is a complex task that requires developers to handle infrastructure, scaling, CI/CD pipelines, and database hosting. Configuring and maintaining Kubernetes, ensuring smooth deployments, and integrating various services efficiently is a common challenge. Will Stewart is the co-founder and CEO of Northflank, which is a platform focused on streamlining application deployment

The post Complex Workload Deployment with Will Stewart appeared first on Software Engineering Daily.

1 week назад @ softwareengineeringdaily.com
Empowering Cross-Functional Product Teams with Tobias Dunn-Krahn and Doug Peete
Empowering Cross-Functional Product Teams with Tobias Dunn-Krahn and Doug Peete

Modern software teams typically rely on a patchwork of tools to manage planning, development, feature rollout, and post-release analysis. This fragmentation is a known challenge that can create friction and slow down software development iteration. It’s especially problematic for cross-functional teams, where differences in roles, expertise, and work culture can further complicate collaboration. There is

The post Empowering Cross-Functional Product Teams with Tobias Dunn-Krahn and Doug Peete appeared first on Software Engineering Daily.

1 week, 2 days назад @ softwareengineeringdaily.com
Carbon and Modernizing C++ with Chandler Carruth
Carbon and Modernizing C++ with Chandler Carruth

Carbon is a programming language developed by Google as a successor to C++, and it aims to provide modern safety features while maintaining high performance. It’s designed to offer seamless interoperability with C++ while addressing shortcomings of C++ such as slow compilation times and lack of memory safety. Carbon also introduces features like a more

The post Carbon and Modernizing C++ with Chandler Carruth appeared first on Software Engineering Daily.

2 weeks назад @ softwareengineeringdaily.com
Podman with Brent Baude
Podman with Brent Baude

Podman is an open-source container management tool that allows developers to build, run, and manage containers. Unlike Docker, it supports rootless containers for improved security and is fully compatible with standards from the Open Container Initiative, or OCI. Brent Baude is a Senior Principal Software Engineer at Red Hat where he works on Podman. In

The post Podman with Brent Baude appeared first on Software Engineering Daily.

2 weeks, 2 days назад @ softwareengineeringdaily.com
SED News: Meta’s AI Gambit, Windsurf Shake‑Up, and the UK VPN Surge
SED News: Meta’s AI Gambit, Windsurf Shake‑Up, and the UK VPN Surge

SED News is a monthly podcast from Software Engineering Daily where hosts Gregor Vand and Sean Falconer unpack the biggest stories shaping software engineering, Silicon Valley, and the broader tech industry. In this episode, they explore Meta’s bold push into AI with the launch of Meta Superintelligence Labs, the dramatic twists in the Windsurf acquisition

The post SED News: Meta’s AI Gambit, Windsurf Shake‑Up, and the UK VPN Surge appeared first on Software Engineering Daily.

3 weeks назад @ softwareengineeringdaily.com
Electron and Desktop App Engineering with Shelley Vohr
Electron and Desktop App Engineering with Shelley Vohr

Electron is a framework for building cross-platform desktop applications using web technologies like JavaScript, HTML, and CSS. It allows developers to package web apps with a native-like experience by bundling them with a Chromium browser and Node.js runtime. Electron is widely used for apps like VS Code, Discord, and Slack because it enables a single

The post Electron and Desktop App Engineering with Shelley Vohr appeared first on Software Engineering Daily.

3 weeks, 2 days назад @ softwareengineeringdaily.com
Modal and Scaling AI Inference with Erik Bernhardsson
Modal and Scaling AI Inference with Erik Bernhardsson

Modal is a serverless compute platform that’s specifically focused on AI workloads. The company’s goal is to enable AI teams to quickly spin up GPU-enabled containers, and rapidly iterate and autoscale. It was founded by Erik Bernhardsson who was previously at Spotify for 7 years where he built the music recommendation system and the popular

The post Modal and Scaling AI Inference with Erik Bernhardsson appeared first on Software Engineering Daily.

4 weeks назад @ softwareengineeringdaily.com
RxJS with Ben Lesh
RxJS with Ben Lesh

RxJS is an open-source library for composing asynchronous and event-based programs. It provides powerful operators for transforming, filtering, combining, and managing streams of data, from user input and web requests to real-time updates. Ben Lesh is the creator of RxJS. He joins Josh Goldberg to talk about his path into engineering and the RxJS library.

The post RxJS with Ben Lesh appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Small AI Models with Yoeven Khemlani
Small AI Models with Yoeven Khemlani

JigsawStack is a startup that develops a suite of custom small models for tasks such as scraping, forecasting, vOCR, and translation. The platform is designed to support collaborative knowledge work, especially in research-heavy or strategy-driven environments. Yoeven Khemlani is the Founder of JigsawStack and he joins the podcast with Gregor Vand to talk about making

The post Small AI Models with Yoeven Khemlani appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Streamlining Cloud Infrastructure Deployments with Jake Cooper
Streamlining Cloud Infrastructure Deployments with Jake Cooper

Railway is a software company that provides a popular platform for deploying and managing applications in the cloud. It automates tasks such as infrastructure provisioning, scaling, and deployment and is particularly known for having a developer-friendly interface. Jake Cooper is the Founder and CEO at Railway. He joins the show to talk about the company

The post Streamlining Cloud Infrastructure Deployments with Jake Cooper appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Building Open Infrastructure for AI with Illia Polosukhin
Building Open Infrastructure for AI with Illia Polosukhin

Illia Polosukhin is a veteran AI researcher and one of the original authors of the landmark Transformer paper, Attention is All You Need, which he co-authored during his time at Google Research. He has a deep background in machine learning and natural language processing, and has spent over a decade working at the intersection of

The post Building Open Infrastructure for AI with Illia Polosukhin appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
TypeScript with Jake Bailey
TypeScript with Jake Bailey

TypeScript is a statically typed superset of JavaScript that adds optional type annotations and modern language features to improve developer productivity and code safety. The TypeScript compiler performs type checking at compile time, catching errors before code is run, and also transforms TypeScript code into clean, standards-compliant JavaScript. Jake Bailey is Senior Software Engineer at

The post TypeScript with Jake Bailey appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
MCP Security at Wiz with Rami McCarthy
MCP Security at Wiz with Rami McCarthy

Wiz is a cloud security platform that helps organizations identify and remediate risks across their cloud environments. The company’s platform scans layers of the cloud stack, including virtual machines, containers, and serverless configurations, to detect vulnerabilities and misconfigurations in context. The Model Context Protocol, or MCP, is emerging as a potential standard for connecting LLM

The post MCP Security at Wiz with Rami McCarthy appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 1 month, 3 weeks назад
Непричесанные мысли (С) про ИИ летом 2025
Непричесанные мысли (С) про ИИ летом 2025 Непричесанные мысли (С) про ИИ летом 2025

-=Выпуск 79=- Прошло полгода с прошлого выпуска, и я все же вспомнил про “Трёп” и решил записать сольный выпуск; он, по сути, основан на разных лекциях, которые приходилось читать последние месяцы, на самых мне интересных темах в моем канальчике Techsparks, просто на разговорах с умными людьми. Тут и рынок труда, и образование, и роботы — все как я люблю:)

1 month, 3 weeks назад @ sebrant.chat
Ваня Ямщиков про LLM: от скейлинга до провенанса
Ваня Ямщиков про LLM: от скейлинга до провенанса Ваня Ямщиков про LLM: от скейлинга до провенанса

-=Выпуск 78=- 22 декабря — самое время для публикации первого выпуска года:) Но так уж сложилось. Зато выпуск рекордный не только по задержке, но и по длительности: почти 2 часа. И каких! Большую часть этого времени говорил Ваня, мы встретились в подкасте через полтора года после прошлого разговора, где он много провидческих (как мы смогли убедиться) слов произнес про ИИ, про любимые им горячо языковые модели и про будущее. Мы не стали менять сюжет :)) Ссылка по теме —

8 months, 1 week назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 3 часа назад
Some thoughts on LLMs and Software Development
Some thoughts on LLMs and Software Development Some thoughts on LLMs and Software Development

                ❄                ❄                ❄                ❄I’m often asked, “what is the future of programming?” Should people consider entering software development now?

                ❄                ❄               ❇                ❄I’m also asked: “is AI a bubble”?

                ❄                ❄                ❄                ❄I retired from public speaking a couple of years ago.

                ❄                ❅

3 часа назад @ martinfowler.com
From Black Box to Blueprint
From Black Box to Blueprint From Black Box to Blueprint

This engagement revealed that turning a system from black box to blueprint empowers modernization decisions and accelerates migration efforts.

Yet the business logic they embody is still critical to daily operations of thousands of users.

The result is what we call a black box: a system whose outputs we can observe, but whose inner workings remain opaque.

Even with partial CDC, the insights proved valuable in linking UI behavior to underlying data changes and enriching the system blueprint.

We faced multiple challenges (API usage limit, rate limits) - We couldn't verify what LLM translation of business logic was right or wrong.

6 часов назад @ martinfowler.com
Research, Review, Rebuild: Intelligent Modernisation with MCP and Strategic Prompting
Research, Review, Rebuild: Intelligent Modernisation with MCP and Strategic Prompting Research, Review, Rebuild: Intelligent Modernisation with MCP and Strategic Prompting

To guide this process, I adopted a workflow that I refer to as “Research, Review, Rebuild”, which provides a structured, disciplined, and iterative approach to code migration.

Research, Review, Rebuild Figure 1: Research, Review, Rebuild Workflow The workflow I followed is called “Research, Review, Rebuild” — where we do a feature migration research using a couple of MCP servers, validate and approve the approach AI proposes, rebuild the feature and then once all the code generation is done, refactor things that you didn't like.

Research The “Research” phase of the approach involves generating an MCP-augmented LLM analysis of the selected Display Control.

Therefore, I strongly recommend…

1 day, 3 hours назад @ martinfowler.com
Building your own CLI Coding Agent with Pydantic-AI
Building your own CLI Coding Agent with Pydantic-AI Building your own CLI Coding Agent with Pydantic-AI

CLI coding agents are a fundamentally different tool to chatbots or autocomplete tools - they're agents that can read code, run tests, and update a codebase.

The wave of CLI Coding Agents If you have tried Claude Code, Gemini Code, Open Code or Simon Willison’s LLM CLI, you’ve experienced something fundamentally different from ChatGPT or Github Copilot.

So that’s exactly what we did, and in this article I’ll take you through how we built our own CLI Coding Agent using the Pydantic-AI framework and the Model Context Protocol (MCP).

agent = Agent( instructions=instructions, model=model, ) The workflow change: The agent now understands our values around Test Driven Development and minimal chan…

1 day, 6 hours назад @ martinfowler.com
Chatting with Unmesh about building language with LLMs
Chatting with Unmesh about building language with LLMs Chatting with Unmesh about building language with LLMs

“I need a Repository to access stored data”, “I need a Controller to handle user requests” or “I need to use a Factory to create objects” are all examples of abstractions which are well known in the programming community.

When I am building data pipelines, the functional paradigm helps to think about the chain of transformations working on the stream of data.

Once this mental model is clear, it's a lot easier to give specific instructions to LLMs.

This is the process which solidifies 'abstractions' - the essence of forming the vocabulary for growing the language.

That's dangerous, as without iterating with the code, you need to speculate a lot about the structure of the design.

2 days, 4 hours назад @ martinfowler.com
Bliki: Expansion Joints
Bliki: Expansion Joints Bliki: Expansion Joints

Expansion Joints helped with this, I could aggressively trim the core talk to less than I needed, and rely on the Expansion Joints to fill the gap.

In practice I usually didn't need the Expansion Joints anyway, but their presence helped my confidence.

Using Expansion Joints was particularly important for me as I never rehearsed my talks.

Yet with Expansion Joints in place, I was able to finish a talk right on time.

Expansion Joints enabled me to give the same talk to different time slots.

1 week, 3 days назад @ martinfowler.com
Team OKRs in Action
Team OKRs in Action Team OKRs in Action

What Makes Team OKRs Different Team OKRs aren’t assigned, nor are they dropped into trackers by leadership.

From Strategy to Team OKR Team OKRs don’t exist in isolation.

Strategic OKRs Are Refined in Conversation Strategic OKRs at both company and BU levels were refined through dialogue, not decree.

To respect confidentiality, details have been modified, but the essence of how Strategic OKRs and Team OKRs connect remains intact.

Figure 7: A typical Team OKR cycle Team OKR Planning Workshop The Team OKR Planning Workshop happens at the start of each cycle.

2 weeks, 1 day назад @ martinfowler.com
Impact Intelligence, addressing common objections
Impact Intelligence, addressing common objections Impact Intelligence, addressing common objections

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

2 weeks, 2 days назад @ martinfowler.com
Quick but worthwhile links
Quick but worthwhile links Quick but worthwhile links

But they’re also losing: 3 hrs per week due to slow builds4 hrs per week on dev environment toil2 hrs per week waiting for code reviews AI is not a silver bullet.

The difference between disposable code and durable code is not about whether the code was generated by AI or written by a human, or even how difficult it was to write.

This is the expensive part of software development, the type that requires deep expertise and familiarity with your language and environment.

Disposable code is cheap because you don’t even try to maintain it.

Jim Highsmith thinks that we should think of AI as Alternative IntelligenceIt’s not fake intelligence, or artificial empathy, or HAL 9000 with manners.

3 weeks назад @ martinfowler.com
Actions to improve impact intelligence
Actions to improve impact intelligence Actions to improve impact intelligence

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

Impact measurement works the same for downstream impact, but impact validation works differently.

This is because unlike proximate impact, downstream impact may be due to multiple factors.

3 weeks назад @ martinfowler.com
The Reformist CTO’s Guide to Impact Intelligence
The Reformist CTO’s Guide to Impact Intelligence The Reformist CTO’s Guide to Impact Intelligence

You struggle to provide this justification because of a general deficit of impact intelligence within the organization.

Impact Intelligence Impact Intelligence is the constant awareness of the business impact of initiatives: tech initiatives, R&D initiatives, transformation initiatives, or business initiatives.

Any of the segments of this cycle might be weak but the first (idea selection) and the last (impact measurement & iteration) are particularly relevant for impact intelligence.

They contribute more to impact than to impact intelligence.

Figure 6 highlights the two leverage points for impact intelligence: idea selection and impact measurement.

3 weeks, 1 day назад @ martinfowler.com
How far can we push AI autonomy in code generation?
How far can we push AI autonomy in code generation? How far can we push AI autonomy in code generation?

To learn more about where we are today, and what would have to be solved on a path from today to a future like that, we ran some experiments to see how far we could push the autonomy of Generative AI code generation with a simple application, today.

However, it was an interesting test case to explore our main question: How might we push autonomy and repeatability of AI code generation?

The only one we were aware of at the time that can do that is Roo Code, and its fork Kilo Code.

This gave us a facsimile of a multi-agent coding setup without having to build something from scratch.

Even though technically the context window sizes of LLMs are increasing, LLM generation results still become mo…

3 weeks, 2 days назад @ martinfowler.com
Partner with the AI, throw away the code
Partner with the AI, throw away the code Partner with the AI, throw away the code

OK, that’s only part of the story: to be honest, I’m lazy, and the first thing I do is ask AI for help.

You may refer to @doc.go for information about the tables involvedGiving the AI access to mysql enables it to explore the schema and try queries.

Takeaway: ask the AI to explain the code.

orgChartTreeInsert := "insert into ..." testdb.MustExec(t, conn, orgChartTreeInsert, 1, "path", 200, 300) testdb.MustExec(t, conn, orgChartTreeInsert, 2, "path", 201, 301) testdb.MustExec(t, conn, orgChartTreeInsert, 3, "path", 202, 302) testdb.MustExec(t, conn, orgChartTreeInsert, 4, "path", 203, 303) testdb.MustExec(t, conn, orgChartTreeInsert, 5, "path", 204, 304) testdb.MustExec(t, conn, orgChart…

4 weeks назад @ martinfowler.com
Who is LLM
Who is LLM Who is LLM

It's become a common habit for developers to give Large Language Models (LLMs) a persona when working with them.

The first time I ran into this was my colleague Birgitta characterizing her LLM as a stubborn donkey (called “Dusty”).

It's almost as if the LLM is using the same addictive algorithms designed by casinos to keep folks playing the slots.

‘Oh, thank you, Master Copperfield,’ said Uriah Heep, ‘for that remark!

Oh, thank you, Master Copperfield!’But he is full of malice: manipulating, and essentially controlling those people he “serves”.

1 month, 1 week назад @ martinfowler.com
Generative AI in software and essaying
Generative AI in software and essaying Generative AI in software and essaying

Martin Fowler: 21 Jul 2025Korny Sietsma has a great example of how using an LLM for coding is very helpful but with limitations…and a thoughtful general essay on why the hype and the immovable skeptics are both missing the train.

While here, a professor of poetry ponders (gift link) on the value and limits of AI with writing:

1 month, 1 week назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 1 month, 1 week назад
Вам не нужен testify/assert
Вам не нужен testify/assert Вам не нужен testify/assert

Вам не нужен testify/assertМногие Go-разработчики предпочитают ассерты (asserts, проверки в тестах) без if, чтобы тесты были короче и понятнее.

Nil ( t , age ) }Но я не думаю, что для хороших тестов действительно нужен testify/assert с его 40 разными ассертами.

func isNil ( v any ) bool { if v == nil { return true } // Интерфейс может быть не nil, но содержать nil, // поэтому проверяем внутреннее значение.

Стандартное сообщение подскажет, что не так, а номер строки укажет, где искать проблему.

TB , got error , want error ) { tb .

1 month, 1 week назад @ antonz.ru
Интерактивный тур по Go 1.25
Интерактивный тур по Go 1.25 Интерактивный тур по Go 1.25

Выпуск Go 1.25 запланирован на август, так что сейчас самое время изучить, что нового.

Не делайте так в продакшене ツПоехали!

Мы могли бы сделать таймаут параметром функции (наверное, так и стоило бы), но допустим, что это не вариант.

Внутри пузыря функции пакета time используют искусственные часы, что позволяет тесту пройти мгновенно:Начальное время в пузыре — полночь 2000-01-01 UTC.

Она ждет, пока все горутины в пузыре заблокируются, а затем продолжает выполнение:

2 months назад @ antonz.ru
fuzzy: Нечеткое сравнение строк в SQLite
fuzzy: Нечеткое сравнение строк в SQLite fuzzy: Нечеткое сравнение строк в SQLite

Cравнивать строки на похожесть и транслитерировать текст.

3 months, 1 week назад @ antonz.ru
No-Code и заклинатели дождя
No-Code и заклинатели дождя No-Code и заклинатели дождя

Прощай, зерокод.

3 months, 1 week назад @ antonz.ru
Stack Overflow помер (ну почти)
Stack Overflow помер (ну почти) Stack Overflow помер (ну почти)

Вернулся в 2007.

3 months, 2 weeks назад @ antonz.ru
Опыт с книгой
Опыт с книгой Опыт с книгой

Здесь денег нет.

4 months, 2 weeks назад @ antonz.ru
rand.Text
rand.Text rand.Text

Криптографически случайная строка.

6 months назад @ antonz.ru
Метод-значение
Метод-значение Метод-значение

Функция с приколоченным к ней получателeм.

6 months назад @ antonz.ru
Пропуск нулевых значений в JSON
Пропуск нулевых значений в JSON Пропуск нулевых значений в JSON

omitzero на замену omitempty.

6 months, 1 week назад @ antonz.ru
SHA-3 и его друзья
SHA-3 и его друзья SHA-3 и его друзья

Больше криптографии.

6 months, 1 week назад @ antonz.ru
Больше итераторов в Go 1.24
Больше итераторов в Go 1.24 Больше итераторов в Go 1.24

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

6 months, 1 week назад @ antonz.ru
Контекст для тестов
Контекст для тестов Контекст для тестов

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .

6 months, 2 weeks назад @ antonz.ru
Как стать дата-сатанистом, не выходя из VS Code
Как стать дата-сатанистом, не выходя из VS Code Как стать дата-сатанистом, не выходя из VS Code

И сжечь все ноутбуки.

8 months назад @ antonz.ru
Заглушить логи
Заглушить логи Заглушить логи

Через io.Discard.

8 months, 3 weeks назад @ antonz.ru
Say It in Russian
Say It in Russian Say It in Russian

Эмодзи-пак с текстовыми реакциями для телеграма.

8 months, 4 weeks назад @ antonz.ru