Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 2 days, 13 hours назад
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…
Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support… Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support…

Listening, Learning, and Helping at Scale: How Machine Learning Transforms Airbnb’s Voice Support ExperienceA look into how Airbnb uses speech recognition, intent detection, and language models to understand users and assist agents more effectively.By Yuanpei Cao, Heng Ji, Elaine Liu, Peng Wang, and Tiantian ZhangAt Airbnb, we aim to provide a smooth, intuitive, and helpful community support experience, whether it’s helping a guest navigate a booking change or helping a host with a listing issue. While our Help Center and customer support chatbot helps resolve many inquiries efficiently, some users prefer the immediacy of a voice conversation with a support representative. To make these int…

2 days, 13 hours назад @ medium.com
How Airbnb Measures Listing Lifetime Value
How Airbnb Measures Listing Lifetime Value How Airbnb Measures Listing Lifetime Value

A deep dive on the framework that lets us identify the most valuable listings for our guests.By: Carlos Sanchez-Martinez, Sean O’Donnell, Lo-Hua Yuan, Yunshan ZhuAt Airbnb, we always strive to provide our community with the best experience. To do so, it’s important to understand what kinds of accommodation listings are valuable to our guests. We achieve this by calculating and using estimates of listing lifetime value. These estimates not only allow us to identify which types of listings resonate best with guests, but also help us develop resources and recommendations for hosts to increase the value driven by their listings.Most of the existing literature on lifetime value focuses on tradit…

2 months назад @ medium.com
Embedding-Based Retrieval for Airbnb Search
Embedding-Based Retrieval for Airbnb Search Embedding-Based Retrieval for Airbnb Search

Our journey in applying embedding-based retrieval techniques to build an accurate and scalable candidate retrieval system for Airbnb Homes searchAuthors: Mustafa (Moose) Abdool, Soumyadip Banerjee, Karen Ouyang, Do-Kyum Kim, Moutupsi Paul, Xiaowei Liu, Bin Xu, Tracy Yu, Hui Gao, Yangbo Zhu, Huiji Gao, Liwei He, Sanjeev KatariyaIntroductionSearch plays a crucial role in helping Airbnb guests find the perfect stay. The goal of Airbnb Search is to surface the most relevant listings for each user’s query — but with millions of available homes, that’s no easy task. It’s especially difficult when searches include large geographic areas (like California or France) or high-demand destinations (like…

2 months, 1 week назад @ medium.com
Accelerating Large-Scale Test Migration with LLMs
Accelerating Large-Scale Test Migration with LLMs Accelerating Large-Scale Test Migration with LLMs

by: Charles Covey-BrandtAirbnb recently completed our first large-scale, LLM-driven code migration, updating nearly 3.5K React component test files from Enzyme to use React Testing Library (RTL) instead. We’d originally estimated this would take 1.5 years of engineering time to do by hand, but — using a combination of frontier models and robust automation — we finished the entire migration in just 6 weeks.In this blog post, we’ll highlight the unique challenges we faced migrating from Enzyme to RTL, how LLMs excel at solving this particular type of challenge, and how we structured our migration tooling to run an LLM-driven migration at scale.BackgroundIn 2020, Airbnb adopted React Testing L…

2 months, 2 weeks назад @ medium.com
Improving Search Ranking for Maps
Improving Search Ranking for Maps Improving Search Ranking for Maps

How Airbnb is adapting ranking for our map interface.Malay Haldar, Hongwei Zhang, Kedar Bellare Sherry ChenSearch is the core mechanism that connects guests with Hosts at Airbnb. Results from a guest’s search for listings are displayed through two interfaces: (1) as a list of rectangular cards that contain the listing image, price, rating, and other details on it, referred to as list-results and (2) as oval pins on a map showing the listing price, called map-results. Since its inception, the core of the ranking algorithm that powered both these interfaces was the same — ordering listings by their booking probabilities and selecting the top listings for display.But some of the basic assumpti…

5 months, 2 weeks назад @ medium.com
Airbnb at KDD 2024
Airbnb at KDD 2024 Airbnb at KDD 2024

Airbnb had a large presence at the 2024 KDD conference hosted in Barcelona, Spain. Our Data Scientist and Engineers presented on topics like Deep Learning & Search Ranking, Online Experimentation & Measurement, Product Quality & Customer Journey, and Two-sided Marketplaces. This blog post summarizes our contributions to KDD for 2024 and provides access to the academic papers presented during the conference.Authors: Huiji Gao, Peter Coles, Carolina Barcenas, Sanjeev KatariyaKDD (Knowledge and Data Mining) is one of the most prestigious global conferences in data mining and machine learning. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s whe…

5 months, 2 weeks назад @ medium.com
My Journey To Airbnb | Vijaya Kaza
My Journey To Airbnb | Vijaya Kaza My Journey To Airbnb | Vijaya Kaza

Vijaya Kaza is the Chief Security Officer and Head of Engineering for Trust and Safety at Airbnb. She leads teams responsible for developing the technology (Platforms, tools and AI models), to safeguard the Airbnb community, as well as for securing Airbnb’s infrastructure and information assets. She is also the executive co-sponsor of Airbnb Tech’s Diversity Council.Here’s Vijaya’s story of how she got to Airbnb, in her own words.Straight shot to science and engineeringI grew up in a modest, multi-generational family in India with 30 to 40 family members under one roof on any given day. As the oldest child in that house, I was expected to excel academically and set an example for the other …

5 months, 3 weeks назад @ medium.com
From Data to Insights: Segmenting Airbnb’s Supply
From Data to Insights: Segmenting Airbnb’s Supply From Data to Insights: Segmenting Airbnb’s Supply

How Airbnb uses data-driven segmentation to understand supply availability patterns.By: Alexandre Salama, Tim AbrahamIntroductionAt Airbnb, our supply comes from hosts who decide to list their spaces on our platform. Unlike traditional hotels, these spaces are not all interchangeable units in a building that are available to book year-round. Our hosts are people, with different earnings objectives and schedule constraints — leading to different levels of availability to host. Understanding these differences is a key input into how we develop our products, campaigns, and operations.Over the years, we’ve created various ways to measure host availability, developing “features” that capture dif…

6 months, 1 week назад @ medium.com
Building a User Signals Platform at Airbnb
Building a User Signals Platform at Airbnb Building a User Signals Platform at Airbnb

How Airbnb built a stream processing platform to power user personalization.By: Kidai Kwon, Pavan Tambay, Xinrui Hua, Soumyadip (Soumo) Banerjee, Phanindra (Phani) GantiOverviewUnderstanding user actions is critical for delivering a more personalized product experience. In this blog, we will explore how Airbnb developed a large-scale, near real-time stream processing platform for capturing and understanding user actions, which enables multiple teams to easily leverage real-time user activities. Additionally, we will discuss the challenges encountered and valuable insights gained from operating a large-scale stream processing platform.BackgroundAirbnb connects millions of guests with unique …

6 months, 1 week назад @ medium.com
Airbnb’s AI-powered photo tour using Vision Transformer
Airbnb’s AI-powered photo tour using Vision Transformer Airbnb’s AI-powered photo tour using Vision Transformer

Boosting computer vision accuracy and performance at AirbnbBy: Pei Xiong, Aaron Yin, Jian Zhang, Lifan Yang, Lu Zhang, Dean ChenIntroductionIn recent years, the integration of artificial intelligence with travel platforms has transformed how people search for and book accommodations. As a leading global marketplace for unique travel experiences and accommodations, Airbnb constantly strives to enhance the guest experience by providing informative content about the variety of homes shared by our hosts. One of the ways we help guests better understand what a listing offers before they book is through our AI-powered photo tour feature.The AI-powered photo tour in the Listings tab, which helps h…

6 months, 2 weeks назад @ medium.com
Adopting Bazel for Web at Scale
Adopting Bazel for Web at Scale Adopting Bazel for Web at Scale

How and Why We Migrated Airbnb’s Large-Scale Web Monorepo to BazelBy: Brie Bunge and Sharmila JesupaulIntroductionAt Airbnb, we’ve recently adopted Bazel — Google’s open source build tool–as our universal build system across backend, web, and iOS platforms. This post will cover our experience adopting Bazel for Airbnb’s large-scale (over 11 million lines of code) web monorepo. We’ll share how we prepared the code base, the principles that guided the migration, and the process of migrating selected CI jobs. Our goal is to share information that would have been valuable to us when we embarked on this journey and to contribute to the growing discussion around Bazel for web development.Why did …

6 months, 2 weeks назад @ medium.com
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning
Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning Transforming Location Retrieval at Airbnb: A Journey from Heuristics to Reinforcement Learning

How Airbnb leverages machine learning and reinforcement learning techniques to solve a unique information retrieval task in order to provide guests with unique, affordable, and differentiated accommodations around the world.By: Dillon Davis, Huiji Gao, Thomas Legrand, Weiwei Guo, Malay Haldar, Alex Deng, Han Zhao, Liwei He, Sanjeev KatariyaIntroductionAirbnb has transformed the way people travel around the globe. As Airbnb’s inventory spans diverse locations and property types, providing guests with relevant options in their search results has become increasingly complex. In this blog post, we’ll discuss shifting from using simple heuristics to advanced machine learning and reinforcement le…

6 months, 3 weeks назад @ medium.com
Automation Platform v2: Improving Conversational AI at Airbnb
Automation Platform v2: Improving Conversational AI at Airbnb Automation Platform v2: Improving Conversational AI at Airbnb

How Airbnb’s conversational AI platform powers LLM application development.By Chutian Wang, Zhiheng Xu, Paul Lou, Ziyi Wang, Jiayu Lou, Liuming Zhang, Jingwen Qiang, Clint Kelly, Lei Shi, Dan Zhao, Xu Hu, Jianqi Liao, Zecheng Xu, Tong ChenIntroductionArtificial intelligence and large language models (LLMs) are a rapidly evolving sector at the forefront of technological innovation. AI’s capacity for logical reasoning and task completion is changing the way we interact with technology.In this blog post, we will showcase how we advanced Automation Platform, Airbnb’s conversational AI platform, from version 1, which supported conversational systems driven by static workflows, to version 2, whic…

7 months назад @ medium.com
Sandcastle: data/AI apps for everyone
Sandcastle: data/AI apps for everyone Sandcastle: data/AI apps for everyone

Airbnb made it easy to bring data/AI ideas to life through a platform for prototyping web applications.By: Dan MillerWarm, friendly beach capturing the playful nature of prototyping.IntroductionTrustworthy data has always been a part of Airbnb’s technical DNA. However, it is challenging for our data scientists and ML practitioners to bring data- and AI-powered product ideas to life in a way that resonates with our design-focused leadership. Slide decks with screenshots, design documents with plots, and even Figmas are insufficient to capture ideas that need to be experienced in order to be understood. This was especially true as large language models (LLMs) took the world by storm, since th…

8 months, 1 week назад @ medium.com
Riverbed Data Hydration — Part 1
Riverbed Data Hydration — Part 1 Riverbed Data Hydration — Part 1

Riverbed Data Hydration — Part 1A deep dive into the streaming aspect of the Lambda architecture framework that optimizes how data is consumed from system-of-record data stores and updates secondary read-optimized stores at Airbnb.OverviewIn our previous blog post we introduced the motivation and high-level architecture of Riverbed. As a recap, Riverbed is a part of Airbnb’s tech stack designed to streamline and optimize how data is consumed from system-of-record data stores and update secondary read-optimized stores. The framework is built around the concept of ‘materialized views’ — denormalized representations of data that can be queried in a predictable, efficient manner. The primary go…

8 months, 3 weeks назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 week, 3 days назад
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning
FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning FM-Intent: Predicting User Session Intent with Hierarchical Multi-Task Learning

Authors: Sejoon Oh, Moumita Bhattacharya, Yesu Feng, Sudarshan Lamkhede, Ko-Jen Hsiao, and Justin BasilicoMotivationRecommender systems have become essential components of digital services across e-commerce, streaming media, and social networks [1, 2]. At Netflix, these systems drive significant product and business impact by connecting members with relevant content at the right time [3, 4]. While our recommendation foundation model (FM) has made substantial progress in understanding user preferences through large-scale learning from interaction histories (please refer to this article about FM @ Netflix), there is an opportunity to further enhance its capabilities. By extending FM to incorp…

1 week, 3 days назад @ netflixtechblog.com
Behind the Scenes: Building a Robust Ads Event Processing Pipeline
Behind the Scenes: Building a Robust Ads Event Processing Pipeline Behind the Scenes: Building a Robust Ads Event Processing Pipeline

Kinesh SatiyaIntroductionIn a digital advertising platform, a robust feedback system is essential for the lifecycle and success of an ad campaign. This system comprises of diverse sub-systems designed to monitor, measure, and optimize ad campaigns. At Netflix, we embarked on a journey to build a robust event processing platform that not only meets the current demands but also scales for future needs. This blog post delves into the architectural evolution and technical decisions that underpin our Ads event processing pipeline.Ad serving acts like the “brain” — making decisions, optimizing delivery and ensuring right Ad is shown to the right member at the right time. Meanwhile, ad events, aft…

3 weeks, 1 day назад @ netflixtechblog.com
Measuring Dialogue Intelligibility for Netflix Content
Measuring Dialogue Intelligibility for Netflix Content Measuring Dialogue Intelligibility for Netflix Content

Enhancing Member Experience Through Strategic CollaborationOzzie Sutherland, Iroro Orife, Chih-Wei Wu, Bhanu SrikanthAt Netflix, delivering the best possible experience for our members is at the heart of everything we do, and we know we can’t do it alone. That’s why we work closely with a diverse ecosystem of technology partners, combining their deep expertise with our creative and operational insights. Together, we explore new ideas, develop practical tools, and push technical boundaries in service of storytelling. This collaboration not only empowers the talented creatives working on our shows with better tools to bring their vision to life, but also helps us innovate in service of our me…

3 weeks, 3 days назад @ netflixtechblog.com
How Netflix Accurately Attributes eBPF Flow Logs
How Netflix Accurately Attributes eBPF Flow Logs How Netflix Accurately Attributes eBPF Flow Logs

By Cheng Xie, Bryan Shultz, and Christine XuIn a previous blog post, we described how Netflix uses eBPF to capture TCP flow logs at scale for enhanced network insights. In this post, we delve deeper into how Netflix solved a core problem: accurately attributing flow IP addresses to workload identities.A Brief RecapFlowExporter is a sidecar that runs alongside all Netflix workloads. It uses eBPF and TCP tracepoints to monitor TCP socket state changes. When a TCP socket closes, FlowExporter generates a flow log record that includes the IP addresses, ports, timestamps, and additional socket statistics. On average, 5 million records are produced per second.In cloud environments, IP addresses ar…

1 month, 3 weeks назад @ netflixtechblog.com
Globalizing Productions with Netflix’s Media Production Suite
Globalizing Productions with Netflix’s Media Production Suite Globalizing Productions with Netflix’s Media Production Suite

Jesse Korosi, Thijs van de Kamp, Mayra Vega, Laura Futuro, Anton MargolineThe journey from script to screen is full of challenges in the ever-evolving world of film and television. The industry has always innovated, and over the last decade, it started moving towards cloud-based workflows. However, unlocking cloud innovation and all its benefits on a global scale has proven to be difficult. The opportunity is clear: streamline complex media management logistics, eliminate tedious, non-creative task-based work and enable productions to focus on what matters most–creative storytelling. With these challenges in mind, Netflix has developed a suite of tools by filmmakers for filmmakers: the Medi…

2 months назад @ netflixtechblog.com
Foundation Model for Personalized Recommendation
Foundation Model for Personalized Recommendation Foundation Model for Personalized Recommendation

By Ko-Jen Hsiao, Yesu Feng and Sudarshan LamkhedeMotivationNetflix’s personalized recommender system is a complex system, boasting a variety of specialized machine learned models each catering to distinct needs including “Continue Watching” and “Today’s Top Picks for You.” (Refer to our recent overview for more details). However, as we expanded our set of personalization algorithms to meet increasing business needs, maintenance of the recommender system became quite costly. Furthermore, it was difficult to transfer innovations from one model to another, given that most are independently trained despite using common data sources. This scenario underscored the need for a new recommender syste…

2 months назад @ netflixtechblog.com
HDR10+ Now Streaming on Netflix
HDR10+ Now Streaming on Netflix HDR10+ Now Streaming on Netflix

Roger Quero, Liwei Guo, Jeff Watts, Joseph McCormick, Agata Opalach, Anush MoorthyWe are excited to announce that we are now streaming HDR10+ content on our service for AV1-enabled devices, enhancing the viewing experience for certified HDR10+ devices, which previously only received HDR10 content. The dynamic metadata included in our HDR10+ content improves the quality and accuracy of the picture when viewed on these devices.Delighting Members with Even Better Picture QualityNearly a decade ago, we made a bold move to be a pioneering adopter of High Dynamic Range (HDR) technology. HDR enables images to have more details, vivid colors, and improved realism. We began producing our shows and m…

2 months, 1 week назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 3: System Strategies and ArchitectureBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesThis blog post is a continuation of Part 2, where we cleared the ambiguity around title launch observability at Netflix. In this installment, we will explore the strategies, tools, and methodologies that were employed to achieve comprehensive title observability at scale.Defining the observability endpointTo create a comprehensive solution, we decided to introduce observability endpoints first. Each microservice involved in our Personalization stack that integrated with our observability solution had to introduce a new “Title Health” endpoint. Our g…

2 months, 4 weeks назад @ netflixtechblog.com
Introducing Impressions at Netflix
Introducing Impressions at Netflix Introducing Impressions at Netflix

Part 1: Creating the Source of Truth for ImpressionsBy: Tulika BhattImagine scrolling through Netflix, where each movie poster or promotional banner competes for your attention. Every image you hover over isn’t just a visual placeholder; it’s a critical data point that fuels our sophisticated personalization engine. At Netflix, we call these images ‘impressions,’ and they play a pivotal role in transforming your interaction from simple browsing into an immersive binge-watching experience, all tailored to your unique tastes.Capturing these moments and turning them into a personalized journey is no simple feat. It requires a state-of-the-art system that can track and process these impressions…

3 months, 2 weeks назад @ netflixtechblog.com
Title Launch Observability at Netflix Scale
Title Launch Observability at Netflix Scale Title Launch Observability at Netflix Scale

Part 2: Navigating AmbiguityBy: Varun KhaitanWith special thanks to my stunning colleagues: Mallika Rao, Esmir Mesic, Hugo MarquesBuilding on the foundation laid in Part 1, where we explored the “what” behind the challenges of title launch observability at Netflix, this post shifts focus to the “how.” How do we ensure every title launches seamlessly and remains discoverable by the right audience?In the dynamic world of technology, it’s tempting to leap into problem-solving mode. But the key to lasting success lies in taking a step back — understanding the broader context before diving into solutions. This thoughtful approach doesn’t just address immediate hurdles; it builds the resilience a…

4 months, 3 weeks назад @ netflixtechblog.com
Part 3: A Survey of Analytics Engineering Work at Netflix
Part 3: A Survey of Analytics Engineering Work at Netflix Part 3: A Survey of Analytics Engineering Work at Netflix

This article is the last in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1, which detailed how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company and Part 2, which stepped through a few exciting business applications for Analytics Engineering. This post will go into aspects of technical craft.Dashboard Design TipsRina Chang, Susie LuWhat is design, and why does it matter? Often people think design is about how things look, but design is actually about how thin…

4 months, 3 weeks назад @ netflixtechblog.com
Part 2: A Survey of Analytics Engineering Work at Netflix
Part 2: A Survey of Analytics Engineering Work at Netflix Part 2: A Survey of Analytics Engineering Work at Netflix

This article is the second in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. Need to catch up? Check out Part 1. In this article, we highlight a few exciting analytic business applications, and in our final article we’ll go into aspects of the technical craft.Game AnalyticsYimeng Tang, Claire Willeck, Sagar PalaoUser Acquisition Incrementality for Netflix GamesNetflix has been launching games for the past three years, during which it has initiated various marketing efforts, including User Acquisition (UA) campaigns, to promote these games across different countries. These UA …

4 months, 4 weeks назад @ netflixtechblog.com
Introducing Configurable Metaflow
Introducing Configurable Metaflow Introducing Configurable Metaflow

David J. Berg*, David Casler^, Romain Cledat*, Qian Huang*, Rui Lin*, Nissan Pow*, Nurcan Sonmez*, Shashank Srikanth*, Chaoying Wang*, Regina Wang*, Darin Yu**: Model Development Team, Machine Learning Platform^: Content Demand Modeling TeamA month ago at QConSF, we showcased how Netflix utilizes Metaflow to power a diverse set of ML and AI use cases, managing thousands of unique Metaflow flows. This followed a previous blog on the same topic. Many of these projects are under constant development by dedicated teams with their own business goals and development best practices, such as the system that supports our content decision makers, or the system that ranks which language subtitles are …

5 months, 1 week назад @ netflixtechblog.com
Part 1: A Survey of Analytics Engineering Work at Netflix
Part 1: A Survey of Analytics Engineering Work at Netflix Part 1: A Survey of Analytics Engineering Work at Netflix

This article is the first in a multi-part series sharing a breadth of Analytics Engineering work at Netflix, recently presented as part of our annual internal Analytics Engineering conference. We kick off with a few topics focused on how we’re empowering Netflix to efficiently produce and effectively deliver high quality, actionable analytic insights across the company. Subsequent posts will detail examples of exciting analytic engineering domain applications and aspects of the technical craft.At Netflix, we seek to entertain the world by ensuring our members find the shows and movies that will thrill them. Analytics at Netflix powers everything from understanding what content will excite a…

5 months, 2 weeks назад @ netflixtechblog.com
Cloud Efficiency at Netflix
Cloud Efficiency at Netflix Cloud Efficiency at Netflix

By J Han, Pallavi PhadnisContextAt Netflix, we use Amazon Web Services (AWS) for our cloud infrastructure needs, such as compute, storage, and networking to build and run the streaming platform that we love. Our ecosystem enables engineering teams to run applications and services at scale, utilizing a mix of open-source and proprietary solutions. In turn, our self-serve platforms allow teams to create and deploy, sometimes custom, workloads more efficiently. This diverse technological landscape generates extensive and rich data from various infrastructure entities, from which, data engineers and analysts collaborate to provide actionable insights to the engineering organization in a continu…

5 months, 2 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 day, 14 hours назад
Healthier Personalization with Surveys
Healthier Personalization with Surveys Healthier Personalization with Surveys

Leif Sigerson | Senior Data Scientist, Data Platforms Science,Stephanie Chen | Staff Quantitative Product Researcher, Product Research,Wendy Matheny | Senior Lead Public Policy Manager, Government and Corporate AffairsIntroOne of the best parts about working at Pinterest is meeting someone new and telling them where you work. Often, they smile and immediately say, “I love Pinterest! I go there for…[outfit inspiration, recipes, home decor ideas, nail art, DIY projects, etc.]!” It’s a great feeling that never gets old.A major reason so many people feel good about their time on Pinterest is that it feels personal. Pinterest is personal — it’s about yourself, not your selfie.People come to Pint…

1 day, 14 hours назад @ medium.com
Modernizing Home Feed Pre-Ranking Stage
Modernizing Home Feed Pre-Ranking Stage Modernizing Home Feed Pre-Ranking Stage

Bella Huang | Machine Learning Engineer, Homefeed Candidate GenerationDafang He | Machine Learning Engineer, Homefeed RelevanceYuying Chen | Machine Learning Engineer, (formerly) Homefeed Candidate GenerationJames Li | Engineering Manager, Homefeed Candidate GenerationDylan Wang | Director, Homefeed RelevanceModern recommendation systems typically follow a multi-stage design involving retrieval, pre-ranking, ranking, and reranking. Pinterest home feed recommendation system has similarly adopted these strategies over the years. We are excited to announce the big milestone in this journey with a sophisticated pre-ranking layer (aka Lightweight Scoring) that significantly improved our business…

2 days, 12 hours назад @ medium.com
How Pinterest Accelerates ML Feature Iterations via Effective Backfill
How Pinterest Accelerates ML Feature Iterations via Effective Backfill How Pinterest Accelerates ML Feature Iterations via Effective Backfill

Authors: Kartik Kapur, Tech Lead, Sr Software Engineer | Matthew Jin, Sr Software Engineer | Qingxian Lai, Staff Software EngineerContextAt Pinterest, our mission is to inspire users to curate a life they love. To achieve this, we rely on state-of-the-art Recommendation and Ads models trained on tens of petabytes of data over the span of many months of engagement logs. These models drive personalized recommendations, showing users content that resonates with their interests. These models show significantly better performance when trained on large datasets with events spanning over many months of events.Our ML Models are trained on a wide range of features, including Pin, user, advertiser-le…

1 week, 5 days назад @ medium.com
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework
500X Scalability of Experiment Metric Computing with Unified Dynamic Framework 500X Scalability of Experiment Metric Computing with Unified Dynamic Framework

Xinyue Cao | Software Engineer Tech Lead; Bojun Lin | Software EngineerOverviewExperimentation is a cornerstone of data-driven decision making at Pinterest. Every day, thousands of experiments run on our platform, generating insights that drive product decisions and business strategies. By the end of 2024, over 1,500 metrics — created by experiment users — are computed daily on our Experimentation Platform to meet diverse analytical needs.But as the scale of experimentation grew, so did the challenges. Delays in upstream data ingestion, difficulties in backfilling skipped metrics, and frequent scalability issues began to hinder our ability to deliver timely and reliable results.Enter the Un…

2 weeks, 4 days назад @ medium.com
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…
Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads… Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads…

Multi-gate-Mixture-of-Experts (MMoE) model architecture and knowledge distillation in Ads Engagement modeling developmentAuthors: Jiacheng Li | Machine Learning Engineer II, Ads Ranking; Matt Meng | Staff Machine Learning Engineer, Ads Ranking; Kungang Li | Principal Machine Learning Engineer, Ads Performance; Qifei Shen | Senior Staff Machine Learning Engineer, Ads RankingIntroductionMulti-gate Mixture-of-Experts (MMoE)[1,2] is a recent industry-proven powerful architecture in neural network models that offers several significant benefits. First, it enhances model efficiency by dynamically allocating computational resources to different sub-networks (experts) based on the input data, ensur…

1 month, 1 week назад @ medium.com
Migrating 3.7 Million Lines of Flow Code to TypeScript
Migrating 3.7 Million Lines of Flow Code to TypeScript Migrating 3.7 Million Lines of Flow Code to TypeScript

Authors: Jack Hsu | Staff Software Engineer, Core Web Platform; Mark Molinaro | Staff Software Engineer, Code and Language RuntimePinterest migrated 3.7 million lines of code from Flow to TypeScript in eight months, leading to better type safety, developer experience, and improved hiring. Along the way, we learned a lot and greatly benefited from the open source community, and it’s our turn to give back. Today, we’re excited to share our learnings and contributions to Stripe’s flow-to-typescript codemod!Why?In 2016, Pinterest began adding types to our JavaScript codebase. At that time, we chose Flow over TypeScript for several reasons:Gradual Adoption: Flow allowed for easier incremental ad…

1 month, 2 weeks назад @ medium.com
Improving Pinterest Search Relevance Using Large Language Models
Improving Pinterest Search Relevance Using Large Language Models Improving Pinterest Search Relevance Using Large Language Models

Han Wang | Machine Learning Engineer II, Relevance & Query Understanding; Mukuntha Narayanan | Machine Learning Engineer II, Relevance & Query Understanding; Onur Gungor | (former) Staff Machine Learning Engineer, Relevance & Query Understanding; Jinfeng Rao | Senior Staff Machine Learning Engineer, Pinner DiscoveryFigure: Illustration of the search relevance system at Pinterest.BackgroundPinterest Search is one of the key surfaces on Pinterest where users can discover inspiring content that aligns with their information needs. Search relevance measures how well the search results aligned with the search query. Using a relevance objective allows the search engine to ensure that the content …

1 month, 3 weeks назад @ medium.com
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery
Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery Building Holiday Finds: How Pinterest Engineers Reimagined Gift Discovery

Megan Blake, Usha Amrutha Nookala, Jeremy Browning, Sarah Tao, AJ Oxendine, Siddarth MalreddyOverview & ContextThe holiday shopping season presents a unique challenge: helping millions of Pinners discover and save perfect gifts across a vast sea of possibilities. While Pinterest has always been a destination for gift inspiration, our data showed that users were facing two key friction points: discovery overwhelm and fragmented wishlists. With 85% of weekly US Pinners having made a purchase based on Pins from brands¹, we saw an opportunity to create a more streamlined gift discovery experience that meets Pinners where they already are — at the early stages of shopping inspiration.The Challen…

2 months назад @ medium.com
Module Relevance on Homefeed
Module Relevance on Homefeed Module Relevance on Homefeed

Usha Amrutha Nookala, Jason Madeano, Siddarth Malreddy, Lucy Song, Alekhya PIn the past, Homefeed on Pinterest recommended a grid of Pins that are most relevant to a user. The grid limits our ability to provide more context on the recommendations as well as show new topics the user might be interested in. To address this, we introduced modules to the Homefeed. We developed several components to ensure that the user’s Homefeed remains relevant with this new content type. This blog post details these components. The figure below provides an overview of our system and demonstrates how it interacts with the existing main feed of Pins.Figure 1: Overview of the module relevance backendModulesModu…

2 months, 1 week назад @ medium.com
Infrastructure Advancements at AWS ReInvent 2024
Infrastructure Advancements at AWS ReInvent 2024 Infrastructure Advancements at AWS ReInvent 2024

Madhuri Racherla, VP, Engineering — Infra & SREAt the recent AWS ReInvent 2024 conference, Madhuri Racherla, VP of Infrastructure & SRE, shared an inspiring story of the company’s ongoing journey to optimize performance and reduce costs. Her talk not only highlighted Pinterest’s strategic infrastructure advancements but also aimed to motivate engineers to pursue innovation and excellence.A Vision of Boundless CreativityMadhuri kicked off her presentation by painting a picture of a world where creativity knows no bounds. With Pinterest’s mission to inspire over 553 million monthly active users* to create lives they love, the platform isn’t just a hub for ideas; it’s a movement celebrating cr…

3 months, 1 week назад @ medium.com
The Quest to Understand Metric Movements
The Quest to Understand Metric Movements The Quest to Understand Metric Movements

Charles Wu, Software Engineer | Isabel Tallam, Software Engineer | Franklin Shiao, Software Engineer | Kapil Bajaj, Engineering ManagerOverviewSuppose you just saw an interesting rise or drop in one of your key metrics. Why did that happen? It’s an easy question to ask, but much harder to answer.One of the key difficulties in finding root causes for metric movements is that these causes can come in all shapes and sizes. For example, if your metric dashboard shows users experiencing higher latency as they scroll through their home feed, then that could be caused by anything from an OS upgrade, a logging or data pipeline error, an unusually large increase in user traffic, a code change landed…

3 months, 2 weeks назад @ medium.com
Advancements in Embedding-Based Retrieval at Pinterest Homefeed
Advancements in Embedding-Based Retrieval at Pinterest Homefeed Advancements in Embedding-Based Retrieval at Pinterest Homefeed

Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Hedi Xia | Machine Learning Engineer, Homefeed Candidate Generation; Yuke Yan | Machine Learning Engineer, Homefeed Candidate Generation; Hongtao Lin | Machine Learning Engineer, ATG Applied Science; Haoyu Chen | Machine Learning Engineer, ATG Applied Science; Dafang He | Machine Learning Engineer, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & Growth; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Engineering Manager, Homefeed Relevan…

3 months, 3 weeks назад @ medium.com
Establishing a Large Scale Learned Retrieval System at Pinterest
Establishing a Large Scale Learned Retrieval System at Pinterest Establishing a Large Scale Learned Retrieval System at Pinterest

Bowen Deng | Machine Learning Engineer, Homefeed Candidate Generation; Zhibo Fan | Machine Learning Engineer, Homefeed Candidate Generation; Dafang He | Machine Learning Engineer, Homefeed Relevance; Ying Huang | Machine Learning Engineer, Curation; Raymond Hsu | Engineering Manager, Homefeed CG Product Enablement; James Li | Engineering Manager, Homefeed Candidate Generation; Dylan Wang | Director, Homefeed Relevance; Jay Adams | Principal Engineer, Pinner Curation & GrowthIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. Finding the right content online and serving the right audience plays a key role in this mission. Modern large-scale …

4 months назад @ medium.com
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service
How Optimizing Memory Management with LMDB Boosted Performance on Our API Service How Optimizing Memory Management with LMDB Boosted Performance on Our API Service

Angel Vargas | Software Engineer, API Platform; Swati Kumar | Software Engineer, API Platform; Chris Bunting | Engineering Manager, API PlatformThe inside of the Pinterest lobby in Mexico City, showing a patterned ceiling, a receptionist deck with a plant on it, a light above it, and a gallery of images of pins you’d find on Pinterest, behind it. To the left, a glowing Pinterest P sign hovers in front of a glass wall.NGAPI, the API platform for serving all first party client API requests, requires optimized system performance to ensure a high success rate of requests and allow for maximum efficiency to provide Pinners worldwide with engaging content. Recently, our team made a significant im…

4 months, 2 weeks назад @ medium.com
Simplify Pinterest Conversion Tracking with NPM Packages
Simplify Pinterest Conversion Tracking with NPM Packages Simplify Pinterest Conversion Tracking with NPM Packages

Juan Benavides Nanni; SDET II |Pinterest conversions are critical for businesses looking to optimize their campaigns and track the performance of their advertisements. By leveraging Pinterest’s Conversion API and Conversion Tag, advertisers can gain deeper insights into user behavior and fine-tune their marketing efforts.To make this process seamless for developers, we’ve created two NPM packages: pinterest-conversions-server and pinterest-conversions-client. These packages simplify the integration of Pinterest’s Conversion API and Conversion Tag, offering robust solutions for server-side and client-side tracking.Why Use Pinterest Conversions?Pinterest conversions allow businesses to:Track …

5 months, 1 week назад @ medium.com
Facebook
последний пост 3 weeks, 2 days назад
Accelerating GPU indexes in Faiss with NVIDIA cuVS
Accelerating GPU indexes in Faiss with NVIDIA cuVS

Meta and NVIDIA collaborated to accelerate vector search on GPUs by integrating NVIDIA cuVS into Faiss v1.10, Meta’s open source library for similarity search. This new implementation of cuVS will be more performant than classic GPU-accelerated search in some areas. For inverted file (IVF) indexing, NVIDIA cuVS outperforms classical GPU-accelerated IVF build times by up [...]

Read More...

The post Accelerating GPU indexes in Faiss with NVIDIA cuVS appeared first on Engineering at Meta.

3 weeks, 2 days назад @ engineering.fb.com
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes
Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes

We are introducing AutoPatchBench, a benchmark for the automated repair of vulnerabilities identified through fuzzing. By providing a standardized benchmark, AutoPatchBench enables researchers and practitioners to objectively evaluate and compare the effectiveness of various AI program repair systems. This initiative facilitates the development of more robust security solutions, and also encourages collaboration within the community [...]

Read More...

The post Introducing AutoPatchBench: A Benchmark for AI-Powered Security Fixes appeared first on Engineering at Meta.

1 month назад @ engineering.fb.com
Building multimodal AI for Ray-Ban Meta glasses
Building multimodal AI for Ray-Ban Meta glasses

Multimodal AI – models capable of processing multiple different types of inputs like speech, text, and images – have been transforming user experiences in the wearables space. With our Ray-Ban Meta glasses, multimodal AI helps the glasses see what the wearer is seeing. This means anyone wearing Ray-Ban Meta glasses can ask them questions about [...]

Read More...

The post Building multimodal AI for Ray-Ban Meta glasses appeared first on Engineering at Meta.

2 months, 4 weeks назад @ engineering.fb.com
Revolutionizing software testing: Introducing LLM-powered bug catchers
Revolutionizing software testing: Introducing LLM-powered bug catchers

WHAT IT IS Meta’s Automated Compliance Hardening (ACH) tool is a system for mutation-guided, LLM-based test generation. ACH hardens platforms against regressions by generating undetected faults (mutants) in source code that are specific to a given area of concern and using those same mutants to generate tests. When applied to privacy, for example, ACH automates [...]

Read More...

The post Revolutionizing software testing: Introducing LLM-powered bug catchers appeared first on Engineering at Meta.

3 months, 3 weeks назад @ engineering.fb.com
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine
Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine

Andromeda is Meta’s proprietary machine learning (ML) system design for retrieval in ad recommendation focused on delivering a step-function improvement in value to our advertisers and people. This system pushes the boundary of cutting edge AI for retrieval with NVIDIA Grace Hopper Superchip and Meta Training and Inference Accelerator (MTIA) hardware through innovations in ML [...]

Read More...

The post Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine appeared first on Engineering at Meta.

6 months назад @ engineering.fb.com
Sequence learning: A paradigm shift for personalized ads recommendations
Sequence learning: A paradigm shift for personalized ads recommendations

AI plays a fundamental role in creating valuable connections between people and advertisers within Meta’s family of apps. Meta’s ad recommendation engine, powered by deep learning recommendation models (DLRMs), has been instrumental in delivering personalized ads to people. Key to this success was incorporating thousands of human-engineered signals or features in the DLRM-based recommendation system. [...]

Read More...

The post Sequence learning: A paradigm shift for personalized ads recommendations appeared first on Engineering at Meta.

6 months, 1 week назад @ engineering.fb.com
OCP Summit 2024: The open future of networking hardware for AI
OCP Summit 2024: The open future of networking hardware for AI

At Open Compute Project Summit (OCP) 2024, we’re sharing details about our next-generation network fabric for our AI training clusters. We’ve expanded our network hardware portfolio and are contributing two new disaggregated network fabrics and a new NIC to OCP. We look forward to continued collaboration with OCP to open designs for racks, servers, storage [...]

Read More...

The post OCP Summit 2024: The open future of networking hardware for AI appeared first on Engineering at Meta.

7 months, 2 weeks назад @ engineering.fb.com
Meta’s open AI hardware vision
Meta’s open AI hardware vision

At the Open Compute Project (OCP) Global Summit 2024, we’re showcasing our latest open AI hardware designs with the OCP community. These innovations include a new AI platform, cutting-edge open rack designs, and advanced network fabrics and components. By sharing our designs, we hope to inspire collaboration and foster innovation. If you’re passionate about building [...]

Read More...

The post Meta’s open AI hardware vision appeared first on Engineering at Meta.

7 months, 2 weeks назад @ engineering.fb.com
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions
How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions

Data for Good at Meta is open-sourcing the data used to train our AI-powered population maps. We’re hoping that researchers and other organizations around the world will be able to leverage these tools to assist with a wide range of projects including those on climate adaptation, public health and disaster response. The dataset and code [...]

Read More...

The post How open source AI can improve population estimates, sustainable energy, and the delivery of climate change interventions appeared first on Engineering at Meta.

8 months назад @ engineering.fb.com
Simulator-based reinforcement learning for data center cooling optimization
Simulator-based reinforcement learning for data center cooling optimization

We’re sharing more about the role that reinforcement learning plays in helping us optimize our data centers’ environmental controls. Our reinforcement learning-based approach has helped us reduce energy consumption and water usage across various weather conditions. Meta is revamping its new data center design to optimize for artificial intelligence and the same methodology will be [...]

Read More...

The post Simulator-based reinforcement learning for data center cooling optimization appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
How PyTorch powers AI training and inference
How PyTorch powers AI training and inference

How PyTorch powers AI training and inference Learn about new PyTorch advancements for LLMs and how PyTorch is enhancing every aspect of the LLM lifecycle. In this talk from AI Infra @ Scale 2024, software engineers Wanchao Liang and Evan Smothers are joined by Meta research scientist Kimish Patel to discuss our newest features and [...]

Read More...

The post How PyTorch powers AI training and inference appeared first on Engineering at Meta.

9 months, 1 week назад @ engineering.fb.com
Inside the hardware and co-design of MTIA
Inside the hardware and co-design of MTIA

In this talk from AI Infra @ Scale 2024, Joel Colburn, a software engineer at Meta, technical lead Junqiang Lan, and software engineer Jack Montgomery discuss the second generation of MTIA, Meta’s in-house training and inference accelerator. They cover the co-design process behind building the second generation of Meta’s first-ever custom silicon for AI workloads, [...]

Read More...

The post Inside the hardware and co-design of MTIA appeared first on Engineering at Meta.

9 months, 1 week назад @ engineering.fb.com
Bringing Llama 3 to life
Bringing Llama 3 to life

Llama 3 is Meta’s most capable openly-available LLM to date and the recently-released Llama 3.1 will enable new workflows, such as synthetic data generation and model distillation with unmatched flexibility, control, and state-of-the-art capabilities that rival the best closed source models. At AI Infra @ Scale 2024, Meta engineers discussed every step of how we [...]

Read More...

The post Bringing Llama 3 to life appeared first on Engineering at Meta.

9 months, 1 week назад @ engineering.fb.com
Aparna Ramani discusses the future of AI infrastructure
Aparna Ramani discusses the future of AI infrastructure

Delivering new AI technologies at scale also means rethinking every layer of our infrastructure – from silicon and software systems and even our data center designs. For the second year in a row, Meta’s engineering and infrastructure teams returned for the AI Infra @ Scale conference, where they discussed the challenges of scaling up an [...]

Read More...

The post Aparna Ramani discusses the future of AI infrastructure appeared first on Engineering at Meta.

9 months, 2 weeks назад @ engineering.fb.com
How Meta animates AI-generated images at scale
How Meta animates AI-generated images at scale

We launched Meta AI with the goal of giving people new ways to be more productive and unlock their creativity with generative AI (GenAI). But GenAI also comes with challenges of scale. As we deploy new GenAI technologies at Meta, we also focus on delivering these services to people as quickly and efficiently as possible. [...]

Read More...

The post How Meta animates AI-generated images at scale appeared first on Engineering at Meta.

9 months, 2 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 3 weeks, 1 day назад
Incident Report: Spotify Outage on April 16, 2025
Incident Report: Spotify Outage on April 16, 2025

On April 16, Spotify experienced an outage that affected users [...]

The post Incident Report: Spotify Outage on April 16, 2025 appeared first on Spotify Engineering.

3 weeks, 1 day назад @ engineering.atspotify.com
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business
Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business

Did you know that we sell Spotify’s developer productivity tools [...]

The post Celebrating Five Years of Backstage: From Open Source Project to Enterprise Software Business appeared first on Spotify Engineering.

1 month, 1 week назад @ engineering.atspotify.com
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)
A Behind-the-Scenes Look at How We Release the Spotify App (Part 1)

Developing and releasing mobile apps at scale is a big [...]

The post A Behind-the-Scenes Look at How We Release the Spotify App (Part 1) appeared first on Spotify Engineering.

1 month, 2 weeks назад @ engineering.atspotify.com
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam
An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam

TL;DR There’s a brand new engineering certification in town: Certified [...]

The post An Insider’s Tips for Taking the Certified Backstage Associate (CBA) Exam appeared first on Spotify Engineering.

2 months, 1 week назад @ engineering.atspotify.com
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications
Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications

TL;DR Getting a response from GenAI is quick and straightforward. But what about the confidence level for that response? In [...]

The post Building Confidence: A Case Study in How to Create Confidence Scores for GenAI Applications appeared first on Spotify Engineering.

5 months, 2 weeks назад @ engineering.atspotify.com
Congratulations to the Recipients of the 2024 Spotify FOSS Fund
Congratulations to the Recipients of the 2024 Spotify FOSS Fund

TL;DR The Spotify FOSS Fund is back again! We created the Spotify FOSS Fund in 2022 to help support the [...]

The post Congratulations to the Recipients of the 2024 Spotify FOSS Fund appeared first on Spotify Engineering.

6 months, 1 week назад @ engineering.atspotify.com
How We Generated Millions of Content Annotations
How We Generated Millions of Content Annotations

With the fields of machine learning (ML) and generative AI (GenAI) continuing to rapidly evolve and expand, it has become [...]

The post How We Generated Millions of Content Annotations appeared first on Spotify Engineering.

7 months, 1 week назад @ engineering.atspotify.com
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform
Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform

On Spotify’s Analytics Platform, we’re dedicated to building products that empower data practitioners to discover, analyze, and share insights — [...]

The post Are You a Dalia? How We Created Data Science Personas for Spotify’s Analytics Platform appeared first on Spotify Engineering.

8 months, 4 weeks назад @ engineering.atspotify.com
Unlocking Insights with High-Quality Dashboards at Scale
Unlocking Insights with High-Quality Dashboards at Scale

We have a lot of dashboards at Spotify. Our Insight teams and analysts from across the company are constantly whipping [...]

The post Unlocking Insights with High-Quality Dashboards at Scale appeared first on Spotify Engineering.

9 months назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Smart Data
последний пост 1 week, 2 days назад
AI Helps Businesses Develop Better Marketing Strategies
AI Helps Businesses Develop Better Marketing Strategies

More marketers are turning to AI tools to keep up with fast deadlines and changing audience needs.

1 week, 2 days назад @ smartdatacollective.com
Agenic AI is Paying Huge Dividends for Companies Trying to Improve Decision-Making
Agenic AI is Paying Huge Dividends for Companies Trying to Improve Decision-Making

We have talked a lot about some of the benefits of using AI to run a business. There is no wonder that companies around the world are expected to spend over $244 billion on AI by the end of this year. One of the biggest reasons companies are using AI is to improve their decision-making, […]

1 week, 4 days назад @ smartdatacollective.com
Forensic AI Technology is Doing Wonders for Law Enforcement
Forensic AI Technology is Doing Wonders for Law Enforcement

New tools are helping law enforcement process complex evidence faster and revisit unsolved cases with fresh eyes.

2 weeks, 2 days назад @ smartdatacollective.com
LangGraph Orchestrator Agents: Streamlining AI Workflow Automation
LangGraph Orchestrator Agents: Streamlining AI Workflow Automation

Transform your AI processes with LangGraph Orchestrator Agents! Streamline workflows and boost efficiency like never before. #AIAutomation

2 weeks, 4 days назад @ smartdatacollective.com
Will AI Replace Personal Trainers? A Data-Driven Look at the Future of Fitness Careers
Will AI Replace Personal Trainers? A Data-Driven Look at the Future of Fitness Careers

There are a number of huge ways that AI technology is helping with fitness.

2 weeks, 4 days назад @ smartdatacollective.com
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity
How Data-Driven Insights Are Addressing Gaps in Patient Communication and Equity

Unfortunately, we don’t all experience the healthcare system the same way. While the vast majority of patients in the United States have complaints regarding their healthcare options, the actual experiences vary significantly—based largely on cultural or economic grounds. Better data has improved our ability to understand who is being let down by healthcare—and what to […]

1 month назад @ smartdatacollective.com
Data Analytics Is Revolutionizing Medical Credentialing
Data Analytics Is Revolutionizing Medical Credentialing

Advanced data tools are improving how medical credentials are verified to better protect patient safety.

1 month, 2 weeks назад @ smartdatacollective.com
AI Tools Reshape Social Media for Lawyers
AI Tools Reshape Social Media for Lawyers

Law firms are using AI to boost efficiency, improve accuracy, and drive new revenue opportunities with social media.

1 month, 2 weeks назад @ smartdatacollective.com
AI in Healthcare: How Smart Technologies Revolutionize Patient Experience
AI in Healthcare: How Smart Technologies Revolutionize Patient Experience

Discover how AI is reshaping healthcare by enhancing patient care, streamlining processes, and saving lives.

1 month, 3 weeks назад @ smartdatacollective.com
Maximize SEO Success with Powerful Data Analytics Insights
Maximize SEO Success with Powerful Data Analytics Insights

Discover how data analytics transforms SEO strategies and reveals what’s truly driving online visibility.

1 month, 3 weeks назад @ smartdatacollective.com
Optimizing Trademark Registration with Data Analytics
Optimizing Trademark Registration with Data Analytics

Data analytics helps businesses secure unique trademarks, reduce legal risks, and gain valuable insights for brand protection.

1 month, 4 weeks назад @ smartdatacollective.com
Unlocking Zip Code Insights with Data Analytics
Unlocking Zip Code Insights with Data Analytics

Data analytics helps businesses and governments target the right zip codes for smarter marketing, planning, and resource allocation.

2 months назад @ smartdatacollective.com
Decentralized AI Training: 4 Leading Dataset Solutions For Your Business
Decentralized AI Training: 4 Leading Dataset Solutions For Your Business

Empower your AI! Discover 4 leading dataset solutions for decentralized AI training that can elevate your business's capabilities.

2 months назад @ smartdatacollective.com
AI-Powered Sales Automation: Boost Revenue and Efficiency
AI-Powered Sales Automation: Boost Revenue and Efficiency

Smart businesses are using AI to streamline sales, enhance customer engagement, and drive revenue growth.

2 months, 1 week назад @ smartdatacollective.com
AI-Powered Email Marketing: Boost Engagement and Revenue
AI-Powered Email Marketing: Boost Engagement and Revenue

Transform your email marketing with AI to increase personalization, boost click-through rates, and maximize revenue effortlessly.

2 months, 2 weeks назад @ smartdatacollective.com
Knoldus
последний пост None
We Cloud Data We Cloud Data
последний пост 2 days, 13 hours назад
Building a Book Recommendation System Using Python
Building a Book Recommendation System Using Python

At WeCloudData, we empower learners to bridge the gap between theory and real-world data science skills. In this blog, we’ll explore how to build a book recommendation system using python, a practical application of machine learning that not only enhances your coding proficiency but also strengthens your data science portfolio. This blog is designed for […]

The post Building a Book Recommendation System Using Python appeared first on WeCloudData.

2 days, 13 hours назад @ weclouddata.com
From First Hug to First Model: Getting Started with Transformers on Hugging Face
From First Hug to First Model: Getting Started with Transformers on Hugging Face

Welcome back! In our previous blog, “From Zero to 🤗: Your First Hug with Hugging Face,” we introduced the Hugging Face ecosystem and its user-friendly tools for exploring AI models. Now, let’s take the next step and enter the world of Transformers. Hugging face Transformers are powerful models used for many natural language processing (NLP) […]

The post From First Hug to First Model: Getting Started with Transformers on Hugging Face appeared first on WeCloudData.

3 days, 3 hours назад @ weclouddata.com
Best Open-Source Text to Speech Models
Best Open-Source Text to Speech Models

How do you start your day? For me, it starts with asking my digital assistant, Siri, to read news or the weather forecast while I prepare breakfast. Sometimes I ask ChatGPT for breakfast recipes. Text-to-speech and speech-to-text technologies power these everyday conveniences. AI has become deeply integrated into our daily lives, and understanding and utilizing […]

The post Best Open-Source Text to Speech Models appeared first on WeCloudData.

3 days, 11 hours назад @ weclouddata.com
Intro to Docker
Intro to Docker

Fast deployment, scalable systems, and reproducibility are more important than ever in the fast-paced world of software, data science, machine learning (ML), and DevOps. This is where Docker shines. It helps developers build, share, run, and verify applications anywhere, without tedious environment configuration or management. This blog gives you a beginner-friendly intro to Docker, including […]

The post Intro to Docker appeared first on WeCloudData.

1 week, 2 days назад @ weclouddata.com
From Zero to : Your First Hug with Hugging Face.
From Zero to : Your First Hug with Hugging Face.

The phrase “Hugging Face” is probably familiar to you, whether you’re a developer, student, digital designer, or someone curious about the magic behind AI. Maybe you thought it was a cute emoji 🤗 (it is). The founders of Hugging Face chose this emoji to symbolize their mission of making AI more approachable and friendly. It […]

The post From Zero to : Your First Hug with Hugging Face. appeared first on WeCloudData.

1 week, 4 days назад @ weclouddata.com
Cloud Migration
Cloud Migration

In today’s driven world, cloud computing is not just a technological trend; it’s a business necessity. From startups to Fortune 500 companies, organizations are shifting their digital assets to the cloud to enhance agility, scalability, performance, and cost-efficiency. The shift from on-premise to cloud is known as cloud migration. It reshapes how enterprises operate in […]

The post Cloud Migration appeared first on WeCloudData.

1 week, 5 days назад @ weclouddata.com
Chain of Draft Prompting (COD): The Next Step in Efficient LLM Reasoning
Chain of Draft Prompting (COD): The Next Step in Efficient LLM Reasoning

Prompt engineering is one of the most powerful tools for getting the best results from large language models (LLMS). Good prompts generate desirable outcomes from Generative AI models. There are multiple prompt engineering techniques to use. One of the most well-known techniques is Chain of Thought (CoT) prompting, where the model is instructed to break […]

The post Chain of Draft Prompting (COD): The Next Step in Efficient LLM Reasoning appeared first on WeCloudData.

2 weeks, 1 day назад @ weclouddata.com
Neural Networks: The Brain Behind Modern Tech
Neural Networks: The Brain Behind Modern Tech

From diagnosing diseases, powering self-driving cars, writing poems, and making stock predictions, neural networks are everywhere. But what exactly are they? How do they work? And why are they reshaping the future of technology as we know it? Let’s explore the fantastic world of neural networks with WeCloudData. In this blog, you’ll learn how these […]

The post Neural Networks: The Brain Behind Modern Tech appeared first on WeCloudData.

2 weeks, 2 days назад @ weclouddata.com
Kubernates
Kubernates

Building strong models or innovative solutions is only half the battle in today’s data-driven world; the other half is effectively kubernetes deployment​, scaling, and maintaining these applications. Whether you’re a data scientist moving your machine learning model from notebook to production, an AI engineer making sure models handle thousands of real-time queries, or a DevOps […]

The post Kubernates appeared first on WeCloudData.

2 weeks, 3 days назад @ weclouddata.com
Artificial Intelligence Optimization (AIO)
Artificial Intelligence Optimization (AIO)

Artificial intelligence optimization (AIO) is the search engine optimization powered by Generative AI tools like ChatGPT, Gemini, Perplexity, Claude, Microsoft Copilot, and many more. In the data-driven digital world where content is king, AIO offers improve user experience, decision-making, and digital growth. In this article, we’ll explain AIO, how it works, and why it’s the […]

The post Artificial Intelligence Optimization (AIO) appeared first on WeCloudData.

3 weeks, 1 day назад @ weclouddata.com
Agentic AI
Agentic AI

Agentic AI is an emerging advanced technology that combines the functionality of AI and large language models (LLMs). Agentic AI revolves around autonomous AI agents that can analyze data and are capable of problem-solving and decision-making with little human supervision. This blog is all about Agentic AI, what it is, and how it works. Its […]

The post Agentic AI appeared first on WeCloudData.

3 weeks, 2 days назад @ weclouddata.com
AI in HR: Transforming Human Resources into a Data-Driven Powerhouse
AI in HR: Transforming Human Resources into a Data-Driven Powerhouse

At WeCloudData, we believe that the power of AI and data science should extend across all business functions, including Human Resources. AI in HR, sometimes referred to as HR AI or AI for HR, is changing how teams find, hire, and develop talent as more and more businesses use digital technologies. This blog includes real-world […]

The post AI in HR: Transforming Human Resources into a Data-Driven Powerhouse appeared first on WeCloudData.

3 weeks, 3 days назад @ weclouddata.com
Cloud Computing in the Healthcare Industry
Cloud Computing in the Healthcare Industry

Healthcare is one of the industries most heavily influenced by digital transformation. Technology has reshaped how care is delivered, managed, and optimized. Cloud computing in the healthcare industry is one of the most promising technologies that has potential to make remarkable changes. In this blog, we’ll explore how cloud computing is shaping the medical domain. […]

The post Cloud Computing in the Healthcare Industry appeared first on WeCloudData.

3 weeks, 3 days назад @ weclouddata.com
Machine Learning in Entertainment: Customizing Movie Recommendations
Machine Learning in Entertainment: Customizing Movie Recommendations

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

3 weeks, 5 days назад @ weclouddata.com
Infrastructure as Code (IaC)
Infrastructure as Code (IaC)

Infrastructure as Code (IaC) offers an efficient, reproducible, and error-resistant approach to managing infrastructure. IaC has become a vital strategy for modern IT teams that seek scalability and agility. This blog explores Infrastructure as Code (IaC), its use cases, benefits, tools, and how AWS and Azure are enhancing IaC practices. Let’s start learning with WeCloudData! […]

The post Infrastructure as Code (IaC) appeared first on WeCloudData.

4 weeks, 1 day назад @ weclouddata.com
Learn Data Engineering
последний пост None
SCRIBD
последний пост 2 months, 2 weeks назад
Terraform module to manage Oxbow Lambda and its components
Terraform module to manage Oxbow Lambda and its components

Oxbow is a project to take an existing storage location which contains Apache Parquet files into a Delta Lake table.

It is intended to run both as an AWS Lambda or as a command line application.

We are excited to introduce terraform-oxbow, an open-source Terraform module that simplifies the deployment and management of AWS Lambda and its supporting components. Whether you’re working with AWS Glue, Kinesis Data Firehose, SQS, or DynamoDB, this module provides a streamlined approach to infrastructure as code (IaC) in AWS.

✨ Why terraform-oxbow?

Managing event-driven architectures in AWS can be complex, requiring careful orchestration of multiple services. Terraform-oxbow abstracts much of thi…

2 months, 2 weeks назад @ tech.scribd.com
Cloud-native Data Ingestion with AWS Aurora and Delta Lake
Cloud-native Data Ingestion with AWS Aurora and Delta Lake

One of the major themes for Infrastructure Engineering over the past couple

years has been higher reliability and better operational efficiency. In a

recent session with the Delta Lake project I was able to

share the work led Kuntal Basu and a number of other people to dramatically

improve the efficiency and reliability of our online data ingestion pipeline. Join Kuntal Basu, Staff Infrastructure Engineer, and R. Tyler Croy, Principal

Engineer at Scribd, Inc. as they take you behind the scenes of Scribd’s data

ingestion setup. They’ll break down the architecture, explain the tools, and

walk you through how they turned off-the-shelf solutions into a robust

pipeline. Video Presentation

4 months, 2 weeks назад @ tech.scribd.com
Jesse Anderson Jesse Anderson
последний пост 2 weeks, 4 days назад
Unapologetically Technical Episode 20 – Shane Murray
Unapologetically Technical Episode 20 – Shane Murray 2 weeks, 4 days назад @ jesse-anderson.com
Unapologetically Technical Episode 19 – Jacopo Tagliabue
Unapologetically Technical Episode 19 – Jacopo Tagliabue 1 month, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 18 – Adrian Woodhead
Unapologetically Technical Episode 18 – Adrian Woodhead 2 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 17 – Semih Salihoglu
Unapologetically Technical Episode 17 – Semih Salihoglu 3 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 16 – David Jayatillake
Unapologetically Technical Episode 16 – David Jayatillake 4 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 15 – Frances Perry
Unapologetically Technical Episode 15 – Frances Perry 5 months, 1 week назад @ jesse-anderson.com
Unapologetically Technical Episode 14 – Cliff Crosland
Unapologetically Technical Episode 14 – Cliff Crosland

https://youtu.be/Riy8860hHSo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Cliff Crosland, the co-founder and CEO of Scanner.dev. Cliff Crosland is a data engineer passionate about helping people wrangle massive log volumes. He sees logs as a treasure trove of insights and believes effective log analysis is critical in […]

The post Unapologetically Technical Episode 14 – Cliff Crosland first appeared on Jesse Anderson.

7 months назад @ jesse-anderson.com
Data Teams Survey 2020-2024 Analysis
Data Teams Survey 2020-2024 Analysis 8 months, 2 weeks назад @ jesse-anderson.com
Data Teams Survey 2024 Results
Data Teams Survey 2024 Results 9 months назад @ jesse-anderson.com
Unapologetically Technical Episode 13 – Jeff Chou
Unapologetically Technical Episode 13 – Jeff Chou

https://youtu.be/rjpXnaabaqo Unapologetically Technical’s newest episode is now live! In this episode of Unapologetically Technical, I interview Jeff Chou, CEO and co-founder of Sync Computing. Jeff, who holds a PhD from UC Berkeley and a postdoc from MIT, shares his unique journey from academia to startup life, and how his experience with simulations shaped the vision […]

The post Unapologetically Technical Episode 13 – Jeff Chou first appeared on Jesse Anderson.

9 months, 2 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 1 day, 11 hours назад
New and improved Amazon Q Developer experience in the AWS Management Console
New and improved Amazon Q Developer experience in the AWS Management Console

Amazon Q Developer just launched a new agentic experience within the AWS Management Console, that enables builders to get deeper insights about their AWS resources and improve their operational troubleshooting efficiency. This expands the agentic capabilities of Amazon Q Developer from both the integrated development environment (IDE) and command line interface (CLI) to the AWS […]

1 day, 11 hours назад @ aws.amazon.com
Deploy Amazon SageMaker Projects with Terraform Cloud
Deploy Amazon SageMaker Projects with Terraform Cloud

In this post you define, deploy, and provision a SageMaker Project custom template purely in Terraform. With no dependencies on other IaC tools, you can now enable SageMaker Projects strictly within your Terraform Enterprise infrastructure.

1 day, 13 hours назад @ aws.amazon.com
How ZURU improved the accuracy of floor plan generation by 109% using Amazon Bedrock and Amazon SageMaker
How ZURU improved the accuracy of floor plan generation by 109% using Amazon Bedrock and Amazon SageMaker

ZURU collaborated with AWS Generative AI Innovation Center and AWS Professional Services to implement a more accurate text-to-floor plan generator using generative AI. In this post, we show you why a solution using a large language model (LLM) was chosen. We explore how model selection, prompt engineering, and fine-tuning can be used to improve results.

1 day, 13 hours назад @ aws.amazon.com
Going beyond AI assistants: Examples from Amazon.com reinventing industries with generative AI
Going beyond AI assistants: Examples from Amazon.com reinventing industries with generative AI

Non-conversational applications offer unique advantages such as higher latency tolerance, batch processing, and caching, but their autonomous nature requires stronger guardrails and exhaustive quality assurance compared to conversational applications, which benefit from real-time user feedback and supervision. This post examines four diverse Amazon.com examples of such generative AI applications.

1 day, 13 hours назад @ aws.amazon.com
Architect a mature generative AI foundation on AWS
Architect a mature generative AI foundation on AWS

In this post, we give an overview of a well-established generative AI foundation, dive into its components, and present an end-to-end perspective. We look at different operating models and explore how such a foundation can operate within those boundaries. Lastly, we present a maturity model that helps enterprises assess their evolution path.

1 day, 13 hours назад @ aws.amazon.com
PackScan: Building real-time sort center analytics with AWS Services
PackScan: Building real-time sort center analytics with AWS Services

In this post, we explore how PackScan uses Amazon cloud-based services to drive real-time visibility, improve logistics efficiency, and support the seamless movement of packages across Amazon’s Middle Mile network.

1 day, 14 hours назад @ aws.amazon.com
Using Amazon OpenSearch ML connector APIs
Using Amazon OpenSearch ML connector APIs

OpenSearch offers a wide range of third-party machine learning (ML) connectors to support this augmentation. This post highlights two of these third-party ML connectors. The first connector we demonstrate is the Amazon Comprehend connector. In this post, we show you how to use this connector to invoke the LangDetect API to detect the languages of ingested documents. The second connector we demonstrate is the Amazon Bedrock connector to invoke the Amazon Titan Text Embeddings v2 model so that you can create embeddings from ingested documents and perform semantic search.

1 day, 15 hours назад @ aws.amazon.com
Bridging the gap between development and production: Seamless model lifecycle management with Amazon Bedrock
Bridging the gap between development and production: Seamless model lifecycle management with Amazon Bedrock

Amazon Bedrock Model Copy and Model Share features provide a powerful option for managing the lifecycle of an AI application from development to production. In this comprehensive blog post, we'll dive deep into the Model Share and Model Copy features, exploring their functionalities, benefits, and practical applications in a typical development-to-production scenario.

1 day, 15 hours назад @ aws.amazon.com
Build a multi-Region session store with Amazon ElastiCache for Valkey Global Datastore
Build a multi-Region session store with Amazon ElastiCache for Valkey Global Datastore

As companies expand globally, they must be able to architect highly available and fault-tolerant systems across multiple AWS Regions. With such scale, a company can find itself in this position when designing a caching solution across its multi-Region infrastructure. In this post, we dive deep into how to use Amazon ElastiCache for Valkey, a fully managed in-memory data store with Redis OSS and Valkey compatibility, and the Amazon ElastiCache for Valkey Global Datastore feature set.

1 day, 15 hours назад @ aws.amazon.com
Revolutionizing earth observation with geospatial foundation models on AWS
Revolutionizing earth observation with geospatial foundation models on AWS

In this post, we explore how a leading GeoFM (Clay Foundation’s Clay foundation model available on Hugging Face) can be deployed for large-scale inference and fine-tuning on Amazon SageMaker.

2 days, 9 hours назад @ aws.amazon.com
Create an agentic RAG application for advanced knowledge discovery with LlamaIndex, and Mistral in Amazon Bedrock
Create an agentic RAG application for advanced knowledge discovery with LlamaIndex, and Mistral in Amazon Bedrock

In this post, we demonstrate an example of building an agentic RAG application using the LlamaIndex framework. LlamaIndex is a framework that connects FMs with external data sources. It helps ingest, structure, and retrieve information from databases, APIs, PDFs, and more, enabling the agent and RAG for AI applications. This application serves as a research tool, using the Mistral Large 2 FM on Amazon Bedrock generate responses for the agent flow.

2 days, 10 hours назад @ aws.amazon.com
Text-to-image basics with Amazon Nova Canvas
Text-to-image basics with Amazon Nova Canvas

In this post, we focus on the Amazon Nova Canvas image generation model. We then provide an overview of the image generation process (diffusion) and dive deep into the input parameters for text-to-image generation with Amazon Nova Canvas.

2 days, 11 hours назад @ aws.amazon.com
Real-world applications of Amazon Nova Canvas for interior design and product photography
Real-world applications of Amazon Nova Canvas for interior design and product photography

In this post, we explore how Amazon Nova Canvas can solve real-world business challenges through advanced image generation techniques. We focus on two specific use cases that demonstrate the power and flexibility of this technology: interior design and product photography.

2 days, 11 hours назад @ aws.amazon.com
How Airties achieved scalability and cost-efficiency by moving from Kafka to Amazon Kinesis Data Streams
How Airties achieved scalability and cost-efficiency by moving from Kafka to Amazon Kinesis Data Streams

Airties is a wireless networking company that provides AI-driven solutions for enhancing home connectivity. This post explores the strategies the Airties team employed during their migration from Apache Kafka to Amazon Kinesis Data Streams, the challenges they overcame, and how they achieved a more efficient, scalable, and maintenance-free streaming infrastructure.

2 days, 15 hours назад @ aws.amazon.com
Part 3: Building an AI-powered assistant for investment research with multi-agent collaboration in Amazon Bedrock and Amazon Bedrock Data Automation
Part 3: Building an AI-powered assistant for investment research with multi-agent collaboration in Amazon Bedrock and Amazon Bedrock Data Automation

In this post, we walk through how to build a multi-agent investment research assistant using the multi-agent collaboration capability of Amazon Bedrock. Our solution demonstrates how a team of specialized AI agents can work together to analyze financial news, evaluate stock performance, optimize portfolio allocations, and deliver comprehensive investment insights—all orchestrated through a unified, natural language interface.

3 days, 12 hours назад @ aws.amazon.com
AWS
последний пост 1 day, 11 hours назад
A generative AI prototype with Amazon Bedrock transforms life sciences and the genome analysis process
A generative AI prototype with Amazon Bedrock transforms life sciences and the genome analysis process

This post explores deploying a text-to-SQL pipeline using generative AI models and Amazon Bedrock to ask natural language questions to a genomics database. We demonstrate how to implement an AI assistant web interface with AWS Amplify and explain the prompt engineering strategies adopted to generate the SQL queries. Finally, we present instructions to deploy the service in your own AWS account.

3 days, 12 hours назад @ aws.amazon.com
Gemma 3 27B model now available on Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
Gemma 3 27B model now available on Amazon Bedrock Marketplace and Amazon SageMaker JumpStart

We are excited to announce the availability of Gemma 3 27B Instruct models through Amazon Bedrock Marketplace and Amazon SageMaker JumpStart. In this post, we show you how to get started with Gemma 3 27B Instruct on both Amazon Bedrock Marketplace and SageMaker JumpStart, and how to use the model’s powerful instruction-following capabilities in your applications.

3 days, 12 hours назад @ aws.amazon.com
Building a multimodal RAG based application using Amazon Bedrock Data Automation and Amazon Bedrock Knowledge Bases
Building a multimodal RAG based application using Amazon Bedrock Data Automation and Amazon Bedrock Knowledge Bases

In this post, we walk through building a full-stack application that processes multimodal content using Amazon Bedrock Data Automation, stores the extracted information in an Amazon Bedrock knowledge base, and enables natural language querying through a RAG-based Q&A interface.

3 days, 14 hours назад @ aws.amazon.com
Tailoring foundation models for your business needs: A comprehensive guide to RAG, fine-tuning, and hybrid approaches
Tailoring foundation models for your business needs: A comprehensive guide to RAG, fine-tuning, and hybrid approaches

In this post, we show you how to implement and evaluate three powerful techniques for tailoring FMs to your business needs: RAG, fine-tuning, and a hybrid approach combining both methods. We provid ready-to-use code to help you experiment with these approaches and make informed decisions based on your specific use case and dataset.

3 days, 14 hours назад @ aws.amazon.com
Automate Amazon RDS for PostgreSQL major or minor version upgrade using AWS Systems Manager and Amazon EC2
Automate Amazon RDS for PostgreSQL major or minor version upgrade using AWS Systems Manager and Amazon EC2

In this post, we guide you through setting up automation for pre-upgrade checks and upgrading a fleet of Amazon RDS for PostgreSQL instances. In this solution, we use AWS Systems Manager to automate the Amazon RDS upgrade job.

3 days, 14 hours назад @ aws.amazon.com
Supercharging vector search performance and relevance with pgvector 0.8.0 on Amazon Aurora PostgreSQL
Supercharging vector search performance and relevance with pgvector 0.8.0 on Amazon Aurora PostgreSQL

In this post, we explore how pgvector 0.8.0 on Aurora PostgreSQL-Compatible delivers up to 9x faster query processing and 100x more relevant search results, addressing key scaling challenges that enterprise AI applications face when implementing vector search at scale.

3 days, 14 hours назад @ aws.amazon.com
How Rufus doubled their inference speed and handled Prime Day traffic with AWS AI chips and parallel decoding
How Rufus doubled their inference speed and handled Prime Day traffic with AWS AI chips and parallel decoding

Rufus, an AI-powered shopping assistant, relies on many components to deliver its customer experience including a foundation LLM (for response generation) and a query planner (QP) model for query classification and retrieval enhancement. This post focuses on how the QP model used draft centric speculative decoding (SD)—also called parallel decoding—with AWS AI chips to meet the demands of Prime Day. By combining parallel decoding with AWS Trainium and Inferentia chips, Rufus achieved two times faster response times, a 50% reduction in inference costs, and seamless scalability during peak traffic.

3 days, 17 hours назад @ aws.amazon.com
Unlock self-serve streaming SQL with Amazon Managed Service for Apache Flink
Unlock self-serve streaming SQL with Amazon Managed Service for Apache Flink

In this post, we present Riskified’s journey toward enabling self-service streaming SQL pipelines. We walk through the motivations behind the shift from Confluent ksqlDB to Apache Flink, the architecture Riskified built using Amazon Managed Service for Apache Flink, the technical challenges they faced, and the solutions that helped them make streaming accessible, scalable, and production-ready.

3 days, 20 hours назад @ aws.amazon.com
New Amazon Bedrock Data Automation capabilities streamline video and audio analysis
New Amazon Bedrock Data Automation capabilities streamline video and audio analysis

Amazon Bedrock Data Automation helps organizations streamline development and boost efficiency through customizable, multimodal analytics. It eliminates the heavy lifting of unstructured content processing at scale, whether for video or audio. The new capabilities make it faster to extract tailored, generative AI-powered insights like scene summaries, key topics, and customer intents from video and audio. This unlocks the value of unstructured content for use cases such as improving sales productivity and enhancing customer experience.

4 days, 10 hours назад @ aws.amazon.com
GuardianGamer scales family-safe cloud gaming with AWS
GuardianGamer scales family-safe cloud gaming with AWS

In this post, we share how GuardianGamer uses AWS services including Amazon Nova and Amazon Bedrock to deliver a scalable and efficient supervision platform. The team uses Amazon Nova for intelligent narrative generation to provide parents with meaningful insights into their children’s gaming activities and social interactions, while maintaining a non-intrusive approach to monitoring.

4 days, 13 hours назад @ aws.amazon.com
Unify streaming and analytical data with Amazon Data Firehose and Amazon SageMaker Lakehouse
Unify streaming and analytical data with Amazon Data Firehose and Amazon SageMaker Lakehouse

In this post, we show you how to create Iceberg tables in Amazon SageMaker Unified Studio and stream data to these tables using Firehose. With this integration, data engineers, analysts, and data scientists can seamlessly collaborate and build end-to-end analytics and ML workflows using SageMaker Unified Studio, removing traditional silos and accelerating the journey from data ingestion to production ML models.

4 days, 14 hours назад @ aws.amazon.com
Explore the new openCypher custom functions and subquery support in Amazon Neptune
Explore the new openCypher custom functions and subquery support in Amazon Neptune

In this post, we describe some of the openCypher features that have been released as part of the 1.4.2.0 engine update to Amazon Neptune. Neptune provides developers with the choice of building their graph applications using three open graph query languages: openCypher, Apache TinkerPop Gremlin, and the World Wide Web Consortium’s (W3C) SPARQL 1.1. You can use the guide at the end of this post to try out the new features that are described.

1 week, 1 day назад @ aws.amazon.com
Connect Amazon Bedrock Agents with Amazon Aurora PostgreSQL using Amazon RDS Data API
Connect Amazon Bedrock Agents with Amazon Aurora PostgreSQL using Amazon RDS Data API

In this post, we describe a solution to integrate generative AI applications with relational databases like Amazon Aurora PostgreSQL-Compatible Edition using RDS Data API (Data API) for simplified database interactions, Amazon Bedrock for AI model access, Amazon Bedrock Agents for task automation and Amazon Bedrock Knowledge Bases for context information retrieval.

1 week, 1 day назад @ aws.amazon.com
Run SQL Server post-migration activities using Cloud Migration Factory on AWS
Run SQL Server post-migration activities using Cloud Migration Factory on AWS

In this post, we show you essential post-migration tasks to perform after migrating your SQL Server database to Amazon EC2 and how to automate this activity by using Cloud Migration Factory on AWS (CMF), such as validating database status, configuring performance settings, and running consistency checks. Additionally, we explore how the CMF solution can automate these essential tasks, providing efficiency, scalability, and heightened visibility to simplify and expedite your migration process.

1 week, 1 day назад @ aws.amazon.com
Unlocking the power of Amazon Q Developer: Metrics-driven strategies for better AI coding
Unlocking the power of Amazon Q Developer: Metrics-driven strategies for better AI coding

We believe the most successful organizations will be those that view AI not just as a tool for automation, but as a catalyst for transforming how they approach software development entirely. The real strategic advantage will come from reimagining software development processes and culture to fully leverage AI’s capabilities. This includes rethinking traditional metrics, redefining […]

1 week, 1 day назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 9 часов назад
Setting up CI/CD and containers for first time. Should I keep every image build in our container registry?
Setting up CI/CD and containers for first time. Should I keep every image build in our container registry?

First time setting things up. It's a Python project. I'm setting up GitLab CI/CD and using the GitLab image registry. I was thinking every time there is a merge to main, it builds a new image for the new code change then pushes it to the image registry. And then I have a cron job on my server that does a docker run using my "latest" gitlab registry image. Should I be keeping every pushed image there forever for posterity? Or do you guys only keep a few recent ones and just discard the older ones? Also, since code is the only change 95% of the time, do you guys recommend a Multi-Stage Dockerfile so the git clone of the code is built separately and it reuses the other parts? The registry woul…

9 часов назад @ reddit.com
First person on the team?
First person on the team?

I recently got a job offer. It’s a bit higher salary and involves some technology I don’t have a huge amount of experience in. AWS/Snowflake I am snowpro certified though. I would be the first person on the team and would be building the warehouse to doing reporting. I think it’s a good opportunity for me as I have 3 yoe and it would be a chance to get in on the ground floor and have high visibility. It’s kind of a startup vibe. Anyone have experience with a situation like this and how did it impact your career? submitted by /u/putt_stuff98 [link] [comments]

9 часов назад @ reddit.com
We build Curie: The Open-sourced AI Co-Scientist Making ML More Accessible for Your Research
We build Curie: The Open-sourced AI Co-Scientist Making ML More Accessible for Your Research We build Curie: The Open-sourced AI Co-Scientist Making ML More Accessible for Your Research

I personally know many researchers in fields like biology, materials science, and chemistry struggle to apply machine learning to their valuable domain datasets to accelerate scientific discovery and gain deeper insights. This is often due to the lack of specialized ML knowledge needed to select the right algorithms, tune hyperparameters, or interpret model outputs, and we knew we had to help. That's why we're so excited to introduce the new AutoML feature in Curie 🔬, our AI research experimentation co-scientist designed to make ML more accessible! Our goal is to empower researchers like them to rapidly test hypotheses and extract deep insights from their data. Curie automates the aforement…

11 часов назад @ reddit.com
Meta L4 Data Engineer - Advice for team matching.
Meta L4 Data Engineer - Advice for team matching.

Hi all, Looking to see if any meta data engineers here can help. I’m currently going through the team matching process at Meta for an L4 Data Engineer role, and I’d really appreciate some thoughts from others who've been through this. Originally, I was offered a Monetization team, but on a recruiter call, I was told a Central Products team had more AI/ML involvement, so I asked to explore that and ended up switching. Now, I’m second-guessing that decision. Team 1 * Manager seemed very sharp, fast-paced, and results-driven. comes from a strong industry background and talks straight in numbers. * Her project sounded good out of the three * But I also felt a bit intimidated by her style. * The…

11 часов назад @ reddit.com
How do you push back on endless “urgent” data requests?
How do you push back on endless “urgent” data requests?

“I just need a quick number…” “Can you add this column?” “Why does the dashboard not match what I saw in my spreadsheet?” At some point, I just gave up. But I’m wondering, have any of you found ways to push back without sounding like you’re blocking progress? submitted by /u/Known-Enthusiasm-818 [link] [comments]

12 часов назад @ reddit.com
Need a book/course/source to learn
Need a book/course/source to learn

All these tools such as Iceberg, Hudi, Druid, trini, Presto, etc (I know they are not necessarily serving the same purpose) submitted by /u/kekekepepepe [link] [comments]

13 часов назад @ reddit.com
HDInsight outages this month
HDInsight outages this month

I truly love HDInsight on Azure. It is a workhorse; it can process massive amounts of data at low cost. And there is very little drama related to outages and bugs (unlike Microsoft Synapse, and Fabric). It runs smoothly day after day, and year after year. In rare cases when I need CSS support it is normally a high quality experience (both pro and premier). This past month I've started experiencing severe outages as a result of cluster scaling problems. It is very surprising to have these sorts of experiences in HDI for the first time. The most recent was a four day outage in our production on East US. They say the blame lies with some internally used azure service. But it seems hard to beli…

13 часов назад @ reddit.com
Decision/choice/trend overwhelm: webdev -vs- data/DE
Decision/choice/trend overwhelm: webdev -vs- data/DE

I'm yet another IT generalist/webdev looking to get more into data specific work. I have heaps of SQL experience. The webdev/JS world has the constant jokes/frustrations about how many different choices there are to make in the stack, and following trends, things just changing in general... But right now, the DE world is looking even crazier to me? ...so many tools that seem to just do pipeline stuff ...so many different specialist data stores that sound very similar, even a crazy amount of them just ones with "Apache" in the name If there were just a few commonly used ones, I could ignore the rest... but looking at job ads, it seems many of them are commonly used... even after looking at l…

13 часов назад @ reddit.com
Guidance to become a successful Data Engineer
Guidance to become a successful Data Engineer

Hi guys, I will be graduating from University of Birmingham this September with MSc in Data Science About me I have 4 years of work experience in MEAN / MERN and mobile application development I want to pursue my career in Data Engineering I am good at Python and SQL I have to learn Spark, Airflow and all the other warehousing and orchestration tools Along with that I wanted a cloud certification I have zero knowledge about cloud as well In my case how do you go about things Which certification should i do ? My main goal is to get employment by September Please give me some words of wisdom Thank you 😀 submitted by /u/Majestic_Ad4257 [link] [comments]

16 часов назад @ reddit.com
I mostly work building pipelines (and other stuff) for scientists, but I am looking to move to the East Coast at some point. I’m not seeing many data jobs revolving around environmental remediation out East. Is this accurate, East Coast peeps?
I mostly work building pipelines (and other stuff) for scientists, but I am looking to move to the East Coast at some point. I’m not seeing many data jobs revolving around environmental remediation out East. Is this accurate, East Coast peeps?

Would describe myself as a generalist, except in something of a specific industry. I have been looking online casually, and I am not seeing what I expected to see. It’s all like…the military or marketing, and 50% of the time you need to have a security clearance. What gives? submitted by /u/Meh_thoughts123 [link] [comments]

16 часов назад @ reddit.com
From laid off to launching solo data work for SMEs—seeking insights!
From laid off to launching solo data work for SMEs—seeking insights!

Hey folks, I just got laid off from my company after 5 years. I’ve been hitting the job market, but it’s either hypercompetitive or the offers are insultingly low. It’s frustrating. So instead of jumping back into another corporate gig, I’m thinking of pivoting to full-stack data analytics for small and medium-sized businesses (SMEs). My plan is to help them make sense of their data—ETL, analytics, dashboards, the whole package(using cloud tools ofc). Here is my pricing plan : **for 2 to 3 datasources : $4000/month during pipeline building $2000/month for when pipeline is done and customers would only want new dashboards occasionally, fix bugs or change some logic **for 3 to 5 datasources :…

16 часов назад @ reddit.com
Field switch from SDE to Data Engineering
Field switch from SDE to Data Engineering

Currently I am working as a software engineer for a service based company. Joined directly from college and it has been now 2 years. I am planning to switch company, and working on preparation side by side. For context my tech stack is React focused with SQL and .NET. Since I am in my early stages of career, I am thinking to switch to Data Engineering rather that continue with SWE. Considering the job scenario, and future growth, I think this would be a better option. I did some research, and Data Engineering would take atleast 4-5 months of preparation to switch. Need some advice if this is a right choice. Open to any suggestions. submitted by /u/sr-techy [link] [comments]

17 часов назад @ reddit.com
Most of my work has been with SQL and SSIS, and I’ve got a bit of experience with Python too. I’ve got around 4+ years of total experience. Do you think it makes sense for me to move into Data Engineering?
Most of my work has been with SQL and SSIS, and I’ve got a bit of experience with Python too. I’ve got around 4+ years of total experience. Do you think it makes sense for me to move into Data Engineering?

I've done a fair bit of research into Data Engineering and found it pretty interesting, so I started learning more about it. But lately, I've come across a few posts here and there saying stuff like “Don’t get into DE, go for dev or SDE roles instead.” I get that there's a pay gap—but is it really that big? Also, are there other factors I should be worried about? Like, are DE jobs gonna become obsolete soon, or is AI gonna take over them or what? For context, my current CTC is way below what it should be for my experience, and I’m kinda desperate to make a switch to DE. But seeing all this negativity is starting to get a bit demotivating. submitted by /u/phildunpheee [link] [comments]

19 часов назад @ reddit.com
Looking for a Cheap API to Fetch Employees of a Company (No Chrome Plugins)
Looking for a Cheap API to Fetch Employees of a Company (No Chrome Plugins)

Hey everyone, I'm working on a project to build an automated lead generation workflow, and I'm looking for a cost-effective API that can return a list of employees for a given company (ideally with names, job titles, LinkedIn URLs, etc.). Important: I'm not looking for Chrome extensions or tools that require manual interaction. This needs to be fully automated. Has anyone come across an API (even a lesser-known one) that’s relatively cheap? Any pointers would be hugely appreciated! Thanks in advance. submitted by /u/Key-Ad-4907 [link] [comments]

20 часов назад @ reddit.com
Advice Needed: Optimizing Streamlit-FastAPI App with Polars for Large Data Processing
Advice Needed: Optimizing Streamlit-FastAPI App with Polars for Large Data Processing

I’m currently designing an application with the following setup: Frontend: Streamlit. Backend API: FastAPI. Both Streamlit and FastAPI currently run from a single Docker image, with the possibility to deploy them separately. Data Storage: Large datasets stored as Parquet files in Azure Blob Storage, processed using Polars in Python. Functionality: Interactive visualizations and data tables that reactively update based on user inputs. My main concern is whether Polars is the best choice for efficiently processing large datasets, especially regarding speed and memory usage in an interactive setting. I’m considering upgrading from Parquet to Delta Lake if that would meaningfully improve perfor…

20 часов назад @ reddit.com
Towards Data Science
последний пост 1 day, 10 hours назад
Hands-On Attention Mechanism for Time Series Classification, with Python
Hands-On Attention Mechanism for Time Series Classification, with Python

This is how to use the attention mechanism in a time series classification framework

The post Hands-On Attention Mechanism for Time Series Classification, with Python appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
Agentic RAG Applications: Company Knowledge Slack Agents
Agentic RAG Applications: Company Knowledge Slack Agents

Lessons learnt using LlamaIndex and Modal

The post Agentic RAG Applications: Company Knowledge Slack Agents appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
The Secret Power of Data Science in Customer Support
The Secret Power of Data Science in Customer Support

Customer support is a data goldmine. Here’s how to unlock its full potential with data science.

The post The Secret Power of Data Science in Customer Support appeared first on Towards Data Science.

1 day, 10 hours назад @ towardsdatascience.com
Gaining Strategic Clarity in AI
Gaining Strategic Clarity in AI

Introducing the AI strategy playbook

The post Gaining Strategic Clarity in AI appeared first on Towards Data Science.

1 day, 11 hours назад @ towardsdatascience.com
LLM Optimization: LoRA and QLoRA
LLM Optimization: LoRA and QLoRA

Scalable fine-tuning techniques for large language models

The post LLM Optimization: LoRA and QLoRA appeared first on Towards Data Science.

1 day, 12 hours назад @ towardsdatascience.com
Simulating Flood Inundation with Python and Elevation Data: A Beginner’s Guide
Simulating Flood Inundation with Python and Elevation Data: A Beginner’s Guide

Visualize flood impact using elevation data

The post Simulating Flood Inundation with Python and Elevation Data: A Beginner’s Guide appeared first on Towards Data Science.

1 day, 12 hours назад @ towardsdatascience.com
How to Build an MCQ App
How to Build an MCQ App

Key steps to using RAG for generating MCQs from Wikipedia articles based on user-defined context

The post How to Build an MCQ App appeared first on Towards Data Science.

1 day, 12 hours назад @ towardsdatascience.com
May Must-Reads: Math for Machine Learning Engineers, LLMs, Agent Protocols, and More
May Must-Reads: Math for Machine Learning Engineers, LLMs, Agent Protocols, and More

A selection of our most-read and -shared articles of the past month

The post May Must-Reads: Math for Machine Learning Engineers, LLMs, Agent Protocols, and More appeared first on Towards Data Science.

1 day, 16 hours назад @ towardsdatascience.com
GAIA: The LLM Agent Benchmark Everyone’s Talking About
GAIA: The LLM Agent Benchmark Everyone’s Talking About

What practitioners need to know about this LLM agent benchmark

The post GAIA: The LLM Agent Benchmark Everyone’s Talking About appeared first on Towards Data Science.

2 days, 8 hours назад @ towardsdatascience.com
A Bird’s Eye View of Linear Algebra: The Basics
A Bird’s Eye View of Linear Algebra: The Basics

We think basis-free, we write basis-free, but when the chips are down we close the office door and compute with matrices like fury.

The post A Bird’s Eye View of Linear Algebra: The Basics appeared first on Towards Data Science.

2 days, 8 hours назад @ towardsdatascience.com
A Practical Introduction to Google Analytics
A Practical Introduction to Google Analytics

Learn the key concepts and reports of Google Analytics while practising with the platform

The post A Practical Introduction to Google Analytics appeared first on Towards Data Science.

2 days, 8 hours назад @ towardsdatascience.com
The Hidden Security Risks of LLMs
The Hidden Security Risks of LLMs

And why self-hosting might be the safer bet

The post The Hidden Security Risks of LLMs appeared first on Towards Data Science.

2 days, 12 hours назад @ towardsdatascience.com
I Transitioned from Data Science to AI Engineering: Here’s Everything You Need to Know
I Transitioned from Data Science to AI Engineering: Here’s Everything You Need to Know

A personal guide to the skills, tools, and mindset behind the title

The post I Transitioned from Data Science to AI Engineering: Here’s Everything You Need to Know appeared first on Towards Data Science.

2 days, 13 hours назад @ towardsdatascience.com
The Simplest Possible AI Web App
The Simplest Possible AI Web App

The great simplification experiment

The post The Simplest Possible AI Web App appeared first on Towards Data Science.

2 days, 13 hours назад @ towardsdatascience.com
From Data to Stories: Code Agents for KPI Narratives
From Data to Stories: Code Agents for KPI Narratives

HuggingFace's smolagents framework in action

The post From Data to Stories: Code Agents for KPI Narratives appeared first on Towards Data Science.

3 days назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 3 weeks, 1 day назад
Best Data Observability Tools (with RFP Template)
Best Data Observability Tools (with RFP Template)

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

3 weeks, 1 day назад @ montecarlodata.com
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025
The Past, Present, and Future of Data Quality Management: Testing, Monitoring, and Data Observability in 2025

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

1 month, 1 week назад @ montecarlodata.com
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences
Data Warehouse vs Data Lake vs Data Lakehouse: Definitions, Similarities, and Differences

Struggling to decide whether to invest in a data warehouse vs. data lake vs. lakehouse? Here's everything you need to know to make this decision.

1 month, 3 weeks назад @ montecarlodata.com
4 Native Snowflake Data Quality Checks & Features You Should Know
4 Native Snowflake Data Quality Checks & Features You Should Know

The bad news? Data breaks. The good news? These 4 Snowflake data quality checks & features can help!

8 months, 2 weeks назад @ montecarlodata.com
What is a Data Mesh — and How Not to Mesh it Up
What is a Data Mesh — and How Not to Mesh it Up

A beginner’s guide to implementing the latest industry trend: a data mesh.

9 months назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 8 months, 2 weeks назад
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake
Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

Building and scaling Notion’s data lakeВ июле этого года в блоге Notion вышла подробная статья об их опыте построении data lake: https://www.notion.so/blog/building-and-scaling-notions-data-lake

8 months, 2 weeks назад @ t.me
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips
В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

В блоге базы данных ClickHouse вышел интересный пост, направленный на PostgreSQL юзеров, в нём показаны ключевые различия между моделированием данных в ClickHouse и PostgreSQL: https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

8 months, 3 weeks назад @ t.me
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать
Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

Нашел в Ютубе двухчасовой доклад про индексы в PostgreSQL: Индексы в PostgreSQL. Как понять, что создавать

8 months, 3 weeks назад @ t.me
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.
Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

Нашел в сети пост мини-книгу от небезызвестной Chip Huyen: Building A Generative AI PlatformПожалуй, это одно из самых подробных руководств про построение Generative AI платформ своими руками, или как сейчас говорят RAG in Production.

8 months, 3 weeks назад @ t.me
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Гайд по промпт-инжинирингу от ребят из Anthropic: AI prompt engineering: A deep diveТакже в описании видео есть ссылка на их же мануал: https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

8 months, 3 weeks назад @ t.me
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your
DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your

DuckCon #5Плейлист с докладами из прошедшей конференции DuckCon #5:— DuckDB – Overview and latest developments— MotherDuck: Taking flight with interactive analytics— Outliers are all you need— Quack attack: Bringing DuckDB to the dart side— A duck for your dashboard: Performant data apps in the browser with DuckDB— Delighting users with RESTful APIs and DuckDB— Aerodynamic data models: Flying fast at scale with DuckDB— Double glazing: Two years of windowing improvements— dbverse: Composable database libraries for larger-than-memory scientific analytics— A quack at building scalable data pipelines with DuckDB

8 months, 3 weeks назад @ t.me
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop
3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

3-х часовой мастер-класс про LLM от Sebastian Raschka: Building LLMs from the Ground Up: A 3-hour Coding Workshop

9 months назад @ t.me
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо
Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капо

Бот-помощник для дата инженера 🤖Частенько возникает необходимость расшифровать расписание crontab-выражения на человеческий язык, поэтому запили телеграм-бота: CrontabDescriptionBot Отправьте ему cron-строку и он вернёт вам расписание. Пользуйтесь!Под капотом он работает на лямбдах, поэтому оплачивать хостинг мне не надо, и поэтому всегда будет работать.

9 months, 1 week назад @ t.me
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык
В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие язык

В сети появился интересный проект — SlateDB. Это встроенное хранилище на базе LSM Tree, но все данные хранятся на Object Storage сервисах (Amazon S3, Google Cloud Storage, minIO и т.д.). Проект написан на Rust, и пока не существует биндингов на другие языки. SlateDB активно разрабатывается и пока не рекомендуется к использованию в продакшене.Судя по всему, проект появился в результате прохождения мини-курса Mini-LSM.

9 months, 1 week назад @ t.me
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит
Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производит

Недавно я постил доклад про GIL и его отключение в будущих версиях Python. Вчера же на канал PyCon US загрузили доклад от Юры Селиванова про сабинтерпретаторы: Overcoming GIL with subinterpreters and immutability. Это один из вариантов улучшения производительности Python без отключения GIL. Я сам не сторонник удаления GIL, т.к. параллельное выполнение потоков потребует от программиста следить за их синхронизацией, чем собственно сейчас занимается GIL (он же mutex), поэтому интересно было послушать его доклад.Для тех, кто в танке, PEP 734 описывает работу сабинтерпретаторов, релиз этой библиотеки планировался в составе Python 3.13, но, к сожалению, Steering Council в апреле этого года решил …

9 months, 2 weeks назад @ t.me
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit
Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

Мудрые слова!А что думаете вы? Я на практике также стараюсь максимально избегать распределенных транзакций, т.к. это сразу значительно усложняет систему.Наиболее популярные паттерны распределенных транзакций:— Saga Pattern— 2-Phase Commit

9 months, 2 weeks назад @ t.me
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task
Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task

Релиз Apache Airflow 2.10Сегодня вышел релиз новой версии Apache Airflow — 2.10. Не успел я ещё перейти на 2.9, а нам подогнали 2.10. Что нового?— @skip_if и @run_if декораторы, позволяющие задавать условия при которых следует запускать или пропускать`task` — появилась возможность задавать разный Executor для tasks в рамках одного DAG— Датасеты отныне не триггерят DAGs, находящиеся в состоянии paused— Важно! Начиная с версии 2.10 Airflow по-умолчанию собирает телеметрию в рамках Open Source Marketing, все данные передаются в систему аналитики Scarf. Чтобы отключить, необходимо задать в конфиге [usage_data_collection]enabled=False либо через переменную окружения SCARF_ANALYTICS=falseС полным…

9 months, 2 weeks назад @ t.me
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о
GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" о

GIL и PythonPython, пожалуй, самый популярный язык программирования в дата инжиниринге несмотря на то, что его постоянно ругают за производительность и обжорство. Свои позиции он не сдал чего не скажешь, например, о Scala ☠️ Python своей "тормознутостью" отчасти обязан некогда архитектурному решению под названием GIL. Многие слышали эту аббревиатуру, но не все знают причину по которой появился GIL и как он работает под капотом. Если вам это интересно, то держите отличный доклад на русском языке: Зачем нужен GIL и как от него избавиться? от Евгения Афанасьева.В Python версии 3.13, релиз которой будет уже в октябре, добавили опциональную возможность отключить GIL 😲, нюансы описаны в PEP-703. …

9 months, 2 weeks назад @ t.me
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis
Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis

Специализация по Data Engineering на Coursera29 августа 2024 года на учебной платформе Coursera стартует специализация по дата инжинирингу от DeepLearning.AI — DeepLearning.AI Data Engineering Professional Certificate. Инструктором на курсах будет Joe Reis, известный в узких кругах как автор книги Fundamentals of Data Engineering, издательство O'Reilly.Обучение рассчитано на 3 месяца, целевая аудитория Intermediate-level специалисты. В специализацию входит 4 курса:— Introduction to Data Engineering— Source Systems, Data Ingestion, and Pipeline— Data Storage and Queries— Data Modeling, Transformation, and ServingОбучение платное как и большинство специализаций на Coursera, но есть возможност…

9 months, 2 weeks назад @ t.me
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по
Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует по

Get or Create средствами базы данныхУ Haki Benita в блоге нашел статью про реализацию функции get_or_create средствами PostgreSQL — How to Get or Create in PostgreSQL: and why it is so easy to get wrongОтличная статья, мне нравится, что автор использует пошаговый подход и объясняет на каждом этапе какую проблему решает. На первый взгляд может показаться, что нет никаких проблем реализовать Get or Create, но дьявол в мелочах. Рекомендую к прочтению, есть вероятность такой вопрос встретить в будущем на собеседованиях.

9 months, 2 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 10 часов назад
Очень интересная точка зрения основателя Tobiko (SQLMesh) — главного конкурента dbt.Мы тут были в восторге от новой фичи dbt: он стал значительно быстрее, потому что его переписали на Rust. Логично, что переписывание старого движка дало мощный прирост в ск
Очень интересная точка зрения основателя Tobiko (SQLMesh) — главного конкурента dbt.Мы тут были в восторге от новой фичи dbt: он стал значительно быстрее, потому что его переписали на Rust. Логично, что переписывание старого движка дало мощный прирост в ск Очень интересная точка зрения основателя Tobiko (SQLMesh) — главного конкурента dbt.Мы тут были в восторге от новой фичи dbt: он стал значительно быстрее, потому что его переписали на Rust. Логично, что переписывание старого движка дало мощный прирост в ск

Очень интересная точка зрения основателя Tobiko (SQLMesh) — главного конкурента dbt.Мы тут были в восторге от новой фичи dbt: он стал значительно быстрее, потому что его переписали на Rust. Логично, что переписывание старого движка дало мощный прирост в скорости, и выбор Rust очевидно удачный.Но мы так привыкли к "бесплатному" и хорошо работающему dbt Core, что воспринимаем это как должное. А вот из-за такой "данности" компания dbt Labs теряет деньги. А им ведь ещё нужно отчитываться перед инвесторами.Вот с Airflow и Airbyte всегда было проще, косяк на косяке=) (вот только не говорите мне, что "готовить не умею", я бы тогда просто-бы макросы VBA "приготовил бы"🧐)Вот и сам текст:dbt Fusion —…

10 часов назад @ t.me
Вот такой сервис который сравнивает IT зарплаты из всего русского сегмента. Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&amp
Вот такой сервис который сравнивает IT зарплаты из всего русского сегмента. Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&amp Вот такой сервис который сравнивает IT зарплаты из всего русского сегмента. Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&amp

Вот такой сервис который сравнивает IT зарплаты из всего русского сегмента. Как я понял, он пылесосит все открытые источники типа hh и сливает все в приятный репорт.https://public.tableau.com/shared/3KN2X2YXN?:display_count=n&:origin=viz_share_link&:showVizHome=noПо-моему выглядит очень хорошо и полезно. Готовимся.

11 часов назад @ t.me
Бодрая неделька выдалась, столько новинок интересных. Ведь скоро Databricks и Snowflake Summit. Если вы будете на этих конференциях пишите в комментах, может там найдетесь, и выпьете по стаканьчику. Я сам смогу намутить pass на 1 бесплатный день на Snowfla
Бодрая неделька выдалась, столько новинок интересных. Ведь скоро Databricks и Snowflake Summit. Если вы будете на этих конференциях пишите в комментах, может там найдетесь, и выпьете по стаканьчику. Я сам смогу намутить pass на 1 бесплатный день на Snowfla

Бодрая неделька выдалась, столько новинок интересных. Ведь скоро Databricks и Snowflake Summit. Если вы будете на этих конференциях пишите в комментах, может там найдетесь, и выпьете по стаканьчику. Я сам смогу намутить pass на 1 бесплатный день на Snowflake конференцию, но этого малова-то. Если вы в Калифорнии и хотите попасть бесплатно на один день (среда) Snowlfake, я расскажут как это сделать.1️⃣ dbt labs там выкатили большой список обновлений - dbt Launch Showcase 2025 recapdbt MCP Server - сервер, обрабатывающий dbt-команды централизованно и ускоряющий запуск моделей, особенно в облачных и CI/CD-средах. А кто сейчас не делает MCP? Fusion engine - движок на Rust, который анализирует SQ…

2 days, 8 hours назад @ t.me
Как ВЫЙТИ из IT и стать счастливым?Владислав Князев, тимлид из финтеха, искренне и с жизнелюбием пишет про путь от выгоревшего айтишника в надежного психолога. Поддерживающий блог для тех, кто ищет гармонию и уверенность в себе❤️Подпишись на @godnolytika
Как ВЫЙТИ из IT и стать счастливым?Владислав Князев, тимлид из финтеха, искренне и с жизнелюбием пишет про путь от выгоревшего айтишника в надежного психолога. Поддерживающий блог для тех, кто ищет гармонию и уверенность в себе❤️Подпишись на @godnolytika Как ВЫЙТИ из IT и стать счастливым?Владислав Князев, тимлид из финтеха, искренне и с жизнелюбием пишет про путь от выгоревшего айтишника в надежного психолога. Поддерживающий блог для тех, кто ищет гармонию и уверенность в себе❤️Подпишись на @godnolytika

Как ВЫЙТИ из IT и стать счастливым?Владислав Князев, тимлид из финтеха, искренне и с жизнелюбием пишет про путь от выгоревшего айтишника в надежного психолога. Поддерживающий блог для тех, кто ищет гармонию и уверенность в себе❤️Подпишись на @godnolytika

2 days, 23 hours назад @ t.me
DuckDB предложил очень интеерсную альтернативу - DuckLake: SQL as a Lakehouse FormatЧто это значит?Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этап
DuckDB предложил очень интеерсную альтернативу - DuckLake: SQL as a Lakehouse FormatЧто это значит?Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этап DuckDB предложил очень интеерсную альтернативу - DuckLake: SQL as a Lakehouse FormatЧто это значит?Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этап

DuckDB предложил очень интеерсную альтернативу - DuckLake: SQL as a Lakehouse FormatЧто это значит?Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этапы:- Data Warehouse (Хранилище данных) - хранение и вычисления происходят на одном физическом/виртуальном сервере или кластере.- Data Lake (Озеро данных) - происходит разделение хранения и вычислений.- Lakehouse - гибрид Data Lake и Data Warehouse. Ключевой элемент - формат таблиц (Iceberg, Delta, Hudi), который добавляет возможности управления изменениями в data lake. Эти форматы используют сложные файловые структуры (JSON, Avro) для отсле…

3 days, 14 hours назад @ t.me
Неожиданно! Главный SaaS CRM покупает old-school ETL вендер Informatica🤪Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Sl
Неожиданно! Главный SaaS CRM покупает old-school ETL вендер Informatica🤪Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Sl Неожиданно! Главный SaaS CRM покупает old-school ETL вендер Informatica🤪Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Sl

Неожиданно! Главный SaaS CRM покупает old-school ETL вендер Informatica🤪Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Slack за $28 миллиардов в 2021 году. Данная покупка направлена на усиление возможностей Salesforce в области управления данными и интеграции генеративного искусственного интеллекта (ИИ) в свои бизнес-инструменты. В частности, приобретение Informatica позволит Salesforce улучшить контроль над использованием данных, что критически важно для развития ИИ-функций, таких как платформа Agentforce, предназначенная для автоматизации задач с помощью в…

4 days, 2 hours назад @ t.me
Хочу вам напомнить про полезные ресурсы:1) datalearn учебник, где на русском есть 6,5 модулей про аналитику и инжиниринг данных и отдельный курс от Анатолия про SQL(лучше курса еще не придумали), где вы будете сами устанавливать Postgres и SQL Server и мно
Хочу вам напомнить про полезные ресурсы:1) datalearn учебник, где на русском есть 6,5 модулей про аналитику и инжиниринг данных и отдельный курс от Анатолия про SQL(лучше курса еще не придумали), где вы будете сами устанавливать Postgres и SQL Server и мно

Хочу вам напомнить про полезные ресурсы:1) datalearn учебник, где на русском есть 6,5 модулей про аналитику и инжиниринг данных и отдельный курс от Анатолия про SQL(лучше курса еще не придумали), где вы будете сами устанавливать Postgres и SQL Server и много практики https://github.com/Data-Learn/data-engineering2) свежая версия курса на английском 3,5 модуля и дополнительный модуль 0 - https://surfalytics.com/surfalytics/2023-06-03-Introduction.html

1 week, 1 day назад @ t.me
Устроиться аналитиком в Яндекс за выходные7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.В мероприятии участвует 12 команд:
Устроиться аналитиком в Яндекс за выходные7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.В мероприятии участвует 12 команд: Устроиться аналитиком в Яндекс за выходные7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.В мероприятии участвует 12 команд:

Устроиться аналитиком в Яндекс за выходные7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.Узнать подробности и зарегистрироваться можно здесь.

1 week, 1 day назад @ t.me
Про Python сняли кино https://youtu.be/pqBqdNIPrbo?si=Go2kcWzKWIZLw_-e
Про Python сняли кино https://youtu.be/pqBqdNIPrbo?si=Go2kcWzKWIZLw_-e

Про Python сняли кино https://youtu.be/pqBqdNIPrbo?si=Go2kcWzKWIZLw_-e

1 week, 3 days назад @ t.me
В последнем эпизоде «Дата с Димой» я рассказывал, насколько важно для карьерного роста выше уровня Senior понимать бизнес-метрики, цели компании и уметь разговаривать с руководителями бизнес-направлений на одном языке.Умение строить отчёты, проектировать х
В последнем эпизоде «Дата с Димой» я рассказывал, насколько важно для карьерного роста выше уровня Senior понимать бизнес-метрики, цели компании и уметь разговаривать с руководителями бизнес-направлений на одном языке.Умение строить отчёты, проектировать х В последнем эпизоде «Дата с Димой» я рассказывал, насколько важно для карьерного роста выше уровня Senior понимать бизнес-метрики, цели компании и уметь разговаривать с руководителями бизнес-направлений на одном языке.Умение строить отчёты, проектировать х

В последнем эпизоде «Дата с Димой» я рассказывал, насколько важно для карьерного роста выше уровня Senior понимать бизнес-метрики, цели компании и уметь разговаривать с руководителями бизнес-направлений на одном языке.Умение строить отчёты, проектировать хранилища данных и интегрировать данные с ML/AI — это здорово, но если не понимать, зачем это нужно бизнесу, теряется смысл работы, становится сложно аргументировать свою ценность, и в конечном итоге работа перестаёт быть интересной.Один из способов понять, зачем всё это нужно и какие существуют топовые use cases — это сходить на конференцию Aha!25. Aha!25 - техническая конференция о product science, продуктовой аналитике и эффективности би…

1 week, 3 days назад @ t.me
Сегодня прочитала в одном канале интересную мысль. СЕО одной компании (РФ) делился взглядом на сторонние проекты сотрудников.Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощря
Сегодня прочитала в одном канале интересную мысль. СЕО одной компании (РФ) делился взглядом на сторонние проекты сотрудников.Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощря

Сегодня прочитала в одном канале интересную мысль. СЕО одной компании (РФ) делился взглядом на сторонние проекты сотрудников.Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощряли сотрудников выступать, делиться опытом. И даже если кто-то после этого находил более интересную работу — он был рад. Потому что это тоже заслуга команды, компании — вырастить сильного, востребованного специалиста.И мне это близко. И не могу не вспомнить свой пример (читайте - ошибку).Когда я еще работала HR, то ещё во время пандемии пошла учиться карьерному консалтингу и уже знакомилась с коучингом.Цели были простые:— применить знания в…

1 week, 4 days назад @ t.me
▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ ДанныхПривет,По следам доклада на ОФФЛАЙН митапе в Сочи:📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing✅ Основные идеи:🏆 dbt - индустриальный стандар
▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ ДанныхПривет,По следам доклада на ОФФЛАЙН митапе в Сочи:📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing✅ Основные идеи:🏆 dbt - индустриальный стандар

▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ ДанныхПривет,По следам доклада на ОФФЛАЙН митапе в Сочи:📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing✅ Основные идеи:🏆 dbt - индустриальный стандарт для трансформации данных в DWH✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.)🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документацияБыло много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую:— С т.з. манипуляции данными dbt умеет ровно столь…

1 week, 4 days назад @ t.me
Spark-митап в Москве 29 мая!IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!🟢Когда и где пройдёт?29 мая в 18:30 в Музее криптографии 🟢Кому Spark Meetup полезен?🔹инженерам данных и аналитикам данных🔹пр
Spark-митап в Москве 29 мая!IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!🟢Когда и где пройдёт?29 мая в 18:30 в Музее криптографии 🟢Кому Spark Meetup полезен?🔹инженерам данных и аналитикам данных🔹пр Spark-митап в Москве 29 мая!IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!🟢Когда и где пройдёт?29 мая в 18:30 в Музее криптографии 🟢Кому Spark Meetup полезен?🔹инженерам данных и аналитикам данных🔹пр

Spark-митап в Москве 29 мая!IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!🟢Когда и где пройдёт?29 мая в 18:30 в Музее криптографии 🟢Кому Spark Meetup полезен?🔹инженерам данных и аналитикам данных🔹программистам со знанием Spark и Scala🔹всем смежным специальностям из телекома, банков, промышленности и ретейла🟢Кто будет выступать с докладами?Эксперты из «Криптонита», Positive Technologies и М2. Программу можно посмотреть тут🟢Как зарегистрироваться? Вот по этой ссылке🟢Будет ли трансляция? Обязательно будет. Ссылку разместим позже на странице мероприятия — поэтому советуем зарегистрироваться на оффлайн-встречу, даже если вы не сможете при…

1 week, 4 days назад @ t.me
Дата с Димой - эпизод 5 (YouTube, RuTube)💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.🎯 Ключевые темы выпуска:🧠 Черный юмор и интеллект - связь
Дата с Димой - эпизод 5 (YouTube, RuTube)💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.🎯 Ключевые темы выпуска:🧠 Черный юмор и интеллект - связь

Дата с Димой - эпизод 5 (YouTube, RuTube)💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.🎯 Ключевые темы выпуска:🧠 Черный юмор и интеллект - связь между чувством юмора и уровнем интеллекта.💻 COBOL язык для не технических пользователей в 1960х - обсуждение языка программирования COBOL и его актуальности.☁️ Snowflake и Trino - закрытие Snowflake и переход на альтернативные решения.📊 Оптимизация Apache Spark - методы повышения производительности и эффективного использования ресурсов.🤖 Внедрение Generative AI - как компании используют генеративный искусственный интеллект для повышения п…

1 week, 5 days назад @ t.me
Если ML-инфра всё ещё звучит как «отдельная жизнь»Если вы когда-либо внедряли ML в продовую инфраструктуру, то точно знаете, сколько там подводных камней. Об этом и многом другом пойдёт речь на infra.conf.Как выстроить пайплайн, чтобы он не зависел от одно
Если ML-инфра всё ещё звучит как «отдельная жизнь»Если вы когда-либо внедряли ML в продовую инфраструктуру, то точно знаете, сколько там подводных камней. Об этом и многом другом пойдёт речь на infra.conf.Как выстроить пайплайн, чтобы он не зависел от одно Если ML-инфра всё ещё звучит как «отдельная жизнь»Если вы когда-либо внедряли ML в продовую инфраструктуру, то точно знаете, сколько там подводных камней. Об этом и многом другом пойдёт речь на infra.conf.Как выстроить пайплайн, чтобы он не зависел от одно

Если ML-инфра всё ещё звучит как «отдельная жизнь»Если вы когда-либо внедряли ML в продовую инфраструктуру, то точно знаете, сколько там подводных камней. Об этом и многом другом пойдёт речь на infra.conf.Как выстроить пайплайн, чтобы он не зависел от одного ML-инженера. Как сделать мониторинг моделей и работать с ошибками, которые обычный лог не покажет. Как внедрять новые компоненты, не ломая остальную систему.Будет много конкретики — и всё это 5 июня, в Loft Hall 8 в Москве. Также доступна онлайн-трансляция

1 week, 5 days назад @ t.me
Left Join Left Join
последний пост 1 day, 19 hours назад
Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подс
Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подс

Быстрее, выше, сильнее: что нового у dbt 28 мая dbt провела Launch Showcase, где представила сразу несколько крупных изменений. 🔵dbt Fusion — новый движок, который будет в 30 раз быстрее старого. Он сможет проверять правильность SQL-запроса и выдавать подсказки с учетом контекста, а также на 10% (а то и больше!) снизить расходы на хранение данных. 🔵Расширение dbt VS Code — чтобы все новые фичи dbt стали доступны и в VS Code.🔵dbt MCP Server — инструмент для интеграции LLM в проекты в dbt.🔵dbt Canvas, dbt Insights и dbt Catalog (бывший dbt Explorer) — инструменты для аналитиков, которые сделают удобнее и проще работу с данными. В Canvas можно будет простым drag-and-drop строить и редактироват…

1 day, 19 hours назад @ t.me
"Нашу маму и там, и тут показывают" — LEFT JOIN на Aha!25Пусть в этом году команда LEFT JOIN не смогла присоединиться к конференции физически, мы все равно не могли это пропустить. Передаем привет и желаем послушать как можно больше крутых выступлений — а
"Нашу маму и там, и тут показывают" — LEFT JOIN на Aha!25Пусть в этом году команда LEFT JOIN не смогла присоединиться к конференции физически, мы все равно не могли это пропустить. Передаем привет и желаем послушать как можно больше крутых выступлений — а

"Нашу маму и там, и тут показывают" — LEFT JOIN на Aha!25Пусть в этом году команда LEFT JOIN не смогла присоединиться к конференции физически, мы все равно не могли это пропустить. Передаем привет и желаем послушать как можно больше крутых выступлений — а перерывах поймать наше видео на экранах в фойе "Ломоносова"!

2 days, 15 hours назад @ t.me
DataLens открывает галерею дашбордов и не толькоЛюбите иногда позалипать повдохновляться на Tableau Public? Да, мы тоже — а кто не любит?Теперь то же самое можно будет сделать, но с дашбордами на Yandex DataLens — сервис запускает DataLens Gallery. Это гал
DataLens открывает галерею дашбордов и не толькоЛюбите иногда позалипать повдохновляться на Tableau Public? Да, мы тоже — а кто не любит?Теперь то же самое можно будет сделать, но с дашбордами на Yandex DataLens — сервис запускает DataLens Gallery. Это гал DataLens открывает галерею дашбордов и не толькоЛюбите иногда позалипать повдохновляться на Tableau Public? Да, мы тоже — а кто не любит?Теперь то же самое можно будет сделать, но с дашбордами на Yandex DataLens — сервис запускает DataLens Gallery. Это гал

DataLens открывает галерею дашбордов и не толькоЛюбите иногда позалипать повдохновляться на Tableau Public? Да, мы тоже — а кто не любит?Теперь то же самое можно будет сделать, но с дашбордами на Yandex DataLens — сервис запускает DataLens Gallery. Это галерея с готовыми примерами дашбордов и чартов. Можно будет как добавить свою работу, так и посмотреть чужие, еще и с разбивкой по отраслям. Особенно понравившиеся даже можно будет развернуть у себя — если автор дал разрешение.Кроме того, DataLens запускает:🔵Editor — JavaScript-редактор для кастомизации графиков и таблиц с поддержкой интеграции данных из разных источников, включая внешние API. Он нацелен на опытных аналитиков, но в будущем п…

3 days, 17 hours назад @ t.me
От запроса до результата: как работает SQL-движокSQL-движок — это логический уровень между пользователем и данными в базе, который отвечает за обработку запроса и формирование результата. Но как он это делает? Один из авторов проекта Dolt (как его описываю
От запроса до результата: как работает SQL-движокSQL-движок — это логический уровень между пользователем и данными в базе, который отвечает за обработку запроса и формирование результата. Но как он это делает? Один из авторов проекта Dolt (как его описываю

От запроса до результата: как работает SQL-движокSQL-движок — это логический уровень между пользователем и данными в базе, который отвечает за обработку запроса и формирование результата. Но как он это делает? Один из авторов проекта Dolt (как его описывают сами разработчики — БД, которая работает, как репозиторий на GitHub) написал целую статью про опыт работы с их движком go-mysql-server. Хотя акцент именно на этот движок, он также рассказывает про разные подходы и принципы работы SQL-движков в целом. Если кратко:🔵Выполнение запроса можно разделить на 7 шагов — парсинг, привязка к данным в БД, упрощение плана выполнения, оптимизация порядка выполнения джойнов, оценка эффективности плана, …

4 days, 18 hours назад @ t.me
Что объединяет аналитиков, продактов, CPO, CDO и ML-разработчиков?Aha!25 — конференция про то, как решать продуктовые задачи с помощью ML, аналитики и data-driven подхода.2 дня, 16 тематических потоков, более 1200 участников и доклады от практиков из Яндек
Что объединяет аналитиков, продактов, CPO, CDO и ML-разработчиков?Aha!25 — конференция про то, как решать продуктовые задачи с помощью ML, аналитики и data-driven подхода.2 дня, 16 тематических потоков, более 1200 участников и доклады от практиков из Яндек Что объединяет аналитиков, продактов, CPO, CDO и ML-разработчиков?Aha!25 — конференция про то, как решать продуктовые задачи с помощью ML, аналитики и data-driven подхода.2 дня, 16 тематических потоков, более 1200 участников и доклады от практиков из Яндек

Что объединяет аналитиков, продактов, CPO, CDO и ML-разработчиков?Aha!25 — конференция про то, как решать продуктовые задачи с помощью ML, аналитики и data-driven подхода.2 дня, 16 тематических потоков, более 1200 участников и доклады от практиков из Яндекса, Авито, OZON, Т-Банка, Альфа-Банка, а также исследователей из ИТМО, РЭШ, МФТИ и других научных центров. На Aha!25 обсудят актуальные вопросы, над которыми многие задумываются, но не все находят ответ.• Что делать, когда A/B-тест дает противоречивые результаты?• Как проводить эксперименты и трактовать результаты?• Как встраивать ML и ИИ в продукты с пользой для дела — а как это делать точно не надо?• Как поведенческая экономика помогает …

1 week назад @ t.me
Когда BI — это не просто отчеты, а полезный инструмент для бизнесаВо многих компаниях аналитика ограничивается созданием пачки дашбордов, которые существуют как будто просто для красоты. Они есть, пользователи в них иногда задумчиво смотрят, но для приняти
Когда BI — это не просто отчеты, а полезный инструмент для бизнесаВо многих компаниях аналитика ограничивается созданием пачки дашбордов, которые существуют как будто просто для красоты. Они есть, пользователи в них иногда задумчиво смотрят, но для приняти Когда BI — это не просто отчеты, а полезный инструмент для бизнесаВо многих компаниях аналитика ограничивается созданием пачки дашбордов, которые существуют как будто просто для красоты. Они есть, пользователи в них иногда задумчиво смотрят, но для приняти

Когда BI — это не просто отчеты, а полезный инструмент для бизнесаВо многих компаниях аналитика ограничивается созданием пачки дашбордов, которые существуют как будто просто для красоты. Они есть, пользователи в них иногда задумчиво смотрят, но для принятия решений все так же используют интуицию, а не данные.Зато когда BI-стратегия выстроена правильно, она становится частью управленческой системы: помогает расставлять приоритеты и контролировать результаты. Но чтобы к этому прийти, понадобится не только знание инструментов, но и стратегический взгляд и понимание потребностей бизнеса.🔜 Как подружить все эти вещи и внедрить BI в рабочие процессы рассказывает BI-эксперт Александр Бараков на ку…

1 week, 2 days назад @ t.me
А вы знаете, что произошло в начале 2024? Конечно, на этот вопрос можно дать несколько разных ответов, но нас интересует одно из самых крупных изменений в Polars — изменение структуры данных для строк. Почему вспоминаем про это сейчас?Потому что это все ещ
А вы знаете, что произошло в начале 2024? Конечно, на этот вопрос можно дать несколько разных ответов, но нас интересует одно из самых крупных изменений в Polars — изменение структуры данных для строк. Почему вспоминаем про это сейчас?Потому что это все ещ

А вы знаете, что произошло в начале 2024? Конечно, на этот вопрос можно дать несколько разных ответов, но нас интересует одно из самых крупных изменений в Polars — изменение структуры данных для строк. Почему вспоминаем про это сейчас?Потому что это все еще интересно — статья рассказывает про тонкости работы Polars, про которые кто-то может и не задумывался. В чем суть? Изначально Polars следовали спецификации Apache Arrow, но решили отойти от этого формата, чтобы улучшить производительность. В Apache Arrow данные строкового типа «проходят» через три буфера: буфер валидности, общий буфер data и дополнительный буфер с оффсетами для определения начала и окончания каждой строки. Такой формат о…

1 week, 3 days назад @ t.me
Data&BI Beer: архитектурный митап про данные и BIЧто объединяет архитекторов DWH- и BI-систем, дата-инженеров, технических директоров и интеграторов, работающих с 1С и SAP? Желание говорить по делу, с погружением в реальный опыт и технические кейсы.Vis
Data&BI Beer: архитектурный митап про данные и BIЧто объединяет архитекторов DWH- и BI-систем, дата-инженеров, технических директоров и интеграторов, работающих с 1С и SAP? Желание говорить по делу, с погружением в реальный опыт и технические кейсы.Vis Data&BI Beer: архитектурный митап про данные и BIЧто объединяет архитекторов DWH- и BI-систем, дата-инженеров, технических директоров и интеграторов, работающих с 1С и SAP? Желание говорить по делу, с погружением в реальный опыт и технические кейсы.Vis

Data&BI Beer: архитектурный митап про данные и BIЧто объединяет архитекторов DWH- и BI-систем, дата-инженеров, технических директоров и интеграторов, работающих с 1С и SAP? Желание говорить по делу, с погружением в реальный опыт и технические кейсы.Visiology вместе с партнёрами Arenadata и Денвик приглашают 21 мая в 18:00 принять участие в Data&BI Beer — неформальном, но профессиональном митапе, посвящённом архитектуре аналитических систем и работе с данными на уровне ERP.Место встречи — ресторан We Cidreria, Москва, ул. Сретенка, 32На митапе обсудят:🔵Интеграцию с 1С и SAP — хранилища, коннекторы, real-time-сценарии,🔵Архитектурные ошибки и переделки, которых можно избежать,🔵Кейсы миграции с…

1 week, 5 days назад @ t.me
Yandex Cloud расскажет, как превратить данные бизнеса в результатАналитики и дата-инженеры часто фокусируются на хард-скиллах: SQL, работе с инструментами, тонкостях обработки данных. Это важно, но недостаточно, чтобы строить карьеру и браться за действите
Yandex Cloud расскажет, как превратить данные бизнеса в результатАналитики и дата-инженеры часто фокусируются на хард-скиллах: SQL, работе с инструментами, тонкостях обработки данных. Это важно, но недостаточно, чтобы строить карьеру и браться за действите Yandex Cloud расскажет, как превратить данные бизнеса в результатАналитики и дата-инженеры часто фокусируются на хард-скиллах: SQL, работе с инструментами, тонкостях обработки данных. Это важно, но недостаточно, чтобы строить карьеру и браться за действите

Yandex Cloud расскажет, как превратить данные бизнеса в результатАналитики и дата-инженеры часто фокусируются на хард-скиллах: SQL, работе с инструментами, тонкостях обработки данных. Это важно, но недостаточно, чтобы строить карьеру и браться за действительно интересные проекты. Ключевой навык — стратегическое мышление: понимать, как ваша работа решает бизнес-задачи, а не просто закрывает текучку.🔜 Как это делать?Хороший вариант — перенимать опыт экспертов. Например, на профессиональных конференциях таких как та, что проводит Yandex Cloud 28 мая.В программе Data&ML2Business: 🔵как «Кама» объединила телеметрию, производство и клиентские данные в одну BI-систему,🔵опыт построения гибридных пла…

2 weeks, 1 day назад @ t.me
Хотите заглянуть внутрь БД в SQLite?С этим поможет SQLite File Format Viewer — веб-приложение, куда можно закинуть файлик БД, и посмотреть, что у него внутри. На сайте уже есть семпловая база данных, по которой можно полазить и изучить, как она устроена.Гл
Хотите заглянуть внутрь БД в SQLite?С этим поможет SQLite File Format Viewer — веб-приложение, куда можно закинуть файлик БД, и посмотреть, что у него внутри. На сайте уже есть семпловая база данных, по которой можно полазить и изучить, как она устроена.Гл

Хотите заглянуть внутрь БД в SQLite?С этим поможет SQLite File Format Viewer — веб-приложение, куда можно закинуть файлик БД, и посмотреть, что у него внутри. На сайте уже есть семпловая база данных, по которой можно полазить и изучить, как она устроена.Главный минус тут в том, что запустить приложение локально нельзя — по крайней мере пока. Так что никакие конфиденциальные данные и важные БД туда закидывать не рекомендуется. Но если у вас есть под рукой какой-нибудь файл SQLite, который не жалко, и вы хотите поближе познакомиться с работой этой СУБД, это приложение под эти цели отлично подойдет.

2 weeks, 2 days назад @ t.me
7–8 июня проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 3 лет на Python, готовых работать в офисном или гибридном режиме.Подавайте заявку до 3 июня — и всего за 2 дня пройдите технически
7–8 июня проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 3 лет на Python, готовых работать в офисном или гибридном режиме.Подавайте заявку до 3 июня — и всего за 2 дня пройдите технически

7–8 июня проводим Weekend Offer AnalyticsУстроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 3 лет на Python, готовых работать в офисном или гибридном режиме.Подавайте заявку до 3 июня — и всего за 2 дня пройдите технические собеседования. После сможете пообщаться с двенадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.Узнать подробности и зарегистрироваться.Реклама. ООО "Яндекс". ИНН 7736207543

2 weeks, 3 days назад @ t.me
А вы идете на Tech Week?«Синергия» вновь проводит Tech Week, а LEFT JOIN вновь становится ее инфопартнером!Как и в прошлый раз, конференция будет посвящена технологиям, инновациям и тому, как подружить их с бизнесом.🔵Как стремительное развитие технологий в
А вы идете на Tech Week?«Синергия» вновь проводит Tech Week, а LEFT JOIN вновь становится ее инфопартнером!Как и в прошлый раз, конференция будет посвящена технологиям, инновациям и тому, как подружить их с бизнесом.🔵Как стремительное развитие технологий в

А вы идете на Tech Week?«Синергия» вновь проводит Tech Week, а LEFT JOIN вновь становится ее инфопартнером!Как и в прошлый раз, конференция будет посвящена технологиям, инновациям и тому, как подружить их с бизнесом.🔵Как стремительное развитие технологий влияет на современные подходы к лидерству, управлению и работе с людьми?🔵Какие инновации стоят вашего внимания (и денег)?🔵Как новые технологии меняют бизнес, промышленность и торговлю?И, конечно, не обошлось без ИИ и нейросетей — им выделили сразу несколько треков. Среди спикеров — директора и основатели крупных российских компаний, эксперты по ИИ, маркетингу и даже нейрофизиологии.🔜 26-27 мая пройдет основная часть с конференциями и выстав…

2 weeks, 5 days назад @ t.me
Кому подойдет Metabase?К Metabase часто относятся снисходительно и иногда даже не считают этот тул полноценной BI-платформой. Мы самитакие комментарии получали, когда писали, что много с ним работаем.Metabase действительно достаточно простой инструмент, ос
Кому подойдет Metabase?К Metabase часто относятся снисходительно и иногда даже не считают этот тул полноценной BI-платформой. Мы самитакие комментарии получали, когда писали, что много с ним работаем.Metabase действительно достаточно простой инструмент, ос

Кому подойдет Metabase?К Metabase часто относятся снисходительно и иногда даже не считают этот тул полноценной BI-платформой. Мы самитакие комментарии получали, когда писали, что много с ним работаем.Metabase действительно достаточно простой инструмент, особенно если сравнивать с чем-то вроде Tableau. Многих это отпугнет, но кого-то это станет главным преимуществом. Рассказываем, кому подойдет Metabase и что вообще можно с этим инструментом в новом видео.Что вас ждет?🔵Обзор интерфейса и демонстрация возможностей по визуализации и написанию SQL-запросов.🔵Разбор кейса клиента, который ушел с более продвинутого и сложного инструмента на Metabase и остался полностью доволен.🔵Плюсы, минусы и рек…

2 weeks, 5 days назад @ t.me
Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень по
Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень по

Как на самом деле ИИ может помочь в работе?Вокруг только и разговоров, что про ИИ — он успевает и писать, и рисовать, и кодить, и работу у честных трудяг отбирать. Но это все в теории и в новостях, а вот как на самом деле внедрять его в работу, не очень понятно. Особенно если вы уже пробовали, потратили кучу времени на написание промптов и получили сомнительный результат, который не стоит затраченных усилий.Именно для тех, кто хочет научиться решать реальные практические задачи с помощью ИИ, Институт Бизнес-Аналитики Алексея Колоколова проводит свой новый бизнес-квест. Участники попробуют использовать нейросети для решения разноплановых кейсов — от расчета сметы до составления презентации.🔵…

3 weeks, 2 days назад @ t.me
О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все ещ
О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все ещ

О любви к CSV ❤️Формат данных CSV — Comma-Separated Values, «значения, разделенные запятыми» — появился еще в 70-х, и с тех пор люди ничего лучше не придумали.Ладно, может быть, и придумали, но CSV, так или иначе, жил, жив и будет жить еще долго. Он все еще часто используется для хранения данных, несмотря на то что за эти 50 лет разработали множество других форматов.Почему так?Юзер с гитхаба уже ответил за нас и перечислил целых 9 причин, почему этот формат заслуживает нашей любви. Как любят писать в кликбейтных статьях, пункт 9 вас поразит!1️⃣ CSV простой — вся суть формата отражена в названии. Ничего лишнего.2️⃣ CSV никому не принадлежит, а потому навсегда останется бесплатным и доступным…

4 weeks, 1 day назад @ t.me
SQLite на практике SQLite на практике
последний пост 1 week, 4 days назад
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште
fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенште

fuzzy: Нечеткое сравнение строк в SQLiteРасширение nalgeon/fuzzy помогает сравнивать строки на похожесть и транслитерировать текст.Одни функции считают расстояние между строками (чем оно больше, тем сильнее отличаются строки):-- Расстояние Дамерау-Левенштейнаselect fuzzy_damlev('awesome', 'aewsme');-- 2-- Расстояние Хэммингаselect fuzzy_hamming('awesome', 'aewsome');-- 2-- Расстояние Джаро-Винклераselect fuzzy_jarowin('awesome', 'aewsme');-- 0.907142857142857Другие функции рассчитывают фонетический код строки (помогает определять слова, которые похоже звучат):-- Caverphoneselect fuzzy_caver('awesome');-- AWSM111111select fuzzy_caver('owesome');-- AWSM111111-- Refined soundexselect fuzzy_rso…

1 week, 4 days назад @ t.me
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi
fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fi

fileio: Работа с файлами в SQLiteРасширение nalgeon/fileio добавляет в SQLite возможность читать и писать файлы прямо из SQL.fileio_write записывает данные в файл:select fileio_write('hello.txt', 'hello world');fileio_read читает содержимое файла:select fileio_read('hello.txt');-- hello worldfileio_scan читает файл построчно, не загружая целиком в память:select rowid, value from fileio_scan('lines.txt');-- 1,one-- 2,two-- 3,threeКроме того, есть fileio_append (дописывает данные в файл) и функции для работы с каталогами — fileio_mkdir (создает каталог) и fileio_ls (читает содержимое каталога).Как установить расширение

2 weeks, 3 days назад @ t.me
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu
define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined fu

define: Пользовательские функции в SQLiteКак известно, в SQLite нет хранимых процедур.Предполагается, что вместо них программист реализует нужные функции в своем коде (например, на Python) и зарегистрирует их в SQLite (так называемые application-defined functions).Но можно добавлять новые функции и прямо из SQL, если установить расширение nalgeon/define:-- Суммирует числа от 1 до nselect define('sumn', ':n * (:n + 1) / 2');select sumn(5);-- 15Еще пример:-- Генерит случайное число от 1 до ndefine('randint', ':a + abs(random()) % (:b - :a + 1)');select randint(10, 99);-- 67Расширение также включает функцию eval — можно динамически выполнять SQL из строки:-- Создаем и заполняем таблицуselect e…

3 weeks назад @ t.me
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д
crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования д

crypto: Хеши, кодирование и декодирование в SQLiteОткрываю новую серию заметок. В каждом посте буду рассказывать об одном полезном расширении SQLite.Начнем с nalgeon/crypto. Оно предоставляет функции для расчета хешей, а также кодирования и декодирования данных.Хеши:select crypto_blake3('abc');select crypto_md5('abc');select crypto_sha1('abc');select crypto_sha256('abc'));-- и другиеКодирование/декодирование:Base32:select crypto_encode('hello', 'base32');-- NBSWY3DPselect crypto_decode('NBSWY3DP', 'base32');-- helloBase64:select crypto_encode('hello', 'base64');select crypto_decode('aGVsbG8=', 'base64');Hex:select crypto_encode('hello', 'hex');select crypto_decode('68656c6c6f', 'hex');Еще п…

3 weeks, 3 days назад @ t.me
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн
Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированн

Работа с датой и временем в SQLiteВ sqlite есть встроенные функции для работы с датами, но они мне всегда не слишком нравились.Поэтому разработал расширение sqlean-time. Оно поддерживает точность вплоть до наносекунд и предоставляет удобное структурированное API с большим количеством функций.https://antonz.org/sqlean-time

9 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 2 days, 21 hours назад
Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна
Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это зна

Эра скучных графиков окончена. Визуализация данных сделает любую информацию занятной и удобной для изучения, но в этой сфере не обойтись без проводника. Роман Бунин — эксперт в визуализации данных, развитии BI-систем и разработке дашбордов. Что всё это значит и как сделать первые шаги на поприще — читайте в карточках. А для полного погружения в тему Роман подготовил полезные ссылки:• Матрица компетенций для BI-аналитика с подробным гайдом• Список самых нужных книг по теме• Статья о разновидностях визуализации данных• Бесплатный курс по DataLens• Видео о визуализации собственных данных#Мнение

2 days, 21 hours назад @ t.me
Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа
Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа

Полезная новость для всех, кто работает с аналитикой в DataLensТеперь вы можете подтвердить свои навыки официально и со скидкой 50%. Сертификация DataLens Analyst от Yandex Cloud помогает систематизировать знания и добавить весомый пункт в резюме.Программа охватывает все, что важно для уверенной работы в BI и data-driven-командах:1) Вычисляемые поля и параметры2) Построение чартов и дашбордов3) Работа с датасетами и источниками данных4) Навигация и доступыНа сайте сертификации — бесплатный курс и все, что нужно для подготовки.🧠 Подходит специалистам по BI, аналитикам данных и тем, кто активно использует DataLens в повседневной работе.💸 До конца августа — цена прохождения экзамена снижена на…

3 days, 14 hours назад @ t.me
🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️http
🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️http

🔥 Набор материалов, который нужен КАЖДОМУ АНАЛИТИКУ!Александр Нездемина выложил в свободный доступ разборы реальных собесов и задач + топовые шаблоны и чек-листы!👉 Скорее подписывайтесь, такое редко бывает бесплатно! Я уже скачал себе все материалы! ⚙️https://t.me/+hASxh8fnM49mMGJiErid: 2Vtzqx4vUd2 Реклама.ИП Пяташева Александра Витальевна ИНН 744518674547

1 week, 2 days назад @ t.me
Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы
Лучше практики может быть только…еще больше практикиВ karpovꓸcourses  это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы

Лучше практики может быть только…еще больше практикиВ karpovꓸcourses это прекрасно понимают, поэтому не только предлагают большой объем практических задач в каждом курсе, но еще и разработали программы, полностью сфокусированные на практике, — симуляторы для продвинутого изучения Data Science.К примеру, «Симулятор аналитика» позволит пройти полный цикл выстраивания аналитических процессов в компании под руководством ведущих экспертов сферы — и все это онлайн, в комфортном режиме, с возможностью совмещать обучение и жизнь. За 2 месяца вы погрузитесь в полноценный рабочий процесс, узнаете, с какими задачами ежедневно сталкиваются аналитики, и сами научитесь их решать.А если решитесь начать об…

1 week, 3 days назад @ t.me
🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд
🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд 🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс межд

🔊 А вот и запись эфира, где аналитики Авито отвечали на вопросы. И тайм-коды для удобства:2:00 | Какие качества начинающего аналитика самые важные6:47 | Что мы сделали бы по-другому в рамках аналитики Авито 9:55 | Как в больших компаниях ловить баланс между быть в теме важных нововведений/исследований и не захлебнуться от информации13:10 | Сложные вопросы и ответы про A/B-тесты 25:44 | Про Академию аналитиков Авито32:40 | Снова про hard-скилы аналитика и инструменты 36:44 | Как попасть в Академию аналитиков 40:34 | Где ищем интересные аналитические кейсы, которые затем применяем в работе44:10 | Про исследования ➡️ Больше контента от инженеров Авито смотрите на YouTube канале AvitoTech

1 week, 4 days назад @ t.me
Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌
Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌ Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌

Чувствуешь, что не хватает знаний технички для уверенности на работе?Кажется, что перелопатила весь интернет, но так и не пришло понимания, а информация не сложилась в единый пазл? 🤔СТОП ❌Если тебе надоело:❌ бесконечно готовиться и заваливать техсобесы, ❌ ощущать, что не хватает технических знаний, чтобы «соображать» в работе, ❌ не понимать терминологии и о чем идет речь на встречах команды, ❌ не понимать с какого края подступиться к решению рабочих задач, ❌ что не хватает структурности, системности и уверенности, то есть решение ✅ Канал Александра Нездемина, практикующего системного аналитика с 14летним опытом. В его канале ты найдешь емкие и структурные разборы задач из собесов, реальные …

2 weeks, 4 days назад @ t.me
⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex
⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex ⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex

⚡️Создаём свою нейросеть в PyTorchХотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.Что будет на вебинаре?🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;🟠Научимся использовать DataLoader для эффективной загрузки данных;🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);🟠Обучим и протестируем модель.🕗 Встречаемся 14 мая …

2 weeks, 5 days назад @ t.me
Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников
Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников

Aha!25 — теперь два дня!29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников на одной площадке.На сцене — топ-эксперты из Т-Банка, Яндекса, Авито, OZON, Альфа-Банка и других крупнейших компаний Рунета и СНГ: Виктор Кантор (MLinside), Кевин Ханда (Uzum), Сергей Веренцов (EORA), а также профессора и кандидаты наук из ИТМО, РЭШ, Центрального университета.По данным отраслевых отчётов, опросов и исследований, «экономика» — самый востребованный навык для развития среди продуктовых специалистов. Поэтому будем еще больше …

1 month, 1 week назад @ t.me
⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные
⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно,  если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные ⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные

⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSetРазборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные в бизнес-инсайты, оформлять их убедительно и выделяться среди других соискателей.22 апреля в 18:30 по МСК проведем вебинар, где Денис Иванов разберет тестовое задание в Т-Банк и построит информативные визуализации в SuperSet. Денис — ведущий продуктовый аналитик.Что будем делать на вебинаре: 🟠 Разберем структуру тестового задания и обсудим, на что обращают внимание рекрутеры;🟠 Вместе решим задачи по SQL разной сложности;🟠 Покажем, как работ…

1 month, 1 week назад @ t.me
Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov
Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov

Мы слишком много знаем!И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.…

1 month, 2 weeks назад @ t.me
⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом
⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом ⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом

⚡️Строим рекомендательную систему фильмов на KaggleВы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle. Что будем делать на вебинаре:🟠Разберем имеющиеся данные фильмов с их оценками🟠Проведем предобработку данных🟠Построим рекомендательную систему на основе машинного обучения🟠Проведем расчет и анализ метрик на основе результатов работы моделиВебинар будет интересен как новичкам, так и уже опытным специалистам😶Зарегистрироваться на бесплатный вебинар

1 month, 2 weeks назад @ t.me
Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания
Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания

Иногда, чтобы сдвинуться с места, достаточно просто допустить мысль, что «можно иначе»Выпускники Школы анализа данных Яндекса обратились к будущим студентам — не чтобы продавать мечту, а чтобы напомнить: всё начинается с отказа от стереотипов. И с желания разобратьсяШАД – не «ещё один курс». Это серьёзная школа датасаентистов и эмельщиков, где учат думать, строить, понимать. Отсюда выходят те, кто запускает стартапы, встраивает ИИ в разные сферы бизнеса и науки и меняет правила игрыНовый набор открыт. Если чувствуешь, что пора — смотри детали и истории выпускников по ссылке.

1 month, 3 weeks назад @ t.me
Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз
Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые поз

Приглашаем на Lamoda Tech DS Meetup 🆕Большие данные — это не только модный, но и мощный инструмент для улучшения пользовательского опыта. Как его использовать, поделятся специалисты по машинному обучению Lamoda Tech.➡️ В программе свежие кейсы, которые позволяют улучшать UX и делать шопинг ещё более приятным: ⚫️ Поднимаем метрики поиска по самым нестандартным запросам: помогаем отыскать в каталоге те самые джинсы клёш от колена и малиновые чиносы.⚫️ Персонализируем рекомендации на примере главной страницы.⚫️ Создаём облако тегов и разметку отзывов для более точного выбора товаров.После докладов вас ждут ответы на вопросы и нетворк с закусками и напитками.⏰ Когда: 15 апреля в 19:00 по МСК📍 Г…

1 month, 3 weeks назад @ t.me
Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена   - проектный менеджмент для самы
Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена   - проектный менеджмент для самы

Канал Леши Арефьева⚡Про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы. Подборка интересных постов:- З/П IT-шников в РФ- что делать, когда исследований овердохрена - проектный менеджмент для самых маленьких - как из стартаперской команды сделать продуктовую - история продукта: Figma Если интересно, подписывайтесь - @alexcouncil

1 month, 3 weeks назад @ t.me
Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать I
Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать I

Иди на дата саентиста, там вакансии с ЗП от 300 000₽Ага, только тебя завалят на первых же задачах с LeetCode.Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать IKEA без инструкции.В этом деле важен опыт: гляньте канал Глеба Михайлова, он прошел больше сотни технических собеседований (съел на этом всех собак 🐕🍽).— Работал в Альфе, Сбере, Ростелекоме— 5 лет являлся наставником в Яндекс.Практикуме— Знает все подводные камни тех. собеседований в ТОП компанииКто, как не он, знает, как пройти техсобесы и не сойти с ума?Если ты хочешь левел-апнуться, больше зарабатывать и от души поржать над байками о ра…

1 month, 3 weeks назад @ t.me
Труба данных Труба данных
последний пост 1 day, 22 hours назад
Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"
Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных" Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"

Как всегда по пятница!@ohmydataengineer - канал "🕯Труба Данных"

1 day, 22 hours назад @ t.me
Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка
Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка

Comparing Analytics EnginesОчень интересный материал и хорошим сравнением нескольких аналитических движков. Редакция активно использует ClickHouse, но интересно было почитать и о других решениях. Очевидно, что универсального подхода к выбору лучшего движка для аналитических задач не существует, поэтому всегда полезно расширить кругозор.Авторы предлагаю следующую классификацию для OLAP DB: General Purpose Engines (Spark), Interactive SQL Engines (Presto, Trino), and Realtime OLAP Engines (ClickHouse, StarRocks)Кстати, StarRocks имеет на удивление самый высокий metascore. Spark - самый старый и в целом уже с legacy концепцией работы поверх map reduce - раза в 3 меньше по рейтингу, хотя он наи…

3 days, 23 hours назад @ t.me
Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"
Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных" Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"

Интересных материалов нет, а интересные мемы - есть =)@ohmydataengineer - канал "🕯Труба Данных"

1 week, 1 day назад @ t.me
Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме
Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме

Разблокировалось тут забавное воспоминание!Cвою первую работу в айтишке (в Х5) я получил довольно забавно: случайно увидел пост от одного из хедов в фейсбуке, что ребята нанимают дата саентистов. Написал в личку "Я не DS, но умный и смышленый!".Мое резюме отправили руководителю разработки, который меня позвал на собес (тут я уже обрадовался от радости). А собес я провалил, знатно, причем вопросы были не алгоритмические упражнения с литкода, а вполне себе разработческие, например, чем отличается `git pull` от `git fetch`?Но мне дали второй шанс: тестовое домашнее задание. Нужно было написать сервис, который делает всякое разное с записями в базе данных. И я тут отыгрался: и докер контейнер с…

1 week, 3 days назад @ t.me
https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscription
https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscription

https://www.cloudquery.io/blog/how-we-handle-billion-row-clickhouse-inserts-with-uuid-range-bucketingОчередная приятно-читаемая маготка про Clickhouse6 billion rows synced per monthData from 2,500 cloud accounts (1,900 AWS accounts + 600 Azure subscriptions)Configuration from 800+ Kubernetes clusters managing around 400,000 pods6-7 million rows of real-time data at any given moment4 TB of new data ingested monthly@ohmydataengineer - канал "🕯Труба Данных"

2 weeks, 2 days назад @ t.me
https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"
https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"

https://antirez.com/news/151Начиная с Redis 8, он снова open-source под AGPL, а не особо никем не признаваемой SSPL @ohmydataengineer - канал "🕯Труба Данных"

3 weeks, 5 days назад @ t.me
https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не с
https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не с

https://t.me/leftjoin_insider/317Вообще по пятницам я размещаю мемы, но сегодня, когда все внимание к каналу приковано, я сделаю исключение. Я не размещаю вакансии, почти не размещаю эвенты (за исключением моей любимой SmartData 👍) и курсы, но сегодня не смог отказать коллеге с острова с поиском.DE, Middle, ремоут пофиг где.Все по ссылке выше.За это злостное нарушение принципов я, возможно, получу, худи 😁

4 weeks, 1 day назад @ t.me
https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"
https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"

https://www.getorchestra.io/Очередной, cloud-based, не open-source, убийца Airflow. Ну или в данном случае - Dagster 🤪 @ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"
https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"

https://www.change-data-capture.comЕсли вам не удалось еще потрогать CDC, то вот отличная и наглядная песочница про то, как это работает. @ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - кана
https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - кана

https://github.com/apache/iceberg/releasesApache Iceberg 1.9 релиз!- Native Geospatial Data Support- Enhanced Row Lineage with Equality Deletes- Deprecations and End of Support for Spark 3.3 and Hadoop 2.0и еще по мелочи всякое... @ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных so
https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных so

https://dlthub.comКстати, у Airbyte появился интересный конкурент - dtl (звучит почти что dbt)Концепция такая-же, только чуть больше кода в декларативном формате, чем в Airbyte.Кажется, что open-source версии хватит чтобы закрыть бОльшую часть возможных source & destinations @ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"
subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"

subprocess.run Маленькая, практичная шутка: кто-то купил домен subprocess.run и сделал редирект на документацию Питона по этому методу. Видимо, очень заколебался 🤪@ohmydataengineer - канал "🕯Труба Данных"

1 month назад @ t.me
https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"
https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"

https://github.com/duckdb/duckdb-encodingsЕсли вы вдруг используете DuckDB, то с v1.3 можно будет прочитать CSV в более чем 1000 кодировках. @ohmydataengineer - канал "🕯Труба Данных"

1 month, 1 week назад @ t.me
https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹
https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹

https://github.com/apache/airflow/releases/tag/3.0.0Приехало 🥹

1 month, 1 week назад @ t.me
https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @oh
https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @oh

https://www.seangoedecke.com/ai-security/Достаточно небольшая, но циничная статья про то, как "безопасно" вайб-кодить. Ведь это уже далеко не просто общение с чатиком, а агентские модели и deep search и всякие supply-chain attacks вполне себе возможны. @ohmydataengineer - канал "🕯Труба Данных"

1 month, 1 week назад @ t.me
enthusiastech enthusiastech
последний пост None
data будни data будни
последний пост 3 months, 1 week назад
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит
🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит 🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналит

🤑 yet another zarplatyклассный пример коллаборации: Саша Варламов собрал парсер и визуализациюhttps://t.me/data_bar/60а Никита это дело автоматизировал https://t.me/joni_in_web/21в результате получаем работающий проект и возможность посмотреть живую аналитику зарплат — на скрин вынес кусочек деша с фильтром по аналитике.что мне нравится в подобных проектах: 1. проактивность — сам придумал, сам спроектировал, сам затащил, сам отчитался в блог 2. коллаборация — организоваться вдвоём гораздо сложнее, чем сделать одному, но эффект может быть круче 3. полезность, направленная наружу: когда решал свою задачу, а польза — всемв общем, смотрите деш и ставьте лайки Саше с Никитой)

3 months, 1 week назад @ t.me
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела
🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сдела

🦆 прилетят орлы и поднимут продкогда в работе встречаю какую-то проблему, то первым делом хочется написать в командный чатик, типа «ребята, там на дисках место заканчивается» со стороны это читается как «там на дисках место заканчивается … кто-нибудь сделайте что-нибудь!»получается, что я привлекаю внимание всех коллег к проблеме и тогда один из коллег (кстати, кто?) должен оторваться от своего текущего контекста и пойти расследовать эту проблему, потратить своё время и внимание, и найти причину и потенциальное решениено если я уже видел проблему, почему бы самому не посмотреть глубже, потратить какое-то время на расследование и прикинуть варианты решений. и в результате прийти в чатик уже …

3 months, 1 week назад @ t.me
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов
2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов

2/2в общем, много чего для нужд аналитики в удб уже есть, но чего там нет — надо додумывать самому)из озвученного — нет поддержки триггеров и хранимых процедур. плюс конечно как у любого нового инструмента нет такого богатого набора аддонов и инструментов как у того же постгреса, то же относиться и к коммьюнити.плюс в документации есть отдельная сноска чего пока нет в колоночных таблицах> В настоящий момент реализована не вся функциональность колоночных таблицhttps://ясубд.рф/docs/ru/concepts/datamodel/table.html#column-oriented-tables(надеюсь, документация просто чуток отстаёт от новых фич)⌘⌘⌘в теории звучит хорошо — один инструмент лучше, чем пять разных (при прочих равных)если задачи пос…

3 months, 1 week назад @ t.me
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн
📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущн

📦 YDB + OLAP = ?ydb — это отлп-база данных от Яндекса. основная характеристика — нативная распределённость с поддержкой транзакции. из свойства распределённости следует высокая доступность и гибкая масштабируемость. помимо олтп-базы там есть ещё такая сущность как топики, с кафка-совместимым апи.и вот недавно ребята объявили, что ещё они идут в сторону олап-нагрузки. собирая эдакую всё-в-одном базу: с одной стороны у вас сервисы, с другой аналитика, а между ними нативный сдс-процесс, прямо не выходя из контура бд. https://yandex.cloud/ru/blog/posts/2024/12/ydb-dwh⌘⌘⌘интересно посмотреть со стороны аналитики и нашего двх-мира.→ очереди настраиваются через SQL-команды (кажется, в кликхаусе мо…

3 months, 1 week назад @ t.me
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на
🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно на

🗿 подкасты про карьеру специально для постоянной читательницы этого блога — Натальи — ни к чему не обязывающая подборка подкастов на тему карьеры, её смены и всякого такого >_>подкасты хороши тем, что можно слушать на фоне, удобно чтобы ненапряжно набраться чужого опыта. пока остальные процессы ещё только готовятся или обдумываются⌘⌘⌘первым делом, конечно, стоит упомянуть про подкаст «собес» — в последнем сезоне они делают эпизоды в формате мок-собесов. это когда реальный рекрутер под реальную вакансию собесит кандидата прямо в эфире, а потом дают обратную связь и говорят что можно подкрутить. на своём опыте ощутил, что полезно послушать со стороны как звучит все эти привычные фразы и что и…

3 months, 2 weeks назад @ t.me
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п
так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в п

так! пора поговорить о действительно важных вещах, о которых почему-то все молчат — об оптимизации процесса загрузки посудомоечной машинычто же там оптимизировать, спросите вы? сейчас расскажу: ⁃ есть куча грязной посуды в раковине ⁃ надо её загрузить в посудомойку ⁃ чтобы всё влезло ⁃ и чтобы всё промылосьвот мы всё загрузили, оно помылось, настал финальный этап — разгрузка посуды и её раскладка по своим местам в ящиках и шкафах. и вот тут всплывает ещё одно — неявное — требование к процессу: упорядочивание. ведь (когда они не в мойке и не в раковине) вилки живут с вилками, ложки — с ложками; глубокие тарелки с одной стороны, отдельно от плоских. у кастрюль и плошек тоже есть свои места.и …

3 months, 3 weeks назад @ t.me
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал
🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимал

🏦 новый_план(2)_finalв 2021 у меня был план, который потом пришлось спешно править и вот спустя всего год снова пришлось пере-пере-придумывать план.в шведской Кларне нотис-период был два месяца, было время подумать-подготовиться. исходный план был максимальной широкий: «посмотреть всех» — включая иностранные компании.сперва готовился, искал зарубежом (чтобы работать из рф), но в итоге сузил поиск до стандартного варианта — находиться в Москве и работать на местную компанию.конечно, сразу в голове был вариант с Яндексом — благо для бывших сотрудников есть опция фаст-трека, и (ожидаемо) некоторое количество людей, готовых поработать вместе или же посоветовать таких.но я решил воспользоваться …

3 months, 4 weeks назад @ t.me
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да
😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: да

😭 как я не прошёл «собес» в ABBYсходил на подкаст к Кире Кузьменко, поговорили в формате мок-интервьюhttps://t.me/kirafound/1861ещё год назад я бы точно не рискнул публично собеситься — да ну его! но в последнее время стал спокойнее ко всему относиться: даже «отказ» это тоже новый опыт. тем более в этом случае была полезная обратная связь от Киры и Татьяны.было интересно поговорить и ещё более интересно узнать «как надо».→ главный вывод, который я для себя сделал — надо готовиться к собесам (ваш кэп!) и хотя бы гуглить непонятные слова из вакансии. по своим другим вакансиям я обычно знал ключевые технологии и их особенности, но конкретная эта вакансия была чуть в стороне: про обработку данн…

6 months, 2 weeks назад @ t.me
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос
⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не ос

⚖️ собесы: дисбаланс за столомбывало на собесе сижу-пыхчу над задачкой, отбрасывая варианты один за другим, в итоге в муках порождаешь вроде-ничего-такое решение… только для того, чтобы интервьюер на той стороне нашёл там несколько критичных багов, и не особо запариваясь при этом. в такие моменты я чувствовал себя совсем тупым. ну или как минимум тупее интервьюера (а значит, тупее среднего сотрудника целевой компании!) 🤦‍♂️и хотя интервьюер действительно может быть умнее собеседуемого, в конечном итоге в этом вся идея: лиды собесят к себе в команду, синьоры собесят миддлов и т.д.; всё-таки не стоит забывать что человек на той стороне скорее всего проводит не первый собес, а значит уже набил…

6 months, 3 weeks назад @ t.me
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н
🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(н

🦖 как вытаскивали динозавра в опенсорскаджый яндексоид знаком с «ытём» — система хранения данных с sql-подобным доступом. я бы сказал, что YT находится в центре всех процессов яндекса, которые завязаны на анализ данных (это получается, практически всех?)(недавно осознал, насколько это внушительный буст для команды, когда у тебя по дефолту уже есть данные в нужном месте и доступная инфра, чтобы быстро начать ими пользоваться)а с не давних пор, посмотреть на этого дивного зверя могут все желающие — теперь YTsaurus доступен в опенсорс. ↓ доклад с прошлогоднего хайлоада с отчётом и рефлексией команды по итогам первой фазы этого эпического движа (да-да, с офф. релизом работа только началась))⌘ о…

7 months назад @ t.me
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в
🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в

🤑 как я искал валютную удалёнкукогда я понял (ещё будучи в Стокгольме), что где-то осенью уже точно буду менять работу, я начал прикидывать варианты.на тот момент (и с той стороны границы) самым выгодным казался вариант «валютной удалёнки»: когда платят в валюте европейского уровня зарплату, а я сам буду попивать смузи у себя в Москве. в уме я рисовал себе картину как буду получать на руки 5-7к долларов хе-хе-хеда, схема подразумевает, что у меня будет открыто грузинское или армянское ип, куда будут переводить оклад. насколько я понимаю налоги там что-то порядка 1% и открыть можно условно за несколько дней пребывания на месте. звучит несложно и вполне легально.⌘я начал искать вакансии, откл…

7 months назад @ t.me
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп
за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Куп

за время своей безработности я поговорил-познакомился с десятком компаний: посмотрел как там устроен процесс собесов, как общается команда на встречах, что за стэк используют и какие планы у команды.среди всех начатых процессов мне запоминалась команда Купера (они же Sbermarket до июня 2024, а ещё раньше это был Instamart)начнём с того, что это был самый быстрый процесс: обратная связь после каждой встречи буквально на следующий день и минимальный интервал между встречами. можно считать, что зачёт на отсутствие бюрократии получен «автоматом».сам процесс был тоже без лишних этапов — быстрый скрининг и две секции: поговорить по душам за технику и потом за твой опыт и мотивациюв целом осталось…

7 months назад @ t.me
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и
🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и

🤓 подгтовка к собесам: список техвопросов в мой прошлый заход по поиску работы я исходил из довольно наивного подхода: вот я такой красивый работу работаю, по пути что-то узнаю новое, вот это и буду отвечать на собесах! если чего-то не знаю, то так тому и быть; типа за два часа не стану профи во всех вопросах.в итоге на интервью на вопрос «какую базу выберешь под задачу» отвечал «хехехе, постгрес!». и хотя по всё нарастающей универсальности последнего ещё можно было бы дожать ответ, если бы я был наглее и увереннее; но по факту интервьюеры прекрасно понимали по ответу, что других баз я просто не в курсе.в этот раз я решил подготовиться заранее: сделать список потенциальных тем, которые обыч…

7 months назад @ t.me
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс
👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? вс

👋 Саша Михайлов, безработныйпочти год назад я писал, как устроился в шведский финтех Klarna и уехал жить в Стокгольм. Раз уж написал начало истории, напишу и её окончание 😭что же случилось? не прошел перфоманс ревью? очередные лейоффы? Кларна закрылась? всё гораздо проще: семья не прижилась в новой стране и мы решили вернуться назадне зря говорят, что основная сложность при эмиграции приходится именно на плюсодинов. В отличие от супруги, у меня был и клёвый офис, куда можно было ходить, и живые люди с кем можно было пообщаться за жизнь; поэтому мне было гораздо проще адаптироваться и в целом я чувствовал себя на своём месте.в итоге семья уехала «на лето к бабушкам на родину», откуда потом р…

7 months, 2 weeks назад @ t.me
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →
🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник →

🥴 Reverse ETL — антипаттерн или норм?у меня тут недавно наконец-то сложилась картинка в голове! до этого краем уха слышал этот новый термин, но никак не мог переложить его на реальность. А потом увидел схемку где помимо стандартного направления источник → двхбыла дополнительная стрелочка:источник → двх → (обратно) источник в итоге понял, что видел уже два таких кейса и пока ощущения смешанные:1) считать бонусы определённому срезу сотрудников. был кейс когда ставка зависит от количества и статуса лидов например (или других штук, которые можно посчитать только в двх)2) сейчас есть задача передавать данные между микросервисами (разные команды): микросервис А производит данные, их сгружаем в ДВ…

9 months, 3 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост None
Data Brew by Databricks
последний пост 1 month, 1 week назад
Benchmarking Domain Intelligence | |E45
Benchmarking Domain Intelligence | |E45 Benchmarking Domain Intelligence | |E45

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks. Highlights include: - Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI. - An introduction to the Databricks Intelligence Benchmarking Suite (DIBS). - Evaluating models on...

1 month, 1 week назад @ buzzsprout.com
SWE-bench & SWE-agent | |E44
SWE-bench & SWE-agent | |E44 SWE-bench & SWE-agent | |E44

In this episode, Kilian Lieret, Research Software Engineer, and Carlos Jimenez, Computer Science PhD Candidate at Princeton University, discuss SWE-bench and SWE-agent, two groundbreaking tools for evaluating and enhancing AI in software engineering. Highlights include: - SWE-bench: A benchmark for assessing AI models on real-world coding tasks. - Addressing data leakage concerns in GitHub-sourced benchmarks. - SWE-agent: An AI-driven system for navigating and solving coding challenges. - Ov...

1 month, 2 weeks назад @ buzzsprout.com
Enterprise AI: Research to Product | |E43
Enterprise AI: Research to Product | |E43 Enterprise AI: Research to Product | |E43

In this episode, Dipendra Kumar, Staff Research Scientist, and Alnur Ali, Staff Software Engineer at Databricks, discuss the challenges of applying AI in enterprise environments and the tools being developed to bridge the gap between research and real-world deployment. Highlights include: - The challenges of real-world AI—messy data, security, and scalability. - Why enterprises need high-accuracy, fine-tuned models over generic AI APIs. - How QuickFix learns from user edits to improve AI-dri...

1 month, 3 weeks назад @ buzzsprout.com
Multimodal AI | |E42
Multimodal AI | |E42 Multimodal AI | |E42

In this episode, Chang She, CEO and Co-founder of LanceDB, discusses the challenges of handling multimodal data and how LanceDB provides a cutting-edge solution. He shares his journey from contributing to Pandas to building a database optimized for images, video, vectors, and subtitles. Highlights include: - The limitations of traditional storage systems like Parquet for multimodal AI. - How LanceDB enables efficient querying and processing of diverse data types. - The growing importance of ...

1 month, 3 weeks назад @ buzzsprout.com
Age of Agents | |E41
Age of Agents | |E41 Age of Agents | |E41

In this episode, Michele Catasta, President of Replit, explores how AI-driven agents are transforming software development by making coding more accessible and automating application creation. Highlights include: - The difference between AI agents and copilots in software development. - How AI is democratizing coding, enabling non-programmers to build applications. - Challenges in AI agent development, including error handling and software quality. - The growing role of AI in entrepreneurshi...

2 months назад @ buzzsprout.com
Reward Models | |E40
Reward Models | |E40 Reward Models | |E40

In this episode, Brandon Cui, Research Scientist at MosaicML and Databricks, dives into cutting-edge advancements in AI model optimization, focusing on Reward Models and Reinforcement Learning from Human Feedback (RLHF). Highlights include: - How synthetic data and RLHF enable fine-tuning models to generate preferred outcomes. - Techniques like Policy Proximal Optimization (PPO) and Direct Preference Optimization (DPO) for enhancing response quality. - The role of reward models in improving ...

2 months, 1 week назад @ buzzsprout.com
Retrieval, rerankers, and RAG tips and tricks | |E39
Retrieval, rerankers, and RAG tips and tricks | |E39 Retrieval, rerankers, and RAG tips and tricks | |E39

In this episode, Andrew Drozdov, Research Scientist at Databricks, explores how Retrieval Augmented Generation (RAG) enhances AI models by integrating retrieval capabilities for improved response accuracy and relevance. Highlights include: - Addressing LLM limitations by injecting relevant external information. - Optimizing document chunking, embedding, and query generation for RAG. - Improving retrieval systems with embeddings and fine-tuning techniques. - Enhancing search results using re-...

3 months, 1 week назад @ buzzsprout.com
The Power of Synthetic Data | |E38
The Power of Synthetic Data | |E38 The Power of Synthetic Data | |E38

In this episode, Yev Meyer, Chief Scientist at Gretel AI, explores how synthetic data transforms AI and ML by improving data access, quality, privacy, and model training. Highlights include: - Leveraging synthetic data to overcome AI data limitations. - Enhancing model training while mitigating ethical and privacy risks. - Exploring the intersection of computational neuroscience and AI workflows. - Addressing licensing and legal considerations in synthetic data usage. - Unlocking private dat...

3 months, 3 weeks назад @ buzzsprout.com
Secret to Production AI: Tools & Infrastructure | |E37
Secret to Production AI: Tools & Infrastructure | |E37 Secret to Production AI: Tools & Infrastructure | |E37

In this episode, Julia Neagu, CEO & co-founder of Quotient AI, explores the challenges of deploying Generative AI and LLMs, focusing on model evaluation, human-in-the-loop systems, and iterative development.Highlights include:- Merging reinforcement learning and unsupervised learning for real-time AI optimization.- Reducing bias in machine learning with fairness and ethical considerations.- Lessons from large-scale AI deployments on scalability and feedback loops.- Automating workflows wi...

4 months, 1 week назад @ buzzsprout.com
Mixture of Memory Experts (MoME) | |E36
Mixture of Memory Experts (MoME) | |E36 Mixture of Memory Experts (MoME) | |E36

In this episode, Sharon Zhou, Co-Founder and CEO of Lamini AI, shares her expertise in the world of AI, focusing on fine-tuning models for improved performance and reliability.Highlights include:- The integration of determinism and probabilism for handling unstructured data and user queries effectively.- Proprietary techniques like memory tuning and robust evaluation frameworks to mitigate model inaccuracies and hallucinations.- Lessons learned from deploying AI applications, including insigh...

4 months, 3 weeks назад @ buzzsprout.com
Mixed Attention | |E34
Mixed Attention | |E34 Mixed Attention | |E34

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.Highlights include:- How RAG enhances LLM accuracy by incorporating relevant external documents.- The evolution of attention mechanisms, including mixed attention strategies.- Practical applications of Mamba architectures and their...

6 months, 1 week назад @ buzzsprout.com
Kumo AI & Relational Deep Learning | |E34
Kumo AI & Relational Deep Learning | |E34 Kumo AI & Relational Deep Learning | |E34

In this episode, Jure Leskovec, Co-founder of Kumo AI and Professor of Comuter Science at Stanford University, discusses Relational Deep Learning (RDL) and its role in automating feature engineering. Highlights include:- How RDL enhances predictive modeling.- Applications in fraud detection and recommendation systems.- The use of graph neural networks to simplify complex data structures.

7 months, 2 weeks назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 week, 1 day назад
Космос. Как стартапы вышли на орбиту
Космос. Как стартапы вышли на орбиту Космос. Как стартапы вышли на орбиту

Частные ракеты, выводящие в космос тысячи спутников, многоразовые корабли, журналисты и звезды голливуда на орбите Земли… Космическая индустрия последние десятилетия развивается так стремительно, что не за всеми ее прорывами успеваешь следить. Многие из этих достижений стали возможны благодаря частным компаниям, ворвавшимся в космическое пространство. В эпизоде разбираемся, как в космос пришло стартап-мышление и к чему это приводит.Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/rolvv?erid=2SDnjf2MjAd ***Разработка сайтов и мобильных приложений от Самата: https://…

1 week, 1 day назад @ share.transistor.fm
Роботы. Чему мы смогли их научить за последние 100 лет
Роботы. Чему мы смогли их научить за последние 100 лет Роботы. Чему мы смогли их научить за последние 100 лет

Железная рука, собирающая новое авто на конвейере; андроид, сортирующий коробки на складе; дружелюбный экран для общения и даже секс-кукла под управлением ChatGPT — все это достижения робототехники. Когда-то роботы были железными, неповоротливыми и подчинялись алгоритмам. Сегодня мы хотим сделать их гибкими, мягкими и эмпатичными. В этом выпуске наблюдаем, как эволюционировали роботы — от игрушек-автоматонов 18 века до умных машин на пути к координации, ощущениям, выражению эмоций и другим человеческим качествам. ***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Кейс с RPA-платформой и с тысячами одновременно работающих голосовых роботов: https://slc.tl/0c7d0 Selectel — база для развития любого совр…

2 weeks, 2 days назад @ share.transistor.fm
Искусственный интеллект. Могут ли машины мыслить как люди?
Искусственный интеллект. Могут ли машины мыслить как люди? Искусственный интеллект. Могут ли машины мыслить как люди?

Умение играть в шахматы, доказывать теоремы, видеть образы на картинах и самим их создавать, писать тексты и общаться на естественном языке - долгое время мы считали, что так умеет только человек благодаря интеллекту. Однако, сегодня нейросети и языковые модели тоже умеют все это, но о разумности машин речи по-прежнему не идет. Тогда что такое искусственный интеллект, если не набор умений, похожих на человеческие? В этом выпуске разбираемся, как инженеры и философы больше века пытаются создать мыслящую машину и каждый раз добиваются лишь имитации разума.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT…

3 weeks, 3 days назад @ share.transistor.fm
Электромобили. Что мешает электродвигателям изменить мир
Электромобили. Что мешает электродвигателям изменить мир Электромобили. Что мешает электродвигателям изменить мир

В начале прошлого века электроавтомобили конкурировали с бензиновыми на равных, но затем почти сошли со сцены. Все из-за врожденных проблем электродвигателя, над которыми инженеры бьются больше столетия. В этом выпуске разбираемся, какой путь прошли электроавто, как это связано с прогрессом технологии аккумуляторов, какую революцию совершила корпорация Tesla и почему даже ей не удалось посадить нас всех на электрические автомобили.***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/y9vpu?erid=2SDnjeZjvkd***Слушайте бонусные эпизоды «Запуска завтра» и других подкаст…

1 month, 1 week назад @ share.transistor.fm
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников
Криптовалюта. Можно ли построить финансовую систему без доверия и посредников

Что если деньги — это не только бумага и цифры, а прежде всего доверие? А если доверие можно зашить в код — зачем нам тогда банки и государства? Этот выпуск — история о том, как кризис 2008 года дал толчок поиску альтернативных денег, а вместе с ним — целой идеологии децентрализации финансовой системы. Мы проследим путь криптовалют от идей энтузиастов до мировых финансовых рынков и попробуем понять: действительно ли перед нами — будущее денег, или всего лишь неудачный эксперимент?***Реклама. АО «СЕЛЕКТЕЛ» ИНН 7810962785,Selectel — база для развития любого современного бизнеса. Создавайте и масштабируйте проекты на IT-инфраструктуре Selectel: https://slc.tl/c0uf3?erid=2SDnjdWbmPz ***Новый ку…

1 month, 2 weeks назад @ share.transistor.fm
Заменит ли ИИ программистов?
Заменит ли ИИ программистов?

Самат Галимов и Егор Хмелев — два технических директора. У них в компаниях работают десятки людей, чья основная работа — писать код. При этом многие адепты ИИ убеждены, что совсем скоро с этой задачей будет лучше справляться машина. В этом эпизоде Самат и Егор обсуждают, как применять ИИ в работе и не облажаться, что такое «вайб-кодинг» и каким они видят будущее профессии программиста.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdkRA4cКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Никакого правильно»: https://pc.st/1488479498Эпизод про микробиом: https://pc.st/e/6U9su2556…

2 months назад @ share.transistor.fm
Власть над вниманием. Как нами управляют в цифровой среде
Власть над вниманием. Как нами управляют в цифровой среде

Почему так сложно перестать листать шортсы? Соцсети и сервисы управляют вниманием пользователей и таким образом удерживают их на платформах. За счет чего это получается? Самат Галимов говорит о закономерностях работы психики и разбирает примеры из пользовательского опыта с Еленой Горбуновой — исследовательницей цифровых интерфейсов.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdjAFoSКонтур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkМатериалы, которые мы упоминали в эпизоде: Телеграм-канал HSE UX LAB: https://t.me/hse_ux_lab Видео с невидимой гориллой: https://clck.ru/3Hunwr Подкаст «С…

2 months, 1 week назад @ share.transistor.fm
Наши устройства способны на большее? Говорим о программных ограничениях
Наши устройства способны на большее? Говорим о программных ограничениях

Функции одного и того же устройства меняются в зависимости от того, в каких условиях его используют. Так происходит из-за программных ограничений. Откуда они берутся? На что распространяются? И как пользователям не позволить себя обмануть? Самат Галимов разбирается в этих вопросах вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8 Контур — эко-система продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Почему мы еще живы»: https://pc.st/1568720773Слушайте бонусные эпизоды «Запуск++», а еще другие бонусы студии «Либо/Либо» по подписке ЛибоЛибо+ в Apple…

2 months, 2 weeks назад @ share.transistor.fm
Интероперабельность. Как подружить сервисы между собой
Интероперабельность. Как подружить сервисы между собой

Устройства и программы, которыми мы пользуемся, умеют намного больше, чем мы можем себе представить. В США и других странах активисты борются за то, чтобы технологии были более совместимыми, а производители давали покупателям больше свободы решать, как пользоваться их продуктами. Почему это важно и какие крутые возможности появятся в интероперабельном будущем? Обсуждаем с активистом в сфере цифровых прав Кори Доктороу. 6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjdDJ444Контур — экосистема продуктов для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Полная версию разговора на английском языке доступна по подписке. …

2 months, 3 weeks назад @ share.transistor.fm
Как россияне остались без YouTube
Как россияне остались без YouTube

Еще несколько месяцев назад YouTube смотрели около 100 миллионов россиян. В июле пользователи начали жаловаться на медленную загрузку видео, сейчас их вообще не получается запустить. Как блокировка такого популярного сервиса стала возможна? И что значил YouTube для россиян? Самат Галимов говорит с исследовательницей интернета Полиной Колозариди и одним из ведущих специалистов по блокировкам в рунете Филиппом Кулиным.Сайт проекта «Эшер II»: https://usher2.club/ Телеграм-канал «Эшер II A+»: https://t.me/usher2«Эшер II». Рассказ из книги Рея Брэдбери «Марсианские хроники»: https://usher2.club/usher2 Ссылка на бесплатный VPN-сервис: https://vpngen.org/ Подкаст «Закат империи»: https://pc.st/149…

3 months назад @ share.transistor.fm
GDPR. Как устроена защита персональных данных
GDPR. Как устроена защита персональных данных

GDPR — это регламент Евросоюза о персональных данных, изменивший цифровое пространство во всем мире. Из-за него компании могут собирать данные о пользователях только по определенному алгоритму, а люди — влиять на то, какой информацией делятся. По каким правилам собирают наши данные? Кто их придумал? И как обезопасить себя? Самат Галимов говорит с Сергеем Сайгановым — сооснователем юридической фирмы Comply.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjchXZZvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПоддержите студию подкастов «Либо/Либо», которая выпускает этот …

3 months, 1 week назад @ share.transistor.fm
Как работает спутниковый интернет
Как работает спутниковый интернет

Спутники в космосе надежнее, чем кабели на дне океана? Можно ли заблокировать спутниковый интернет? Как Starlink вырвался вперед на рынке? В этом эпизоде разбираемся, как устроен и как регулируется спутниковый интернет. Гости эпизода — киберадвокат и основатель общественной организации «Роскомсвобода» Саркис Дарбинян и популяризатор космонавтики Виталий Егоров.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeLHht8Контур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkБлог Виталия: https://www.youtube.com/@egorovkot Подкаст «На каком основании»: https://pc.st/1735291623Выпуск …

3 months, 2 weeks назад @ share.transistor.fm
Что означает появление DeepSeek
Что означает появление DeepSeek

На рынке искусственного интеллекта появился новый игрок. Китайская нейросеть DeepSeek сравнима по качеству с моделями OpenAI, Anthropic и Google, но на ее разработку потратили в десятки раз меньше. Вместе с Артемом Родичевым из стартапа Ex-Human разбираемся, как у DeepSeek это получилось, что это значит для лидеров индустрии и как отразится на обычных пользователях.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeQu4bvКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkСсылка на курс студии «Либо/Либо» по подкастам: https://course.libolibo.me/ Выпуск с участием Артема про …

3 months, 3 weeks назад @ share.transistor.fm
Как приложения оказываются на наших устройствах
Как приложения оказываются на наших устройствах

Купить телефон с хорошим дизайном или возможностью скачать приложение банка? Это выбор, перед которым оказываются пользователи и у которого нет технических причин. Как приложения попадают в AppStore? Что свободнее: телефоны или компьютеры? И кто решает, как пользователям распоряжаться своими устройствами? Самат Галимов ищет ответы вместе с редакторкой подкаста Машей Агличевой.6+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjbt4aGLКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jkПодкаст «Это непросто»: https://pc.st/1437512522 Выпуск «Это непросто» про лимонады lapochka: …

4 months назад @ share.transistor.fm
Почему Telegram стал центром цифровой жизни
Почему Telegram стал центром цифровой жизни

Продуктовые решения больших площадок влияют на то, как мы общаемся с близкими, взаимодействуем с контентом и сами его создаем. Телеграм — уникальный продукт, в котором все такие решения принимаются одним человеком. Что в нем сделано иначе и как от этого меняется пользовательский опыт? Разбираемся вместе с Йованом Савовичем, создателем Лепрозория и dirty.ru.16+. Реклама. АО «ПФ «СКБ Контур». ОГРН 1026605606620. 620144, Екатеринбург, ул. Народной Воли, 19А. erid: 2SDnjeWaYMAКонтур — IT-разработчик продуктовой экосистемы для бизнеса. О работе в компании: https://kontur.ru/s/a2os66jk Ссылка на прошлый эпизод с Йованом: https://pc.st/e/28UiJE1hweX Слушайте бонусные эпизоды «Запуск++», а еще друг…

4 months, 1 week назад @ share.transistor.fm
Moscow Python Podcast Moscow Python Podcast
последний пост 2 weeks, 3 days назад
Day Special: dependency injection в Python
Day Special: dependency injection в Python

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Никита Соболев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

2 weeks, 3 days назад @ learnpython.podbean.com
Day Special: асинхронность
Day Special: асинхронность

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Никита Соболев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

3 weeks, 3 days назад @ learnpython.podbean.com
Новости мира Python за апрель 2025
Новости мира Python за апрель 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: В Python закончили затаскивать криптографию из HACL* — https://jonathan.protzenko.fr/2025/04/18/python.html

Релиз Pydantic v2.11 — https://pydantic.dev/articles/pydantic-v2-11-release

Dependency groups и экспериментальная поддержка pylock.toml в pip — https://ichard26.github.io/blog/2025/04/whats-new-in-pip-25.1/ Приняли PEP 768 – Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

Приняли PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Отклонили PEP 736 – Shorthand syntax for keyword arguments at invocation — https://peps.pyt…

4 weeks назад @ learnpython.podbean.com
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом
Day Special: типизация в Python или mypy, Any и дженерики под микроскопом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Денис Аникин Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 month назад @ learnpython.podbean.com
Day Special: строки в Python или магия под капотом
Day Special: строки в Python или магия под капотом

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm

Ведущие – Григорий Петров и Михаил Корнеев

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

Канал Moscow Python в VK — https://vk.com/moscowpythonconf

1 month, 1 week назад @ learnpython.podbean.com
Новости мира Python за март 2025
Новости мира Python за март 2025

Python Day на Positive Hack Days 2025 — https://clck.ru/3KW4fm Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Django 5.2 — https://docs.djangoproject.com/en/5.2/releases/5.2/ PEP 751, стандарт lock-файлов в Python — https://peps.python.org/pep-0751/ Генерации UUIDv7 включена в стандартную библиотеку Python — https://habr.com/ru/news/887958/ Here’s how I use LLMs to help me write code — https://simonwillison.net/2025/Mar/11/using-llms-for-code/ PEP 779: Criteria for supported status for free-threaded Python — https://peps.python.org/pep-0779/ и https://discuss.python.org/t/pep-779-criteria-for-supported-status-for-free-threaded-python/84319 Setuptools 78.0.1 breaks the internet …

1 month, 3 weeks назад @ learnpython.podbean.com
Для чего пишут на Python в Meta
Для чего пишут на Python в Meta

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/ Канал Moscow Python в VK — https://vk.com/moscowpythonconf

2 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за февраль 2025
Новости мира Python за февраль 2025

https://python-day.python.ru — CFP Python Day

Ведущие – Григорий Петров и Михаил Корнеев

Новости выпуска: Первая бета LTS-релиза Django 5.2 - https://docs.djangoproject.com/en/dev/releases/5.2/ PEP 772 – Packaging governance process https://peps.python.org/pep-0772/ Official Django MongoDB Backend Public Preview - https://www.mongodb.com/blog/post/mongodb-django-backend-now-available-public-preview Poetry — https://python-poetry.org/blog/announcing-poetry-2.0.0/ Проекты на PyPI теперь можно помечать как архивные https://blog.pypi.org/posts/2025-01-30-archival/

Отклонили PEP 2026 – Calendar versioning for Python - https://peps.python.org/pep-2026/

Developer philosophy — https://qntm.org/devp…

2 months, 3 weeks назад @ learnpython.podbean.com
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику
Заменит ли AI разработчиков / ждет ли нас AGI / зачем агентские системы разработчику

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 CFP Python Day — https://python-day.python.ru Ведущие – Григорий Петров и Михаил Корнеев Ссылки от Александра Храмогина:

RAG — https://github.com/langgenius/dify - https://dify.ai/ База по промтингу — https://learnprompting.org/docs/introduction Релевантный Roadmap — https://roadmap.sh/ai-engineer Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — htt…

3 months, 1 week назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9 Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Safe external debugger interface for CPython — https://peps.python.org/pep-0768/

результат опроса Facebook об аннотациях типов в Python — https://engineering.fb.com/2024/12/09...

возможность указывать SBOM-файлы в pyproject.toml — https://peps.python.org/pep-0770/

Сравнение Django и FastAPI — https://www.david-dahan.com/blog/comp...

предложение по добавлению выравнивания в PEP 8 — https://discuss.python.org/t/pep-8-mo... Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_pyt…

3 months, 3 weeks назад @ learnpython.podbean.com
Итоги года мира Python 2024
Итоги года мира Python 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Обсудили в выпуске: Релиз Python 3.13 Top Python Libraries 2024 — https://tryolabs.com/blog/top-python-libraries-2024 Фичи для обеспечения безопасности PyPI (обязательный 2FA, trusted publishers) Релиз нового менеджера пакетов UV Завершение поддержки Python 3.8 Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced

Канал Миши в Telegram — https://t.me/tricky_python

Канал Moscow Python в Telegram — https://t.me/moscow_python

Все выпуски — https://podcast.python.ru

Митапы Moscow Python — https://moscowpython.ru

4 months, 4 weeks назад @ learnpython.podbean.com
Новости Python за ноябрь 2024
Новости Python за ноябрь 2024

Предварительная запись на офлайн-курс Learn Python в Москве — https://forms.gle/wE7Lit97U9Q2q3oT9

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска Python сместил Javascript с первого места по используемости — https://github.blog/news-insights/octoverse/octoverse-2024/ PEP 750 – Template Strings — https://peps.python.org/pep-0750/ Эксперементальная поддержка partial validation в Pydantic 2.10 — https://pydantic.dev/articles/pydantic-v2-10-release#support-for-partial-validation-with-experimental_allow_partial PyPI теперь поддерживает цифровую сертификацию — https://blog.pypi…

5 months, 2 weeks назад @ learnpython.podbean.com
Как из Python, Open source и такой-то матери построить бизнес
Как из Python, Open source и такой-то матери построить бизнес

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска: Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru Канал Moscow Python на Rutube — https://rutube.ru/channel/45885590/

6 months, 1 week назад @ learnpython.podbean.com
3.13 и другие новости за октябрь 2024
3.13 и другие новости за октябрь 2024

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска:

Python 3.13 — https://pythoninsider.blogspot.com/2024/10/python-3130-final-released.html Jacob Kaplan-Moss рассказал о финансах Django Software Foundation — https://jacobian.org/2024/oct/8/dsf-one-million/ PEP 735 — https://peps.python.org/pep-0735/ PEP 758 — https://peps.python.org/pep-0758/ PEP 761 — https://peps.python.org/pep-0761/ PEP 760 — https://peps.python.org/pep-0760/ Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/advanced Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Teleg…

7 months назад @ learnpython.podbean.com
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv
Релиз 3.13 и когда перестать использовать 3.8 / Python Developers Survey 2023 / Дискуссия про uv

Спонсор подкаста: курсы по Python-разработке для тех, кто уже знаком с веб-разработкой — https://vk.cc/cADwoW Ведущие – Никита Соболев и Михаил Корнеев

Новости выпуска: Релиз 3.13 перенесли на 7-е октября — https://discuss.python.org/t/incremental-gc-and-pushing-back-the-3-13-0-release/65285 Время перестать использовать 3.8 — https://pythonspeed.com/articles/stop-using-python-3.8/ Когда пора апргрейдиться до 3.13 — https://pythonspeed.com/articles/upgrade-python-3.13/ Python Developers Survey 2023 — https://lp.jetbrains.com/python-developers-survey-2023/ Большая дискуссия про uv в хвиторе — https://simonwillison.net/2024/Sep/8/uv-under-discussion-on-mastodon/ Каналы Никиты Соболева: https:/…

7 months, 3 weeks назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 4 days, 15 hours назад
Podlodka #426 – Мнемотехника: запомнить всё
Podlodka #426 – Мнемотехника: запомнить всё Podlodka #426 – Мнемотехника: запомнить всё

Почему мозг так упрямо забывает важное, но помнит строчки из рекламы 2007 года? Что вообще такое память и можно ли натренировать её так, чтобы не забывать ни имён, ни паролей, ни зачем пришёл на кухню? Разбираемся, как устроено запоминание, почему эмоции и внимание — это топливо для памяти, и как мнемотехника превращает мозг в суперхранилище. Вспоминаем истории чемпионатов по запоминанию, смотрим, что говорит нейронаука, и обсуждаем, как связаны насмотренность, креатив и способность держать в голове абстрактные концепции. Байки, наука, техники — всё как мы любим! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: htt…

4 days, 15 hours назад @ soundcloud.com
Podlodka #425 – Языки программирования будущего
Podlodka #425 – Языки программирования будущего Podlodka #425 – Языки программирования будущего

Кто-то говорит, что нынешний бум AI – это просто хайп. А кто-то видит в нем смену парадигмы разработки. А что, если вместо написания кода разработчики будут описывать бизнес-логику и требования, а ИИ будет трансформировать все это в код? Как это могло бы работать – обсуждаем с Андреем Бреславом на примере его нынешнего проекта! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Проект Андрея https://codespeak.dev

1 week, 5 days назад @ soundcloud.com
Podlodka #424 – Нейроинтерфейсы
Podlodka #424 – Нейроинтерфейсы Podlodka #424 – Нейроинтерфейсы

Нейроинтерфейсы — это всё ещё про научную фантастику или уже про реальность? Можно ли играть в WoW силой мысли? А киборги — они уже среди нас? Neuralink и Илон Маск — это хайповый маркетинг или реально будущее индустрии?

Чтобы разобраться, нужно сначала хотя бы немного понять, как работает мозг, а потом посмотреть, на что способны нейроинтерфейсы — инвазивные, неинвазивные и полуинвазивные. В чем их ограничения, в чём потенциал, и что уже умеет наука и индустрия.

Всё это (+ байки, куда же без них!) обсуждаем в выпуске вместе с нейроучёным и кандидатом психологических наук Ильёй Захаровым. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/po…

2 weeks, 3 days назад @ soundcloud.com
Podlodka #423 – Groovy
Podlodka #423 – Groovy Podlodka #423 – Groovy

Продолжаем наше погружение в экосистему JVM и пополняем коллекцию языковых выпусков — на этот раз вместе с Барухом Садогурским обсуждаем Groovy!

Что делает Groovy по-настоящему groovy 🕺🏼 ? Какие фишки помогали ему претендовать на звание более веселой и дружелюбной альтернативы Java? В каких нишах язык в итоге закрепился — и почему это DSL? Правда ли, что если бы не Kotlin, всё могло бы сложиться совсем иначе? Детальный разбор языка, весёлые байки и щепоточка конспирологии — включайте новый выпуск! Ждем тебя 26-го мая на Java Podlodka Crew. Тема конференции "Java и производительность". По промокоду GROOVY будет приятная скидка. Не пропусти сезон! Забирай билет: https://podlodka.io/javacrew Т…

3 weeks, 5 days назад @ soundcloud.com
Podlodka #422 – Spring Framework
Podlodka #422 – Spring Framework Podlodka #422 – Spring Framework

Обсуждаем самый знаменитый фреймворк из мира Java – Spring Framework. Что у него под капотом, почему он такой, какой он есть, и что ждет его в мире победивших LLM – разбираемся вместе с Евгением Борисовым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: ТГ-канал гостя t.me/borisovtrainings

1 month назад @ soundcloud.com
Podlodka #421 – Прогнозирование погоды
Podlodka #421 – Прогнозирование погоды Podlodka #421 – Прогнозирование погоды

За последнее десятилетие технологии сделали огромный скачок вперед: в наши карманах лежат вычислительные устройства невероятной мощи, а искусственный интеллект вот-вот перешагнет порог AGI. Но при всем при этом получить надежный прогноз погоды на месяц вперед – задача где-то за гранью реальности. Чтобы разобраться, почему погода – это настолько сложно, мы позвали Александра Ганьшина, руководителя Яндекс Погоды, который рассказал кучу интересного про историю развития методов прогнозирования, state of the art пайплайны сбора и обработки данных, и даже про то, как на данных о погоде строить бизнес. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://…

1 month, 1 week назад @ soundcloud.com
Podlodka #420 – Crystal
Podlodka #420 – Crystal Podlodka #420 – Crystal

Все языки программирования вдохновляются друг другом, но иногда эволюцию конкретных идей между языками отследить довольно сложно. Crystal – уникальный случай. Его авторы одновременно невероятно сильно любили синтаксис Ruby и компилируемые языки со статической типизацией. В итоге у них получился очень душевный язык, на котором можно выразительно описывать как высокоуровневую бизнес-логику, так и требовательный к производительности низкоуровневый код. Сергей Кузнецов - разработчик дебаггера для Crystal, поделился своей большой любовью к языку и рассказал много интересного про то, как он устроен. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #419 – Готовим красиво между митингами
Podlodka #419 – Готовим красиво между митингами Podlodka #419 – Готовим красиво между митингами

В этом выпуске С Тоней Поповой говорим о том, как подружиться с едой и сделать готовку частью повседневной жизни: не изматывающей, а вдохновляющей. Обсуждаем что такое “лего-подход” к готовке, и как один кусок тыквы превращается в три разных блюда; как сделать еду красивой, не используя трюфели и золото; как собрать удобную и рабочую кладовую, которая сэкономит деньги, время и нервные клетки; почему планеры питания не работают и как сделать, чтобы заработали; какой минимум посуды нужен, чтобы вы не бросили готовить через неделю. Этот выпуск для всех, кто хочет начать готовить вкусно, красиво и просто и готовить чаще, но тратить на это меньше сил. Также ждем вас, ваши лайки, репосты и коммен…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #418 – Профессия: системный аналитик
Podlodka #418 – Профессия: системный аналитик Podlodka #418 – Профессия: системный аналитик

Системный аналитик — тот самый невидимый связующий элемент между бизнесом и технологиями. В новом выпуске вместе с Ольгой Пономарёвой, основательницей онлайн-школы по системному анализу, разбираемся, чем эта роль отличается от бизнес-аналитики, как распределяются зоны ответственности между продактами, системными аналитиками и архитекторами, и какие конфигурации команд самые эффективные. Обсуждаем, что ждёт системных аналитиков в эпоху AI, куда можно расти дальше и как понять, что эта сфера — твоя и как вкатиться в айти через системный анализ. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanew…

2 months назад @ soundcloud.com
Podlodka #417 – Swift
Podlodka #417 – Swift Podlodka #417 – Swift

Большинство из вас знает Swift как нишевый язык для iOS разработки. Но на самом деле – это очень круто задизайненный язык программирования общего назначения, который по многим параметрам выигрывает у C++ или Rust. Swift избегает крайностей и находит качественный баланс, оставаясь консервативным там, где это нужно, и при этом привнося много новых идей. Про историю развития, ключевые фичи и необычные технические концепции в языке нам рассказал Глеб Лукьянец. Партнер эпизода — экосистема для бизнеса Контур. Каждая третья компания в России пользуется их продуктами. 2500+ разработчиков развивают сервисы и инфраструктурные решения на C# под .NET, Python, Java, Go. Все iOS-приложения написаны на S…

2 months, 1 week назад @ soundcloud.com
Podlodka #416 – Node.js
Podlodka #416 – Node.js Podlodka #416 – Node.js

Node.js начинался с невинного вопроса: «А что будет, если запустить Javascript вне браузера?». Несмотря на предубеждения и скепсис, отрицать бессмысленно – эксперимент удался, ведь миллионы разработчиков используют Node.js каждый день. Почему так вышло – разбираемся с Игорем Антоновым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Блог «Про JavaScript и разработку» в телеграм — https://t.me/antonovjs

Блог «Про JavaScript …

2 months, 2 weeks назад @ soundcloud.com
Podlodka #415 – Лямбда исчисление
Podlodka #415 – Лямбда исчисление Podlodka #415 – Лямбда исчисление

Лямбда исчисление — база! Или нет? Разбираемся в новом выпуске с Виталием Брагилевским! Как лямбда исчисление появилось и почему эта формальная система так мощна и изящна? Как связаны между собой Чёрч и Тьюринг? И как в конце-концов труды Чёрча повлияли на Lisp, Haskell, и другие функциональные языки? История, математика, теория языков программирования и щепоточка отборного юмора — скорее включайте новый выпуск, чтобы насладиться всем и сразу! Партнёр эпизода — компания YADRO. YADRO — это крупнейшая технологическая компания, которая создает фундаментальные для российского рынка продукты, начиная от серверов, и заканчивая собственной базовой станцией. Большое инженерное сообщество, амбициозн…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #414 – Высшее образование для программиста
Podlodka #414 – Высшее образование для программиста Podlodka #414 – Высшее образование для программиста

Вместе с Иваном Углянским, разработчиком виртуальных машин и одним из авторов профиля “Системное программирование” в ММФ НГУ, обсуждаем вечные вопросы про программистов и высшее образование. Нужна ли вышка для того, чтобы стать хорошим программистом? А если да, то чему вообще нужно учить студентов, как удерживать баланс между необходимой теорией и прикладными знаниями, и одновременно с этим готовить выпускников к будущей реальной жизни? Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast В…

3 months назад @ soundcloud.com
Podlodka #413 – IT в логистике
Podlodka #413 – IT в логистике Podlodka #413 – IT в логистике

Как работает логистика на уровне IT-продукта? CTO X5 Александр Костин объясняет, почему управление поставками — это не просто оптимизация маршрутов, а сложная оркестрация физических процессов, данных и автоматизированных решений. Поговорим о том, какие системы помогают прогнозировать запасы, как строится маршрутизация курьеров, почему внедрение фич идет медленно, а A/B-тесты — редкость. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова

3 months, 1 week назад @ soundcloud.com
Podlodka #412 – Как создаются истории
Podlodka #412 – Как создаются истории Podlodka #412 – Как создаются истории

В этом выпуске мы вместе с Алексеем Поляриновым – автором таких книг, как Кадавры и Риф – разбираемся в непростых вопросах из мира писательства. Например, для кого писать – для себя, или для читателя? Должно ли читателю всегда быть приятно? Открытые концовки – это хорошо, или автору просто лень? Все ответы – в выпуске! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Telegram-канал Алексея

https://t.me/Polyarinov Инстаграм А…

3 months, 2 weeks назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 1 month, 1 week назад
Борис Тарасов: от Маруси до Ровера
Борис Тарасов: от Маруси до Ровера

Борис Тарасов занимается промышленным дизайном в avride. Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 1 week назад @ buzzsprout.com
Книжный клуб: Диапазон
Книжный клуб: Диапазон

https://www.goodreads.com/book/show/41795733-range Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 2 weeks назад @ buzzsprout.com
Анна Ривина: домашнее насилие
Анна Ривина: домашнее насилие

Анна Ривина эксперт по теме домашнего насилия и гендерной дискриминации, основательница Центра «Насилию.нет», Rivina Foundation и проекта Labirint. Поддержать русскоязычных женщин в эмиграции, которые оказались в ситуации насилия, можно здесь: https://rivina.foundation/supporteng/ Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 3 weeks назад @ buzzsprout.com
Книжный клуб: Амстердам История Самого Либерального Города
Книжный клуб: Амстердам История Самого Либерального Города

Пытаемся перезапустить сезон и пробуем новый формат: обзор книги. https://www.goodreads.com/book/show/17288660-amsterdam Support the show ApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8y Патреон: https://www.patreon.com/progulka

1 month, 3 weeks назад @ buzzsprout.com
Александр Мерзликин: чемпионат по сну
Александр Мерзликин: чемпионат по сну

Александр Мерзликин — основатель стартапа Sleeptery, который предлагает игровой подход для улучшения сна.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months, 3 weeks назад @ buzzsprout.com
Надежда Бей: Фиджитал Искусство
Надежда Бей: Фиджитал Искусство

Надежда Бей — VR-художница и резидент фиджитал галереи Охра.Канал Нади: https://t.me/irrealartКанал Охры: https://t.me/phygitalgalleryПолезные книги:Ната Покровская и Антон Уткин: Белое зеркало. Учебник по интерактивному сторителлингу в кино, VR и иммерсивном театре.Cyane Tornatzky, Brendan Kelley "An Artistic Approach to Virtual Reality"Curtis Hickman "Hyper-reality: The art of designing impossible experiences"Кристиана Пол "Цифровое искусство"Support the showApplePodcasts: https://apple.co/...

6 months назад @ buzzsprout.com
Никита Калинин: петербургская математическая школ
Никита Калинин: петербургская математическая школ

Никита Калинин — Associate Professor в Технионе в Гуанджоу и автор канала Tropical Saint-Petersburg. Мы поговорили с ним про Петебругскую математику и математиков.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 1 week назад @ buzzsprout.com
Елена Доброхотова: как сказать смерти "не сейчас"
Елена Доброхотова: как сказать смерти "не сейчас"

Елена Доброхотова — сооснователь стартапа Not Yet. Мы поговорили с ней о рынке медицинских носимых устройств, о здоровье и старении.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 2 weeks назад @ buzzsprout.com
Игорь Кузьмичев: чудаки города Ленинграда
Игорь Кузьмичев: чудаки города Ленинграда

Игорь Кузьмичёв исследует "вторую культуру" Ленинграда и ведёт телеграм-канал "Здесь был Майк" Telegram: t.me/mikewashereSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 3 weeks назад @ buzzsprout.com
Геннадий Асиньяров: "Марсианин" из Красноярска
Геннадий Асиньяров: "Марсианин" из Красноярска

Геннадий Асиньяров — кандидат биологических наук, участник проекта БИОС-3 в рамках которого исследовались возможности замкнутых систем жизнеобеспечения. Такие системы гипотетически могли бы использоваться для колонизации Марса.Геннадий Захарович также один из создателей методики НООГЕН. Книга: https://shorturl.at/vC2vwSupport the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months назад @ buzzsprout.com
Сергей Нурк: как и зачем читают геном
Сергей Нурк: как и зачем читают геном

Сергей Нурк руководит командой разработки биоинформатических инструментов в Oxford Nanopore technologies.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months, 1 week назад @ buzzsprout.com
Александр Гечис: "GTA" на автозаводе
Александр Гечис: "GTA" на автозаводе

Александр Гечис разрабатывает алгоритмы для немецкого стартапа Kopernikus Automotive. Благодаря работе Александра автомобили сами могут перемещаться по фабрике от цеха к цеху в процессе производства.Support the showApplePodcasts: https://apple.co/2Psx8yd Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

7 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 5 days, 22 hours назад
#433 Dev in the Arena
#433 Dev in the Arena #433 Dev in the Arena

Topics include git-flight-rules, Uravelling t-strings, neohtop, and Introducing Pyrefly: A new type checker and IDE experience for Python.

5 days, 22 hours назад @ pythonbytes.fm
#432 How To Fix Your Computer
#432 How To Fix Your Computer #432 How To Fix Your Computer

Topics include pre-commit: install with uv, PEP 773, Changes for Textual, and The Best Programmers I Know.

1 week, 5 days назад @ pythonbytes.fm
#431 Nerd Gas
#431 Nerd Gas #431 Nerd Gas

Topics include pirel: Python release cycle in your terminal, FastAPI Cloud, and Python's new t-strings.

3 weeks, 5 days назад @ pythonbytes.fm
#430 Or you go to jail
#430 Or you go to jail #430 Or you go to jail

Topics include pip 25.1 has dependency groups, pylock.toml, plus more, aiohttp goes free threaded, uv 0.6.15 supports pylock.toml, and Whenever.

1 month назад @ pythonbytes.fm
#429 Nitpicking Python
#429 Nitpicking Python #429 Nitpicking Python

Topics include Huly, CVE Foundation, drawdb, and 14 Advanced Python Features.

1 month, 1 week назад @ pythonbytes.fm
#428 How old is your Python?
#428 How old is your Python? #428 How old is your Python?

Topics include How to Write a Git Commit Message, Caddy Web Server, , and juv.

1 month, 2 weeks назад @ pythonbytes.fm
#427 Rise of the Python Lord
#427 Rise of the Python Lord #427 Rise of the Python Lord

Topics include Git Town, PEP 751 – A file format to record Python dependencies for installation reproducibility, git-who watchgha, and Share Python Scripts Like a Pro: uv and PEP 723 for Easy Deployment.

1 month, 3 weeks назад @ pythonbytes.fm
#426 Committing to Formatted Markdown
#426 Committing to Formatted Markdown #426 Committing to Formatted Markdown

Topics include mdformat, pre-commit-uv, , and Serie books.

2 months назад @ pythonbytes.fm
#425 If You Were a Klingon Programmer
#425 If You Were a Klingon Programmer #425 If You Were a Klingon Programmer

Topics include Why aren't you using uv, Python Developer Tooling Handbook, Calling all doc writers: blacken-docs, and Reinventing notebooks as reusable Python programs.

2 months, 1 week назад @ pythonbytes.fm
#424 We Will Test in Production
#424 We Will Test in Production #424 We Will Test in Production

Topics include The weird quirk with rounding in Python, Python interpreter adds tail calls, Remove punctuation from a string with translate and maketrans, and.

2 months, 2 weeks назад @ pythonbytes.fm
#423 Traveling the Python Universe
#423 Traveling the Python Universe #423 Traveling the Python Universe

Topics include pysqlscribe, A map of Python, Rust, C++, and Python trends in jobs on Hacker News 2025), and The features of Python's help() function.

2 months, 3 weeks назад @ pythonbytes.fm
#422 You need 4 spaces
#422 You need 4 spaces #422 You need 4 spaces

Topics include My 2025 uv-based Python Project Layout for Production Apps, aiolimiter, A peek into a possible future of Python in the browser, and Reloadium.

2 months, 4 weeks назад @ pythonbytes.fm
#421 22 years old
#421 22 years old #421 22 years old

Topics include httpdbg, PyPI Now Supports iOS and Android Wheels for Mobile Python Development, Arcade Game Platform, and PEP 765 – Disallow return/break/continue that exit a finally block.

3 months назад @ pythonbytes.fm
#420 90% Done in 50% of the Available Time
#420 90% Done in 50% of the Available Time #420 90% Done in 50% of the Available Time

Topics include PEP 772 – Packaging governance process, Official Django MongoDB Backend, Developer Philosophy, and Python 3.13.2.

3 months, 1 week назад @ pythonbytes.fm
#419 Is your back end popular?
#419 Is your back end popular? #419 Is your back end popular?

Topics include content-types package, Wagtail 6.4, Build It Yourself, and Build backend popularity over time.

3 months, 3 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 2 days, 21 hours назад
Chip Design in the AI Era with Thomas Andersen
Chip Design in the AI Era with Thomas Andersen

Synopsys is a leading electronic design automation company specializing in silicon design and verification, as well as software integrity and security. Their tools are foundational to the creation of modern chips and embedded software, powering everything from smartphones to cars. Chip design is a deeply complex process, often taking months or years and requiring the

The post Chip Design in the AI Era with Thomas Andersen appeared first on Software Engineering Daily.

2 days, 21 hours назад @ softwareengineeringdaily.com
OpenTofu with Cory O’Daniel and Malcolm Matalka
OpenTofu with Cory O’Daniel and Malcolm Matalka

OpenTofu is an open-source alternative to Terraform, designed for managing infrastructure as code. It enables users to define, provision, and manage their cloud and on-premises resources using a declarative configuration language. OpenTofu was created to ensure an open and community-driven approach to infrastructure tooling, and it emphasizes compatibility and extensibility for diverse deployment scenarios. Cory

The post OpenTofu with Cory O’Daniel and Malcolm Matalka appeared first on Software Engineering Daily.

4 days, 21 hours назад @ softwareengineeringdaily.com
Mojo and Building a CUDA Replacement with Chris Lattner
Mojo and Building a CUDA Replacement with Chris Lattner

Python is the dominant language for AI and data science applications, but it lacks the performance and low-level control needed to fully leverage GPU hardware. As a result, developers often rely on NVIDIA’s CUDA framework, which adds complexity and fragments the development stack. Mojo is a new programming language designed to combine the simplicity of

The post Mojo and Building a CUDA Replacement with Chris Lattner appeared first on Software Engineering Daily.

1 week, 2 days назад @ softwareengineeringdaily.com
Building PostgreSQL for the Future with Heikki Linnakangas
Building PostgreSQL for the Future with Heikki Linnakangas

PostgreSQL is an open-source database known for its robustness, extensibility, and compliance with SQL standards. Its ability to handle complex queries and maintain high data integrity has made it a top choice for both start-ups and large enterprises. Heikki Linnakangas is a leading developer for the PostgreSQL project, and he’s a co-founder at Neon, which

The post Building PostgreSQL for the Future with Heikki Linnakangas appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
Security at Coinbase with Philip Martin
Security at Coinbase with Philip Martin

Cryptocurrency exchanges face unique security challenges that require specialized threat assessments and planning. Coinbase is a cryptocurrency exchange based in the United States. It was founded in 2012 and has evolved alongside cryptocurrency as a technology. Philip Martin is the Chief Security Officer at Coinbase. Prior to Coinbase, Philip built and led the Incident Response

The post Security at Coinbase with Philip Martin appeared first on Software Engineering Daily.

2 weeks, 2 days назад @ softwareengineeringdaily.com
Anthropic and the Model Context Protocol with David Soria Parra
Anthropic and the Model Context Protocol with David Soria Parra

The Model Context Protocol, or MCP, is a new open standard that connects AI assistants to arbitrary data sources and tools, such as codebases, APIs, and content repositories. Instead of building bespoke integrations for each system, developers can use MCP to establish secure, scalable connections between AI models and the data they need. By standardizing

The post Anthropic and the Model Context Protocol with David Soria Parra appeared first on Software Engineering Daily.

2 weeks, 4 days назад @ softwareengineeringdaily.com
Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis
Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis

Grand Theft Auto III is a 2001 an open-world action-adventure game developed by Rockstar Games and it had a profound impact on both gaming and popular culture. Its success cemented video games as a dominant form of entertainment and storytelling, and paved the way for future blockbuster franchises. The game was also a technological milestone

The post Grand Theft Auto III on the Dreamcast with Falco Girgis and Stef Kornilios Mitsis Poiitidis appeared first on Software Engineering Daily.

3 weeks, 2 days назад @ softwareengineeringdaily.com
Polypane with Kilian Valkhof
Polypane with Kilian Valkhof

Polypane is a specialized web development browser that simplifies creating and testing modern websites. A key feature is that it provides multiple screen sizes at once, with synchronized scrolling and interactions, so developers can test different layouts and breakpoints simultaneously. Polypane also focuses on accessibility tools, real-time previews, and debugging features. Kilian Valkhof is the

The post Polypane with Kilian Valkhof appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
LiveKit and OpenAI with Russ d’Sa
LiveKit and OpenAI with Russ d’Sa

LiveKit is a platform that provides developers with tools to build real-time audio and video applications at scale. It offers an open-source WebRTC stack for creation of live, interactive experiences like video conferencing, streaming, and virtual events. LiveKit has gained significant attention for its partnership with OpenAI for the Advanced Voice feature. Russ d’Sa is

The post LiveKit and OpenAI with Russ d’Sa appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50
SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50

Welcome to the pilot episode of SED News, a new podcast series from Software Engineering Daily. Join hosts Gregor Van and Sean Falconer as they break down the week’s most important stories in software engineering, machine learning, and developer culture. In this episode, Gregor and Sean discuss the CoreWeave IPO and the company’s recent acquisition

The post SED News: CoreWeave IPO, Anthropic’s MCP, and Microsoft Turns 50 appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Vibe Coding at Heroku with Vish Abrams
Vibe Coding at Heroku with Vish Abrams

AI tools are transforming how developers write code, and although it’s difficult to pinpoint how much code is now AI-generated code, estimates suggest it’s between 20% and 40%, and this figure is poised to grow in the coming years. This evolution has given rise to a new coding paradigm in which developers act as directors,

The post Vibe Coding at Heroku with Vish Abrams appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Agentic AI at Glean with Eddie Zhou
Agentic AI at Glean with Eddie Zhou

Glean is a workplace search and knowledge discovery company that helps organizations find and access information across various internal tools and data sources. Their platform uses AI to provide personalized search results to assist members of an organization in retrieving relevant documents, emails, and conversations. The rise of LLM-based agentic reasoning systems now presents new

The post Agentic AI at Glean with Eddie Zhou appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with Martin Hellman
Turing Award Special: A Conversation with Martin Hellman

Martin Hellman is an American cryptographer known for co-inventing public-key cryptography with Whitfield Diffie and Ralph Merkle in the 1970s. Their groundbreaking Diffie-Hellman key exchange method allowed secure communication over insecure channels, laying the foundation for modern encryption protocols. Hellman has also contributed to cybersecurity policy and ethical discussions on nuclear risk. His work has

The post Turing Award Special: A Conversation with Martin Hellman appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Prometheus and Open-Source Observability with Eric Schabell
Prometheus and Open-Source Observability with Eric Schabell

Modern cloud-native systems are highly dynamic and distributed, which makes it difficult to monitor cloud infrastructure using traditional tools designed for static environments. This has motivated the development and widespread adoption of dedicated observability platforms. Prometheus is an open-source observability tool designed for cloud-native environments. Its strong integration with Kubernetes and pull-based data collection model

The post Prometheus and Open-Source Observability with Eric Schabell appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Turing Award Special: A Conversation with David Patterson
Turing Award Special: A Conversation with David Patterson

David A. Patterson is a pioneering computer scientist known for his contributions to computer architecture, particularly as a co-developer of Reduced Instruction Set Computing, or RISC, which revolutionized processor design. He has co-authored multiple books, including the highly influential Computer Architecture: A Quantitative Approach. David is a UC Berkeley Pardee professor emeritus, a Google distinguished

The post Turing Award Special: A Conversation with David Patterson appeared first on Software Engineering Daily.

1 month, 3 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
⌨ Coding
Martin Fowler
последний пост 3 days, 17 hours назад
Bliki: Say Your Writing
Bliki: Say Your Writing Bliki: Say Your Writing

This advice is for those who, like me, strive to get a conversational tone to their writings.

A lot of people are taught to write in a different way than they speak, but I find prose much more engaging with this conversational tone.

I've heard people say that when reading my work, they can hear me speaking it - which is exactly the effect I'm after.

Too often I read prose that feels flabby.

In my case I find I constantly (silently) speak the words as I'm writing.

3 days, 17 hours назад @ martinfowler.com
Interviewed by James Lewis at goto Copenhagen
Interviewed by James Lewis at goto Copenhagen Interviewed by James Lewis at goto Copenhagen

At goto copenhagen last year, my friend James Lewis interviewed me and Goto have just released the video. I talk about when I learned about iterative design from Kent Beck, the dangers of product owners interfering with business-developer communication, and writing the agile manifesto. During this he specifically asked about my essay Is Design Dead. There's also a some audience questions asking if pair programming is a bad thing for introverts like us (no), and (inevitably) the role of LLMs for programmers today.

more…

1 week, 1 day назад @ youtube.com
Refresh of Agile Threat Modeling
Refresh of Agile Threat Modeling Refresh of Agile Threat Modeling

We believe effective threat modeling should start simple and grow incrementally, rather than relying on exhaustive upfront analysis.

To demonstrate this in practice, we begin with outlining the core insights required for threat modeling.

We then dive into practical threat modeling examples using the STRIDE framework.

The key to cutting through complexity in threat modeling lies in tracing how data moves through your technology stack.

We use these STRIDE cards internally during threat modeling sessions either as printed cards or have them on screen.

1 week, 4 days назад @ martinfowler.com
Building Custom Tooling with LLMs
Building Custom Tooling with LLMs Building Custom Tooling with LLMs

Diagram as code - A PlantUML primer Before diving into the development process, let's briefly introduce PlantUML for those who might be unfamiliar.

Step 2: Building the Parser Logic (and Debugging) “Now we need to parse the plantuml files and separate out step.

I'll help you create a Gradle task to process PlantUML files and generate step-by-step diagrams.

Now we need to generate a HTML viewer for the step files to be shown one by one.

This setup allowed us to quickly generate step diagrams from a single PlantUML file, and view them in a step by step manner.

2 weeks, 3 days назад @ martinfowler.com
Coding Assistants Threaten the Software Supply Chain
Coding Assistants Threaten the Software Supply Chain Coding Assistants Threaten the Software Supply Chain

We have long recognized that developer environments represent a weak point in the software supply chain.

As a result, any malicious code introduced at this stage can have a broad and significant impact radius particularly with sensitive data and services.

Coding assistants introduce new components and vulnerabilities to the software supply chain, but can also be owned or compromised themselves in novel and intriguing ways.

: Malicious responses from external tools or APIs can trigger unintended behaviors within the assistant, amplifying malicious instructions through feedback loops.

Escalation of privilege: A compromised assistant, particularly if lightly supervised, can execute deceptive o…

2 weeks, 4 days назад @ martinfowler.com
Function calling using LLMs
Function calling using LLMs Function calling using LLMs

Function calling is a capability that enables LLMs to go beyond simple text generation by interacting with external tools and real-world applications.

With function calling, an LLM can analyze a natural language input, extract the user’s intent, and generate a structured output containing the function name and the necessary arguments to invoke that function.

It’s important to emphasize that when using function calling, the LLM itself does not execute the function.

This part of the Chat Completions API call defines the available functions that the LLM can invoke, specifying their structure and purpose: tools=[ {"type": "function", "function": SEARCH_SCHEMA}, {"type": "function", "function": …

3 weeks, 4 days назад @ martinfowler.com
Building TMT Mirror Visualization with LLM
Building TMT Mirror Visualization with LLM Building TMT Mirror Visualization with LLM

This article documents a journey in building a complex, interactive UI with no prior experience in D3.js or UI development in general.

The work was done as part of building a prototype for an operational user interface for the telescope's primary mirror, designed to show real-time status of mirror segments.

Step 3: Adding a Second Hexagon “Nice... Now let's add one more hexagon next to this one.

Step 4: Creating the Second Row “Now let's add one more row.

The hexagons in the second row share vertical edges with each other similar to the first row.

1 month назад @ martinfowler.com
Additional explanatory material for the Deepseek Overview
Additional explanatory material for the Deepseek Overview Additional explanatory material for the Deepseek Overview

DeepSeek uses more fine-grained experts than previous models, dividing them into two kinds: Shared Experts handle universal patterns for every token.

Co-Designed Frameworks: FP8, DualPipe, and PTX Optimizations Scaling an MoE model to 671B demanded HPC-level solutions for training and inference.

The authors emphasize: Through the co-design of algorithms, frameworks, and hardware, we overcome the communication bottleneck in cross-node MoE training, achieving near-full computation- communication overlap.

DeepSeek-R1: Reinforcement Learning for Deeper Reasoning It's worth noting that both DeepSeek R1 and DeepSeek R1-Zero are architecturally identical to DeepSeek V3.

This led them to DeepSeek-R…

1 month, 1 week назад @ martinfowler.com
Guiding an LLM for Robust Java ByteBuffer Code
Guiding an LLM for Robust Java ByteBuffer Code Guiding an LLM for Robust Java ByteBuffer Code

We'll use the common task of reading and writing a fixed-structure header within a Java ByteBuffer.

The Scenario: Defining a Page Header Our goal is to create a Java class to manage a simple page header structure within a ByteBuffer.

LLM-Generated Code (Using position()) Certainly.

Using absolute offset methods avoids modifying the buffer's position state, which is much safer for shared or concurrent use cases.

Guiding Towards Robust Patterns: The developer explicitly prompted for stateless, absolute offset methods, leveraging deep knowledge of safe low-level programming practices.

1 month, 2 weeks назад @ martinfowler.com
Updating yesterday's post on social media engagement
Updating yesterday's post on social media engagement Updating yesterday's post on social media engagement

Now when I announce a new article, I post on LinkedIn, Bluesky, Mastodon, as well as X (Twitter).

Here X (Twitter) shows a notable lead, but I strongly suspect that many of my followers there are inactive (or bots).

That indicates a clear pecking order with LinkedIn > X > Bluesky > Mastodon.

As we can see X (Twitter) was the dominant figure in 2023 but in 2025 LinkedIn has surged to a much greater amount of traffic.

Overall, I'd say that LinkedIn has taken over as the number one social network for my posts, but X (Twitter) is still important.

1 month, 3 weeks назад @ martinfowler.com
Social Media Engagement in Early 2025
Social Media Engagement in Early 2025 Social Media Engagement in Early 2025

Now when I announce a new article, I post on LinkedIn, Bluesky, Mastodon, as well as X (Twitter).

Here X (Twitter) shows a notable lead, but I strongly suspect that many of my followers there are inactive (or bots).

So every dot in the linkedIn column is the value for one linkedin post.

That indicates a clear pecking order with LinkedIn > X > Bluesky > Mastodon.

Overall, I'd say that LinkedIn has taken over as the number one social network for my posts, but X (Twitter) is still important.

1 month, 4 weeks назад @ martinfowler.com
I've been kidnapped by Robert Caro
I've been kidnapped by Robert Caro I've been kidnapped by Robert Caro

I've always enjoyed reading, and for most of my life I've particularly enjoyed reading history.

My wife is a structural engineer (well “was”, as she's now retired) and long urged me to read one of her favorite books: The Power Broker, by Robert Caro.

He's a highly regarded writer, so I might try something else, but his other work is a biography of Lyndon Johnson.

It was the best book I've read for many years.

Reviewers I've read say the next in the series, Master of the Senate, is the best volume.

2 months назад @ martinfowler.com
The role of developer skills in agentic coding
The role of developer skills in agentic coding The role of developer skills in agentic coding

As agentic coding assistants get more capable, Birgitta Böckeler is trying them to change existing codebases. This has led to some impressive collaboration sessions, but she's needed to intervene, correct and steer all the time. In her latest post, she describes examples of these interventions, giving ideas of the types of skills we currently need to correct the tools' missteps. more…

2 months, 1 week назад @ localhost:1963
Comments on US passport applications
Comments on US passport applications Comments on US passport applications

Martin Fowler: 26 Feb 2025The new US administration has decided to eliminate the “X” option for gender/sex on passports.

I have several non-binary friends, and I don’t see why they should have to select an option that makes no sense for them.

I also don’t see how an “X” option on identity documents causes a material problem for anyone else.

There are three such pages:DS-11 new passport application: (deadline 3/17/25) https://www.federalregister.gov/documents/2025/02/14/2025-02648/30-day-notice-of-proposed-information-collection-application-for-a-us-passportDS-82 passport renewal: (deadline 3/20/25) https://www.federalregister.gov/documents/2025/02/18/2025-02697/30-day-notice-of-…

3 months назад @ martinfowler.com
GenAI Patterns: Fine Tuning
GenAI Patterns: Fine Tuning GenAI Patterns: Fine Tuning

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

While this approach involves evaluating with an LLM, using a different LLM helps address some of the issues of self-evaluation.

The common approach is to build an index to the documents using embeddings, then use this index to search the documents.

This is even more apparent with using LLMs, where rephrasing a question often leads to significantly different answers.

LLM models are constantly improving so it is important to have these prompt evals in our build pipeline to track progress.

3 months назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 1 week, 4 days назад
fuzzy: Нечеткое сравнение строк в SQLite
fuzzy: Нечеткое сравнение строк в SQLite fuzzy: Нечеткое сравнение строк в SQLite

Cравнивать строки на похожесть и транслитерировать текст.

1 week, 4 days назад @ antonz.ru
No-Code и заклинатели дождя
No-Code и заклинатели дождя No-Code и заклинатели дождя

Прощай, зерокод.

1 week, 6 days назад @ antonz.ru
Stack Overflow помер (ну почти)
Stack Overflow помер (ну почти) Stack Overflow помер (ну почти)

Вернулся в 2007.

2 weeks, 1 day назад @ antonz.ru
Опыт с книгой
Опыт с книгой Опыт с книгой

Здесь денег нет.

1 month, 2 weeks назад @ antonz.ru
rand.Text
rand.Text rand.Text

Криптографически случайная строка.

3 months назад @ antonz.ru
Метод-значение
Метод-значение Метод-значение

Функция с приколоченным к ней получателeм.

3 months, 1 week назад @ antonz.ru
Пропуск нулевых значений в JSON
Пропуск нулевых значений в JSON Пропуск нулевых значений в JSON

omitzero на замену omitempty.

3 months, 1 week назад @ antonz.ru
SHA-3 и его друзья
SHA-3 и его друзья SHA-3 и его друзья

Больше криптографии.

3 months, 1 week назад @ antonz.ru
Больше итераторов в Go 1.24
Больше итераторов в Go 1.24 Больше итераторов в Go 1.24

Больше итераторов в Go 1.24Как известно, в 1.23 авторы Go воспылали необъяснимой стратью к итератором, и этот пожар с тех пор только разгорается жарче.

Lines ( s ) { fmt .

SplitSeq ( s , "-" ) { fmt .

FieldsSeq ( s ) { fmt .

IsNumber ( c ) } s := "one,two;six..." for part := range strings .

3 months, 2 weeks назад @ antonz.ru
Контекст для тестов
Контекст для тестов Контекст для тестов

Контекст для тестовДопустим, мы хотим протестировать этот жутко полезный сервер:// Дает ответы на все вопросы.

func startServer ( ctx context .

T ) { srv := startServer ( context .

) != 42 { t . Fatal ( "unexpected value" ) } }Тест проходит, но есть проблемка: я использовал пустой контекст, так что на самом деле сервер не остановился.

Background ()) defer cancel () srv := startServer ( ctx ) if srv .

3 months, 2 weeks назад @ antonz.ru
Как стать дата-сатанистом, не выходя из VS Code
Как стать дата-сатанистом, не выходя из VS Code Как стать дата-сатанистом, не выходя из VS Code

И сжечь все ноутбуки.

5 months назад @ antonz.ru
Заглушить логи
Заглушить логи Заглушить логи

Через io.Discard.

5 months, 3 weeks назад @ antonz.ru
Say It in Russian
Say It in Russian Say It in Russian

Эмодзи-пак с текстовыми реакциями для телеграма.

6 months назад @ antonz.ru
cmp.Or
cmp.Or cmp.Or

Редкий пример сахарка в Go.

6 months, 2 weeks назад @ antonz.ru
README для начинающих разработчиков
README для начинающих разработчиков README для начинающих разработчиков

На редкость толковая книга.

7 months назад @ antonz.ru