Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 week, 3 days назад
Rethinking Text Resizing on Web
Rethinking Text Resizing on Web Rethinking Text Resizing on Web

Airbnb has made significant strides in improving web accessibility for Hosts and guests who require larger text sizes.This post takes an in-depth look at:The problems encountered on mobile web when relying solely on browser zoom.The challenges of introducing changes that would impact the workflow of all frontend engineers.The benefits seen since launching these accessibility improvements.by: Steven BassettImproving web accessibility is a critical priority at Airbnb, and we use the Web Content Accessibility Guidelines (WCAG) to help guide our compliance efforts. One area that often leads to accessibility issues is WCAG 1.4.4 Resize Text (Level AA). This guideline, which we’ll refer to as Res…

1 week, 3 days назад @ medium.com
Animations: Bringing the Host Passport to Life on iOS
Animations: Bringing the Host Passport to Life on iOS Animations: Bringing the Host Passport to Life on iOS

How Airbnb enabled hosts and guests to connect and introduce themselves through the Host Passport.By: Anne LuIntroductionIn May 2023 we introduced the Host Passport as part of our Summer Release. We wanted to give Hosts a way to introduce themselves, and start building a more personal connection with their guests. To that end, we created the Host Passport, which appears in the bottom corner of each Private Room listing result with a photo of the Host on the cover. Guests can tap it to fully open the Host Passport and learn more about the Host and get a sense for the real live person they would be staying with.The Passport animationThe Host Passport offers Hosts a way to introduce themselves…

2 weeks, 5 days назад @ medium.com
Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI
Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI Airbnb Brandometer: Powering Brand Perception Measurement on Social Media Data with AI

How we quantify brand perceptions from social media platforms through deep learningBy Tiantian Zhang, Shuai Shao (Shawn)IntroductionAt Airbnb, we have developed Brandometer, a state-of-the-art natural language understanding (NLU) technique for understanding brand perception based on social media data.Brand perception refers to the general feelings and experiences of customers with a company. Quantitatively, measuring brand perception is an extremely challenging task. Traditionally, we rely on customer surveys to find out what customers think about a company. The downsides of such a qualitative study is the bias in sampling and the limitation in data scale. Social media data, on the other ha…

1 month назад @ medium.com
Introducing Trio | Part III
Introducing Trio | Part III Introducing Trio | Part III

Part three on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongTrio is Airbnb’s framework for Jetpack Compose screen architecture in Android. It’s built on top of Mavericks, Airbnb’s open source state management library for Jetpack. In this blog post series, we’ve been breaking down how Trio works to help explain our design decisions, in the hopes that other teams might benefit from aspects of our approach.We recommend starting with Part 1, about Trio’s architecture, and then reading Part 2, about how navigation works in Trio, before you dive into this article. In this third and final part of our series, we’ll discuss…

1 month, 2 weeks назад @ medium.com
Chronon, Airbnb’s ML Feature Platform, Is Now Open Source
Chronon, Airbnb’s ML Feature Platform, Is Now Open Source Chronon, Airbnb’s ML Feature Platform, Is Now Open Source

A feature platform that offers observability and management tools, allows ML practitioners to use a variety of data sources, while handling the complexity of data engineering, and provides low latency streaming.By: Varant Zanoyan, Nikhil Simha RaproluChronon allows ML practitioners to use a variety of data sources as inputs to feature transformations. It handles the complexity of data plumbing, such as batch and streaming compute, provides low latency serving, and offers a host of observability and management tools.Airbnb is happy to announce that Chronon, our ML Feature Platform, is now open source.We’re excited to be making this announcement along with our partners at Stripe, who are earl…

1 month, 2 weeks назад @ medium.com
Introducing Trio | Part II
Introducing Trio | Part II Introducing Trio | Part II

Part two on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, and Yvonne WongIn the previous post in this series, we introduced you to Trio, Airbnb’s framework for Jetpack Compose screen architecture in Android. Some of the advantages of Trio include:Guarantees type safety when communicating across module boundaries in complex appsCodifies expectations about how ViewModels are used and shared, and what interfaces look like between screensAllows for stable screenshot and UI tests and simple navigation testingCompatible with Mavericks, Airbnb’s open source state management library for Jetpack (Trio is built on top of Mavericks)If you n…

1 month, 3 weeks назад @ medium.com
Introducing Trio | Part I
Introducing Trio | Part I Introducing Trio | Part I

A three part series on how we built a Compose based architecture with Mavericks in the Airbnb Android appBy: Eli Hart, Ben Schwab, Yvonne WongAt Airbnb, we have developed an Android framework for Jetpack Compose screen architecture, which we call Trio. Trio is built on our open-source library Mavericks, which it leverages to maintain both navigation and application state within the ViewModel.Airbnb began development of Trio more than two years ago, and has been using it in production for over a year and a half. It is powering a significant portion of our production screens in Airbnb’s Android app, and has enabled our engineers to create features in 100% Compose UI.In this blog post series, …

1 month, 4 weeks назад @ medium.com
Migrating Our iOS Build System from Buck to Bazel
Migrating Our iOS Build System from Buck to Bazel Migrating Our iOS Build System from Buck to Bazel

How Airbnb achieved a smooth and transparent migration from Buck to Bazel on iOS, with minimal interference to developer workflowsBy: Qing Yang, Andy BartholomewAt Airbnb, we are committed to providing the best experience for our engineers. To offer a cohesive and efficient build experience across all platforms, we’ve decided to adopt Bazel as our build system. Bazel is a robust build system widely utilized in the industry. In alignment with Airbnb’s tech initiatives, both our backend and frontend teams initiated the migration process to Bazel. In the first Bazel post, we start with our iOS development migrating from Buck to Bazel.We’ll describe the migration approach which involved two mai…

3 months, 3 weeks назад @ medium.com
Airbnb at KDD 2023
Airbnb at KDD 2023 Airbnb at KDD 2023

KDD (Knowledge and Data Mining) is a flagship conference in data science research. Hosted annually by a special interest group of the Association for Computing Machinery (ACM), it’s where you’ll learn about some of the most ground-breaking developments in data mining, knowledge discovery, and large-scale data analytics.Airbnb had a significant presence at KDD 2023 with two papers accepted into the main conference proceedings and 11 talks and presentations. In this blog post, we’ll summarize our team’s contributions and share highlights from an exciting week of workshops, panel discussions, and more.Deep learning and search rankingEven though search ranking is a problem that researchers have…

5 months назад @ medium.com
Transforming CRM DevOps at Airbnb: A Powerful Framework for Continuous Delivery
Transforming CRM DevOps at Airbnb: A Powerful Framework for Continuous Delivery Transforming CRM DevOps at Airbnb: A Powerful Framework for Continuous Delivery

How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

5 months, 4 weeks назад @ medium.com
Data Quality Score: The next chapter of data quality at Airbnb
Data Quality Score: The next chapter of data quality at Airbnb Data Quality Score: The next chapter of data quality at Airbnb

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

6 months назад @ medium.com
Wisdom of Unstructured Data: Building Airbnb’s Listing Knowledge from Big Text Data
Wisdom of Unstructured Data: Building Airbnb’s Listing Knowledge from Big Text Data Wisdom of Unstructured Data: Building Airbnb’s Listing Knowledge from Big Text Data

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

6 months, 1 week назад @ medium.com
My Journey to Airbnb — Helena Zarazua
My Journey to Airbnb — Helena Zarazua My Journey to Airbnb — Helena Zarazua

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

7 months, 1 week назад @ medium.com
Unlocking SwiftUI at Airbnb
Unlocking SwiftUI at Airbnb Unlocking SwiftUI at Airbnb

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

8 months, 1 week назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 month, 2 weeks назад
The Making of VES: the Cosmos Microservice for Netflix Video Encoding
The Making of VES: the Cosmos Microservice for Netflix Video Encoding The Making of VES: the Cosmos Microservice for Netflix Video Encoding

Liwei Guo, Vinicius Carvalho, Anush Moorthy, Aditya Mavlankar, Lishan ZhuThis is the second post in a multi-part series from Netflix. See here for Part 1 which provides an overview of our efforts in rebuilding the Netflix video processing pipeline with microservices. This blog dives into the details of building our Video Encoding Service (VES), and shares our learnings.Cosmos is the next generation media computing platform at Netflix. Combining microservice architecture with asynchronous workflows and serverless functions, Cosmos aims to modernize Netflix’s media processing pipelines with improved flexibility, efficiency, and developer productivity. In the past few years, the video team wit…

1 month, 2 weeks назад @ netflixtechblog.com
Reverse Searching Netflix’s Federated Graph
Reverse Searching Netflix’s Federated Graph Reverse Searching Netflix’s Federated Graph

By Ricky Gardiner, Alex Hutter, and Katie LefevreSince our previous posts regarding Content Engineering’s role in enabling search functionality within Netflix’s federated graph (the first post, where we identify the issue and elaborate on the indexing architecture, and the second post, where we detail how we facilitate querying) there have been significant developments. We’ve opened up Studio Search beyond Content Engineering to the entirety of the Engineering organization at Netflix and renamed it Graph Search. There are over 100 applications integrated with Graph Search and nearly 50 indices we support. We continue to add functionality to the service. As promised in the previous post, we’…

1 month, 3 weeks назад @ netflixtechblog.com
Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes
Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes Sequential Testing Keeps the World Streaming Netflix Part 2: Counting Processes

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin TingleyHave you ever encountered a bug while streaming Netflix? Did your title stop unexpectedly, or not start at all? In the first installment of this blog series on sequential testing, we described our canary testing methodology for continuous metrics such as play-delay. One of our readers commentedWhat if the new release is not related to a new play/streaming feature? For example, what if the new release includes modified login functionality? Will you still monitor the “play-delay” metric?Netflix monitors a large suite of metrics, many of which can be classified as counts. These include metrics such as the nu…

2 months, 1 week назад @ netflixtechblog.com
Supporting Diverse ML Systems at Netflix
Supporting Diverse ML Systems at Netflix Supporting Diverse ML Systems at Netflix

David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin YuNetflix uses data science and machine learning across all facets of the company, powering a wide range of business applications from our internal infrastructure and content demand modeling to media understanding. The Machine Learning Platform (MLP) team at Netflix provides an entire ecosystem of tools around Metaflow, an open source machine learning infrastructure framework we started, to empower data scientists and machine learning practitioners to build and manage a variety of ML systems.Since its inception, Metaflow has been designed to provide a human-friendly API for building data and ML (and today AI…

2 months, 2 weeks назад @ netflixtechblog.com
Bending pause times to your will with Generational ZGC
Bending pause times to your will with Generational ZGC Bending pause times to your will with Generational ZGC

The surprising and not so surprising benefits of generations in the Z Garbage Collector.By Danny Thomas, JVM Ecosystem TeamThe latest long term support release of the JDK delivers generational support for the Z Garbage Collector.More than half of our critical streaming video services are now running on JDK 21 with Generational ZGC, so it’s a good time to talk about our experience and the benefits we’ve seen. If you’re interested in how we use Java at Netflix, Paul Bakker’s talk How Netflix Really Uses Java, is a great place to start.Reduced tail latenciesIn both our GRPC and DGS Framework services, GC pauses are a significant source of tail latencies. That’s particularly true of our GRPC cl…

2 months, 3 weeks назад @ netflixtechblog.com
Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data…
Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data… Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data…

Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platformby Binbing Hou, Stephanie Vezich Tamayo, Xiao Chen, Liang Tian, Troy Ristow, Haoyuan Wang, Snehal Chennuru, Pawan DixitThis is the first of the series of our work at Netflix on leveraging data insights and Machine Learning (ML) to improve the operational automation around the performance and cost efficiency of big data jobs. Operational automation–including but not limited to, auto diagnosis, auto remediation, auto configuration, auto tuning, auto scaling, auto debugging, and auto testing–is key to the success of modern data platforms. In this blog post, we present our project on Auto Reme…

2 months, 3 weeks назад @ netflixtechblog.com
Announcing bpftop: Streamlining eBPF performance optimization
Announcing bpftop: Streamlining eBPF performance optimization Announcing bpftop: Streamlining eBPF performance optimization

By Jose FernandezToday, we are thrilled to announce the release of bpftop, a command-line tool designed to streamline the performance optimization and monitoring of eBPF applications. As Netflix increasingly adopts eBPF [1, 2], applying the same rigor to these applications as we do to other managed services is imperative. Striking a balance between eBPF’s benefits and system load is crucial, ensuring it enhances rather than hinders our operational efficiency. This tool enables Netflix to embrace eBPF’s potential.Introducing bpftopbpftop provides a dynamic real-time view of running eBPF programs. It displays the average execution runtime, events per second, and estimated total CPU % for each…

3 months назад @ netflixtechblog.com
Sequential A/B Testing Keeps the World Streaming Netflix Part 1: Continuous Data
Sequential A/B Testing Keeps the World Streaming Netflix
Part 1: Continuous Data Sequential A/B Testing Keeps the World Streaming Netflix Part 1: Continuous Data

Michael Lindon, Chris Sanden, Vache Shirikian, Yanjun Liu, Minal Mishra, Martin Tingley1. Spot the DifferenceCan you spot any difference between the two data streams below? Each observation is the time interval between a Netflix member hitting the play button and playback commencing, i.e., play-delay. These observations are from a particular type of A/B test that Netflix runs called a software canary or regression-driven experiment. More on that below — for now, what’s important is that we want to quickly and confidently identify any difference in the distribution of play-delay — or conclude that, within some tolerance, there is no difference.In this blog post, we will develop a statistical…

3 months, 1 week назад @ netflixtechblog.com
Introducing SafeTest: A Novel Approach to Front End Testing
Introducing SafeTest: A Novel Approach to Front End Testing Introducing SafeTest: A Novel Approach to Front End Testing

by Moshe KolodnyIn this post, we’re excited to introduce SafeTest, a revolutionary library that offers a fresh perspective on End-To-End (E2E) tests for web-based User Interface (UI) applications.The Challenges of Traditional UI TestingTraditionally, UI tests have been conducted through either unit testing or integration testing (also referred to as End-To-End (E2E) testing). However, each of these methods presents a unique trade-off: you have to choose between controlling the test fixture and setup, or controlling the test driver.For instance, when using react-testing-library, a unit testing solution, you maintain complete control over what to render and how the underlying services and imp…

3 months, 1 week назад @ netflixtechblog.com
Rebuilding Netflix Video Processing Pipeline with Microservices
Rebuilding Netflix Video Processing Pipeline with Microservices Rebuilding Netflix Video Processing Pipeline with Microservices

Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan ZhuThis is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and studio operations. This introductory blog focuses on an overview of our journey. Future blogs will provide deeper dives into each service, sharing insights and lessons learned from this process.The Netflix video processing pipeline went live with the launch of our streaming service in 2007. Since then…

4 months, 2 weeks назад @ netflixtechblog.com
Our First Netflix Data Engineering Summit
Our First Netflix Data Engineering Summit Our First Netflix Data Engineering Summit

Holden Karau Elizabeth Stone Pedro Duarte Chris Stephens Pallavi Phadnis Lee Woodridge Mark Cho Guil Pires Sujay Jain Tristan Reid Senthilnathan Athinarayanan Bharath Mummadisetty Abhinaya Shetty Judit Lantos Amanuel Kahsay Dao Mi Mick Dreeling Chris Colburn and Agata GryzbekIntroductionEarlier this summer Netflix held our first-ever Data Engineering Forum. Engineers from across the company came together to share best practices on everything from Data Processing Patterns to Building Reliable Data Pipelines. The result was a series of talks which we are now sharing with the rest of the Data Engineering community!You can find each of the talks below with a short description of each, or you ca…

5 months, 2 weeks назад @ netflixtechblog.com
All of Netflix’s HDR video streaming is now dynamically optimized
All of Netflix’s HDR video streaming is now dynamically optimized All of Netflix’s HDR video streaming is now dynamically optimized

by Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos BampisHigh dynamic range (HDR) video brings a wider range of luminance and a wider gamut of colors, paving the way for a stunning viewing experience. Separately, our invention of Dynamically Optimized (DO) encoding helps achieve optimized bitrate-quality tradeoffs depending on the complexity of the content.HDR was launched at Netflix in 2016 and the number of titles available in HDR has been growing ever since. We were, however, missing the systematic ability to measure perceptual quality (VMAF) of HDR streams since VMAF was limited to standard dynamic range (SDR) video signals.As noted in an earlier blog post, we began developing an H…

5 months, 4 weeks назад @ netflixtechblog.com
Netflix Original Research: MIT CODE 2023
Netflix Original Research: MIT CODE 2023 Netflix Original Research: MIT CODE 2023

Netflix was thrilled to be the premier sponsor for the 2nd year in a row at the 2023 Conference on Digital Experimentation (CODE@MIT) in Cambridge, MA. The conference features a balanced blend of academic and industry research from some wicked smart folks, and we’re proud to have contributed a number of talks and posters along with a plenary session.Our contributions kicked off with a concept that is crucial to our understanding of A/B tests: surrogates!Our first talk was given by Aurelien Bibaut (with co-authors Nathan Kallus, Simon Ejdemyr and Michael Zhao) in which we discussed how to confidently measure long-term outcomes using short term surrogates in the presence of bias. For example,…

6 months назад @ netflixtechblog.com
Causal Machine Learning for Creative Insights
Causal Machine Learning for Creative Insights Causal Machine Learning for Creative Insights

A framework to identify the causal impact of successful visual components.By Billur Engin, Yinghong Lan, Grace Tang, Cristina Segalin, Kelli Griggs, Vi IyengarIntroductionAt Netflix, we want our viewers to easily find TV shows and movies that resonate and engage. Our creative team helps make this happen by designing promotional artwork that best represents each title featured on our platform. What if we could use machine learning and computer vision to support our creative team in this process? Through identifying the components that contribute to a successful artwork — one that leads a member to choose and watch it — we can give our creative team data-driven insights to incorporate into th…

6 months назад @ netflixtechblog.com
Incremental Processing using Netflix Maestro and Apache Iceberg
Incremental Processing using Netflix Maestro and Apache Iceberg Incremental Processing using Netflix Maestro and Apache Iceberg

by Jun He, Yingyi Zhang, and Pawan DixitIncremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When workflow execution has a shorter duration, chances of failure and manual intervention reduce. It also improves the engineering productivity by simplifying the existing pipelines and unlocking the new patterns.In this blog post, we talk about the landscape and the challenges in workflows at Netflix. We…

6 months, 1 week назад @ netflixtechblog.com
Pinterest Engineering
последний пост 2 days, 4 hours назад
Web Performance Regression Detection (Part 2 of 3)
Web Performance Regression Detection (Part 2 of 3) Web Performance Regression Detection (Part 2 of 3)

Michelle Vu | Web Performance Engineer;Fighting regressions has been a priority at Pinterest for many years. In part one of this article series, we provided an overview of the performance program at Pinterest. In this second part, we discuss how we monitor and investigate regressions in our Pinner Wait Time and Core Web Vital metrics for desktop and mobile web using real time metrics from real users. These real time graphs have been invaluable for regression alerting and root cause analysis.Real Time Real User MonitoringAll Pinner Wait Time and Core Web Vital metrics for desktop and mobile web are monitored in real time for real users. These real time graphs have been invaluable for regress…

2 days, 4 hours назад @ medium.com
HBase Deprecation at Pinterest
HBase Deprecation at Pinterest HBase Deprecation at Pinterest

Alberto Ordonez Pereira | Senior Staff Software Engineer; Lianghong Xu | Senior Manager, Engineering;This blog marks the first of a three-part series describing our journey at Pinterest transition from managing multiple online storage services supported by HBase to a brand new serving architecture with a new datastore and a unified storage service.In this introductory post, we will provide an overview of how HBase is used at Pinterest, why we decided to migrate away from it and the high-level execution path. The subsequent blog post will delve into how we looked into our specific needs, evaluated multiple candidates and decided on the adoption of a new database technology. Finally, the last…

1 week, 6 days назад @ medium.com
Web Performance Regression Detection (Part 1 of 3)
Web Performance Regression Detection (Part 1 of 3) Web Performance Regression Detection (Part 1 of 3)

Michelle Vu | Web Performance EngineerDetecting, preventing, and resolving performance regressions has been a standard at Pinterest for many years. Over the years, we have seen many examples showing significant business metric movements resulting from performance optimizations and regressions. These concrete examples motivate us to optimize and maintain performance. In particular, fighting regressions was made a priority because we’ve seen countless times that months of hard earned optimizations can easily be wiped out by a regression. Oftentimes, the regression was from a single line of code, and investing a little bit of time to change the implementation brings us back to baseline. In thi…

1 month назад @ medium.com
How we built Text-to-SQL at Pinterest
How we built Text-to-SQL at Pinterest How we built Text-to-SQL at Pinterest

Adam Obeng | Data Scientist, Data Platform Science; J.C. Zhong | Tech Lead, Analytics Platform; Charlie Gu | Sr. Manager, EngineeringWriting queries to solve analytical problems is the core task for Pinterest’s data users. However, finding the right data and translating an analytical problem into correct and efficient SQL code can be challenging tasks in a fast-paced environment with significant amounts of data spread across different domains.We took the rise in availability of Large Language Models (LLMs) as an opportunity to explore whether we could assist our data users with this task by developing a Text-to-SQL feature which transforms these analytical questions directly into code.How T…

1 month, 3 weeks назад @ medium.com
The Field Guide to Non-Engagement Signals
The Field Guide to Non-Engagement Signals The Field Guide to Non-Engagement Signals

Leif Sigerson | Sr. Data Scientist; Wendy Matheny | Sr. Lead Public Policy Manager;User engagement is a critical signal used by Pinterest and other online platforms to determine which content to show users. However, it is widely known that optimizing purely for user engagement can surface content that is low-quality (e.g., “clickbait”), or even harmful. Our CEO, Bill Ready, explains that if we’re not careful, content ranking can surface the “car crash we can’t look away from”. On the other hand, “if you ask somebody after they saw the crash, ‘you want to see another one?’, the vast majority of people will say ‘Goodness no’”.In this blog, we will discuss Non-Engagement Signals, a critical co…

2 months назад @ medium.com
LinkSage: GNN-based Pinterest Off-site Content Understanding
LinkSage: GNN-based Pinterest Off-site Content Understanding LinkSage: GNN-based Pinterest Off-site Content Understanding

Adopted by Pinterest multiple user facing surfaces, Ads, and Board.Jianjin Dong | Staff Machine Learning Engineer, Content Quality; Michal Giemza| Machine Learning Engineer, Content Quality; Qinglong Zeng | Senior Engineering Manager, Content Quality; Andrey Gusev | Director, Content Quality; Yangyi Lu | Machine Learning Engineer, Home Feed; Han Sun | Staff Machine Learning Engineer, Ads Conversion Modeling; William Zhao | Software Engineer, Boards Foundation, Jay Ma | Machine Learning Engineer, Ads Lightweight RankingLinkSage: Graph Neural Network based model for Pinterest off-site content semantic embeddingsBackgroundPinterest is the visual inspiration platform where Pinners come to searc…

2 months, 1 week назад @ medium.com
Improving Efficiency Of Goku Time Series Database at Pinterest (Part 2)
Improving Efficiency Of Goku Time Series Database at Pinterest (Part 2) Improving Efficiency Of Goku Time Series Database at Pinterest (Part 2)

Monil Mukesh Sanghavi | Software Engineer, Real Time Analytics Team; Xiao Li | Software Engineer, Real Time Analytics Team; Ming-May Hu | Software Engineer, Real Time Analytics Team; Zhenxiao Luo | Software Engineer, Real Time Analytics Team; Kapil Bajaj | Manager, Real Time Analytics TeamAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short…

2 months, 2 weeks назад @ medium.com
User Action Sequence Modeling for Pinterest Ads Engagement Modeling
User Action Sequence Modeling for Pinterest Ads Engagement Modeling User Action Sequence Modeling for Pinterest Ads Engagement Modeling

Yulin Lei | Senior Machine Learning Engineer; Kaili Zhang | Staff Machine Learning Engineer; Sharare Zahtabian | Machine Learning Engineer II; Randy Carlson | Machine Learning Engineer I; Qifei Shen | Senior Staff Machine Learning EngineerIntroductionPinterest strives to deliver high-quality ads and maintain a positive user experience. The platform aims to show ads that align with the user’s interests and intentions, while also providing them with inspiration and discovery. The Ads Engagement Modeling team at Pinterest plays a crucial role in delivering effective advertising campaigns and helping businesses reach their target audience in a meaningful way. The goal of the engagement modeling…

2 months, 3 weeks назад @ medium.com
Unlocking AI Assisted Development Safely: From Idea to GA
Unlocking AI Assisted Development Safely: From Idea to GA Unlocking AI Assisted Development Safely: From Idea to GA

Sam Wang | Sr. Technical Program Manager; Joe Gordon | Sr. Staff Software EngineerAt Pinterest we are continuously looking for ways to improve our developer experience, and we have recently shipped AI-assisted development for everyone while balancing safety, security, and cost. In this blog post, we share our journey of unlocking AI-assisted development, from the initial idea to the General Availability (GA) stage. Join us as we delve into the opportunities, challenges, and successes we encountered along the way.Like many companies, we initially disallowed the use of Large Language Models (LLMs) until we thoroughly evaluated their legal and security implications. During that time, many engi…

3 months назад @ medium.com
Migrating Policy Delivery Engines with (almost) Nobody Knowing
Migrating Policy Delivery Engines with (almost) Nobody Knowing Migrating Policy Delivery Engines with (almost) Nobody Knowing

Jeremy Krach | Staff Security Engineer, Platform SecurityBackgroundSeveral years ago, Pinterest had a short incident due to oversights in the policy delivery engine. This engine is the technology that ensures a policy document written by a developer and checked into source control is fully delivered to the production system evaluating that policy, similar to OPAL. This incident began a multi-year journey for our team to rethink policy delivery and migrate hundreds of policies to a new distribution model. We shared details about our former policy delivery system in a conference talk from Kubecon 2019.At a high level, there are three important architectural decisions we’d like to bring attent…

4 months назад @ medium.com
Handling Online-Offline Discrepancy in Pinterest Ads Ranking System
Handling Online-Offline Discrepancy in Pinterest Ads Ranking System Handling Online-Offline Discrepancy in Pinterest Ads Ranking System

Author: Cathy Qian, Aayush Mudgal, Yinrui Li and Jinfeng ZhuangImage from https://unsplash.com/photos/w7ZyuGYNpRQIntroductionAt Pinterest, our mission is to bring everyone the inspiration to create a life they love. People often come to Pinterest when they are considering what to do or buy next. Understanding this evolving user journey while balancing across multiple objectives is crucial to bring the best experience to Pinterest users and is supported by multiple recommendation models, with each providing real-time inference with an overall latency of 200–300 milliseconds. In particular, our machine learning powered ads ranking systems are trying to understand users’ engagement and convers…

4 months, 1 week назад @ medium.com
Evolution of Ads Conversion Optimization Models at Pinterest
Evolution of Ads Conversion Optimization Models at Pinterest Evolution of Ads Conversion Optimization Models at Pinterest

A Journey from GBDT to Multi-Task Ensemble DNNAayush Mudgal | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Han Sun | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Matt Meng | Senior Machine Learning Engineer, Ads Ranking Conversion Modeling; Runze Su | Machine Learning Engineer II, Ads Ranking Conversion Modeling; Jinfeng Zhuang | Staff Machine Learning Engineer, Ads Ranking Conversion ModelingIn this blog post, we will share how we improved Pinterest’s conversion optimization performance by leveraging Deep Neural Networks (DNN), Multi-Task Learning (MTL), state-of-the-art feature interaction modules, in-model ensemble techniques, and user sequence…

4 months, 2 weeks назад @ medium.com
Building Pinterest’s new wide column database using RocksDB
Building Pinterest’s new wide column database using RocksDB Building Pinterest’s new wide column database using RocksDB

Rajath Prasad, Senior Engineering ManagerPinterest serves more than 480M monthly users and has grown to be a global destination for visual inspiration. As Pinterest has grown, so have our storage requirements. In 2020, anticipating the growing needs of the business and to simplify our storage offerings, we decided to consolidate our different key-value systems in the company into a single unified service called KVStore. While KVStore was the client facing abstraction, we also built a storage service called Rockstorewidecolumn: a wide column, schemaless NoSQL database built using RocksDB. This blog post goes into the details of how we built this massively scalable, highly available wide colu…

4 months, 3 weeks назад @ medium.com
The Top Pinterest Engineering Blog posts from 2023
The Top Pinterest Engineering Blog posts from 2023 The Top Pinterest Engineering Blog posts from 2023

🔥Pinterest Engineering had a hallmark year 🔥From building new ad formats to launching industry-first inclusive AI technology, Pinterest launched more products in 2023 than in any year in our history. Our Pinterest Engineering Blog goes deeper into the technical learnings and insights behind many of these launches. As we wrap up 2023 and look forward to 2024, we’re sharing a recap of the most-read eng blogs of the year:Building for Inclusivity: The Technical Blueprint of Pinterest’s Multidimensional DiversificationPinterest is now on HTTP/3Lessons from debugging a tricky direct memory leakMLEnv: Standardizing ML at Pinterest Under One ML Engine to Accelerate InnovationPinCompute: A Kubernete…

5 months, 1 week назад @ medium.com
A Glimpse into the Redesigned Goku-Ingestor vNext at Pinterest
A Glimpse into the Redesigned Goku-Ingestor vNext at Pinterest A Glimpse into the Redesigned Goku-Ingestor vNext at Pinterest

Better performance, lower cost and less code complexityXiao Li, Kapil Bajaj, Monil Mukesh Sanghavi and Zhenxiao LuoIntroductionIn the dynamic arena of real-time analytics, the need for precision and speed is non-negotiable. Pinterest’s real-time metrics asynchronous data processing pipeline, powering Pinterest’s time series database Goku, stood at the crossroads of opportunity. The mission was clear: identify bottlenecks, innovate relentlessly, and propel our real-time analytics processing capabilities into an era of unparalleled efficiency.BackgroundThe Goku-Ingestor is an asynchronous data processing pipeline that performs multiplexing of metrics data. It performs data validation, denylis…

5 months, 4 weeks назад @ medium.com
Facebook
последний пост 1 month, 2 weeks назад
Building new custom silicon for Meta’s AI workloads
Building new custom silicon for Meta’s AI workloads

[...]

Read More...

The post Building new custom silicon for Meta’s AI workloads appeared first on Engineering at Meta.

1 month, 2 weeks назад @ engineering.fb.com
Introducing the next-gen Meta Training and Inference Accelerator
Introducing the next-gen Meta Training and Inference Accelerator

[...]

Read More...

The post Introducing the next-gen Meta Training and Inference Accelerator appeared first on Engineering at Meta.

1 month, 2 weeks назад @ ai.meta.com
Optimizing RTC bandwidth estimation with machine learning
Optimizing RTC bandwidth estimation with machine learning

Bandwidth estimation (BWE) and congestion control play an important role in delivering high-quality real-time communication (RTC) across Meta’s family of apps. We’ve adopted a machine learning (ML)-based approach that allows us to solve networking problems holistically across cross-layers such as BWE, network resiliency, and transport. We’re sharing our experiment results from this approach, some of [...]

Read More...

The post Optimizing RTC bandwidth estimation with machine learning appeared first on Engineering at Meta.

2 months назад @ engineering.fb.com
Logarithm: A logging engine for AI training workflows and services
Logarithm: A logging engine for AI training workflows and services

Systems and application logs play a key role in operations, observability, and debugging workflows at Meta. Logarithm is a hosted, serverless, multitenant service, used only internally at Meta, that consumes and indexes these logs and provides an interactive query interface to retrieve and view logs. In this post, we present the design behind Logarithm, and [...]

Read More...

The post Logarithm: A logging engine for AI training workflows and services appeared first on Engineering at Meta.

2 months, 1 week назад @ engineering.fb.com
Building Meta’s GenAI Infrastructure
Building Meta’s GenAI Infrastructure

Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open [...]

Read More...

The post Building Meta’s GenAI Infrastructure appeared first on Engineering at Meta.

2 months, 2 weeks назад @ engineering.fb.com
Improving machine learning iteration speed with faster application build and packaging
Improving machine learning iteration speed with faster application build and packaging

Slow build times and inefficiencies in packaging and distributing execution files were costing our ML/AI engineers a significant amount of time while working on our training stack. By addressing these issues head-on, we were able to reduce this overhead by double-digit percentages. In the fast-paced world of AI/ML development, it’s crucial to ensure that our [...]

Read More...

The post Improving machine learning iteration speed with faster application build and packaging appeared first on Engineering at Meta.

3 months, 4 weeks назад @ engineering.fb.com
Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta
Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta

At Meta, the quest for faster model training has yielded an exciting milestone: the adoption of Lazy Imports and the Python Cinder runtime. The outcome? Up to 40 percent time to first batch (TTFB) improvements, along with a 20 percent reduction in Jupyter kernel startup times. This advancement facilitates swifter experimentation capabilities and elevates the [...]

Read More...

The post Lazy is the new fast: How Lazy Imports and Cinder accelerate machine learning at Meta appeared first on Engineering at Meta.

4 months, 1 week назад @ engineering.fb.com
How Meta is advancing GenAI
How Meta is advancing GenAI

What’s going on with generative AI (GenAI) at Meta? And what does the future have in store? In this episode of the Meta Tech Podcast, Meta engineer Pascal Hartig (@passy) speaks with Devi Parikh, an AI research director at Meta. They cover a wide range of topics, including the history and future of GenAI and the most [...]

Read More...

The post How Meta is advancing GenAI appeared first on Engineering at Meta.

4 months, 2 weeks назад @ engineering.fb.com
AI debugging at Meta with HawkEye
AI debugging at Meta with HawkEye

HawkEye is the powerful toolkit used internally at Meta for monitoring, observability, and debuggability of the end-to-end machine learning (ML) workflow that powers ML-based products. HawkEye supports recommendation and ranking models across several products at Meta. Over the past two years, it has facilitated order of magnitude improvements in the time spent debugging production issues. [...]

Read More...

The post AI debugging at Meta with HawkEye appeared first on Engineering at Meta.

5 months, 1 week назад @ engineering.fb.com
Watch: Meta’s engineers on building network infrastructure for AI
Watch: Meta’s engineers on building network infrastructure for AI

Meta is building for the future of AI at every level — from hardware like MTIA v1, Meta’s first-generation AI inference accelerator to publicly released models like Llama 2, Meta’s next-generation large language model, as well as new generative AI tools like Code Llama. Delivering next-generation AI products and services at Meta’s scale also requires [...]

Read More...

The post Watch: Meta’s engineers on building network infrastructure for AI appeared first on Engineering at Meta.

6 months, 1 week назад @ engineering.fb.com
How Meta is creating custom silicon for AI
How Meta is creating custom silicon for AI

Olivia Wu, Meta’s Technical Lead for Infra Silicon, discusses the design and development of Meta’s first-generation AI inference accelerator. [...]

Read More...

The post How Meta is creating custom silicon for AI appeared first on Engineering at Meta.

7 months, 1 week назад @ engineering.fb.com
Using Chakra execution traces for benchmarking and network performance optimization
Using Chakra execution traces for benchmarking and network performance optimization

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
Arcadia: An end-to-end AI system performance simulator
Arcadia: An end-to-end AI system performance simulator

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

8 months, 3 weeks назад @ engineering.fb.com
Code Llama: Meta’s state-of-the-art LLM for coding
Code Llama: Meta’s state-of-the-art LLM for coding

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

9 months назад @ ai.meta.com
Meta Connect 2023: September 27 – 28
Meta Connect 2023: September 27 – 28

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

9 months, 2 weeks назад @ meta.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 week, 4 days назад
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at

TL;DR Sometimes we cannot estimate the required sample size needed to power an experiment before starting it. To alleviate this [...]

The post Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at appeared first on Spotify Engineering.

1 week, 4 days назад @ engineering.atspotify.com
Supercharged Developer Portals
Supercharged Developer Portals

Today, we announced Spotify’s latest products and services for companies adopting Backstage, the open source framework for building IDPs.

The post Supercharged Developer Portals appeared first on Spotify Engineering.

3 weeks, 5 days назад @ engineering.atspotify.com
Data Platform Explained
Data Platform Explained

As engineers working at Spotify, we frequently find ourselves explaining our robust data platform to fellow professionals who are contemplating [...]

The post Data Platform Explained appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics
Risk-Aware Product Decisions in A/B Tests with Multiple Metrics

TL;DR We summarize the findings in our recent paper, Schultzberg, Ankargren, and Frånberg (2024), where we explain how Spotify’s decision-making [...]

The post Risk-Aware Product Decisions in A/B Tests with Multiple Metrics appeared first on Spotify Engineering.

2 months, 3 weeks назад @ engineering.atspotify.com
Applying the Facade Pattern on Spotify for Artists
Applying the Facade Pattern on Spotify for Artists

Introduction At Spotify, we’re dedicated to delivering a unified experience to our customers — which can sometimes be at odds [...]

The post Applying the Facade Pattern on Spotify for Artists appeared first on Spotify Engineering.

3 months, 2 weeks назад @ engineering.atspotify.com
Exploring the Animation Landscape of 2023 Wrapped
Exploring the Animation Landscape of 2023 Wrapped

Each year, we aim to elevate the Spotify Wrapped experience for our users, crafting captivating data stories and pushing the [...]

The post Exploring the Animation Landscape of 2023 Wrapped appeared first on Spotify Engineering.

4 months назад @ engineering.atspotify.com
Q&A with the Maintainers of the Spotify FOSS Fund
Q&A with the Maintainers of the Spotify FOSS Fund

TL;DR Let’s cap the year by putting a spotlight on some of the valuable work people outside of Spotify are [...]

The post Q&A with the Maintainers of the Spotify FOSS Fund appeared first on Spotify Engineering.

4 months, 3 weeks назад @ engineering.atspotify.com
Recursive Embedding and Clustering
Recursive Embedding and Clustering

Large sets of diverse data present several challenges for clustering, but through a novel approach that combines dimensionality reduction, recursion, and supervised machine learning, we’ve been able to obtain strong results. The post Recursive Embedding and Clustering appeared first on Spotify Engineering.

5 months, 3 weeks назад @ engineering.atspotify.com
The What, Why, and How of Mastering App Size
The What, Why, and How of Mastering App Size

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

6 months, 2 weeks назад @ engineering.atspotify.com
Spotify Wins CNCF Top End User Award for the Second Time!
Spotify Wins CNCF Top End User Award for the Second Time!

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

6 months, 2 weeks назад @ engineering.atspotify.com
How We Automated Content Marketing to Acquire Users at Scale
How We Automated Content Marketing to Acquire Users at Scale

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

6 months, 3 weeks назад @ engineering.atspotify.com
Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library
Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

7 months назад @ engineering.atspotify.com
Announcing the Recipients of the 2023 Spotify FOSS Fund
Announcing the Recipients of the 2023 Spotify FOSS Fund

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

7 months назад @ engineering.atspotify.com
Exclude from Your Taste Profile
Exclude from Your Taste Profile

What is “Exclude from your taste profile”? Are you a parent forced to put the Bluey theme song on repeat? Do you work from home and play lofi beats or ambient piano music? Do you fall asleep to peaceful ambient noises? Are you bummed out when these songs come up as your most listened to [...]

The post Exclude from Your Taste Profile appeared first on Spotify Engineering.

7 months, 1 week назад @ engineering.atspotify.com
Switching Build Systems, Seamlessly
Switching Build Systems, Seamlessly

At Spotify, we have experimented with the Bazel build system since 2017. Over the years, the project has matured, and support for more languages and ecosystems have been added, thanks to the open source community and its maintainers at Google. In 2020, it became clear that the future of our client development required a unified [...]

The post Switching Build Systems, Seamlessly appeared first on Spotify Engineering.

7 months, 1 week назад @ engineering.atspotify.com
Dmitry Anoshin recommends
Snowflake
последний пост 2 days, 8 hours назад
Snowflake Ventures Invests in Omni to Empower Self-Service Business Intelligence and Data Modeling
Snowflake Ventures Invests in Omni to Empower Self-Service Business Intelligence and Data Modeling

This allows customers to extract more value from their data, faster.

The post Snowflake Ventures Invests in Omni to Empower Self-Service Business Intelligence and Data Modeling appeared first on Snowflake.

2 days, 8 hours назад @ snowflake.com
Snowflake Startup Spotlight: TDAA!
Snowflake Startup Spotlight: TDAA!

Learn how TDAA addresses the challenge of processing complex data and why they built their solution on Snowflake.

The post Snowflake Startup Spotlight: TDAA! appeared first on Snowflake.

3 days, 4 hours назад @ snowflake.com
Snowflake Announces Agreement to Acquire TruEra AI Observability Platform to Bring LLM and ML Observability to the AI Data Cloud
Snowflake Announces Agreement to Acquire TruEra AI Observability Platform to Bring LLM and ML Observability to the AI Data Cloud

Accelerating enterprise AI use cases into production is now a board-level priority for most companies. However, one of the key challenges in AI today is ensuring that those use cases are ready for real-life use and continue to perform at a high level in production. Not only must enterprises ensure accurate, reliable, and valuable results […]

The post Snowflake Announces Agreement to Acquire TruEra AI Observability Platform to Bring LLM and ML Observability to the AI Data Cloud appeared first on Snowflake.

4 days назад @ snowflake.com
Snowflake Expands Partnership with Microsoft to Improve Interoperability Through Apache Iceberg
Snowflake Expands Partnership with Microsoft to Improve Interoperability Through Apache Iceberg

Joint customers have bi-directional data access between Snowflake and Microsoft Fabric.

The post Snowflake Expands Partnership with Microsoft to Improve Interoperability Through Apache Iceberg appeared first on Snowflake.

5 days, 1 hour назад @ snowflake.com
Snowflake Ventures Invests in Anvilogic to Redefine SIEM for Enterprises with Multi-Data Platform Flexibility and Gen AI at 80% Cost Savings
Snowflake Ventures Invests in Anvilogic to Redefine SIEM for Enterprises with Multi-Data Platform Flexibility and Gen AI at 80% Cost Savings

With the accelerated pace of AI innovation, cybersecurity organizations are looking for new ways to empower their team members and automate security operations. Cybersecurity teams increasingly use the Data Cloud to unify security data in a scalable analytics platform to improve threat detection and response. At the same time, most enterprises have invested in monolithic […]

The post Snowflake Ventures Invests in Anvilogic to Redefine SIEM for Enterprises with Multi-Data Platform Flexibility and Gen AI at 80% Cost Savings appeared first on Snowflake.

5 days, 7 hours назад @ snowflake.com
Snowflake Arctic Cookbook Series: Instruction-Tuning Arctic
Snowflake Arctic Cookbook Series: Instruction-Tuning Arctic

On April 24, we released Snowflake Arctic with a key goal in mind: to be truly open. In line with that goal, the Snowflake AI Research team is writing a series of cookbooks to describe how to pretrain, fine-tune, evaluate, and serve large-scale mixture-of-experts (MoEs) such as Arctic. We will share our journey of training […]

The post Snowflake Arctic Cookbook Series: Instruction-Tuning Arctic appeared first on Snowflake.

1 week, 2 days назад @ snowflake.com
How Snowflake and Merit Helped Provide Over 120,000 Students with Access to Education Funding
How Snowflake and Merit Helped Provide Over 120,000 Students with Access to Education Funding

Connecting government and education agencies with secure, modern data collaboration

The post How Snowflake and Merit Helped Provide Over 120,000 Students with Access to Education Funding appeared first on Snowflake.

1 week, 3 days назад @ snowflake.com
5 Ways Advertising, Media and Entertainment Companies are Using Gen AI
5 Ways Advertising, Media and Entertainment Companies are Using Gen AI

The emergence of generative AI (gen AI) heralds a new, groundbreaking era for advertising, media and entertainment. According to a recent Snowflake report, Advertising, Media and Entertainment Data + AI Predictions 2024, gen AI is going to transform the industry — from content creation to customer experience. The companies that will come out ahead during […]

The post 5 Ways Advertising, Media and Entertainment Companies are Using Gen AI appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
Snowflake Invests in Metaplane for Deep, End-to-End Observability in the Data Cloud
Snowflake Invests in Metaplane for Deep, End-to-End Observability in the Data Cloud

Helping data teams improve the quality and performance of their data.

The post Snowflake Invests in Metaplane for Deep, End-to-End Observability in the Data Cloud appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
Preserving Data Privacy in Life Sciences: How Snowflake Data Clean Rooms Make It Happen
Preserving Data Privacy in Life Sciences: How Snowflake Data Clean Rooms Make It Happen

The pharmaceutical industry generates a great deal of identifiable data (such as clinical trial data, patient engagement data) that has guardrails around “use and access.” Data captured for the intended purpose of use described in a protocol is called “primary use.” However, once anonymized, this data can be used for other inferences in what we […]

The post Preserving Data Privacy in Life Sciences: How Snowflake Data Clean Rooms Make It Happen appeared first on Snowflake.

1 week, 4 days назад @ snowflake.com
Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise
Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise

Did you know that Snowflake has five advanced role-based certifications to help you stand out in the data community as a Snowflake expert? The Snowflake Advanced Certification Series (Architect, Data Engineer, Data Scientist, Administrator, Data Analyst) offers role-based certifications designed for Snowflake practitioners with one to two years of experience (depending on the program). The […]

The post Snowflake Advanced Certifications: Level Up to SnowPro Advanced and Show Off Your Snowflake Expertise appeared first on Snowflake.

1 week, 5 days назад @ snowflake.com
Accelerate Your Time Series Analytics with Snowflake’s ASOF JOIN, Now Generally Available
Accelerate Your Time Series Analytics with Snowflake’s ASOF JOIN, Now Generally Available

Effectively associate records from disparate tables based on timestamps

The post Accelerate Your Time Series Analytics with Snowflake’s ASOF JOIN, Now Generally Available appeared first on Snowflake.

1 week, 6 days назад @ snowflake.com
Snowflake’s Recertification Program: How to maintain your SnowPro status
Snowflake’s Recertification Program: How to maintain your SnowPro status

There are more than 25,000 SnowPros in the Snowflake Certification community today. Earning and maintaining a SnowPro Certification shows a strategic commitment to expand your Snowflake knowledge and skills, and advance your career. As Snowflake continues to grow, the demand for Snowflake experience and expertise is also rapidly increasing. A recent survey of certified SnowPros […]

The post Snowflake’s Recertification Program: How to maintain your SnowPro status appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
How Healthcare and Life Sciences Organizations Are Accelerating Data, Apps and AI Strategy in the Data Cloud
How Healthcare and Life Sciences Organizations Are Accelerating Data, Apps and AI Strategy in the Data Cloud

Reserve your spot today.

The post How Healthcare and Life Sciences Organizations Are Accelerating Data, Apps and AI Strategy in the Data Cloud appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
Snowflake Cortex LLM Functions Moves to General Availability with New LLMs, Improved Retrieval and Enhanced AI Safety
Snowflake Cortex LLM Functions Moves to General Availability with New LLMs, Improved Retrieval and Enhanced AI Safety

Bring generative AI securely to governed data.

The post Snowflake Cortex LLM Functions Moves to General Availability with New LLMs, Improved Retrieval and Enhanced AI Safety appeared first on Snowflake.

2 weeks, 5 days назад @ snowflake.com
Smart Data
последний пост 1 week, 4 days назад
AI Leads to Breakthroughs in GUI Brainstorming Software
AI Leads to Breakthroughs in GUI Brainstorming Software

AI has led to some major breakthroughs in GUI brainstorming software.

1 week, 4 days назад @ smartdatacollective.com
AI Helps Businesses Save Money with Better Financial Management
AI Helps Businesses Save Money with Better Financial Management

AI can help small businesses improve their financial management practices, which helps them save money.

1 week, 5 days назад @ smartdatacollective.com
Comparative Analysis of Two Top Big Data Transfer Services
Comparative Analysis of Two Top Big Data Transfer Services

Companies that rely on big data need to use the most reliable online data transfer services.

2 weeks назад @ smartdatacollective.com
Gen AI Helps Developers Automate Writing Coding
Gen AI Helps Developers Automate Writing Coding

Automate coding tasks with Gen AI - the ultimate tool for developers to streamline writing and enhance productivity.

2 weeks, 6 days назад @ smartdatacollective.com
Top Tips for Keeping Your AI Startup’s IT Staff Inspired
Top Tips for Keeping Your AI Startup’s IT Staff Inspired

AI startups should invest in the right IT support staff if they want to be successful.

3 weeks, 3 days назад @ smartdatacollective.com
AI-Powered Analytics: Unveiling Hidden Insights in Point-of-Sale Data
AI-Powered Analytics: Unveiling Hidden Insights in Point-of-Sale Data

AI technology can help sales people make the most of POS systems, which helps them reach their goals more easily.

3 weeks, 3 days назад @ smartdatacollective.com
AI Could Change DUI Terms for Future Turo Insurance Policies
AI Could Change DUI Terms for Future Turo Insurance Policies

AI is helping insurance companies better deal with DUIs when writing policies.

4 weeks назад @ smartdatacollective.com
How AI Is Changing Data Analytics in 2024
How AI Is Changing Data Analytics in 2024

Experience the game-changing impact of AI on data analytics in 2024. Elevate your strategy now!

4 weeks, 1 day назад @ smartdatacollective.com
AI Helps Improve About Managed Detection and Response
AI Helps Improve About Managed Detection and Response

AI technology has led to breakthroughs in managed detection solutions, which is helping fight cyberattacks.

4 weeks, 1 day назад @ smartdatacollective.com
Could AI Have Prevented the Houston Metro Bus Incident?
Could AI Have Prevented the Houston Metro Bus Incident?

AI technology is helping improve public safety, which can prevent another accident like the Houston Metro bus incident.

1 month назад @ smartdatacollective.com
New AI Tech Careers Stemming from Remote Education
New AI Tech Careers Stemming from Remote Education

AI technology has created a number of new opportunities for the education sector, which is creating new career opportunities as well.

1 month назад @ smartdatacollective.com
Role of AI-Driven Image Recognition in Modern Security
Role of AI-Driven Image Recognition in Modern Security

AI technology has significantly improved image recognition technology, which helps with modern security.

1 month, 1 week назад @ smartdatacollective.com
New AI Startups Surpass ChatGPT for Legal Solutions
New AI Startups Surpass ChatGPT for Legal Solutions

Unleash the power of new AI startups transforming legal solutions, surpassing ChatGPT's performance. Elevate your legal processes today!

1 month, 1 week назад @ smartdatacollective.com
Can AI Help You Get Better Headshots?
Can AI Help You Get Better Headshots?

AI can help photographers come up with better headshots, which is a huge opportunity for many professionals.

1 month, 1 week назад @ smartdatacollective.com
Why the Best Accident Lawyers Are Using AI
Why the Best Accident Lawyers Are Using AI

Lawyers are becoming more dependent on AI technology, which is helping them get better settlements for customers in ride-sharing accidents.

1 month, 1 week назад @ smartdatacollective.com
We Cloud Data We Cloud Data
последний пост 2 months назад
Using Machine Learning to Distinguish Between Spam and Legitimate Emails
Using Machine Learning to Distinguish Between Spam and Legitimate Emails

Machine learning has revolutionized email spam detection, offering sophisticated solutions to combat the continuous influx of unwanted emails. Deep learning techniques, with their advanced pattern recognition capabilities, have significantly improved spam detection accuracy, ensuring that users receive only relevant and valuable information in their inboxes. Explore how machine learning is enhancing email security and reducing spam effectively.

The post Using Machine Learning to Distinguish Between Spam and Legitimate Emails appeared first on WeCloudData.

2 months назад @ weclouddata.com
Navigating your way: Traffic Prediction with Machine Learning
Navigating your way: Traffic Prediction with Machine Learning

Machine learning is revolutionizing traffic prediction, enhancing route planning and reducing congestion in urban commuting. Explore advanced algorithms like Uni-LSTM and BiLSTM for accurate forecasts, along with Google Maps' integration of deep learning for improved ETA accuracy. Discover the practical utility of machine learning in everyday life.

The post Navigating your way: Traffic Prediction with Machine Learning appeared first on WeCloudData.

2 months назад @ weclouddata.com
Analyzing Remote Work Opportunities in Today’s North America Job Market
Analyzing Remote Work Opportunities in Today’s North America Job Market

Introduction In recent years, the landscape of employment has undergone a profound transformation, with remote work emerging as a viable and increasingly popular option for professionals across various industries. The advent of advanced technologies and shifting attitudes towards work-life balance have paved the way for remote work to become a mainstream phenomenon. In this blog, […]

The post Analyzing Remote Work Opportunities in Today’s North America Job Market appeared first on WeCloudData.

2 months, 2 weeks назад @ weclouddata.com
Energy Management: Solar Power Generation Forecasting
Energy Management: Solar Power Generation Forecasting

Explore how energy management is evolving with advanced solar power generation forecasting, enabling more efficient use of renewable resources and optimizing grid performance. Dive into the future of sustainable energy solutions.

The post Energy Management: Solar Power Generation Forecasting appeared first on WeCloudData.

2 months, 3 weeks назад @ weclouddata.com
Smart Agriculture: How Machine Learning is Helping Farming
Smart Agriculture: How Machine Learning is Helping Farming

Discover how machine learning is revolutionizing smart agriculture, enhancing crop yields, optimizing resources, and making farming more sustainable. Learn about the latest technologies and trends in agriculture.

The post Smart Agriculture: How Machine Learning is Helping Farming appeared first on WeCloudData.

2 months, 3 weeks назад @ weclouddata.com
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting
More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting

Weather forecasting is a complex science that involves analyzing vast amounts of data from various sources, including satellites, weather stations, and radar systems.

The post More Accurate Predictions for Your Day: Machine Learning in Weather Forecasting appeared first on WeCloudData.

2 months, 4 weeks назад @ weclouddata.com
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024
Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024

For those of you who read my last blog, I looked at how the data science job market had performed in 2023 – at least since August when the data collection began. The end of the calendar year provided a fitting moment to take a step back and assess what had transpired in the ensuing […]

The post Data Science Job Market Trends: Navigating the Shifts from 2023 to 2024 appeared first on WeCloudData.

3 months назад @ weclouddata.com
Machine Learning in Entertainment: Customizing Movie Recommendations
Machine Learning in Entertainment: Customizing Movie Recommendations

Explore the transformative impact of machine learning on the entertainment industry, from personalized content recommendations to AI-driven music and film production, enhancing viewer experiences.

The post Machine Learning in Entertainment: Customizing Movie Recommendations appeared first on WeCloudData.

3 months, 1 week назад @ weclouddata.com
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning
Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning

The post Online Shopping Redefined: Predicting Shopper Behavior with Machine Learning appeared first on WeCloudData.

3 months, 2 weeks назад @ weclouddata.com
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection
Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection

Revolutionize healthcare with machine learning for early disease detection. Explore cutting-edge solutions improving everyday health, ensuring timely interventions for a healthier future. #HealthTech #MachineLearning #DiseaseDetection

The post Enhancing Everyday Healthcare with Machine Learning: Early Disease Detection appeared first on WeCloudData.

3 months, 3 weeks назад @ weclouddata.com
Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide
Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide

Machine Learning Engineer: Navigate the evolving landscape of ML in 2024 with insights from WeCloudData's workshop. Explore the structured ML pipeline, data engineering essentials, model engineering nuances, ML Ops challenges, and diverse tools. Build robust ML systems and embark on a successful journey into the dynamic world of ML engineering.

The post Navigating the Path to Become a Machine Learning Engineer in 2024: A Step-by-Step Guide appeared first on WeCloudData.

4 months назад @ weclouddata.com
Different between Data Science, Engineering, and Analysis
Different between Data Science, Engineering, and Analysis

"Discover Data Science, Engineering, and Analysis with WeCloudData. Uncover unique roles, skills, and tools in specialized bootcamps. Propel your career in decoding insights, building data infrastructure, and actionable intelligence

The post Different between Data Science, Engineering, and Analysis appeared first on WeCloudData.

4 months назад @ weclouddata.com
Crafting an Effective Resume with OpenAI
Crafting an Effective Resume with OpenAI

Data Job: Elevate your career with a compelling resume tailored for success. Uncover the transformative power of OpenAI API in crafting dynamic content that captivates hiring managers. Explore the art of showcasing data skills, quantifying achievements, and aligning with job descriptions.

The post Crafting an Effective Resume with OpenAI appeared first on WeCloudData.

4 months назад @ weclouddata.com
Cloud Engineering and DevOps: Insights for 2024
Cloud Engineering and DevOps: Insights for 2024

DevOps Engineer: Navigate the dynamic world of seamless software development in 2024. Uncover the role, skills, and knowledge essential for success. Craft your learning path with WeCloudData's curated DevOps Engineering program, exploring version control, CI/CD, containerization, orchestration, and Infrastructure as Code. Embark on a transformative journey toward mastering the art of DevOps Engineering for a thriving career in technology.

The post Cloud Engineering and DevOps: Insights for 2024 appeared first on WeCloudData.

4 months назад @ weclouddata.com
Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection
Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection

Machine Learning revolutionizes fraud detection in the banking industry. Explore advanced algorithms shaping the future of credit card fraud detection for enhanced security and proactive risk management.

The post Fraud Detection in the Banking Industry: Leveraging Machine Learning for Credit Card Fraud Detection appeared first on WeCloudData.

4 months назад @ weclouddata.com
Learn Data Engineering
последний пост None
Jesse Anderson Jesse Anderson
последний пост 1 week, 4 days назад
Unapologetically Technical Episode 11 – Hubert Dulay
Unapologetically Technical Episode 11 – Hubert Dulay

https://www.youtube.com/watch?v=8NHGyesU2Kw In this episode of Unapologetically Technical, I interview Hubert Dulay, the author of Streaming Data Mesh and Developer Advocate at StarTree. We talked about his early experience with web backends like CORBA and SOAP and how those prepared him for data work. He shares his advice for those with web development skills to transition […]

The post Unapologetically Technical Episode 11 – Hubert Dulay first appeared on Jesse Anderson.

1 week, 4 days назад @ jesse-anderson.com
Unapologetically Technical Episode 10 – Michael Drogalis
Unapologetically Technical Episode 10 – Michael Drogalis 1 month, 2 weeks назад @ jesse-anderson.com
Why Most Data Projects Fail & How to Avoid It at GOTO 2023
Why Most Data Projects Fail & How to Avoid It at GOTO 2023

I had the pleasure of being one of the speakers at GOTO Amsterdam 2023 where I talked about Why Most Data Projects Fail & How to Avoid It and I can’t wait to share this talk with you! Abstract: Unfortunately, the majority of data projects fail. Yet, they fail for the same reasons. Most […]

2 months, 3 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 9 – Gunnar Morling
Unapologetically Technical Episode 9 – Gunnar Morling

https://youtu.be/ayAGiPd2zq4?si=o0SHbsbT0-Pmdkqd This week on Unapologetically Technical, I had the wonderful pleasure of interviewing Gunnar Morling, the creator of the Billion Row Challenge and Senior Staff Software Engineer at Decodable. In this episode, we talk about why it is so important to stay in a position long enough to gain experience and see the success or failure of decisions. […]

3 months назад @ jesse-anderson.com
Unapologetically Technical Episode 8 – Tom Scott
Unapologetically Technical Episode 8 – Tom Scott

https://youtu.be/ZJF7zLvH6-w?si=YHBTQ7B7XB2zwkrq It has been quite a while, but we’re finally back to a new episode this year! In this episode of Unapologetically Technical, I interview Tom Scott, the Founder and CEO of Streambased. Join us as we talk about distributed systems and how he created distributed or what we call the Monte Carlo simulations. We […]

3 months, 2 weeks назад @ jesse-anderson.com
The State of Data Engineering at Data Day Texas 2024
The State of Data Engineering at Data Day Texas 2024

https://youtu.be/0WAfevbtdeY?si=YbN7DhD3ApqoNhf3 The premier of my latest talk covering The State of Data Engineering. I go through the history of the industry to see where we’re heading. This starts with data warehousing and goes into data science. I finish off by showing how data engineering can avoid the same fate as data warehousing and data science. […]

3 months, 4 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 7 – Stephane Derosiaux
Unapologetically Technical Episode 7 – Stephane Derosiaux

https://youtu.be/UgzFYMDV36A?si=AOv16-nAJ2yuSlbS What better year to start the Christmas season than to drop a new episode of Unapologetically Technical! In this episode, I interview Stephane Derosiaux from Conduktor. We talk about his time evolving architectures and creating real-time systems at Auchan (grocery) and Adeo/Leroy Merlin (Home Improvement). We discuss the issues of British food and how […]

5 months, 2 weeks назад @ jesse-anderson.com
The Difference Between Learning and Doing
The Difference Between Learning and Doing 5 months, 4 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 6 – Matteo Merli
Unapologetically Technical Episode 6 – Matteo Merli

https://youtu.be/6JwMxovXUjg?si=ghQ5MMT6Cup9pIzu Another month, another episode! In this episode of Unapologetically Technical, I interview Matteo Merli the co-creator of Apache Pulsar and CTO of StreamNative. We talk about his interest in creating communication protocols and how that morphed into creating Apache Pulsar. He shares why Pulsar was created at Yahoo and how they convinced and managed […]

6 months, 1 week назад @ jesse-anderson.com
The Data Discovery Team
The Data Discovery Team 6 months, 2 weeks назад @ jesse-anderson.com
Unapologetically Technical Episode 5 – Neil Avery
Unapologetically Technical Episode 5 – Neil Avery

https://youtu.be/gmOxIAt0kJA?si=Q95ZCyEaIiNA7zLL Unapologetically Technical is finally back with a new episode! In this episode of Unapologetically Technical, I had the pleasure of interviewing Neil Avery from Liquidlabs. We discussed his experiences creating grid computing systems at major banks like Royal Bank of Scotland and Deutchebank, as well as his journey to founding a startup called Logscape […]

7 months, 2 weeks назад @ jesse-anderson.com
Current 2023 Announcements
Current 2023 Announcements 7 months, 3 weeks назад @ jesse-anderson.com
GPT and LLMs from a Data Engineering Perspective
GPT and LLMs from a Data Engineering Perspective 8 months, 2 weeks назад @ jesse-anderson.com
Data Quest
последний пост None
Infrastructure
AWS
последний пост 2 days, 2 hours назад
Build Spark Structured Streaming applications with the open source connector for Amazon Kinesis Data Streams
Build Spark Structured Streaming applications with the open source connector for Amazon Kinesis Data Streams

Apache Spark is a powerful big data engine used for large-scale data analytics. Its in-memory computing makes it great for iterative algorithms and interactive queries. You can use Apache Spark to process streaming data from a variety of streaming sources, including Amazon Kinesis Data Streams for use cases like clickstream analysis, fraud detection, and more. Kinesis Data Streams is a serverless streaming data service that makes it straightforward to capture, process, and store data streams at any scale. With the new open source Amazon Kinesis Data Streams Connector for Spark Structured Streaming, you can use the newer Spark Data Sources API. It also supports enhanced fan-out for dedicated…

2 days, 2 hours назад @ aws.amazon.com
Executive Conversations: Putting generative AI to work in omnichannel customer service with Prashanth Singh, Chief Operating Officer at LeadSquared
Executive Conversations: Putting generative AI to work in omnichannel customer service with Prashanth Singh, Chief Operating Officer at LeadSquared

Prashanth Singh, Chief Operating Officer at LeadSquared, joins Pravin Mittal, Director of Engineering of Amazon Aurora, for a discussion on using generative artificial intelligence (AI) to scale their omnichannel customer service application while controlling costs. LeadSquared helps customers build truly connected, empowered, and self-reliant sales and service organizations, with the power of automation. This Executive […]

2 days, 2 hours назад @ aws.amazon.com
How LeadSquared accelerated chatbot deployments with generative AI using Amazon Bedrock and Amazon Aurora PostgreSQL
How LeadSquared accelerated chatbot deployments with generative AI using Amazon Bedrock and Amazon Aurora PostgreSQL

LeadSquared is a new-age software as a service (SaaS) customer relationship management (CRM) platform that provides end-to-end sales, marketing, and onboarding solutions. Tailored for sectors like BFSI (banking, financial services, and insurance), healthcare, education, real estate, and more, LeadSquared provides a personalized approach for businesses of every scale. LeadSquared Service CRM goes beyond basic ticketing, […]

2 days, 2 hours назад @ aws.amazon.com
Choose the right change data capture strategy for your Amazon DynamoDB applications
Choose the right change data capture strategy for your Amazon DynamoDB applications

Change data capture (CDC) is the process of capturing changes to data from a database and publishing them to an event stream, making the changes available for other systems to consume. Amazon DynamoDB CDC offers a powerful mechanism for capturing, processing, and reacting to data changes in near real time. Whether you’re building event-driven applications, […]

2 days, 6 hours назад @ aws.amazon.com
Migrate logins, database roles, users, and object-level permissions from Azure SQL Database to Amazon RDS for SQL Server
Migrate logins, database roles, users, and object-level permissions from Azure SQL Database to Amazon RDS for SQL Server

In this post, we demonstrate how to migrate SQL logins, database roles, users, and object-level permissions from Azure SQL Database to Amazon Relational Database Service (Amazon RDS) for SQL Server using T-SQL. Within SQL Server, a SQL login acts as a security principal, allowing a user or application to connect to a SQL Server instance. […]

2 days, 6 hours назад @ aws.amazon.com
Accelerate Mixtral 8x7B pre-training with expert parallelism on Amazon SageMaker
Accelerate Mixtral 8x7B pre-training with expert parallelism on Amazon SageMaker

Mixture of Experts (MoE) architectures for large language models (LLMs) have recently gained popularity due to their ability to increase model capacity and computational efficiency compared to fully dense models. By utilizing sparse expert subnetworks that process different subsets of tokens, MoE models can effectively increase the number of parameters while requiring less computation per […]

3 days, 1 hour назад @ aws.amazon.com
In-place version upgrades for applications on Amazon Managed Service for Apache Flink now supported
In-place version upgrades for applications on Amazon Managed Service for Apache Flink now supported

Managed Service for Apache Flink is a fully managed, serverless experience in running Apache Flink applications, and now supports Apache Flink 1.18.1, the latest released version of Apache Flink at the time of writing. In this post, we explore in-place version upgrades, a new feature offered by Managed Service for Apache Flink. We provide guidance on getting started and offer detailed insights into the feature. Later, we deep dive into how the feature works and some sample use cases.

3 days, 4 hours назад @ aws.amazon.com
Get started with AWS Glue Data Quality dynamic rules for ETL pipelines
Get started with AWS Glue Data Quality dynamic rules for ETL pipelines

In this post, we show how to create an AWS Glue job that measures and monitors the data quality of a data pipeline using dynamic rules. We also show how to take action based on the data quality results.

3 days, 4 hours назад @ aws.amazon.com
Entity resolution and fuzzy matches in AWS Glue using the Zingg open source library
Entity resolution and fuzzy matches in AWS Glue using the Zingg open source library

In this post, we explore how to use Zingg’s entity resolution capabilities within an AWS Glue notebook, which you can later run as an extract, transform, and load (ETL) job. By integrating Zingg in your notebooks or ETL jobs, you can effectively address data governance challenges and provide consistent and accurate data across your organization.

3 days, 4 hours назад @ aws.amazon.com
Provision and manage Amazon RDS for Oracle using Terraform
Provision and manage Amazon RDS for Oracle using Terraform

This the first post in a multi-part series where we discuss how you can set up Amazon Relational Database Service (Amazon RDS) for Oracle with Terraform. Terraform by HashiCorp allows you to define the instructions for setting up the infrastructure as a code, simplifying and automating the process instead of doing everything manually. Overview of […]

3 days, 8 hours назад @ aws.amazon.com
Introducing blueprint discovery and other UI enhancements for Amazon OpenSearch Ingestion
Introducing blueprint discovery and other UI enhancements for Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion is a fully managed serverless pipeline that allows you to ingest, filter, transform, enrich, and route data to an Amazon OpenSearch Service domain or Amazon OpenSearch Serverless collection. OpenSearch Ingestion is capable of ingesting data from a wide variety of sources and has a rich ecosystem of built-in processors to take care […]

3 days, 23 hours назад @ aws.amazon.com
Use AWS Data Exchange to seamlessly share Apache Hudi datasets
Use AWS Data Exchange to seamlessly share Apache Hudi datasets

Apache Hudi was originally developed by Uber in 2016 to bring to life a transactional data lake that could quickly and reliably absorb updates to support the massive growth of the company’s ride-sharing platform. Apache Hudi is now widely used to build very large-scale data lakes by many across the industry. Today, Hudi is the […]

4 days, 1 hour назад @ aws.amazon.com
Generating fashion product descriptions by fine-tuning a vision-language model with SageMaker and Amazon Bedrock
Generating fashion product descriptions by fine-tuning a vision-language model with SageMaker and Amazon Bedrock

This post shows you how to predict domain-specific product attributes from product images by fine-tuning a VLM on a fashion dataset using Amazon SageMaker, and then using Amazon Bedrock to generate product descriptions using the predicted attributes as input. So you can follow along, we’re sharing the code in a GitHub repository.

4 days, 1 hour назад @ aws.amazon.com
How Agnostic Engineering improved storage latency for running Polygon nodes on AWS
How Agnostic Engineering improved storage latency for running Polygon nodes on AWS

This is a guest post co-written by Arnaud Briche, the Founder of Agnostic. At Agnostic, our mission is to democratize access to well-structured blockchain data. We aim to provide a swift, user-friendly, and robust method for querying the vast volumes of data generated by smart contract blockchains. As a company, for performance reasons we first […]

4 days, 7 hours назад @ aws.amazon.com
A generative AI use case using Amazon RDS for SQL Server as a vector data store
A generative AI use case using Amazon RDS for SQL Server as a vector data store

Generative artificial intelligence (AI) has reached a turning point, capturing everyone’s imaginations. Integrating generative capabilities into customer-facing services and solutions has become critical. Current generative AI offerings are the culmination of a gradual evolution from machine learning and deep learning models. The leap from deep learning to generative AI is enabled by foundation models. Amazon […]

4 days, 7 hours назад @ aws.amazon.com
AWS
последний пост 2 days, 2 hours назад
AVB accelerates search in LINQ with Amazon OpenSearch Service
AVB accelerates search in LINQ with Amazon OpenSearch Service

AVB Marketing delivers custom digital solutions for their members across a wide range of products. LINQ, AVB’s proprietary product information management system, empowers their appliance, consumer electronics, and furniture retailer members to streamline the management of their product catalog. In this post, we share how AVB reduced their average search time from 3 seconds to 300 milliseconds in LINQ by adopting Amazon OpenSearch Service while processing 14.5 million record updates daily.

5 days, 4 hours назад @ aws.amazon.com
Create a multimodal assistant with advanced RAG and Amazon Bedrock
Create a multimodal assistant with advanced RAG and Amazon Bedrock

In this post, we present a new approach named multimodal RAG (mmRAG) to tackle those existing limitations in greater detail. The solution intends to address these limitations for practical generative artificial intelligence (AI) assistant use cases. Additionally, we examine potential solutions to enhance the capabilities of large language models (LLMs) and visual language models (VLMs) with advanced LangChain capabilities, enabling them to generate more comprehensive, coherent, and accurate outputs while effectively handling multimodal data

5 days, 4 hours назад @ aws.amazon.com
How 20 Minutes empowers journalists and boosts audience engagement with generative AI on Amazon Bedrock
How 20 Minutes empowers journalists and boosts audience engagement with generative AI on Amazon Bedrock

This post is co-written with Aurélien Capdecomme and Bertrand d’Aure from 20 Minutes. With 19 million monthly readers, 20 Minutes is a major player in the French media landscape. The media organization delivers useful, relevant, and accessible information to an audience that consists primarily of young and active urban readers. Every month, nearly 8.3 million 25–49-year-olds choose […]

5 days, 4 hours назад @ aws.amazon.com
Enable fine-grained access control and observability for API operations in Amazon DynamoDB
Enable fine-grained access control and observability for API operations in Amazon DynamoDB

Customers choose Amazon DynamoDB to improve their applications’ performance, scalability, and resiliency. DynamoDB’s serverless architecture simplifies operations by abstracting hardware, scaling, patches, and maintenances. Managing data access and security in DynamoDB is different than instance-based database solutions. DynamoDB uses AWS Identity and Access Management (IAM) to authenticate and authorize access to resources, whereas RBDMS solutions rely on firewalls rules, […]

5 days, 4 hours назад @ aws.amazon.com
Efficient and cost-effective multi-tenant LoRA serving with Amazon SageMaker
Efficient and cost-effective multi-tenant LoRA serving with Amazon SageMaker

In this post, we explore a solution that addresses these challenges head-on using LoRA serving with Amazon SageMaker. By using the new performance optimizations of LoRA techniques in SageMaker large model inference (LMI) containers along with inference components, we demonstrate how organizations can efficiently manage and serve their growing portfolio of fine-tuned models, while optimizing costs and providing seamless performance for their customers. The latest SageMaker LMI container offers unmerged-LoRA inference, sped up with our LMI-Dist inference engine and OpenAI style chat schema. To learn more about LMI, refer to LMI Starting Guide, LMI handlers Inference API Schema, and Chat Compl…

5 days, 5 hours назад @ aws.amazon.com
Migrate a multi-TB SQL Server database to Amazon RDS Custom for SQL Server using Amazon FSx for Windows File Server
Migrate a multi-TB SQL Server database to Amazon RDS Custom for SQL Server using Amazon FSx for Windows File Server

This is the second part in a two-part series on how to migrate a multi-TB database to Amazon Relational Database Services (Amazon RDS) Custom for SQL Server. RDS Custom for SQL Server is a managed database service that automates database setup, operation, backups, high availability, and scalability while providing access to both the database and […]

5 days, 5 hours назад @ aws.amazon.com
Freecharge lowered their identity management system cost and improved scaling by switching to Amazon DynamoDB
Freecharge lowered their identity management system cost and improved scaling by switching to Amazon DynamoDB

Freecharge, subsidiary of Axis Bank, is a payment app serving over 100 million users across India. Over the years, Freecharge has transformed to become one of the leading financial services and investment apps in the country. Freecharge has always been known for offering safe and seamless UPI payments, utility bill payments, mobile/DTH recharges, and much […]

6 days, 3 hours назад @ aws.amazon.com
Use LangChain and vector search on Amazon DocumentDB to build a generative AI chatbot
Use LangChain and vector search on Amazon DocumentDB to build a generative AI chatbot

Amazon DocumentDB (with MongoDB compatibility) offers benefits to customers building modern applications across multiple domains, including healthcare, gaming, and finance. As a fully managed document database, it can improve user experiences through flexibility, scalability, high performance, and advanced functionality. Enterprises that use the JSON data model supported by Amazon DocumentDB can achieve faster application development […]

6 days, 3 hours назад @ aws.amazon.com
Understanding Apache Iceberg on AWS with the new technical guide
Understanding Apache Iceberg on AWS with the new technical guide

We’re excited to announce the launch of the Apache Iceberg on AWS technical guide. Whether you are new to Apache Iceberg on AWS or already running production workloads on AWS, this comprehensive technical guide offers detailed guidance on foundational concepts to advanced optimizations to build your transactional data lake with Apache Iceberg on AWS.

6 days, 3 hours назад @ aws.amazon.com
Optimize AWS event and log collection using common design patterns
Optimize AWS event and log collection using common design patterns

Learn about some common approaches for collecting data from multiple AWS services across your organization, including common patterns with code samples that you can reuse to consume the data.

1 week, 1 day назад @ aws.amazon.com
Binary logging optimizations in Amazon Aurora MySQL version 3
Binary logging optimizations in Amazon Aurora MySQL version 3

The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a modification is committed in […]

1 week, 2 days назад @ aws.amazon.com
Mixtral 8x22B is now available in Amazon SageMaker JumpStart
Mixtral 8x22B is now available in Amazon SageMaker JumpStart

Today, we are excited to announce the Mixtral-8x22B large language model (LLM), developed by Mistral AI, is available for customers through Amazon SageMaker JumpStart to deploy with one click for running inference. You can try out this model with SageMaker JumpStart, a machine learning (ML) hub that provides access to algorithms and models so you […]

1 week, 2 days назад @ aws.amazon.com
Building Generative AI prompt chaining workflows with human in the loop
Building Generative AI prompt chaining workflows with human in the loop

While Generative AI can create highly realistic content, including text, images, and videos, it can also generate outputs that appear plausible but are verifiably incorrect. Incorporating human judgment is crucial, especially in complex and high-risk decision-making scenarios. This involves building a human-in-the-loop process where humans play an active role in decision making alongside the AI system. In this blog post, you will learn about prompt chaining, how to break a complex task into multiple tasks to use prompt chaining with an LLM in a specific order, and how to involve a human to review the response generated by the LLM.

1 week, 2 days назад @ aws.amazon.com
Amazon DocumentDB zero-ETL integration with Amazon OpenSearch Service is now available
Amazon DocumentDB zero-ETL integration with Amazon OpenSearch Service is now available

Today, we are announcing the general availability of Amazon DocumentDB (with MongoDB compatibility) zero-ETL integration with Amazon OpenSearch Service. Amazon DocumentDB provides native text search and vector search capabilities. With Amazon OpenSearch Service, you can perform advanced search analytics, such as fuzzy search, synonym search, cross-collection search, and multilingual search, on Amazon DocumentDB data. Zero-ETL […]

1 week, 2 days назад @ aws.amazon.com
Safely remove Kafka brokers from Amazon MSK provisioned clusters
Safely remove Kafka brokers from Amazon MSK provisioned clusters

Today, we are announcing broker removal capability for Amazon Managed Streaming for Apache Kafka (Amazon MSK) provisioned clusters, which lets you remove multiple brokers from your provisioned clusters. You can now reduce your cluster’s storage and compute capacity by removing sets of brokers, with no availability impact, data durability risk, or disruption to your data streaming […]

1 week, 3 days назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Meltano ingestion to snowflake
Meltano ingestion to snowflake

Anyone know how to use Meltano to put csv files into snowflake database? submitted by /u/Icy-Moment-4802 [link] [comments]

1 час назад @ reddit.com
evaluate my cv for a DE position
evaluate my cv for a DE position evaluate my cv for a DE position

Hi, I'm currently looking for a new job as a data engineer, I have over 2 years of experience in the data world for a consultant company. I have developed analysis, automation, web-scraping, ETL, ELT, lots of SQL queries and database design, scripts with Python, etc. so far I have not been so lucky, from 10 applications one or two even considered a first call with me, and even after I got rejected. Is the cv the problem? I'm aware that my background before my actual job is not really from tech. could be that the reason? I'm open to suggestions on the cv or even career advice. https://preview.redd.it/b9ksc8qbkt2d1.png?width=634&format=png&auto=webp&s=cc2aae33f13fdb44fb8bdcebfa3e3858d246e0df …

1 час назад @ reddit.com
since what data size is recommended to use pyspark over pandas?
since what data size is recommended to use pyspark over pandas?

For me working in pandas is easier bc i remember many commands to manage dataframes and is more manipulable… but since what size of data, or rows (or whatever) is better to use pyspark over pandas? submitted by /u/Irachar [link] [comments]

3 часа назад @ reddit.com
Prefect deployments
Prefect deployments

Hello all, I'm totally new at Prefect. I've set up Prefect (self-hosted) on a EC2 instance. For now the flows are local (in the VM inside flows/). As far as my understanding goes, when I do some modification to a Prefect flow, I should apply (re-apply) its corresponding deployment yaml file. I have one deployment yaml file per flow. How do you automate all of that in the CI? Are you applying all the deployment files every time? Do you have a script that find out only the deployment files whose corresponding flows have changed? Thanks in advance ! submitted by /u/yinshangyi [link] [comments]

4 часа назад @ reddit.com
Periscope (Sisense) alternatives?
Periscope (Sisense) alternatives?

Hoping for some suggestions from the group. I'm looking for a code-first visualization tool for internal measurement/analytics. Periscope was a perfect tool for this in the past (their literal tagline was, "Write code, see charts"). However, I spoke with them recently and they've moved away from this and are fully focused on customer-facing embedded analytics. The challenge I'm running into is pretty much all of the tools out there have moved towards self-service focused implementations, drag-and-drop, which I do not want. Even Metabase has gone this direction, where 80% of things won't work if you're using Custom SQL as a basis, where their support will just say, "Sorry man, gotta use Quer…

5 часов назад @ reddit.com
Need advice on finding data sources for enhancing and enriching data with a Python ETL application
Need advice on finding data sources for enhancing and enriching data with a Python ETL application

I maintain an application that aggregates licensing data for controlled substances. We get most of our data from scraping government websites after a significant effort of locating the data we need on those sites. However, the data that we collect often has gaps related to the business addresses (US data for now), business contact information (phone, email), and business owner data (name, title). I am looking for a way to cost-effectively, or freely, find and integrate that data. I have looked at providers like OpenCorporates (130k/y), ZoomInfo (400k/y), and a few other niche players but their data rates are ghastly. Are there open-source or free alternatives where i could input the busines…

6 часов назад @ reddit.com
Suggestions for connecting MySQL and PostgreSQL (ideally that aren't super complicated)?
Suggestions for connecting MySQL and PostgreSQL (ideally that aren't super complicated)?

Hello data people of Reddit! Non data person working on an open source data project running into problems that I assume the data pros don't have to deal with 😂 Here's the situation: I've been building out a PostgreSQL database to back a data visualisation tool· The tool wanted Postgres and ... it seemed like a solid choice for data viz so I went with it over SQL. Have a good host, getting somewhat proficient at queries, all is well. The initial plan for this publishing project was to ingest the database into the visualisation tool then generate embed objects and then publish those in blog posts. A few months into this I realised: why not just ingress some of the data directly into one of th…

6 часов назад @ reddit.com
Best Laptop under 2k$
Best Laptop under 2k$

Hey! I'm a data engineer and I'm looking for a best top end high spec easy to carry laptop under 2k$ !!! Please suggest, I've got my eyes on Dell XPS, but confused on which model to choose submitted by /u/Entire_Technician405 [link] [comments]

7 часов назад @ reddit.com
Data analyst to senior DE role
Data analyst to senior DE role

I have 6 yrs experience in data analytics and few yr in finance before analytics. I want to move to senior role in data domain, if possible in data engineering. Any advices on how to achieve it ? Thanks submitted by /u/KBHAL [link] [comments]

9 часов назад @ reddit.com
How to fetch data from cloud software API and place into a table within SQL server
How to fetch data from cloud software API and place into a table within SQL server

Hi guys, I'd like to learn how to fetch data from cloud software API and then place the data into a SQL server. Additionally, i would like to schedule this job to happen every day. Is anyone able to point me towards some tutorials on how to do this? submitted by /u/Ok_Technician_2095 [link] [comments]

9 часов назад @ reddit.com
How should I know every tables and relationship when I'm applying the DV2(data vault 2.0)?
How should I know every tables and relationship when I'm applying the DV2(data vault 2.0)?

Hey, guys. To be honest with you, I don't have many experience about data warehouse and data warehouse modeling. While I'm researching for the DV2, it seems necessary to know source tables and relationship to make raw vault. Is it possible to apply DV2 to DW without knowledge of source table? It's possible to ask to owner of table but I'm not. submitted by /u/PrimaryConsistent262 [link] [comments]

10 часов назад @ reddit.com
Where/ how to find good offers in data engineering in France
Where/ how to find good offers in data engineering in France

Hello community, I am currently in apprenticeship as a Data Engineer in a large entity here in France (Paris). I'm looking for a job next year but I'm not getting good salaries that match my profile. I get 38k to 40k which is low. I'm looking for 43k and above. Where can I find great deals and how do I get them? Can you give me some suggestions and the skills needed so I can improve them. I also want to know if there are other countries that offer good salaries to DE (besides the US). submitted by /u/Murky_Brother_5563 [link] [comments]

10 часов назад @ reddit.com
Grouping Data Engineering Skills - advice needed!
Grouping Data Engineering Skills - advice needed!

Hey fellow data nerds, I'm currently working on my CV for Data Engineering jobs and need some advice on how to best group my skills in the skills section. I've categorized them into four buckets, but I'm unsure if this makes the most sense. Is there a better way to do it? Here is my current grouping? Cloud: AWS (S3, Glue, EMR, Lambda, Step Functions, Redshift, OpenSearch, EC2, ECS Fargate, CloudWatch) Big Data & Data Engineering: Apache Spark, Apache Flink, Apache Airflow, Hadoop, Databricks, Delta Lake, dbt, Kafka DevSecOps: Terraform, Docker, Kubernetes, Jenkins, GitHub Actions, Trivy, SonarQube, Prometheus, Grafana Programming & Analytics: Python, Java, Data Structures & Algorithms, Git,…

13 часов назад @ reddit.com
Am I too late to change career to Data engineer :(
Am I too late to change career to Data engineer :(

Hai guys, I am male 30 years old from Malaysia.Currently working as a offshore radiation specialist. From past 2 years I have been studying and attending DE courses (biggest one is under the government sponsorship where we learn DE of big data using hadoop and spark for every weekend for 4 month ,others than that is from Coursera and YouTube videos) For Coursera along of others courses I have taken the most I feel I can be show my understanding in DE is Microsoft Azure Data Engineer Associate (DP-203) professional certificate. *most enterprise in Malaysia are more likely to use Azure and Microsoft products so that is why I take that courses in the first place. Besides that I also have done …

14 часов назад @ reddit.com
Meta Technical Round
Meta Technical Round

Have my first technical round with meta for a DE position. Any tips on what to expect? Been grinding through mediums and hards on Stratacratch and all the Meta tagged problems on LC. Can anyone who interviewed recently give me some ideas on what LC topics I can expect to receive? I’m guessing definitely arrays/hashing/stacks/queues.. not sure about trees and graphs though. submitted by /u/Perfect_Kangaroo6233 [link] [comments]

15 часов назад @ reddit.com
Towards Data Science
последний пост 4 часа назад
Why Representation Finetuning is the Most Efficient Approach Today?
Why Representation Finetuning is the Most Efficient Approach Today? Why Representation Finetuning is the Most Efficient Approach Today?

A Step-by-Step Guide to Representation Finetuning LLAMA3Continue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
How to Reduce Embedding Size and Increase RAG Retrieval Speed
How to Reduce Embedding Size and Increase RAG Retrieval Speed How to Reduce Embedding Size and Increase RAG Retrieval Speed

Flexible text embedding with Matryoshka Representation Learning (MRL)Continue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Difference-in-Difference 101
Difference-in-Difference 101 Difference-in-Difference 101

What is Difference-in-difference (DiD or DD or diff-in-diff)? Why do we care about DiD? Today I will answer all the questions about one of the most popular methods in econometrics to study a policy effect.Image created by the author using DALL.E. The image attempts to show the introduction of technology such as tablets in the classroom and its effect on grades.DiD is a widely used econometric technique that estimates causal relationships by comparing the changes in outcomes over time between a treatment group and a control group. The question is what are treatment and control? Treatment is a policy intervention that affects a specific group due to a policy or change. Control is a group that…

6 часов назад @ towardsdatascience.com
Challenges and Solutions in Data Mesh – Part 1
Challenges and Solutions in Data Mesh – Part 1 Challenges and Solutions in Data Mesh – Part 1

Why the Data Mesh as defined by Zhamak Dehghani has its challenges and how these can be addressed.Continue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
Langchain’s built-in eval metrics for AI output: how are they different?
Langchain’s built-in eval metrics for AI output: how are they different? Langchain’s built-in eval metrics for AI output: how are they different?

LangChain’s Built-In Eval Metrics for AI Output: How Are They Different?I’ve created custom metrics most often for my own use cases, but have come across these built-in metrics for AI tools in LangChain repeatedly before I’d started using RAGAS and/or DeepEval for RAG evaluation, so finally was curious on how these metrics are created and ran a quick analysis (with all inherent bias of course).TLDR is from the correlation matrix below:Helpfulness and Coherence (0.46 correlation): This strong correlation suggests that the LLM (and by proxy, users) could find coherent responses more helpful, emphasizing the importance of logical structuring in responses. It is just correlation, but this relat…

7 часов назад @ towardsdatascience.com
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and…
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and… The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and…

The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.Image by author.Are they different words for the same thing? Unique approaches to the same problem? Something else entirely?And more importantly — do you really need all three?Like everything in data engineering, data quality management is evolving at lightning speed. The meteoric rise of data and AI in the enterprise has made data quality a zero day risk for modern businesses — and THE problem to sol…

1 day, 5 hours назад @ towardsdatascience.com
Interpretable Outlier Detection: Frequent Patterns Outlier Factor (FPOF)
Interpretable Outlier Detection: Frequent Patterns Outlier Factor (FPOF) Interpretable Outlier Detection: Frequent Patterns Outlier Factor (FPOF)

An outlier detector method that supports categorical data and provides explanations for the outliers flaggedOutlier detection is a common task in machine learning. Specifically, it’s a form of unsupervised machine learning: analyzing data where there are no labels. It’s the act of finding items in a dataset that are unusual relative to the others in the dataset.There can be many reasons to wish to identify outliers in data. If the data being examined is accounting records and we’re interested in finding errors or fraud, there are usually far too many transactions in the data to examine each manually, and it’s necessary to select a small, manageable number of transactions to investigate. A g…

1 day, 6 hours назад @ towardsdatascience.com
Real-Time Analytics Solution for Usage-Based API Billing and Metering
Real-Time Analytics Solution for Usage-Based API Billing and Metering Real-Time Analytics Solution for Usage-Based API Billing and Metering

Design a real-time analytics pipeline for tracking API invocation usage with Apache APISIX, Redpanda, and Apache Pinot.Continue reading on Towards Data Science »

1 day, 7 hours назад @ towardsdatascience.com
How to: Handle Missing Data for Time Series
How to: Handle Missing Data for Time Series How to: Handle Missing Data for Time Series

Should you drop, interpolate, or impute?Continue reading on Towards Data Science »

1 day, 13 hours назад @ towardsdatascience.com
Profiling CUDA using Nsight Systems: A Numba Example
Profiling CUDA using Nsight Systems: A Numba Example Profiling CUDA using Nsight Systems: A Numba Example

Profiling CUDA Using Nsight Systems: A Numba ExampleLearn about profiling by inspecting concurrent and parallel Numba CUDA code in Nsight SystemsIntroductionOptimization is a crucial part of writing high performance code, no matter if you are writing a web server or computational fluid dynamics simulation software. Profiling allows you to make informed decisions regarding your code. In a sense, optimization without profiling is like flying blind: mostly fine for seasoned professionals with expert knowledge and fine-tuned intuition, but a recipe for disaster for almost everyone else.Photo by Rafa Sanfilippo on UnsplashIn This TutorialFollowing my initial series CUDA by Numba Examples (see pa…

1 day, 13 hours назад @ towardsdatascience.com
From Assumptions to Accuracy: The Role of Conditional Probability in Real-World Predictions
From Assumptions to Accuracy: The Role of Conditional Probability in Real-World Predictions From Assumptions to Accuracy: The Role of Conditional Probability in Real-World Predictions

Conditional probability is better than probability ; IF you have the relevant informationImage taken from UnsplashIntroductionAnyone who has ever studied probability has heard of the long-established definition of probability of “Probability can be defined as the number of favorable outcomes divided by the total number outcomes.” I can still hear my 4th grade teacher reiterating this!While this definition is correct, it often makes me wonder, how accurate is this definition for the real-world? How accurate is it when we have some more information about the favorable outcomes? To put it more clearly, when we have some more “conditions” to put to our favorable outcomes.Putting “conditions” is…

1 day, 15 hours назад @ towardsdatascience.com
The Art of Stress Management as a Data Scientist
The Art of Stress Management as a Data Scientist The Art of Stress Management as a Data Scientist

What you do when you’re not a data scientist could help you become a better data scientistContinue reading on Towards Data Science »

1 day, 16 hours назад @ towardsdatascience.com
Behind The Scenes: Explaining My Work As A Data Scientist
Behind The Scenes: Explaining My Work As A Data Scientist Behind The Scenes: Explaining My Work As A Data Scientist

A breakdown of what my data science role truly entailsContinue reading on Towards Data Science »

2 days, 3 hours назад @ towardsdatascience.com
6 Real-World Uses of Microsoft’s Newest Phi-3 Vision-Language Model
6 Real-World Uses of Microsoft’s Newest Phi-3 Vision-Language Model 6 Real-World Uses of Microsoft’s Newest Phi-3 Vision-Language Model

Exploring possible use cases of Phi-3-Vision, a small yet powerful MLLM that can be run locally (with code examples)Photo by RoonZ nl on UnsplashMicrosoft recently released Phi-3, a powerful language model, with a new Vision-Language variant called Phi-3-vision-128k-instruct. This 4B parameter model achieved impressive results on public benchmarks, even surpassing GPT-4V in some cases and outperforming Gemini 1.0 Pro V in all but MMMU.This blog post will explore how you can utilize Phi-3-vision-128k-instruct as a robust vision and text model in your data science toolkit. We’ll demonstrate its capabilities through various use cases, including:Optical Character Recognition (OCR)Image Captioni…

2 days, 3 hours назад @ towardsdatascience.com
Streamline Your Prompts to Decrease LLM Costs and Latency
Streamline Your Prompts to Decrease LLM Costs and Latency Streamline Your Prompts to Decrease LLM Costs and Latency

Discover 5 techniques to optimize token usage without sacrificing accuracyContinue reading on Towards Data Science »

2 days, 3 hours назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 3 days, 22 hours назад
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024
The Past, Present, and Future of Data Quality Management: Understanding Testing, Monitoring, and Data Observability in 2024

The data estate is evolving, and data quality management needs to evolve right along with it. Here are three common approaches and where the field is heading in the AI era.

3 days, 22 hours назад @ montecarlodata.com
Data Quality Monitoring Explained – You’re Doing It Wrong
Data Quality Monitoring Explained – You’re Doing It Wrong

Data quality monitoring is one of the traditional methods of managing data quality—but is it enough? Find out what's missing, and how to do it better.

1 month назад @ montecarlodata.com
12 Data Quality Metrics That ACTUALLY Matter
12 Data Quality Metrics That ACTUALLY Matter

How to improve your Data Quality Metrics and why it matters for your business.

1 month, 2 weeks назад @ montecarlodata.com
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter
Monte Carlo Recognized as the #1 Data Observability Platform by G2 for Fourth Consecutive Quarter

In Spring 2024, Monte Carlo earned both #1 in the Data Observability category and #1 in the Database Monitoring category, along with 14 additional awards.

1 month, 4 weeks назад @ montecarlodata.com
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy
3 Simple Steps For Snowflake Cost Optimization Without Getting Too Crazy

Snowflake cost optimization efforts need to be right sized. Read how to get the most savings without investing too much time and sweat.

1 month, 4 weeks назад @ montecarlodata.com
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric
Monte Carlo Brings Data Observability to Microsoft Azure Synapse and Microsoft Fabric

Leverage machine learning to proactively identify data and data pipeline anomalies so you can fix bad data before it impacts your analytics, AI and other data products.

2 months назад @ montecarlodata.com
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey
Scaling Data Quality for Innovation and Growth: Aircall’s Data Observability Journey

Learn how the Aircall team uses Monte Carlo's data observability solution to maintain their focus on self-serve infrastructure without compromising on data quality.

2 months, 1 week назад @ montecarlodata.com
Data Quality Testing: 7 Essential Tests
Data Quality Testing: 7 Essential Tests

Data reliability on your radar? Get started with these 7 must-have data quality tests, including null value, numeric distribution, and freshness tests.

2 months, 1 week назад @ montecarlodata.com
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too
Is Prompt Engineering Overhyped? No—But Learn These 3 GenAI Skills Too

Understand what prompt engineering is and why it’s valuable—as well as a few other GenAI skills that should be at the top of your list.

2 months, 2 weeks назад @ montecarlodata.com
How To Implement Data Mesh: Top Tips From 4 Data Leaders
How To Implement Data Mesh: Top Tips From 4 Data Leaders

Four data leaders from leading organizations give their practical advice on how to implement data mesh.

2 months, 3 weeks назад @ montecarlodata.com
Modern Data Quality Management: A Proven 6 Step Guide
Modern Data Quality Management: A Proven 6 Step Guide

This 6 step data quality management framework has helped hundreds of organizations achieve higher quality data across their modern data stacks at scale.

3 months назад @ montecarlodata.com
4 GenAI Opportunities from Real Data Teams
4 GenAI Opportunities from Real Data Teams

Experts from PayNearMe, Mission Lane, and Fundbox, share their real strategies for operationalizing GenAI, and how data quality plays an important role.

3 months, 2 weeks назад @ montecarlodata.com
Best Data Observability Tools (with RFP Template and Analyst Reports)
Best Data Observability Tools (with RFP Template and Analyst Reports)

Monte Carlo is rated #1, but we recognize there are alternatives. Here's how the experts evaluate data observability tools.

3 months, 2 weeks назад @ montecarlodata.com
Building Spark Lineage For Data Lakes
Building Spark Lineage For Data Lakes

Spark lineage has been a blindspot for the data engineering industry so we set off to engineer a solution. Here's how we did it.

3 months, 3 weeks назад @ montecarlodata.com
How JetBlue Used Data Observability To Help Improve Internal “Data NPS” By 16 Points Year Over Year
How JetBlue Used Data Observability To Help Improve Internal “Data NPS” By 16 Points Year Over Year

Getting data and people where they need to be at JetBlue by prioritizing data trust.

3 months, 3 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 1 week, 2 days назад
Большая папка с крутыми каналами про IT ⚡️ Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников
Большая папка с крутыми каналами про IT ⚡️ Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников Большая папка с крутыми каналами про IT ⚡️ Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников

Большая папка с крутыми каналами про IT ⚡️ Каналов про IT много, хороших каналов про IT — мало. Собрали такие в одном месте! Тут про новости, ивенты, вакансии, работу, учебу и многое другое. Полезно как для начинающих специалистов, так и опытных айтишников из Центральной Азии 🔥Переходите по ссылке, добавляйте папку себе и оставайтесь в тренде всего самого интересного из IT-мира:https://t.me/addlist/4zT-2KYP1JYzNGRi

1 week, 2 days назад @ t.me
Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (A
Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (A

Airflow 2.9Буквально час назад вышла новая версия Apache Airflow — 2.9. В релизе очень много изменений и фиксов, а также новых фич:— поддержка Python 3.12— Listener API стабилизировался и его можно использовать в продакшене— Поддержка multiple executors (AIP-61 Hybrid Execution)— DatasetOrTimeSchedule, срабатывание по Timetable расписанию и Dataset событиям— @task.bash декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотрите по ссылке.

1 month, 2 weeks назад @ t.me
У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books
У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

У ребят из PostgresPro есть отличные, а главное бесплатные, книги по PostgreSQL: https://postgrespro.ru/education/books

2 months назад @ t.me
Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги
Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги

Убийца DuckDB 🔫А вы уже видели аналог DuckDB от ребят из ClickHouse? Называется это чудо chDB. Представляет из себя встроенную OLAP базу данных под капотом которой пыхтит движок ClickHouse. Умеет в Parquet, Arrow, ORC и кучу других форматов, есть биндинги для Python, Go, Rust, NodeJS, Bun. Работает на Linux и MacOS, жаль Windows не поддерживает.Узнал я о существовании этой БД из новости о том, что chDB присоединяется к ClickHouse: https://auxten.com/chdb-is-joining-clickhouse/

2 months, 2 weeks назад @ t.me
Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым кате
Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым кате

Ребята, всем привет! 🤝Вас стало ещё больше и поэтому я хотел напомнить о существовании моего другого телеграм-канала с вакансиями в области DataEng, DataOps и DBA: https://t.me/dataeng_jobsВ этот канал автоматически попадают вакансии по вышеупомянутым категориям, классификация происходит через OpenAI API.Подписывайтесь, скоро источников с вакансиями станет ещё больше, и возможно именно вы найдёте лучшее для себя предложение — @dataeng_jobs

2 months, 3 weeks назад @ t.me
Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит пок
Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит пок

Курс про Apache Airflow бесплатноРешил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курсЗа то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.Велком!

3 months назад @ t.me
Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт
Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт

Всем привет!Я сделал курс по Luigi бесплатным для всех, велком изучать — Введение в Data Engineering: дата-пайплайныLuigi это компактный инструмент для построения зависимых между собой задач на базе нескольких сущностей: Task, Target. Он идеально подойдёт там, где Airflow кажется избыточным инструментом. В далёком 2017 году я писал небольшой обзорный пост на Luigi у себя в блоге: Строим Data Pipeline на Python и Luigi. С тех пор мало что изменилось в концепции инструмента, он по прежнему компактный и простой, именно в этом вся его прелесть.

3 months, 1 week назад @ t.me
В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лё
В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лё

В очередной раз наткнулся в сети на статью про эксплуатацию Apache Airflow в среде Kubernetes: What we learned after running Airflow on Kubernetes for 2 years. У автора развёрнут Airflow с 300 дагами и около 5 000 задачами. Преимущественно они запускают лёгкие таски по типу dbt-трансформаций, поэтому при использовании KubernetesExecutor столкнулись с тем, что инициализация Pod занимает больше времени чем выполнение самой задачи. Выбор в итоге пал на CeleryExecutor. В целом статья не столько про нюансы работы Airflow внутри Kubernetes-кластера сколько про опыт эксплуатации инструмента в их конкретном случае. Полезно.В нашей команде Airflow также является ключевым инструментом для выполнения …

3 months, 2 weeks назад @ t.me
Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и Duck
Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и Duck

Сейчас много шума вокруг DuckDB. Это компактная OLAP база данных на стероидах. На днях наткнулся на статью в рассылке про DuckDB и почему на неё стоит обратить внимание: What is DuckDB?Также возможно вас заинтересует сравнение polars (убийца pandas) и DuckDB: DuckDB vs Polars for Data Engineering

3 months, 2 weeks назад @ t.me
Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/d
Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/d

Привет! В рамках возобновления работы над своим старым проектом по агрегации вакансий с удалённым форматом работы, я запустил отдельный телеграм-канал, где в автоматическом режиме публикуются вакансии из категории Data Engineering и DataOps: https://t.me/dataeng_jobsПопадают они туда в процессе сбора и анализа вакансий с различных профильных сайтов типа Хабр Карьера, VC, DevBy и т.д. Классифицируются они через API сервиса OpenAI, проще говоря GPT4.Если вы в поиске работы, то моя инициатива вероятно поможет вам найти нужный оффер быстрее 🚀Подписывайтесь

3 months, 3 weeks назад @ t.me
Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93
Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

Гайд о том как развернуть Apache Airflow локально через Kubernetes: https://blog.det.life/setting-up-apache-airflow-on-kubernetes-for-local-development-f873115fbe93

3 months, 3 weeks назад @ t.me
Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems
Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems

Экскурс в устройство современных OLAP баз данных в рамках ежегодного курса от Carnegie Mellon University — Advanced Database Systems: Modern OLAP Database Systems

4 months назад @ t.me
Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ю
Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ю

Airflow Evolution at SnapНа платформе Medium появилась статья про эволюцию Apache Airflow в компании Snap: Airflow Evolution at SnapПреимущественно в статье речь идёт о работе с RBAC и масштабированием Airflow.Также помимо статьи, вы можете посмотреть на Ютубе доклад с прошедшего в 2023 году Airflow Summit: Airflow at Snap: Managing permissions, migrations and internal tools

4 months, 1 week назад @ t.me
📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованна
📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованна

📣One Day Offer для Data Engineer📣 10 февраля 🕤 Sportmaster Lab проводит One Day Offer для Data Engineer. One Day Offer от SM Lab — это отличная возможность пройти все этапы отбора и получить приглашение на работу всего за один день. SM Lab - аккредитованная ИТ-компания в составе группы компаний «Спортмастер». Мы находимся в поисках Middle Data Engineer, c хорошим знанием Python и SQL, с опытом работы от 2-х лет. Для нас важно наличие опыта использования экосистемы Hadoop (HDFS, Hive, Spark) и Apache AirFlow. 📍Немного про задачи:- Реализация ETL в Hadoop (с помощью Airflow). - Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы. - Батч и стримы с помощь…

4 months, 1 week назад @ t.me
Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время
Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время

Tim Berglund своего рода легенда в мире распределенных систем, популяризатор этой темы. Я познакомился с его творчеством через классный доклад про распределённые системы на Ютубе около 6 или 7 лет назад: Distributed Systems in One Lesson. Он какое-то время работал в компании Confluent (авторы Apache Kafka), где активно продвигал Кафку в массы. Сейчас же он работает в StarTree, cloud-решение на базе Apache Pinot. Его новый доклад как раз посвящен Apache Pinot, распределенному OLAP хранилищу.Собственно сам доклад в рамках GOTO Conference: Introduction to Real-Time Analytics with Apache PinotИ краткое и понятное видео что из себя представляет Apache Pinot от него же: What is Apache Pinot? (and…

4 months, 1 week назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 18 часов назад
Для нашего проекта по мониторингу пеликанов мы добавили сайт https://www.scifly.ai/ Ведь сейчас модно AI, вот и у нас есть свой AI проект - SciFi SkyFly. Еще недавно опубликовали, статья на хабре совместно с Вконтакте - Миграция пеликанов в облака: как реа
Для нашего проекта по мониторингу пеликанов мы добавили сайт https://www.scifly.ai/ Ведь сейчас модно AI, вот и у нас есть свой AI проект - SciFi SkyFly. Еще недавно опубликовали, статья на хабре совместно с Вконтакте - Миграция пеликанов в облака: как реа

Для нашего проекта по мониторингу пеликанов мы добавили сайт https://www.scifly.ai/ Ведь сейчас модно AI, вот и у нас есть свой AI проект - SciFi SkyFly. Еще недавно опубликовали, статья на хабре совместно с Вконтакте - Миграция пеликанов в облака: как реализовать сложный орнитологический проект на базе облачной платформы. Часть 1

18 часов назад @ t.me
Презентация sqlwagon новой книги Azure Data Factory Cookbook 2nd edition. (На английском, это вообще то будет для Linkedin)
Презентация sqlwagon новой книги Azure Data Factory Cookbook 2nd edition. (На английском, это вообще то будет для Linkedin)

Презентация sqlwagon новой книги Azure Data Factory Cookbook 2nd edition. (На английском, это вообще то будет для Linkedin)

1 day, 2 hours назад @ t.me
Ладно, сегодня пятница, значит с сыном и его друзьями рубимся в Fortnite (сегодня новый сезон как раз Mad Max + Fallout)+ местный сидр. Стресс запить после Airbyte, так сказать.
Ладно, сегодня пятница, значит с сыном и его друзьями рубимся в Fortnite (сегодня новый сезон как раз Mad Max + Fallout)+ местный сидр. Стресс запить после Airbyte, так сказать. Ладно, сегодня пятница, значит с сыном и его друзьями рубимся в Fortnite (сегодня новый сезон как раз Mad Max + Fallout)+ местный сидр. Стресс запить после Airbyte, так сказать.

Ладно, сегодня пятница, значит с сыном и его друзьями рубимся в Fortnite (сегодня новый сезон как раз Mad Max + Fallout)+ местный сидр. Стресс запить после Airbyte, так сказать.

1 day, 16 hours назад @ t.me
Давненько у меня не было 🔥Если раньше софт был неповоротливый и большой типа Enterprise BI - SAP Business Objects, который при обновлении может сломаться, если например интернет отвалится во время установки. У меня было такой случай https://t.me/rockyourda
Давненько у меня не было 🔥Если раньше софт был неповоротливый и большой типа Enterprise BI - SAP Business Objects, который при обновлении может сломаться, если например интернет отвалится во время установки. У меня было такой случай https://t.me/rockyourda

Давненько у меня не было 🔥Если раньше софт был неповоротливый и большой типа Enterprise BI - SAP Business Objects, который при обновлении может сломаться, если например интернет отвалится во время установки. У меня было такой случай https://t.me/rockyourdata/4385 и там же я описал про Looker, который я тоже сломал.Вчера я решил попробовать что-то новое. У нас есть GCP Kubernetes engine, и с помощью helm charts там задеплоено вообще все. В моем случае у нас был очень интересный кейс использования Airbyte backend базы данных. Исторически эта база данных использовалась как часть хранилища данных. Удобно же, Airbyte читает данные из Amplitude и пишет сама в себя, и потом с помощью Trino мы може…

2 days, 3 hours назад @ t.me
И если ответить на вопрос почему так случилось?- “Everything fails, all the time” is a famous quote from Amazon’s Chief Technology Officer Werner Vogels. - Murphy's law is an adage or epigram that is typically stated as: "Anything that can go wrong will go
И если ответить на вопрос почему так случилось?- “Everything fails, all the time” is a famous quote from Amazon’s Chief Technology Officer Werner Vogels. - Murphy's law is an adage or epigram that is typically stated as: "Anything that can go wrong will go

И если ответить на вопрос почему так случилось?- “Everything fails, all the time” is a famous quote from Amazon’s Chief Technology Officer Werner Vogels. - Murphy's law is an adage or epigram that is typically stated as: "Anything that can go wrong will go wrong."Вообще это было ожидаемо. Когда мы приходим на проект, где много open-source, прошлой команды нет, документации нет, то вы обязательно окажетесь в такой ситуации. Получается Airbyte это бесплатная альтернатива платного Fivetran, но оказалось:- нет документации как это было запущено- мы до сих пор на старой версии, которой уже год, и не можем обновить- изначально кто внедрял Airbyte не имел опыта инжинирига данных, а был DevOps, поэ…

2 days, 3 hours назад @ t.me
Замечательная картинка от LakeFS - State of DE 2024.Очень много инструментов. Каждый год инструментов становится все больше, а сути все меньше.Хотя по-прежнему пишут SQL-запросы, делают slice and dice, drill down, анализируют dimensions и measures.Я сам не
Замечательная картинка от LakeFS - State of DE 2024.Очень много инструментов. Каждый год инструментов становится все больше, а сути все меньше.Хотя по-прежнему пишут SQL-запросы, делают slice and dice, drill down, анализируют dimensions и measures.Я сам не Замечательная картинка от LakeFS - State of DE 2024.Очень много инструментов. Каждый год инструментов становится все больше, а сути все меньше.Хотя по-прежнему пишут SQL-запросы, делают slice and dice, drill down, анализируют dimensions и measures.Я сам не

Замечательная картинка от LakeFS - State of DE 2024.Очень много инструментов. Каждый год инструментов становится все больше, а сути все меньше.Хотя по-прежнему пишут SQL-запросы, делают slice and dice, drill down, анализируют dimensions и measures.Я сам не знаком со многими инструментами и надеюсь, что мне не придется разбираться в их документации и tutorial'ах.Для опытных людей проблем нет, а для тех, кто хочет начать успешную карьеру в data и «купить SQL-wagon» (если вы понимаете, о чем я😉), возможно, будет много сложностей.С одной стороны, вы хотите самостоятельно учиться, но с другой стороны баррикад – огромные маркетинговые бюджеты, которые обещают вам либо профессию, либо инструмент, …

2 days, 17 hours назад @ t.me
Что такое PIP? Иногда это называют PAP. Многие боятся этой аббревиатуры, ведь если вы с ней столкнулись, значит, от вас начинают избавляться и "нежно" увольнять.PIP (Performance Improvement Plan) или PAP (Performance Action Plan) — это план улучшения произ
Что такое PIP? Иногда это называют PAP. Многие боятся этой аббревиатуры, ведь если вы с ней столкнулись, значит, от вас начинают избавляться и "нежно" увольнять.PIP (Performance Improvement Plan) или PAP (Performance Action Plan) — это план улучшения произ

Что такое PIP? Иногда это называют PAP. Многие боятся этой аббревиатуры, ведь если вы с ней столкнулись, значит, от вас начинают избавляться и "нежно" увольнять.PIP (Performance Improvement Plan) или PAP (Performance Action Plan) — это план улучшения производительности. Обычно он длится 4-6 недель, в течение которых вам говорят, что вы плохо выполняете свою работу, и вас начинают ежедневно микроменеджить. На этот срок ваш менеджер пишет план, описывает ваши "зоны роста" и проекты, которые вы должны завершить.В Amazon, в 90% случаев, человек с PIP будет уволен, но некоторые проходят его успешно. В любом случае, это достаточно стрессовое мероприятие. Часто это случается не из-за плохой работы…

3 days, 5 hours назад @ t.me
Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явл
Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явл Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явл

Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явлений. Основные идеи книги включают анализ экономических и социальных проблем с применением нетрадиционных подходов и методов.Основные идеи книги:Экономика всего вокруг: Левитт и Дабнер показывают, что экономические принципы можно применить к любым аспектам жизни, от преступности до образования.Влияние стимулов (incentives): Главная идея книги — поведение людей сильно зависит от стимулов, которые они получают. Неожиданные связи: Выявляют не…

4 days, 3 hours назад @ t.me
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Ближайшие Fast Track мероприятия:• 3–7 июня — для технических менеджеров и
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Ближайшие Fast Track мероприятия:• 3–7 июня — для технических менеджеров и Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Ближайшие Fast Track мероприятия:• 3–7 июня — для технических менеджеров и

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Ближайшие Fast Track мероприятия:• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.Зарегистрироваться

4 days, 13 hours назад @ t.me
Интересный коллаб Snowflake + Fabric.
Интересный коллаб Snowflake + Fabric. Интересный коллаб Snowflake + Fabric.

Интересный коллаб Snowflake + Fabric.

4 days, 21 hours назад @ t.me
Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации. Вроде знания и диплом есть, а как пр
Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации. Вроде знания и диплом есть, а как пр Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации. Вроде знания и диплом есть, а как пр

Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации. Вроде знания и диплом есть, а как применить их не понятно. В Ванкувере есть 2 универа SFU, UBC и у обоих есть такие программы и я встречал много студентов (у меня даже есть в Surfalytics), кому очень сложно найти работу, потому-то они часто учат теорию в отрыве от реальности, у них нет контекста. И чем дальше, тем сложней понять, что нужно учить, что говорить на собеседовании, и что писать в резюме.У кого сколько сертификатов? У меня был знакомый у кого было больше 115 серти…

5 days, 2 hours назад @ t.me
Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников. Куда мне расти в ИТ, какие карьерные треки могут быть? Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и
Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников. Куда мне расти в ИТ, какие карьерные треки могут быть? Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и

Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников. Куда мне расти в ИТ, какие карьерные треки могут быть? Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и лайфхаки по составлению резюме, в т.ч. для продактовЗацените:— как получить 5 офферов за 2 месяца, в т.ч. на 500к— Оффер в 21 год без высшего образования на 250к — Оффер на 750к + Специально для подписчиков моего канала Ольга с командой проведет несколько карьерных диагностик, оценит вашу стоимость на рынке и подскажет первые шаги для достижения карьерной цели. Детали под этим постом (там вообще оффер на 1 млн!)

6 days, 13 hours назад @ t.me
Встречаемся 23 мая на VK Data Meetup от VK Cloud!VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. 23 мая в 15:00 МСК присоединяйтесь, чтобы поговорить о набирающих актуальност
Встречаемся 23 мая на VK Data Meetup от VK Cloud!VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. 23 мая в 15:00 МСК присоединяйтесь, чтобы поговорить о набирающих актуальност Встречаемся 23 мая на VK Data Meetup от VK Cloud!VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. 23 мая в 15:00 МСК присоединяйтесь, чтобы поговорить о набирающих актуальност

Встречаемся 23 мая на VK Data Meetup от VK Cloud!VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. 23 мая в 15:00 МСК присоединяйтесь, чтобы поговорить о набирающих актуальность архитектурных паттернах платформ данных и о технологиях, которые позволят их реализовать. Также на митапе разберут реальные технические кейсы. Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам. В программе выступления экспертов из «Тинькофф», Ozon Fintech, VK, «Детского мира» и других компаний. Ну и конечно, в конце митапа вас ждет афтепати в офисе VK! Регистрируйтесь!

1 week, 4 days назад @ t.me
Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.
Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.

Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.

1 week, 5 days назад @ t.me
Pytup в Нижнем Новгороде 1 июняВас ждёт большая конференция по Python-разработке Pytup. В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.Узнаете, как создать платформу для обработки данных в вашей IT-комп
Pytup в Нижнем Новгороде 1 июняВас ждёт большая конференция по Python-разработке Pytup. В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.Узнаете, как создать платформу для обработки данных в вашей IT-комп Pytup в Нижнем Новгороде 1 июняВас ждёт большая конференция по Python-разработке Pytup. В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.Узнаете, как создать платформу для обработки данных в вашей IT-комп

Pytup в Нижнем Новгороде 1 июняВас ждёт большая конференция по Python-разработке Pytup. В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.Зарегистрироваться на Pytup! 💛

1 week, 5 days назад @ t.me
Left Join Left Join
последний пост 2 days, 10 hours назад
Что делать, если вы — продакт и не видите свежих данных?Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.От этого никто не застрахов
Что делать, если вы — продакт и не видите свежих данных?Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.От этого никто не застрахов Что делать, если вы — продакт и не видите свежих данных?Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.От этого никто не застрахов

Что делать, если вы — продакт и не видите свежих данных?Бывало, что смотрите на данные и кажется, что с ними что-то не так? Наверняка такое хотя бы раз случалось в жизни каждого человека, который так или иначе работает с данными.От этого никто не застрахован, даже компании с самыми классными дата-командами. Хотим помочь разобраться, как решить проблему и при этом всем остаться друзьями.Напомним, что обычно данные идут к вам по такой цепочке: источник 🔜 оркестратор (как правило, Airflow) 🔜 хранилище 🔜 BI-инструмент. Любое звено этой цепи может засбоить по самым разным причинам.💬 Часто интуиция не обманывает, и, если кажется, что надо бы покопаться в данных — стоит ее послушать. Но на одном н…

2 days, 10 hours назад @ t.me
Скарлетт Йоханссон против OpenAIВ OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года.В прошлый понедельник OpenAI представила новую флагманскую модель
Скарлетт Йоханссон против OpenAIВ OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года.В прошлый понедельник OpenAI представила новую флагманскую модель Скарлетт Йоханссон против OpenAIВ OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года.В прошлый понедельник OpenAI представила новую флагманскую модель

Скарлетт Йоханссон против OpenAIВ OpenAI очередная драма, в которой смешались кони, люди, Сэм Альтман, Скарлетт Йоханссон, сомнительные публичные извинения, GPT-4o и фильм «Она» 2013-го года.В прошлый понедельник OpenAI представила новую флагманскую модель GPT-4o. Она бодрым женским голосом отвечала на вопросы, шутила и помогала решить математические задачки. Этот голос называется Sky, и если вы смотрите голливудские фильмы в дубляже (или вообще их не смотрите), то для вас он, скорее всего, звучал абсолютно обычно. Зато англоязычная публика сразу заподозрила, что он звучит подозрительно похоже на Скарлетт Йоханссон.Конечно, можно сказать, что это просто совпадение, но кажется, что подозрени…

4 days, 11 hours назад @ t.me
Кто убил поиск Google?Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется.Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зи
Кто убил поиск Google?Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется.Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зи Кто убил поиск Google?Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется.Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зи

Кто убил поиск Google?Если вам кажется, что в последние годы поиск Google стал хуже — вам не кажется.Более того, это не случайность, а сознательное решение руководства компании. К такому выводу пришел автор статьи The men who killed Google Search Эдвард Зитрон.Он выстроил хронологию событий с февраля 2019 года, когда менеджмент разных отделов, ответственных за поиск и рекламу, начал обсуждение проблемы с поиском. И нет, их беспокоило не качество выдачи, а то, что он генерировал намного меньше прибыли, чем хотелось бы.💬 В марте 2019 Google выкатил один из самых масштабных апдейтов поиска за свою историю. Оказалось, что «апдейт» откатил назад некоторые изменения, которые убирали из выдачи сом…

5 days, 13 hours назад @ t.me
North Star Metric: путеводная звезда для бизнесаЗаметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды».Так наз
North Star Metric: путеводная звезда для бизнесаЗаметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды».Так наз North Star Metric: путеводная звезда для бизнесаЗаметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды».Так наз

North Star Metric: путеводная звезда для бизнесаЗаметили, что у фреймворков по определению метрик для бизнеса очень уж говорящие названия? То «пиратские» метрики AAARR, то «Сердце» от Google. Или North star metric — она же «метрика Полярной звезды».Так называют метрику, отражающую ценность, которую вы приносите клиентамГлавное в этой метрике то, что она про клиента. Прибыль компании, продажи, количество лидов — это тоже важно, но эти показатели не отражают напрямую, насколько полезен и успешен ваш продукт у клиентов. Можно подумать, что по числу продаж вполне судить о востребованности. Но это не всегда так: например, NSM службы доставки еды, это не просто «число заказов», а «число заказов, …

6 days, 13 hours назад @ t.me
Мошенничество с помощью ИИКак ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?Что такое дипфейк, и зачем его распознавать?🔜 Ответы — уже на канале «Дата Коля»!
Мошенничество с помощью ИИКак ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?Что такое дипфейк, и зачем его распознавать?🔜 Ответы — уже на канале «Дата Коля»! Мошенничество с помощью ИИКак ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?Что такое дипфейк, и зачем его распознавать?🔜 Ответы — уже на канале «Дата Коля»!

Мошенничество с помощью ИИКак ИИ помогает мошенникам обманывать людей и воровать аккаунты в мессенджерах?Что такое дипфейк, и зачем его распознавать?🔜 Ответы — уже на канале «Дата Коля»!

1 week, 2 days назад @ t.me
Искусственный интеллект в EdtechРебята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал,
Искусственный интеллект в EdtechРебята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал, Искусственный интеллект в EdtechРебята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал,

Искусственный интеллект в EdtechРебята из «Яндекс Практикума» поделились интересным исследованием об использовании искусственного интеллекта в эдтехе.🔜 Мы уже затрагивали эту тему в первом эпизоде нового сезона Data Heroes — там Анатолий Карпов рассказал, как ИИ помогает студентам быстро получать ответы на вопросы и одновременно снижает нагрузку на техподдержку. В статье «Яндекс Практикума» есть еще больше примеров.Условно их можно разделить на две большие группы: помощь студентам и помощь преподавателям.🔵 Студентам ИИ может помочь выполнить домашнее задание, дать фидбек и указать на ошибки, объяснить сложную тему простым языком, составить персонализированный план обучения.🔵 Преподавателям …

1 week, 3 days назад @ t.me
Что было на Google I/OНе успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.🔜 Большая часть ново
Что было на Google I/OНе успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.🔜 Большая часть ново Что было на Google I/OНе успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.🔜 Большая часть ново

Что было на Google I/OНе успели обсудить все новости от OpenAI, как ребята Google тоже провели свою ежегодную конференцию Google I/O.Целиком запись выложили на Youtube и законспектировали на The Verge. Принесли для вас самое интересное.🔜 Большая часть новостей — про Gemini, флагманскую модель Google.💬 Она, конечно же, станет еще быстрее и умнее, а также интегрируется в инструменты вроде Google Документов, Таблиц, Диска, Gmail’а. Обещают превратить ее в ИИ-ассистента, который поможет найти нужный файл или информацию.💬 И у Chrome тоже появится свой ИИ-помощник — к нему прикрутят Gemini Nano.💬 Gemini 1.5 Flash — модель, оптимизированная для узкого функционала, где важна высокая скорость ответа…

1 week, 4 days назад @ t.me
Spring Update от OpenAIНа вчерашнем стриме OpenAI представила несколько крутых нововведений.Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.🔥 Самая громкая новость — это презе
Spring Update от OpenAIНа вчерашнем стриме OpenAI представила несколько крутых нововведений.Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.🔥 Самая громкая новость — это презе Spring Update от OpenAIНа вчерашнем стриме OpenAI представила несколько крутых нововведений.Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.🔥 Самая громкая новость — это презе

Spring Update от OpenAIНа вчерашнем стриме OpenAI представила несколько крутых нововведений.Пообещали выкатить десктопную версию (сначала для macOS, для Windows она появится позже) и обновить интерфейс, но это не главное.🔥 Самая громкая новость — это презентация новой флагманской модели GPT-4o.💬 Она такая же умная, как GPT4, но намного быстрее — на запрос, сказанный вслух, отвечает в среднем за 320 миллисекунд. Для сравнения у GPT4 задержка ответа составляла 5,4 секунды. Это происходило из-за того, что для «понимания» запроса, генерации и озвучивания ответа использовались 3 разные модели. GPT-4o натренирована на текстах, видео и аудио, поэтому она намного быстрее.💬 GPT-4o умеет петь, шутить…

1 week, 5 days назад @ t.me
Таблица для тех, кто собирается в поездкуПриближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.В TikT
Таблица для тех, кто собирается в поездкуПриближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.В TikT Таблица для тех, кто собирается в поездкуПриближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.В TikT

Таблица для тех, кто собирается в поездкуПриближается сезон отпусков, пора планировать поездки и собирать чемоданы. Это процесс всегда стрессовый — даже самые собранные и внимательные из нас наверняка хоть чуть-чуть, но волнуются, что что-то забудут.В TikTok завирусился новый способ, как собрать сумки перед поездкой и 100% ничего не упустить.🔜 Все вещи, которые надо взять с собой распределяются по нескольким категориям: то, что надо положить в рюкзак, в сумку или нести на себе.🔜 Например, смартфон, часы и кошелек можно пронести на себе, ноутбук — положить в рюкзак, а купальник — в сумку или чемодан. В отдельные мешочки складываются зарядки для гаджетов и туалетные принадлежности вроде зубны…

1 week, 6 days назад @ t.me
Оплата улыбкой: за и противЧто такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?🔜 Смотрите в новом видео на канале «Дата Коля»!
Оплата улыбкой: за и противЧто такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?🔜 Смотрите в новом видео на канале «Дата Коля»! Оплата улыбкой: за и противЧто такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?🔜 Смотрите в новом видео на канале «Дата Коля»!

Оплата улыбкой: за и противЧто такое «Оплата улыбкой» от Сбербанка? Достаточно ли вашего радостного лица для оплаты, или деньги тоже снимутся?🔜 Смотрите в новом видео на канале «Дата Коля»!

2 weeks, 2 days назад @ t.me
👨‍🏫 Собеседование на BI-аналитикаНаконец-то смог провести мокап-интервью с реальным аналитиком. Давно хотел это сделать, кинул клич в чатике канала и Тимур быстро откликнулся.Почему я считаю, что могу хорошо оценить кандидата — я провёл больше 100 секций,
👨‍🏫 Собеседование на BI-аналитикаНаконец-то смог провести мокап-интервью с реальным аналитиком. Давно хотел это сделать, кинул клич в чатике канала и Тимур быстро откликнулся.Почему я считаю, что могу хорошо оценить кандидата — я провёл больше 100 секций,

👨‍🏫 Собеседование на BI-аналитикаНаконец-то смог провести мокап-интервью с реальным аналитиком. Давно хотел это сделать, кинул клич в чатике канала и Тимур быстро откликнулся.Почему я считаю, что могу хорошо оценить кандидата — я провёл больше 100 секций, работая в Яндексе. Даже в самый первый день выхода на работу, пришлось провести интервью о котором заранее не знал 🙈 (Макс, привет!). Я уверен, что могу быстро и полно оценить навыки BI-аналитика.Это мокап-интервью — первый раунд на должность BI-аналитика. Здесь проверяются знания BI-инструмента, основ дизайна, умение собрать требования и подобрать решение под бизнес-задачу. Проверка SQL/Python и работы с данными проходят на втором интервь…

2 weeks, 3 days назад @ t.me
Рома Бунин выложил мокап-интервью с Тимуром Муйдиновым — BI-специалистом из команды Valiotti Analytics. 😊
Рома Бунин выложил мокап-интервью с Тимуром Муйдиновым — BI-специалистом из команды Valiotti Analytics. 😊

Рома Бунин выложил мокап-интервью с Тимуром Муйдиновым — BI-специалистом из команды Valiotti Analytics. 😊

2 weeks, 3 days назад @ t.me
CDO в компании: роль, обязанности и вызовыОбсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль
CDO в компании: роль, обязанности и вызовыОбсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль CDO в компании: роль, обязанности и вызовыОбсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль

CDO в компании: роль, обязанности и вызовыОбсудили в интервью Yandex.Cloud c Михаилом Степановым, CDO сети гипермаркетов «Лента»🔜 CDO — это Chief Data Officer. Михаил рассказал, какие задачи выполняет CDO на разных этапах развития компании и зачем эта роль нужна. Также показал на примерах из практики «Ленты», как аналитика помогает принимать важные и масштабные решения. Они могут быть разными в зависимости от сферы деятельности, но все сводятся к главному:«Работа с данными действует ровно в двух направлениях: снижении расходов и увеличении прибыльности».🔜 Интервью не только про CDO и их задачи. Оно в целом про взгляд на аналитику с точки зрения руководителя, развитие культуры работы с данны…

2 weeks, 4 days назад @ t.me
Georgia Tech и решение глобальных проблемВ этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил
Georgia Tech и решение глобальных проблемВ этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил Georgia Tech и решение глобальных проблемВ этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил

Georgia Tech и решение глобальных проблемВ этом семестре у меня был заключительный курс от Georgia Tech — практикум в компании. В целом, не могу сказать, что учеба давалась легко все эти годы, но все получилось. По-моему, ранее не рассказывал, почему решил попробовать именно их магистерскую программу по аналитике.💬 Прежде всего, Georgia Tech — известный американский ВУЗ, он высоко в рейтингах по CS. Мне всегда было любопытно узнать изнутри, как работает американское образование и чем отличается от российского. Помимо этого, на Западе, увы, никто не знает имя СПбГУ, а вот Georiga Tech на слуху.🔜 Кстати, недавно Georgia Tech и запрещенная в РФ Meta объединились для крутого исследования, котор…

2 weeks, 5 days назад @ t.me
Что происходит с ценами на Lego?Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick
Что происходит с ценами на Lego?Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick Что происходит с ценами на Lego?Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick

Что происходит с ценами на Lego?Время задаться по-настоящему важными вопросами. Например, как менялась средняя цена за кирпичик Lego за последние 30 лет в зависимости от категории?🔜 Да, в интернете есть все и даже график с динамикой цен на Lego. Сайт Brick Insights собирает, как можно догадаться по названию, инсайты о Lego — обзоры, статистику и цены. Он рассчитан на взрослых фанатов бренда и помогает им найти информацию о наборах и решить, стоят ли они своих денег.Команда сайта собрала статистику о Price Per Piece (цена за элемент) с начала девяностых и до сегодняшнего дня. Но столкнулась с проблемой — наборы из некоторых категорий намного дороже остальных и из-за этого средние показатели …

2 weeks, 6 days назад @ t.me
SQLite на практике SQLite на практике
последний пост 2 weeks, 4 days назад
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n
Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n

Современный SQLite: Вычисляемые столбцыВычисляемые (generated) столбцы рассчитываются на основании других столбцов той же таблицы. Например, мы можем рассчитать процент отказов на основе количества запросов:create table stats ( date text, n_total int, n_failed int, fail_perc as (n_failed*100.0 / n_total));Другой распространенный сценарий — вытащить поле JSON-документа в отдельный столбец, и при необходимости проиндексировать его:create table events ( id integer primary key, event blob, etime text as (event ->> 'time'), etype text as (event ->> 'type'));create index events_time on events(etime);insert into events(event) values('{"time": "2024-05-01", "type": "credit"}'),('{"time": "2024-05-0…

2 weeks, 4 days назад @ t.me
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко
Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибко

Современный SQLite #1: STRICT-таблицыЯ начинаю марафон! Но не марафон желаний 😅 Буду вкратце рассказывать о полезных функциях современной SQLite, про которые вы (возможно) не слышали.Начнем со «строгих» таблиц.Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют ее «джаваскриптом в мире СУБД»). Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же. Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:create table people ( id integer primary key, name text, salary real) strict;Они проверяют ти…

3 weeks, 1 day назад @ t.me
SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql
SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

SQL-полиглотСделал онлайн-утилиту, которая выполняет заданный запрос на любой СУБД от PostgreSQL до DuckDB (SQLite тоже есть, конечно).Удобно, чтобы быстро понять, поддерживает ли база тот или иной SQL-синтаксис.https://codapi.org/sql

5 months, 1 week назад @ t.me
Datalytics Datalytics
последний пост 1 day, 11 hours назад
🫖 Как стать топовым Data-инженером? Хотите развиваться в Data-инжиниринге, но не знаете, что для этого нужно? Подключайтесь к вебинару от Слёрм «ИИ и инструменты Data-специалиста» и получите инсайдерские знания о том, как улучшить свои навыки и стать ли
🫖 Как стать топовым Data-инженером?  Хотите развиваться в Data-инжиниринге, но не знаете, что для этого нужно?   Подключайтесь к вебинару от Слёрм «ИИ и инструменты Data-специалиста» и получите инсайдерские знания о том, как улучшить свои навыки и стать ли 🫖 Как стать топовым Data-инженером? Хотите развиваться в Data-инжиниринге, но не знаете, что для этого нужно? Подключайтесь к вебинару от Слёрм «ИИ и инструменты Data-специалиста» и получите инсайдерские знания о том, как улучшить свои навыки и стать ли

🫖 Как стать топовым Data-инженером? Хотите развиваться в Data-инжиниринге, но не знаете, что для этого нужно? Подключайтесь к вебинару от Слёрм «ИИ и инструменты Data-специалиста» и получите инсайдерские знания о том, как улучшить свои навыки и стать лидером в области обработки данных. Когда? 27 мая в 19:00 ➡ Зарегистрироваться В программе: - Вкатились в Data-инжиниринг. Что дальше? - Управление знаниями: персональная Data-инженерная вики. - Где и как рисовать диаграммы и схемы? - Чат-боты и ChatOps: персональный помощник Data-инженера. - Какие софт скиллы нужны Data-инженеру? - Нужны ли Data-инженеру пет-проекты и участие в хакатонах? - Как влиться в DE-комьюнити? Спикеры: Николай Марков, …

1 day, 11 hours назад @ t.me
⚡️ Практики MLOps для Data Scientist-ов и ML Engineer-ов — освойте новые инструменты и сделайте прорыв в карьере Время действовать — пройди вступительное тестирование для онлайн-курса «MLOps» от OTUS прямо сейчас. Проверь, готов ли ты к новым карьерным воз
⚡️ Практики MLOps для Data Scientist-ов и ML Engineer-ов — освойте новые инструменты и сделайте прорыв в карьере Время действовать — пройди вступительное тестирование для онлайн-курса «MLOps» от OTUS прямо сейчас. Проверь, готов ли ты к новым карьерным воз ⚡️ Практики MLOps для Data Scientist-ов и ML Engineer-ов — освойте новые инструменты и сделайте прорыв в карьере Время действовать — пройди вступительное тестирование для онлайн-курса «MLOps» от OTUS прямо сейчас. Проверь, готов ли ты к новым карьерным воз

⚡️ Практики MLOps для Data Scientist-ов и ML Engineer-ов — освойте новые инструменты и сделайте прорыв в карьере Время действовать — пройди вступительное тестирование для онлайн-курса «MLOps» от OTUS прямо сейчас. Проверь, готов ли ты к новым карьерным возможностям: https://clck.ru/3ApEkv🦾 Покажи свою экспертность и открой дверь в мир передовых технологий. А еще получи подарочные уроки и специальную цену на обучение!

2 days, 11 hours назад @ t.me
🔥 Как эффективно использовать явный и неявный фидбек в рекомендательных системах? Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы: — познакомитесь с двумя типами фидбека от пользователя: явным и неявным; — обучите рекомендательные
🔥 Как эффективно использовать явный и неявный фидбек в рекомендательных системах? Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы: — познакомитесь с двумя типами фидбека от пользователя: явным и неявным; — обучите рекомендательные 🔥 Как эффективно использовать явный и неявный фидбек в рекомендательных системах? Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы: — познакомитесь с двумя типами фидбека от пользователя: явным и неявным; — обучите рекомендательные

🔥 Как эффективно использовать явный и неявный фидбек в рекомендательных системах? Расскажет опытный эксперт на открытом практическом уроке от OTUS, где вы: — познакомитесь с двумя типами фидбека от пользователя: явным и неявным; — обучите рекомендательные модели на разных типах фидбека; — сравните их качество. 📌 Вебинар будет полезен дата-сайентистам и ML-спецам, которые хотят расширить область знаний и технологический стек. Встречаемся 23 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: h…

1 week, 3 days назад @ t.me
Стартовал набор в Академию Аналитиков Авито.Это бесплатный образовательный онлайн-курс с практикой в реальном бигтехе. Традиционно в Академии два направления: аналитик данных и DS-инженер. Выбери, что ближе тебе, познакомься с требованиями к поступлению, п
Стартовал набор в Академию Аналитиков Авито.Это бесплатный образовательный онлайн-курс с практикой в реальном бигтехе. Традиционно в Академии два направления: аналитик данных и DS-инженер. Выбери, что ближе тебе, познакомься с требованиями к поступлению, п Стартовал набор в Академию Аналитиков Авито.Это бесплатный образовательный онлайн-курс с практикой в реальном бигтехе. Традиционно в Академии два направления: аналитик данных и DS-инженер. Выбери, что ближе тебе, познакомься с требованиями к поступлению, п

Стартовал набор в Академию Аналитиков Авито.Это бесплатный образовательный онлайн-курс с практикой в реальном бигтехе. Традиционно в Академии два направления: аналитик данных и DS-инженер. Выбери, что ближе тебе, познакомься с требованиями к поступлению, программой и преподавателями на странице Академии. И спеши подать заявку!

1 week, 4 days назад @ t.me
🟢 Откройте дополнительные возможности DVC — фичи для ML и Data Science Приходите на открытый практический урок от OTUS и узнайте: — как использовать DVC для версионирования данных; — как обеспечить совместный доступ к данным через S3; — как версионировать
🟢 Откройте дополнительные возможности DVC — фичи для ML и Data Science Приходите на открытый практический урок от OTUS и узнайте: — как использовать DVC для версионирования данных; — как обеспечить совместный доступ к данным через S3; — как версионировать 🟢 Откройте дополнительные возможности DVC — фичи для ML и Data Science Приходите на открытый практический урок от OTUS и узнайте: — как использовать DVC для версионирования данных; — как обеспечить совместный доступ к данным через S3; — как версионировать

🟢 Откройте дополнительные возможности DVC — фичи для ML и Data Science Приходите на открытый практический урок от OTUS и узнайте: — как использовать DVC для версионирования данных; — как обеспечить совместный доступ к данным через S3; — как версионировать модели и хранить артефакты в DVC; — когда лучше подойдет DVC, а когда MLFlow; — как сделать воспроизводимое обучение моделей. ⚠️ Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. Встречаемся 22 мая в 20:00 мск в преддверии старта курса «MLOps». Все участники вебинара получат специальную цену на обучение! 👉 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3AdUYd…

1 week, 5 days назад @ t.me
16–17 мая ВСК проводит One Day Offer. Если ты разработчик или системный аналитик уровня middle и выше, регистрируйся https://onedayoffer.vsk.ru до 15:00 15 мая.Пройди онлайн-собеседование в компании из золотого рейтинга Forbes и получи офер в тот же день.
16–17 мая ВСК проводит One Day Offer. Если ты разработчик или системный аналитик уровня middle и выше, регистрируйся https://onedayoffer.vsk.ru до 15:00 15 мая.Пройди онлайн-собеседование в компании из золотого рейтинга Forbes и получи офер в тот же день. 16–17 мая ВСК проводит One Day Offer. Если ты разработчик или системный аналитик уровня middle и выше, регистрируйся https://onedayoffer.vsk.ru до 15:00 15 мая.Пройди онлайн-собеседование в компании из золотого рейтинга Forbes и получи офер в тот же день.

16–17 мая ВСК проводит One Day Offer. Если ты разработчик или системный аналитик уровня middle и выше, регистрируйся https://onedayoffer.vsk.ru до 15:00 15 мая.Пройди онлайн-собеседование в компании из золотого рейтинга Forbes и получи офер в тот же день. Выбирай сам формат будущей работы и пользуйся ДМС с первого дня.Создавай лучшие InsurTech-продукты страны в одной из наших Agile-команд.

1 week, 5 days назад @ t.me
🔥 Хотите эффективно обеспечивать версионирование данных и моделей? Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. 💻 На вебинаре вы: - научитесь настр
🔥 Хотите эффективно обеспечивать версионирование данных и моделей? Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. 💻 На вебинаре вы: - научитесь настр 🔥 Хотите эффективно обеспечивать версионирование данных и моделей? Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. 💻 На вебинаре вы: - научитесь настр

🔥 Хотите эффективно обеспечивать версионирование данных и моделей? Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд. 💻 На вебинаре вы: - научитесь настраивать в git репозитории DVC и хранить артефакты на S3; - переключаться между версиями артефактов и загружать их во внешнее хранилище; - создавать воспроизводимые конвейеры обучения моделей с помощью DVC Pipelines. Встречаемся 14 мая в 20:00 мск в преддверии старта курса «MLOps». ⚡️ Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3AWBqsРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus…

2 weeks, 5 days назад @ t.me
Это очень вдохновляюще. Выход из рутины, работа на вечные ценности, вот это всё https://vc.ru/design/112303-veb-dizayner-prevrashchaet-starinnye-knigi-i-broshyury-19-veka-v-interaktivnye-saytyvia
Это очень вдохновляюще. Выход из рутины, работа на вечные ценности, вот это всё https://vc.ru/design/112303-veb-dizayner-prevrashchaet-starinnye-knigi-i-broshyury-19-veka-v-interaktivnye-saytyvia

Это очень вдохновляюще. Выход из рутины, работа на вечные ценности, вот это всё https://vc.ru/design/112303-veb-dizayner-prevrashchaet-starinnye-knigi-i-broshyury-19-veka-v-interaktivnye-saytyvia

2 weeks, 6 days назад @ t.me
💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM. 📚И все это под руко
💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM. 📚И все это под руко 💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM. 📚И все это под руко

💡Интересуетесь Data Science? Изучите гибридные рекомендательные системы на примере LightFM.Познакомьтесь с коллаборативной фильтрацией и контентным подходом в рекомендательных системах, научитесь объединять их при помощи модели LightFM. 📚И все это под руководством опытного эксперта на открытом практическом уроке от OTUS, где вы:- познакомитесь с двумя подходами к построению рекомендательных систем: collaborative filtering и content-based;- изучите архитектуру модели LightFM, которая позволяет объединять эти подходы;- примените модели LightFM на практике. 📌Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Рекомендательные системы». Все участники вебинара получат специальную цену на об…

3 weeks, 1 day назад @ t.me
🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядо
🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядо 🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядо

🤖 Как строятся прогнозы в Machine Learning? Начните с открытого практического урока от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд. 💻 На вебинаре разберем: - как подходить к моделированию временных рядов; - как разбить их на тренировочную и тестовую части и проводить кросс-валидацию; - как разложить временной ряд на основные компоненты и построить авторегрессионную модель ARIMA/SARIMA; - метрики качества, специфичные для моделей временных рядов. 👉 Встречаемся 7 мая в 20:00 мск в преддверии старта курса «Machine Learning. Professional». 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://clck.ru/3APQ5SРеклама. О…

3 weeks, 5 days назад @ t.me
Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под
Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под

Как прокачать навыки A/B-тестирования? Если уже владеете инструментами, то только через опыт и нестандартные задачи. В процессе работы скилл вырастет, но есть вероятность наделать ошибок. Ещё одна опция — пройти «Симулятор A/B-тестов» от karpov.courses под руководством экспертов сферы. На нём вы будете решать как типовые, так и нестандартные задачи, чтобы набить руку и увереннее действовать в работе. По итогам курса вы: — Освоите полный пайплайн A/B-тестирования;— Научитесь разрабатывать оптимальный дизайн онлайн и офлайн экспериментов;— Разберётесь, как проверять гипотезы со сложными метриками, для которых стандартные тесты не работают;— Сможете применить современные методы повышения чувст…

3 weeks, 6 days назад @ t.me
Где взять опыт?За время работы в эдтехе, я пообщался с многими нанимающими менеджерами (лидами, хэдами, CDO) и часто слышу про то, что ищут аналитиков, обладающих определенным складом ума, который ориентирован не только на решение чисто технических задач,
Где взять опыт?За время работы в эдтехе, я пообщался с многими нанимающими менеджерами (лидами, хэдами, CDO) и часто слышу про то, что ищут аналитиков, обладающих определенным складом ума, который ориентирован не только на решение чисто технических задач,

Где взять опыт?За время работы в эдтехе, я пообщался с многими нанимающими менеджерами (лидами, хэдами, CDO) и часто слышу про то, что ищут аналитиков, обладающих определенным складом ума, который ориентирован не только на решение чисто технических задач, но и направленный на понимание бизнеса как сложной динамически-неупорядоченной системы, производящей бизнес-решения, которые в свою очередь генерируют прибыль.Многие задумываются о переходе в аналитику, но не знают с чего начать. Обучение на курсах – отличный способ прокачать свои скиллы. Но также важно получить реальный опыт работы над бизнес-задачами. Именно реальный опыт позволяет приобрести навыки понимания сложного контекста организац…

1 month назад @ t.me
От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Py
От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Py От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Py

От создателей Академии Аналитиков Авито — открытый курс по прикладной статистике. Бесплатно, без регистрации и смс. Для тех, кто хочет научиться: – применять критерии Манна-Уитни, t-test, бутстрап, хи-квадрат;– использовать специализированные библиотеки Python;– разрешать спорные ситуации при анализе данных.– экспериментировать, выводить критерии, доказывать формулы. Уроки построены на примере реальных данных и показывают, как решаются задачи бизнеса с применением прикладной статистики. Рекомендуем.

1 month назад @ t.me
🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использо
🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использо 🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использо

🌐 Как с помощью искусственного интеллекта автоматизировать и упростить поиск работы в ИТ уже сегодня?Продолжаем серию полезных вебинаров для поиска работы в ИТ. В этот раз мы проведем мастер-класс, на котором покажем все самые полезные возможности использования ChatGPT при поиске работы.🔎 Наш сегодняшний эксперт, Мария Мамкина, Senior Product Manager с 9-летним международным опытом в IT. Автор Telegram канала (Mamkina_Tech) про продуктовый менеджмент и подготовку к собеседованиям в IT. На мастер классе вы узнаете как писать качественные промты в ChatGPT, которые помогут вам:🔵преобразовать обязанности из вашего резюме в достижения🔵адаптировать резюме под конкретную вакансию 🔵быстро и правиль…

1 month назад @ t.me
Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку в
Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку в Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку в

Хотите использовать машинное обучение в бизнес-целях?На бесплатной конференции «OTUS CONF: Machine Learning» мы поговорим о трёх важных элементах машинного обучения. Обсудим генеративные модели нейросетей, модели обработки естественного языка и обработку временных рядов.На конференции выступят дата-сайентисты из крупных компаний: кандидаты технических, физико-математических и экономических наук.Вы узнаете:▫️Как современные генеративные модели применяют в бизнесе, и что «под капотом» нейросетей типа GPT▫️С какими ошибками вы можете столкнуться при обработке временных рядов и какие решения применять▫️Как бизнесу применять NLP-модели семейства BERT▫️Как собирать данные, чтобы дообучить NLP-мод…

1 month назад @ t.me
Труба данных Труба данных
последний пост 4 days, 12 hours назад
https://habr.com/ru/companies/lamoda/articles/810705/К сожалению, в России инженерные блоги компаний ведутся на Хабре, а не на stand-alone ресурсах.Однако это не мешает появлению там интересных статей с деталями и разборами.Например, у Lamoda про Spark &am
https://habr.com/ru/companies/lamoda/articles/810705/К сожалению, в России инженерные блоги компаний ведутся на Хабре, а не на stand-alone ресурсах.Однако это не мешает появлению там интересных статей с деталями и разборами.Например, у Lamoda про Spark &am

https://habr.com/ru/companies/lamoda/articles/810705/К сожалению, в России инженерные блоги компаний ведутся на Хабре, а не на stand-alone ресурсах.Однако это не мешает появлению там интересных статей с деталями и разборами.Например, у Lamoda про Spark & Airflow.@ohmydataengineer

4 days, 12 hours назад @ t.me
https://mattermost.com/blog/making-a-postgres-query-1000-times-faster/Обычно мне кидают какашонков на то, что статьи оч поверхностные или, еще хуже, не релевантные.Сегодня, надеюсь, не такая 😂На деле, конечно, ничего необычного и без серебрянных пуль, прос
https://mattermost.com/blog/making-a-postgres-query-1000-times-faster/Обычно мне кидают какашонков на то, что статьи оч поверхностные или, еще хуже, не релевантные.Сегодня, надеюсь, не такая 😂На деле, конечно, ничего необычного и без серебрянных пуль, прос

https://mattermost.com/blog/making-a-postgres-query-1000-times-faster/Обычно мне кидают какашонков на то, что статьи оч поверхностные или, еще хуже, не релевантные.Сегодня, надеюсь, не такая 😂На деле, конечно, ничего необычного и без серебрянных пуль, просто было приятно и полезно читать ход чужих мыслей, когда люди дебажат долгие запросы.@ohmydataengineer

6 days, 12 hours назад @ t.me
https://blog.picnic.nl/7-antifragile-principles-for-a-successful-data-warehouse-574b655f0bc6В последнее время приходится много делать архитектурных задач, поэтому вытаскиваю из списка "Прочитать позже" всякие статейки про архитектуру и подходы в проектиров
https://blog.picnic.nl/7-antifragile-principles-for-a-successful-data-warehouse-574b655f0bc6В последнее время приходится много делать архитектурных задач, поэтому вытаскиваю из списка "Прочитать позже" всякие статейки про архитектуру и подходы в проектиров

https://blog.picnic.nl/7-antifragile-principles-for-a-successful-data-warehouse-574b655f0bc6В последнее время приходится много делать архитектурных задач, поэтому вытаскиваю из списка "Прочитать позже" всякие статейки про архитектуру и подходы в проектировании.@ohmydataengineer

1 week, 6 days назад @ t.me
Пятничный юмор!Не постил ничего почти месяц. А вас стало только больше 😱Пора возвращаться в ритм.@ohmydataengineer
Пятничный юмор!Не постил ничего почти месяц. А вас стало только больше 😱Пора возвращаться в ритм.@ohmydataengineer Пятничный юмор!Не постил ничего почти месяц. А вас стало только больше 😱Пора возвращаться в ритм.@ohmydataengineer

Пятничный юмор!Не постил ничего почти месяц. А вас стало только больше 😱Пора возвращаться в ритм.@ohmydataengineer

2 weeks, 2 days назад @ t.me
Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer
Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer

Коллеги делятся прекрасным из IL рынка бихдаты!@ohmydataengineer

1 month, 1 week назад @ t.me
https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики -
https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики -

https://medium.com/intuit-engineering/how-intuit-data-analysts-write-sql-2x-faster-with-internal-genai-tool-c3b9d482208aВ продолжении прошлого пятничного мема, количество платформ и сервисов, которые за денюжку, подключиться к DWH и делать там запросики - увеличилось в 10 раз. И стоит это много, а вот поднять простенький https://huggingface.co/tsdocode/text-to-sql и натравить на мету - не, спасибо.В статье, кстати, описан второй подход и оч даже хорошие результаты.@ohmydataengineer

1 month, 2 weeks назад @ t.me
Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)
Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)

Очень долго смеялся и плакал 😳(ибо это все до боли знакомо)

1 month, 3 weeks назад @ t.me
Тема недели в #it_memes
Тема недели в #it_memes Тема недели в #it_memes

Тема недели в #it_memes

1 month, 3 weeks назад @ t.me
https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почт
https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почт https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почт

https://www.astronomer.io/state-of-airflow/Астрономер выкатил репорт про текущее состояние Airflow. Если кратко - все хорошо у него, по скорость развития и контрибьюшенов опережает Spark и Kafka.Ссылку сначала увидел у @dataexplorers, а потом у себя в почте.@ohmydataengineer

1 month, 3 weeks назад @ t.me
https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer
https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer

https://clickhouse.com/blog/building-a-logging-platform-with-clickhouse-and-saving-millions-over-datadogЗанимательное чтиво про Кликхаус и как он используется для логов. Мяготка, с деталями и схемами.Не без налета саморекламы, конечно 😂@ohmydataengineer

1 month, 3 weeks назад @ t.me
https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer
https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer

https://mattturck.com/landscape/mad2024.pdfСтабильный гость этого канала - MAD 2024 - Machine Learning, AI & Data Landscape. @ohmydataengineer

1 month, 3 weeks назад @ t.me
https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удал
https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удал

https://boehs.org/node/everything-i-know-about-the-xz-backdoorВсю прошлую неделю (и скорее всего, текущую тоже), Tech часть интернета будет бухтеть про XZ уязвимость, или, как ее прозвали "Бекдор для всего интернета". 2 года подготовки и ребятам почти удалось, но один из специалистов заметил проблемки с перформансом ssh (работал на 500 ms дольше), пошел разбираться и наткнулся на очень много интересного.@ohmydataengineer

1 month, 3 weeks назад @ t.me
Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer
Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer

Пятничный юмор или как совет директоров попросил AI внедрить 😂 (true story)@ohmydataengineer

1 month, 4 weeks назад @ t.me
https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer
https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer

https://www.youtube.com/watch?v=QSui0KQ2rE4Пока гуглил по платформы для A/B тестов, наткнулся на вот такой хороший доклад от ребят из Flo про их Data Platform.Оказалось оч полезно и ознакомительно@ohmydataengineer

2 months назад @ t.me
Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при э
Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при э Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при э

Нас скоро всех заменят 😄https://twitter.com/raunakdoesdev/status/1769066769786757375Если вы не поняли из скриншотов, Steven дал доступ к своему аккаунту софтинке по имени Devin (отсюда игра слов Steven + Devin -> Deven) и та успешна пофиксила баг, при этом после прочтения документации задала дополнительный вопрос поддержке =) Про Devin интернет трещит уже неделю - https://www.cognition-labs.com/introducing-devin@ohmydataengineer(p.s. напомнило последний сезон The Silicon Valley и бота Гилфойла)(p.s. 2: советую посмотреть вот это видео если вы вдруг начали переживать https://www.youtube.com/watch?v=80MPXoRHvK8 по этому поводу)

2 months назад @ t.me
enthusiastech enthusiastech
последний пост 3 months назад
Data Apps Design pinned «Блог переехал 🌐 @data_apps»
Data Apps Design pinned «Блог переехал 🌐 @data_apps»

Data Apps Design pinned «Блог переехал 🌐 @data_apps»

3 months назад @ t.me
Блог переехал 🌐 @data_apps
Блог переехал 🌐 @data_apps

Блог переехал 🌐 @data_apps

3 months назад @ t.me
Channel name was changed to «Data Apps Design»
Channel name was changed to «Data Apps Design»

Channel name was changed to «Data Apps Design»

3 months назад @ t.me
Channel name was changed to «data_apps»
Channel name was changed to «data_apps»

Channel name was changed to «data_apps»

3 months, 1 week назад @ t.me
✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекват
✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекват

✅ Как выбрать СУБД для аналитики? Мой список критериев для выбора Analytics Database🔵Performance and Scalability— Работа в периоды пиковых нагрузок (одновременные запросы от EL + dbt + BI + analysts)— Поддержка масштабируемости и scaling— Насколько адекватно время ответа на запросы (от простых select * from table limit 10 до сложных дашбордов)🔵Feature support— Поддержка semi-structured data (nested JSONs, MongoDB, event tracking)— Geospatial: GEO-joins (ST_Intersects), H3 library for geo-indexing— Адекватная поддержка Window functions (+ Qualify)— Простое создание окружений (Zero copy clone - DEV, TEST sandboxes)— Time travel, restore deleted data (UNDROP)🔵Security— PRIVILEGES management (r…

3 months, 3 weeks назад @ t.me
Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢
Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢

Как выбрать СУБД для аналитики?Привет! Предположим, что у вас есть:🟢 Целостное понимание потребностей бизнесаВключая требования к производительности, времени отклика, безопасности данных, перечень ключевых метрик (показателей) и формулы их расчета, и т.д.🟢 Возможность предлагать и оценивать альтернативные СУБД для решения задач бизнесаОбъективно, в заданных условиях, некоторые СУБД способны справляться значительно лучше других. Иначе говоря, имеют конкурентные преимущества.К сожалению, во многих случаях решение о том, какую СУБД использовать уже принято и не подлежит пересмотру: кем-то когда-то давно до вас по принципу "я работал с этим 5 лет назад", "у нас с ними партнерские отношения", "в…

3 months, 3 weeks назад @ t.me
👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуал
👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуал

👑 Особенности работы с External Data (на примере обменных курсов валют)⬜️Бизнес-задача:— Операции с контрагентами совершаются в около 15 разных валют— Есть необходимость пересчета финансовых показателей в разные валюты для отчетности— Обменные курсы актуальны на каждую отдельную дату (курс меняется)⬜️ Реализация:— Используется поставщик данных и его API (для примера это Open Exchange Rates)— Ежедневно несколько раз в течение дня (раз в 3 часа) делаются запросы на получение обменных курсов к каждой из 15 валют (Airflow)— Ответы в виде JSON сохраняются AS IS в S3 / Object storage— Эти файлы читаются на стороне DWH и формируется витрина обменных курсов (пар) в разрезе базовой валюты и даты⬜️ К…

4 months назад @ t.me
Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуал
Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуал

Business Intelligence 101: Всё самое важное о BI инструментах🔸 Ключевые идеи BI— BI - это набор методов и инструментов для бизнес-анализа— BI упрощает доступ к данным в DWH— BI бесполезен без DWH (без данных бесполезны визуализации)— SQL по-прежнему актуален🔸 Основные возможности (features) BI— Семантическая модель: сущности, связи, формулы расчета метрик и правила агрегации— Визуальный конструктор запросов— Формирование информационных панелей (dashboards)— Публикация (sharing), рассылки, уведомления и алерты🔸 Варианты развертывания— SaaS / Managed app (Datalens)— Self-hosted (Metabase)— Hybrid (Superset / Preset)🔸 Администрирование— Production checklist (отказоустойчивость, надежность, мас…

4 months, 1 week назад @ t.me
🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис,
🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис,

🤯 Нерелевантные, демотивирующие и бессмысленные задачи🔻 Излишне затянувшееся общение с вендорами и провайдерами сервисовКак инженер - я должен сравнить, протестировать и выбрать самое релевантное решение в заданных условиях. Я даю заключение, какой сервис, с какими квотами и услугами необходим для решения задач.Дальнейшие шаги - переговоры, бумажные (электронные) процессы, согласования, подписания, оплаты, инвойсинг, юридические проверки и т.д. - это не относится к инженерной работе, этим должны заниматься все, кроме инженера.🔻 Взаимодействие с пользователями, которым леньКоманда аналитики делает всё, чтобы пользователям было просто и удобно находить ответы на свои вопросы:— Self-service BI…

4 months, 2 weeks назад @ t.me
😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt),
😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt),

😵‍💫 Нерелевантные, демотивирующие и бессмысленные задачиДавайте поговорим про раздражающие и отвлекающие факторы в работе.Вчера у меня возникла ситуация:Amazon Redshift ночью автоматически обновился на свежий релиз, что привело к ошибкам в расчетах (dbt), и проблемам с отчетностью (Looker). Ряд самых важных дашбордов перестал работать (пусто, либо ERROR SQL Query). Бизнес-пользователи сообщают о проблемах и ждут исправления.Я потратил около 4-5 часов на поиск и локализацию проблемы, её исправление (rollback, upgrade, чуть не дошло до restore from backup) и проверки (что-то продолжаю делать и сейчас).В это время команда из 6 человек (Finance & Accounting) пишет письма с просьбой найти и высл…

4 months, 2 weeks назад @ t.me
🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных
🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных

🏆 Удержать стоимость SaaS ELT на уровне $13K / year вместо повышения цены в 2,35 раза В компании для интеграции данных я использую SaaS ELT решение от вендора Hevo Data. Еще в начале 2020 году я провел сравнительный анализ и proof of concept среди основных игроков на рынке в поисках подходящего решения.В финале оказались Hevo и Fivetran. Hevo победил по ряду критериев, в том числе по стоимости (total cost of ownership).Коротко, мой сетап:— 1 Destination connector (sync каждые 15 минут)— 10 Source connectors (самые важные: MongoDB, Postgres, Event stream)— 500M events / monthНачиная с 2020 года стоимость сервиса составляла $12K в год с платежами раз в квартал. На мой взгляд, это отличная сто…

4 months, 2 weeks назад @ t.me
🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизировать
🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизировать

🌟 Привет, друзья!С наступающим Новым Годом!Обещаю радовать вас и развиваться. В новом году я планирую:— Делать больше обзоров Data Tools и Инструментов, сравнивать их и делать выводы— Создавать новый обучающий и полезный для каждого контент— Активизироваться на YouTube с онлайн-стримами по интересным темам и короткими кастами— Систематизировать накопленные в канале знания, добавить навигацию и хэштеги— Писать review на новые (и не очень) книги, интернет-публикации и самые интересные Data-события— Запустить email-рассылкуЖелаю всем уютно отметить в кругу близких и друзей, помечтать как следует, и полными сил вступить в новое путешествие в наступающем году! 🥳До связи,Артемий🥳🥳🥳

4 months, 3 weeks назад @ t.me
Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересн
Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересн

Всем привет, мы собрали небольшую подборку каналов/групп, которые могут быть полезны интересующимся данными в Новом 2024 году и хотим поделиться с вами:• @datacoffee — Еженедельный подкаст о данных• @datavizcomics — Комиксы по датавизу, дата-арт и интересные визуализации• @dbt_users — DBT users group• @enthusiastech — Analytics Engineering + tips & tricks• @ohmydataengineer — Авторский канал обо всем, что происходит в мире работы с данными• @ruairflow — Русскоязычное сообщество Apache AirflowДобавить как папку в Telegram https://t.me/addlist/B5NbcluX5AJiMTFi

5 months назад @ t.me
👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analys
👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analys

👀 Где взять динамический датасет для целей тестирования?Большая часть датасетов и sample databases являются статичными, т.е. представляют из себя снимок. Эти данные не меняются со временем.Мы привыкли изучать такие данные, проводить Exploratory Data Analysis, строить дашборды, обучать ML-модели. Удобно пользоваться Sample Tutorials от вендоров и тулов. Awesome Public Datasets, Kaggle, Metabase Sample Database, и даже AdventureWorks - это всё примеры статики.Но ряд задач можно изучать и решать только на динамическом датасете, т.е. тех данных, с которыми происходят мутации в режиме реального времени - INSERT, UPDATE, DELETE:— Online data replication (Change Data Capture)— Streaming tasks: Ana…

5 months назад @ t.me
☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н
☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н ☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам н

☄ Первый стрим для закрытой группы Designing Modern Data AppsУже сегодня 21 декабря в 19:00 — Marketing Analytics❗️ У меня осталось всего несколько местКак это будет выглядеть?— 10 стримов, 2 из них интерактивные Q&A— Живое общение и доступ к ответам на свои вопросы— Единая связная история-кейс (заказчик - требования - архитектура - реализация)— Формат интенсива - сразу к делу, минимум воды, максимум практикиКакие результаты я получу?— Опыт построения аналитических приложений на реальном бизнес-кейсе— Практика с инструментами Modern Data Stack— Записи стримов, слайды, git-репозитории остаются у вас— Возможность претендовать на вакансии с ЗП 300К+Востребованные навыки и практические знания -…

5 months, 1 week назад @ t.me
data будни data будни
последний пост 3 days назад
data будни pinned «👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно
data будни pinned «👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно

data будни pinned «👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!…»

3 days назад @ t.me
🎠 астрологи объявили неделю иипоэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкусI. подкаст «вы находитесь здесь»мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучен
🎠 астрологи объявили неделю иипоэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкусI. подкаст «вы находитесь здесь»мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучен

🎠 астрологи объявили неделю иипоэтому вот три ссылки в тему; ссылки получились по возрастающему уровню сложности — можно найти на свой вкусI. подкаст «вы находитесь здесь»мастерски сделанный подкаст от студии Либо/Либо про историю изучения машинного обучения: первые автоматоны, первые соревнования по распознаванию текста и картинок, первые гонки беспилотных машин и т.д.всё разбито на идеальные серии по ~25 минут — удобно слушать в дороге или на обеде. Каждая серия раскрывает свою тему. Рекомендую.https://libolibo.ru/nowyouarehereII. выпуск Подлодки про приложения на ллминтересный гость с кучей релевантного опыта и чётким, структурированным рассказом — помогло связать в голове разные кусочки…

3 days, 1 hour назад @ t.me
👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!⌘
👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!⌘

👋 я — Саша Михайлов: муж, отец, латентный рационалист, иногда сноубордист и любитель поиграть по воскресениям в доту. В октябре 2023 переехал в Стокгольм 🇸🇪 и работаю инженером данных в местном финтехе Klarna § про работу собственно, те самые data будни!⌘ до 30 лет работал менеджером по логистике — следил, чтобы контейнеры из Китая и фуры из Европы исправно привозили нужные товары. → потом отучился на аналитика данных в Практикуме (в самой первой когорте, хе-хе), после него два месяца искал первую работу по новому профилю.⌘ работу нашёл в отделе маркетинга торгового центра — спасибо ребятам за доверие! помню, как пришёл к ним готовый анализировать их данные с пандасом наперевес… а данных-то…

1 week, 2 days назад @ t.me
🗿 этому каналу не хватало лица!вы могли заметить, что тут помимо сухих ссылок стало больше появляться всяких «что вижу вокруг», «что про это думаю» и «помогите разобраться дурачку» не хочу делать из канала сми с контент-планом и заданным количеством постов
🗿 этому каналу не хватало лица!вы могли заметить, что тут помимо сухих ссылок стало больше появляться всяких «что вижу вокруг», «что про это думаю» и «помогите разобраться дурачку» не хочу делать из канала сми с контент-планом и заданным количеством постов

🗿 этому каналу не хватало лица!вы могли заметить, что тут помимо сухих ссылок стало больше появляться всяких «что вижу вокруг», «что про это думаю» и «помогите разобраться дурачку» не хочу делать из канала сми с контент-планом и заданным количеством постов в неделю, поэтому планирую дальше вести в духе дружеского чатика по интересам. как и любой подобный чатик, канал может затихнуть на месяц, а потом начать выдавать по посту-два в день ¯\_(ツ)_/¯ кажется чуток странным вести в таком духе анонимный канал (там правда подписано, но официально-то мы друг другу не представлены!)в общем вот:

1 week, 2 days назад @ t.me
🏌️ RAGоднажды в коменты пришёл читатель Семён и пошутил что-то про RAG. Я тогда ничего не понял, но на всякий случай молча кивнул типа «да-да, я в курсе! во дают!1»чтобы в следующий раз не попасть впросак, решил таки сделать домашку и погуглить что за звер
🏌️ RAGоднажды в коменты пришёл читатель Семён и пошутил что-то про RAG. Я тогда ничего не понял, но на всякий случай молча кивнул типа «да-да, я в курсе! во дают!1»чтобы в следующий раз не попасть впросак, решил таки сделать домашку и погуглить что за звер

🏌️ RAGоднажды в коменты пришёл читатель Семён и пошутил что-то про RAG. Я тогда ничего не понял, но на всякий случай молча кивнул типа «да-да, я в курсе! во дают!1»чтобы в следующий раз не попасть впросак, решил таки сделать домашку и погуглить что за зверь этот ваш раг. В интернетах нашёл красиво свёрстаное (аж захотелось купить что они там продают) и главное доступное объяснение:https://gradient.ai/blog/rag-101-for-enterprise⌘⌘⌘что нужно, чтобы сделать своего чатбота на ллм? помимо самой ллм, конечно.я так понял*, ллм из коробки будет знать много чего из общего мира, но конкретно про вашу специфику — неоч * для экономии места я не буду перед каждым абзацем вставлять «я так понял», но пред…

1 week, 4 days назад @ t.me
🤯 ChatGPT научилась смотреть, слушать и быстро отвечатьнахожусь под впечатлением от вчерашней презентации OpenAI — они показали новую модель, а ещё обновление приложения. теперь ChatGPT совсем даже не чат, а вполне себе собеседник: добавили возможность вкл
🤯 ChatGPT научилась смотреть, слушать и быстро отвечатьнахожусь под впечатлением от вчерашней презентации OpenAI — они показали новую модель, а ещё обновление приложения. теперь ChatGPT совсем даже не чат, а вполне себе собеседник: добавили возможность вкл 🤯 ChatGPT научилась смотреть, слушать и быстро отвечатьнахожусь под впечатлением от вчерашней презентации OpenAI — они показали новую модель, а ещё обновление приложения. теперь ChatGPT совсем даже не чат, а вполне себе собеседник: добавили возможность вкл

🤯 ChatGPT научилась смотреть, слушать и быстро отвечатьнахожусь под впечатлением от вчерашней презентации OpenAI — они показали новую модель, а ещё обновление приложения. теперь ChatGPT совсем даже не чат, а вполне себе собеседник: добавили возможность включать камеру в приложении и попросить описать что она видитпомимо новой модели выкатили десктопное приложение, которое тоже может смотреть экран — на демонстрации моделька рассматривала простенький график, нарисованный в юпитер-ноутбуке, интерпретировала увиденное и даже отвечала на простые вопросы по содержанию.показательно насколько снижение задержки ответа может менять восприятие. Согласитесь, что когда ассистент отвечает тебе через 2-3…

1 week, 5 days назад @ t.me
👨‍🔧 разобрался с Terraform спустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться. ⌘⌘⌘ в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у…
👨‍🔧 разобрался с Terraform спустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться. ⌘⌘⌘ в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у…

👨‍🔧 разобрался с Terraform спустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться. ⌘⌘⌘ в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у…

1 week, 6 days назад @ t.me
👨‍🔧 разобрался с Terraformспустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться.⌘⌘⌘в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у нас в к
👨‍🔧 разобрался с Terraformспустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться.⌘⌘⌘в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у нас в к

👨‍🔧 разобрался с Terraformспустя пару лет после моего первого знакомства с infrastructure-as-a-code наконец-то достался проект где можно попрактиковаться.⌘⌘⌘в Кларне всё на AWS, для управления архитектурой используют CloudFormation или Terraform; у нас в команде — последний.почему вообще дата инженер занимается инфрой? в команде образовалось провал по компетенциям: есть несколько разрабов, пара аналитиков и менеджер, а вот деплоить инфру, получается, некому; сейчас приходиться закрывать техлиду на сдачу от других дел. Вызвался помочь с этим, потому что самому было интересно как это всё работает⌘⌘⌘за один проект удалось покопаться в разных инструментах AWS-стэка (+ DataDog для мониторинга):-…

1 week, 6 days назад @ t.me
🫧 big tech bubbleслушал подкаст с инженером из Убера, нашёл интересным несколько моментов:§ 1большие компании по мере свеого дикого роста сталкиваются с проблемами, с которыми до них никто не сталкивался. На рынке просто нет готовых решений для таких объём
🫧 big tech bubbleслушал подкаст с инженером из Убера, нашёл интересным несколько моментов:§ 1большие компании по мере свеого дикого роста сталкиваются с проблемами, с которыми до них никто не сталкивался. На рынке просто нет готовых решений для таких объём

🫧 big tech bubbleслушал подкаст с инженером из Убера, нашёл интересным несколько моментов:§ 1большие компании по мере свеого дикого роста сталкиваются с проблемами, с которыми до них никто не сталкивался. На рынке просто нет готовых решений для таких объёмов. И даже какие-то бест-практис ещё надо поискать, поэтому им приходится решать задачи самим.отсюда столько самописных решений от гугла, линкедина и прочих нетфликсов. Из кузен биг теха выходят в опенсорс новые базы данных, етл-движки и всякие би-ай инстрменты§ 2это одна из причин, почему такие инженеры ценятся на рынке — они повидали всякое: они умеют решать проблемы и работать руками. типа как в NASA — прокачивается навык решения задач …

2 weeks, 4 days назад @ t.me
🐘 Nimble Elephant — книга про паттерны моделирования данных в этот раз потребовалось даже меньше двух лет, чтобы прочитать купленную книгу!почему-то ожидал, что будет больше про аналитику, но оказалось в основном про большие энтерпрайз системы на сотни сущ
🐘 Nimble Elephant — книга про паттерны моделирования данных в этот раз потребовалось даже меньше двух лет, чтобы прочитать купленную книгу!почему-то ожидал, что будет больше про аналитику, но оказалось в основном про большие энтерпрайз системы на сотни сущ

🐘 Nimble Elephant — книга про паттерны моделирования данных в этот раз потребовалось даже меньше двух лет, чтобы прочитать купленную книгу!почему-то ожидал, что будет больше про аналитику, но оказалось в основном про большие энтерпрайз системы на сотни сущностей. Но в целом полезно; автор — консультант с большим стажем и технической насмотренностью, а ещё пишет просто и с юмором.⌘понравилась идея про дата паттерны: 50% ваших моделей — можно брать готовые из сборников; 30-40% — надо чуток подкрутить. А вот оставшиеся надо будет готовить с нуля — и вот на это уже уйдёт 80% от всего отведённого времени на проектирование.автор подробно разобрал паттерн Party/Role на примере базы данных для школ…

2 weeks, 6 days назад @ t.me
https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1кулстори из интернетов: как получить счёт в $1300 за первый день создания пустого приватного s3-бакета в AWSесли работаете с s3, то полезно понимать как в
https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1кулстори из интернетов: как получить счёт в $1300 за первый день создания пустого приватного s3-бакета в AWSесли работаете с s3, то полезно понимать как в

https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1кулстори из интернетов: как получить счёт в $1300 за первый день создания пустого приватного s3-бакета в AWSесли работаете с s3, то полезно понимать как верхнеуровнево оно работает, чтобы не получить такие сюрпизы в своём аккаунтев качестве повода размять мозги предлагаю сделать паузу и прикинуть как так могло случитьсяспойлер: нужно было всего лишь угадать правильное имя бакета! некая опенсорсная софтина имела дефолтную конфигурацию с бекапом на s3 точно с таким же именем бакета.имена бакетов находятся в eдином глобальном неймспейсе. т.е. они уникальны по всему миру, типа как урлы доменов …

3 weeks, 3 days назад @ t.me
📚 Practical Data Modelling pre-bookне теряю надежды вкатиться в Data Modelling и продолжаю активно следить за господином Joe Reis. ранее он объявил, что после соавторства книги Fundamentals of Data Engineering его следующей соло-книгой будет Practical Data
📚 Practical Data Modelling pre-bookне теряю надежды вкатиться в Data Modelling и продолжаю активно следить за господином Joe Reis. ранее он объявил, что после соавторства книги Fundamentals of Data Engineering его следующей соло-книгой будет Practical Data

📚 Practical Data Modelling pre-bookне теряю надежды вкатиться в Data Modelling и продолжаю активно следить за господином Joe Reis. ранее он объявил, что после соавторства книги Fundamentals of Data Engineering его следующей соло-книгой будет Practical Data Modelling (уже есть рисунок оглавления).в своей рассылке на substack он закидывает темы в читателей и проводит дискуссионные клубы на тему. Там же вышел черновик первой главы будущей книги — правда, за пейволом. так что делюсь с вами контентом конспектом контента аж за 600 рублейв качестве введения Джо предлагает договориться о терминах и приводит цитаты других, начиная с книги 1967 года > A data model organizes and standardizes data in a…

3 weeks, 5 days назад @ t.me
🏆 что мне нравится в проекте с авиа-трейсами adsb.exposedв дополнение к вчерашним картинкам и голой ссылке хочу подробнее рассказать чем именно меня привлёк проект Миловидова⌘ во-первых, как увлечённый дата-инженер я радуюсь каждому проекту, где-то как-то
🏆 что мне нравится в проекте с авиа-трейсами adsb.exposedв дополнение к вчерашним картинкам и голой ссылке хочу подробнее рассказать чем именно меня привлёк проект Миловидова⌘ во-первых, как увлечённый дата-инженер я радуюсь каждому проекту, где-то как-то

🏆 что мне нравится в проекте с авиа-трейсами adsb.exposedв дополнение к вчерашним картинкам и голой ссылке хочу подробнее рассказать чем именно меня привлёк проект Миловидова⌘ во-первых, как увлечённый дата-инженер я радуюсь каждому проекту, где-то как-то вовлечены данные и потом с ними происходит что-то интересное. Всегда хотел замутить что-то своё, но всё никак не нашёл подходящего повода и времени (а вот фаундер международной компании таки нашёл, хе-хе!) ⌘ во-вторых, видно инженерное мастерство как таковое: у проекта предельно простая инфраструктура. Нет тебе ни редисов с кешами, ни гео-балансеров, ни хитрого фронтенда с отдельным бэкендом — всё работает прямо в браузере.если я правильно…

1 month назад @ t.me
примеры того что получается в итоге
примеры того что получается в итоге примеры того что получается в итоге

примеры того что получается в итоге

1 month назад @ t.me
🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показ
🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показ

🛫 визуализация полётов на Кликхаусе 🛬Алексей Миловидов собрал красивый демо-проект, чтобы показать как Кликхас могёт ворочать миллиарды записей (это в день). Получилось похоже на flightradar, только без самолётиков — только трейсы. Можно выбирать что показать, крутить карту как обычно и даже писать кастомные запросы.всё работает на чистом html поверх кликхауса в их облаке. В статье подробный рассказ что под капотом: js-функции, ddl таблиц и вьюх, sql-запросы с сайта.Статья https://clickhouse.com/blog/interactive-visualization-analytics-adsb-flight-data-with-clickhouseСайт https://adsb.exposed/Исходники https://github.com/ClickHouse/adsb.exposedИсточники данных: 1. https://www.adsb.lol/ 2. h…

1 month назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 1 week назад
Zenlytic Is Building You A Better Coworker With AI Agents
Zenlytic Is Building You A Better Coworker With AI Agents

Summary

The purpose of business intelligence systems is to allow anyone in the business to access and decode data to help them make informed decisions. Unfortunately this often turns into an exercise in frustration for everyone involved due to complex workflows and hard-to-understand dashboards. The team at Zenlytic have leaned on the promise of large language models to build an AI agent that lets you converse with your data. In this episode they share their journey through the fast-moving landscape of generative AI and unpack the difference between an AI chatbot and an AI agent.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This epis…

1 week назад @ dataengineeringpodcast.com
Release Management For Data Platform Services And Logic
Release Management For Data Platform Services And Logic

Summary

Building a data platform is a substrantial engineering endeavor. Once it is running, the next challenge is figuring out how to address release management for all of the different component parts. The services and systems need to be kept up to date, but so does the code that controls their behavior. In this episode your host Tobias Macey reflects on his current challenges in this area and some of the factors that contribute to the complexity of the problem.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is supported by Code Comments, an original podcast from Red Hat. As someone who listens to the Data Engineering Po…

1 week, 6 days назад @ dataengineeringpodcast.com
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach
Barking Up The Wrong GPTree: Building Better AI With A Cognitive Approach

Summary

Artificial intelligence has dominated the headlines for several months due to the successes of large language models. This has prompted numerous debates about the possibility of, and timeline for, artificial general intelligence (AGI). Peter Voss has dedicated decades of his life to the pursuit of truly intelligent software through the approach of cognitive AI. In this episode he explains his approach to building AI in a more human-like fashion and the emphasis on learning rather than statistical prediction.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and d…

3 weeks назад @ dataengineeringpodcast.com
Build Your Second Brain One Piece At A Time
Build Your Second Brain One Piece At A Time

Summary

Generative AI promises to accelerate the productivity of human collaborators. Currently the primary way of working with these tools is through a conversational prompt, which is often cumbersome and unwieldy. In order to simplify the integration of AI capabilities into developer workflows Tsavo Knott helped create Pieces, a powerful collection of tools that complements the tools that developers already use. In this episode he explains the data collection and preparation process, the collection of model types and sizes that work together to power the experience, and how to incorporate it into your workflow to act as a second brain.

Announcements

Hello and welcome to the Data Engineeri…

4 weeks назад @ dataengineeringpodcast.com
Making Email Better With AI At Shortwave
Making Email Better With AI At Shortwave

Summary

Generative AI has rapidly transformed everything in the technology sector. When Andrew Lee started work on Shortwave he was focused on making email more productive. When AI started gaining adoption he realized that he had even more potential for a transformative experience. In this episode he shares the technical challenges that he and his team have overcome in integrating AI into their product, as well as the benefits and features that it provides to their customers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, clou…

1 month назад @ dataengineeringpodcast.com
Designing A Non-Relational Database Engine
Designing A Non-Relational Database Engine

Summary

Databases come in a variety of formats for different use cases. The default association with the term "database" is relational engines, but non-relational engines are also used quite widely. In this episode Oren Eini, CEO and creator of RavenDB, explores the nuances of relational vs. non-relational engines, and the strategies for designing a non-relational database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that prevents data quality issues from entering every part of your data workflow, from migration to dbt deployment. Datafold …

1 month, 1 week назад @ dataengineeringpodcast.com
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer
Establish A Single Source Of Truth For Your Data Consumers With A Semantic Layer

Summary

Maintaining a single source of truth for your data is the biggest challenge in data engineering. Different roles and tasks in the business need their own ways to access and analyze the data in the organization. In order to enable this use case, while maintaining a single point of access, the semantic layer has evolved as a technological solution to the problem. In this episode Artyom Keydunov, creator of Cube, discusses the evolution and applications of the semantic layer as a component of your data platform, and how Cube provides speed and cost optimization for your data consumers.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data managemen…

1 month, 2 weeks назад @ dataengineeringpodcast.com
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary
Adding Anomaly Detection And Observability To Your dbt Projects Is Elementary

Summary

Working with data is a complicated process, with numerous chances for something to go wrong. Identifying and accounting for those errors is a critical piece of building trust in the organization that your data is accurate and up to date. While there are numerous products available to provide that visibility, they all have different technologies and workflows that they focus on. To bring observability to dbt projects the team at Elementary embedded themselves into the workflow. In this episode Maayan Salom explores the approach that she has taken to bring observability, enhanced testing capabilities, and anomaly detection into every step of the dbt developer experience.

Announcements…

1 month, 3 weeks назад @ dataengineeringpodcast.com
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+
Ship Smarter Not Harder With Declarative And Collaborative Data Orchestration On Dagster+

Summary

A core differentiator of Dagster in the ecosystem of data orchestration is their focus on software defined assets as a means of building declarative workflows. With their launch of Dagster+ as the redesigned commercial companion to the open source project they are investing in that capability with a suite of new features. In this episode Pete Hunt, CEO of Dagster labs, outlines these new capabilities, how they reduce the burden on data teams, and the increased collaboration that they enable across teams and business units.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data …

2 months назад @ dataengineeringpodcast.com
Reconciling The Data In Your Databases With Datafold
Reconciling The Data In Your Databases With Datafold

Summary

A significant portion of data workflows involve storing and processing information in database engines. Validating that the information is stored and processed correctly can be complex and time-consuming, especially when the source and destination speak different dialects of SQL. In this episode Gleb Mezhanskiy, founder and CEO of Datafold, discusses the different error conditions and solutions that you need to know about to ensure the accuracy of your data.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native o…

2 months, 1 week назад @ dataengineeringpodcast.com
Version Your Data Lakehouse Like Your Software With Nessie
Version Your Data Lakehouse Like Your Software With Nessie

Summary

Data lakehouse architectures are gaining popularity due to the flexibility and cost effectiveness that they offer. The link that bridges the gap between data lake and warehouse capabilities is the catalog. The primary purpose of the catalog is to inform the query engine of what data exists and where, but the Nessie project aims to go beyond that simple utility. In this episode Alex Merced explains how the branching and merging functionality in Nessie allows you to use the same versioning semantics for your data lakehouse that you are used to from Git.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach …

2 months, 2 weeks назад @ dataengineeringpodcast.com
When And How To Conduct An AI Program
When And How To Conduct An AI Program

Summary

Artificial intelligence technologies promise to revolutionize business and produce new sources of value. In order to make those promises a reality there is a substantial amount of strategy and investment required. Colleen Tartow has worked across all stages of the data lifecycle, and in this episode she shares her hard-earned wisdom about how to conduct an AI program for your organization.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms and data pipelines. It is an open-source, cloud-native orchestrator for the whole development lifecycle, with integrated linea…

2 months, 3 weeks назад @ dataengineeringpodcast.com
Find Out About The Technology Behind The Latest PFAD In Analytical Database Development
Find Out About The Technology Behind The Latest PFAD In Analytical Database Development

Summary

Building a database engine requires a substantial amount of engineering effort and time investment. Over the decades of research and development into building these software systems there are a number of common components that are shared across implementations. When Paul Dix decided to re-write the InfluxDB engine he found the Apache Arrow ecosystem ready and waiting with useful building blocks to accelerate the process. In this episode he explains how he used the combination of Apache Arrow, Flight, Datafusion, and Parquet to lay the foundation of the newest version of his time-series database.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern d…

3 months назад @ dataengineeringpodcast.com
Using Trino And Iceberg As The Foundation Of Your Data Lakehouse
Using Trino And Iceberg As The Foundation Of Your Data Lakehouse

Summary

A data lakehouse is intended to combine the benefits of data lakes (cost effective, scalable storage and compute) and data warehouses (user friendly SQL interface). Multiple open source projects and vendors have been working together to make this vision a reality. In this episode Dain Sundstrom, CTO of Starburst, explains how the combination of the Trino query engine and the Iceberg table format offer the ease of use and execution speed of data warehouses with the infinite storage and scalability of data lakes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Dagster offers a new approach to building and running data platforms an…

3 months, 1 week назад @ dataengineeringpodcast.com
Data Sharing Across Business And Platform Boundaries
Data Sharing Across Business And Platform Boundaries

Summary

Sharing data is a simple concept, but complicated to implement well. There are numerous business rules and regulatory concerns that need to be applied. There are also numerous technical considerations to be made, particularly if the producer and consumer of the data aren't using the same platforms. In this episode Andrew Jefferson explains the complexities of building a robust system for data sharing, the techno-social considerations, and how the Bobsled platform that he is building aims to simplify the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data lakes are notoriously complex. For data engineers who battle to b…

3 months, 2 weeks назад @ dataengineeringpodcast.com
Data Brew by Databricks
последний пост None
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 3 months, 1 week назад
Как работает DNS и почему он может сломаться? [Спецвыпуск]
Как работает DNS и почему он может сломаться? [Спецвыпуск]

30 января все сайты с доменом .ru и некоторые приложения на несколько часов перестали открываться. Пользователи стали переживать, что интернет в России отключают. На самом деле случился сбой в протоколе DNS. В этом эпизоде разбираемся, как этот протокол устроен и какая ошибка привела к падению Рунета.Эпизод про шифрование: https://pc.st/e/4Hy~u9W_OixРекомендации от гостя: 1. Книга «DNS and BIND», авторы Cricket Liu and Paul Albitz2. Блог CloudFlare, статья про DNS https://www.cloudflare.com/en-gb/learning/dns/what-is-dns/3. Курсы компании ICANN https://www.icann.org/en/beginnersСлушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в закрытом телеграм-канале Либо/Либо https://cutt.ly/zap0…

3 months, 1 week назад @ share.transistor.fm
Сохранить как .torrent. Как мы научились делиться самым интересным почти мгновенно
Сохранить как .torrent. Как мы научились делиться самым интересным почти мгновенно

Как скачать из интернета фильм, музыку или программу, минуя единый сервер? Что сделало пиратов народными героями и почему невежливо уходить с раздачи? Этот выпуск — о протоколе BitTorrent. О том, как он озолотил своего создателя, снова разозлил Голливуд и стал окном в мир массовой культуры для миллионов людей. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeJsoGcКурсы английского для работы в IT от Практикума:https://clck.ru/38QNxFАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

3 months, 2 weeks назад @ share.transistor.fm
Сохранить как GIF. Как мы нашли идеальный способ выражать свои эмоции в интернете
Сохранить как GIF. Как мы нашли идеальный способ выражать свои эмоции в интернете

«Будь проще и люди к тебе потянутся» — девиз формата gif. Он действительно прост и не меняется последние 30 лет. Как раз за это его все и любят. Гифка - это больше чем формат: это идея. Это способ упаковать многое в малом. Это память о временах раннего интернета. Это инструмент цифрового художника, но самое главное - это оптимальный способ показать другому человеку в интернете самые тонкие нюансы наших эмоций. В этом выпуске разбираемся, за что интернет полюбил формат gif.erid: 2SDnjf3ZJ4GКурс «Продвинутый Go‑разработчик»: https://clck.ru/37psA2Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033Авторы сценария: Иван Грабарник и Евгения Щербина. Редактор: Евгения ЩербинаПро…

3 months, 3 weeks назад @ share.transistor.fm
Сохранить как VHS, DVD. Как видео пришло в наш дом
Сохранить как VHS, DVD. Как видео пришло в наш дом

Гнусавый перевод голливудских боевиков, домашний архив с детскими стихами, прочитанными с табуретки, и доступное порно — всё это стало возможным благодаря форматам VHS и DVD. Сначала кассеты, а потом диски принесли видео в каждую гостиную, заполнили наши серванты и — ушли в прошлое под натиском цифровой революции. Или не совсем? В этом выпуске Самат Галимов рассказывает об истории видеореволюции, которую устроили VHS и DVD, и очень много ностальгирует.Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckdd4LКурсы английского для работы в IT от Практикума:https://clck.ru/37jsSPАвтор сценария: Валерия ЖитковаРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паш…

4 months назад @ share.transistor.fm
Сохранить как PDF. Как мы (почти) заменили бумагу?
Сохранить как PDF. Как мы (почти) заменили бумагу?

Почему нельзя просто взять и распечатать любой документ на принтере? Где хранить цифровую память человечества? Как излечить головную боль и художников с дизайнерами, и американской налоговой службы? В этом выпуске Самат Галимов рассказывает, как из попыток ответить на эти вопросы родился один из самых надежных и долговечных форматов электронных документов - PDFРеклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjeKAEaCКурс «Инженер данных» в Практикуме:https://clck.ru/37JGtnАвтор сценария: Иван ГрабарникРедактор: Евгения ЩербинаПродюсеры: Маша Агличева и Паша БоровковЗвукорежиссер: Юрий ШустицкийСаунддизайнер: Леша Воробьев

4 months, 1 week назад @ share.transistor.fm
mp3. Как мы научились сжимать музыку
mp3. Как мы научились сжимать музыку

30 лет назад, чтобы послушать любимую песню, нужно было пойти в магазин, отстоять очередь и купить дорогой диск, на который умещалось всего девять композиций. Всё изменил один немецкий ученый, который придумал революционную технологию сжатия звука. Благодаря ей диски стали не нужны - теперь всю музыку мира можно было бесплатно слушать с компьютера, а потом и положить в карман. Новая технология чуть не разорила лейблы и развязала самую кровавую войну в интернете — войну авторов контента с пиратами. В этом выпуске Самат Галимов разбирается в истории создания самого популярного аудиоформата в мире — mp3. Реклама. АНО ДПО «Образовательные технологии Яндекса». ИНН 7704282033 erid: 2SDnjckUYJ4Узн…

4 months, 2 weeks назад @ share.transistor.fm
Детство рунета. Как появлялся интернет в России
Детство рунета. Как появлялся интернет в России

Вы помните ваш ник в аське? А каким был первый русскоязычный блог? Или, может, когда вы родились, интернет уже был привычной частью жизни? Мы записали новогодний спешл о том, как в России появился интернет, что менялось в нем со временем и как он стал для нас таким важным. Герой этого выпуска — Дмитрий Морозовский — человек, который всю жизнь занимается развитием рунета. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37GttY Материалы из выпуска: Первый выпуск «Вечернего интернета» Антона Носика: https://web.archive.org/web/20190507075313/http://gagin.ru/vi/24dec1996.htm Выпуск «Газеты.ру» 1999 года: https://web.archive…

5 months назад @ zapuskzavtra.libsyn.com
vas3k. Как устроено популярное сообщество про технологии
vas3k. Как устроено популярное сообщество про технологии

Вастрик уже больше 10 лет ведет блог для технарей — понятно и с мемами рассказывает о квантовом компьютере, вычислительной фотографии, Вебе 3.0 и других сложных технических штуках. Самат Галимов расспросил его, с чего начался один из самых популярных блогов про технологии в российском интернете, чем погружение в сообщество похоже на знакомство в баре, как избавиться от хейтеров и создать здоровую обстановку в блоге и сколько можно зарабатывать на всём этом. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Подарочные сертификаты Практикума: https://clck.ru/37DT9U В выпуске мы упоминали: Выпуск про квантовые вычисления https://pc.st/e/7ByFIcwxgcv Пост Вастрика про переезд …

5 months, 1 week назад @ zapuskzavtra.libsyn.com
Темные паттерны в UX. Как приложения нами манипулируют
Темные паттерны в UX. Как приложения нами манипулируют

Вы наверняка замечали, что от сервисов бывает очень сложно отписаться. Это не случайность: компании борются за ваши клики и деньги и используют для этого вводящие в заблуждение (а иногда и откровенно незаконные) приемы. В этом выпуске Самат Галимов говорит о темных паттернах с CPO «VK знакомств» Игорем Кузнецовым и разбирается, с какими манипуляциями мы сталкиваемся чаще всего, почему они работают и как от них защититься. Телеграм-канал Игоря Кузнецова https://t.me/brainshare Рекомендации от Игоря: Книга Deceptive Patterns: Exposing the Tricks Tech Companies Use to Control You by Harry Brignull Сайт https://www.deceptive.design/ Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704…

5 months, 2 weeks назад @ zapuskzavtra.libsyn.com
12 декабря обсуждаем итоги 2023 года на рынке IT
12 декабря обсуждаем итоги 2023 года на рынке IT

Как рынок IT пережил 2023 год? Что ждет нас в 2024? Как IT-специалистам искать работу прямо сейчас? Самат Галимов поговорит об этом с Кирой Кузьменко — карьерным консультантом и ведущей подкаста «Собес». 12 декабря в 20:00 по Москве подключайтесь к трансляции в закрытом телеграм-канале Либо/Либо: https://cutt.ly/zap1212liveeptg Вы сможете не только послушать разговор, но и задать свои вопросы, так что не забудьте их подготовить. До встречи!

5 months, 2 weeks назад @ zapuskzavtra.libsyn.com
JetBrains. Как создают инструменты для разработки
JetBrains. Как создают инструменты для разработки

Язык Kotlin, платформа Space, среда разработки Fleet — все эти популярные инструменты сделали в JetBrains. Как появилась компания, изменившая работу программистов по всему миру? Почему первый продукт JetBrains не был самостоятельным? И как компания все время соревнуется с бесплатными продуктами? Самат Галимов говорит с генеральным директором JetBrains Максимом Шафировым. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Базовый курс Go от Практикума: https://clck.ru/36wNWp И продвинутый курс: https://clck.ru/36t9MP Самат Галимов вместе с ведущей подкаста «СОБЕС» Кирой Кузьменко проведут трансляцию для подписчков закрытого телеграм-канала студии «Либо/Либо». Они будут гово…

5 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Как дела в аутсорсе? Говорим про бизнес Самата
Как дела в аутсорсе? Говорим про бизнес Самата

Самат с бизнес-партнером Федором Борщевым — сооснователи небольшой студии аутсорс-разработки «Федя и Самат». Когда ребята только начинали, в их компании было всего два человека (угадайте их имена). Прошло почти 4 года, и команда закономерно выросла. В этом эпизоде предприниматели рассказывают, как менялись их представления о работе и почему им по-прежнему не подходят 90% программистов на рынке, а еще делятся своими best practices ведения бизнеса. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «Алгоритмы и структуры данных»: https://clck.ru/36pnri Ссылки, о которых мы говорили в этом эпизоде: Выпуск о создании компании: https://zapuskzavtra.libsyn.com/jc8vp34sqnls …

5 months, 4 weeks назад @ zapuskzavtra.libsyn.com
3D-печать домов. Как с помощью принтера строят здания
3D-печать домов. Как с помощью принтера строят здания

10 лет назад гость сегодняшнего эпизода построил у себя на заднем дворе в Миннесоте замок из бетона. Точнее распечатал 3D-принтером, который сам же и изобрел. Тогда об этом написали многие американские медиа, а Андрей Руденко на время стал знаменитостью. Самат Галимов позвал Андрея в подкаст и расспросил, как он делает свои принтеры и строит на этом бизнес. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 erid: 2SDnjc1jxba Курсы Практикума для разработчиков и тестировщиков: https://clck.ru/36jJ7q Репортаж о замке Андрея Руденко: https://youtu.be/DQ5Elbvvr1M?si=C4R6mCgdLmTzJe7h Подкаст «Собес» https://bit.ly/3sMjtf3 Чат Запуска в телеграме: https://t.me/zapuskzavtra Связа…

6 months назад @ zapuskzavtra.libsyn.com
3Д-движки. Как создают вселенные в видеоиграх
3Д-движки. Как создают вселенные в видеоиграх

Что общего у разработки видеоигр и создания домов, персонажей и историй в игре The Sims? Денис Ишмухаметов — программист графики в компании Wargaming, которая выпустила, например, игру World of Tanks. Самат Галимов расспросил Дениса, как устроен процесс разработки, зачем нужен игровой движок, что он умеет и какие с ним бывают сложности. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Промокод на скидку 20% на все курсы Практикума в Черную Пятницу: https://clck.ru/36ZxQg Выпуск про компьютерную графику: https://pc.st/e/6~lAhBor-PC Денис советует книги: Game Engine Architecture by Jason Gregory Real-Time Rendering by Eric Haines, Tomas Möller, Naty Hoffman И YouTube: http…

6 months, 1 week назад @ zapuskzavtra.libsyn.com
No-code. Как сделать сайт без программирования
No-code. Как сделать сайт без программирования

Вы точно хоть раз оказывались на странице, созданной с помощью Tilda или Readymag. Эти сервисы позволяют сверстать сайт без программирования всего за несколько кликов. Как это возможно? Насколько качественными получаются такие продукты? А можно сделать не сайт, а что-то сложнее? Программисты больше не нужны? Обо всем этом Самат Галимов спрашивает технического директора компании Readymag Антона Васина. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «DevOps для эксплуатации и разработки»: https://clck.ru/36HZHm Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https:…

6 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 1 week, 1 day назад
Day Special с Иваном Кривошеевым
Day Special с Иваном Кривошеевым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущий – Григорий Петров Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

1 week, 1 day назад @ learnpython.podbean.com
Day Special с Александром Гончаровым
Day Special с Александром Гончаровым

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Валентин Домбровский Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

3 weeks, 1 day назад @ learnpython.podbean.com
Новости мира Python за апрель 2024
Новости мира Python за апрель 2024

Спонсор подкаста — https://learn.python.ru

Python Day на Positive Hack Days — https://bit.ly/phd-mpp Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Pydantic запустили бета-версию Longfire

Łukasz научил GitHub собрать CPyhon из исходников

PyPI is expanding Trusted Publisher Support Релиз ruff 0.4.0 New Open Initiative for Cybersecurity Standards Ubuntu 24.04 LTS

PEP-744 Jit Compilation

Студенческие задания в Open source Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы Moscow Python — https://moscowpython.ru

3 weeks, 3 days назад @ learnpython.podbean.com
Новости мира Python за март 2024
Новости мира Python за март 2024

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: релиз ruff 0.3.0

style czar или попытка привести языки к одному стилю

Gemini Pro объявила кеширование «риском безопасности»

Cloudflare запустили поддержку python в cloud-workers-ах

как за год изменилось состояние Web Assembly в Python

в pypi завезли возможность репортить malware-пакеты закончилось большое обсуждение lock-файлов от Brett Canon вышел DRF 3.15 почти через 2 года после пердыдущей версии Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https:/…

1 month, 2 weeks назад @ learnpython.podbean.com
API версионирование: как, зачем и почему?
API версионирование: как, зачем и почему?

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

1 month, 3 weeks назад @ learnpython.podbean.com
Новости мира Python за февраль и даже больше
Новости мира Python за февраль и даже больше

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Новости выпуска: Тул для работы с зависимостями для Python — `uv`

PEP 740 — возможность добавление работы с цифорвыми подписями для реестров пакетов типа PyPI Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

2 months, 3 weeks назад @ learnpython.podbean.com
Как стать core-разработчиком CPython?
Как стать core-разработчиком CPython?

Спонсор подкаста — https://learn.python.ru

Ведущие – Григорий Петров и Михаил Корнеев Ссылки Никиты: GitHub — github.com/sobolevn Youtube — @sobolevn

2 months, 4 weeks назад @ learnpython.podbean.com
Что произошло в мире Python за декабрь и январь 2024
Что произошло в мире Python за декабрь и январь 2024

Ведущие — Михаил Корнеев и Григорий Петров

В этом выпуске обсудили самые интересные и запомнившиеся новости последних двух месяцев. Ниже собрали ссылки на все новости:

JIT-компиляция в Python 3.13

Jetbrains выпустили отчет State of Developer Ecosystem 2023

Python Packaging, One Year Later: A Look Back at 2023 in Python Packaging Самые популярные библиотеки 2023 Вышел Django 5.0 У PSF появился свой Community Communication Manager С 1 января для публикации на pypi должна быть настроена 2fa Why Python is terrible? Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуск…

3 months, 3 weeks назад @ learnpython.podbean.com
Что произошло в мире Python за 2023 год
Что произошло в мире Python за 2023 год

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров В этом выпуске обсудили самые интересные и запомнившиеся новости 2023 года Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

4 months, 3 weeks назад @ learnpython.podbean.com
Культура комментариев в коде
Культура комментариев в коде

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Михаилом Вознесенским, руководителем группы разработки почтовых решений RuPost (входит в «Группу Астра») и обсудили следующие темы: какая часть кода используется для внешних API и для другого или насколько валидно писать комментарии для документации

«историю должен рассказывать сам код»

«если есть хороший docstring, то ide или настроенный редактор покажет развернутое описание аргументов»

от чего защищает линтер

голосовые сообщение, как коммент в коде

добавление метаинформации в код Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/trick…

5 months назад @ learnpython.podbean.com
bservability / как сжать int в один бит / мониторинг в Яндексе
bservability / как сжать int в один бит / мониторинг в Яндексе

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Андреем Столбовским и обсудили следующие темы: что такое SDM?

Андрей о себе и чем занимается сейчас

как в больших компаниях строится мониторинг

почему большие компании вкладываются в команды и просто не поставят себе Sentry

особенность мониторинга в AWS

золотые сигналы

Sentry уже не очень

как правильно смотреть на дашборды

трейсинг

алерты

техники оптимизации и как сжать int в один бит Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.…

5 months, 1 week назад @ learnpython.podbean.com
Новости мира Python за ноябрь: PEP 734 / Django Ninja/аудит безопасности PyPI
Новости мира Python за ноябрь: PEP 734 / Django Ninja/аудит безопасности PyPI

Новый выпуск посвятили актуальным новостям за ноябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Django Ninja 1.0

PEP 734 (сабинтерпретаторы в stdlib)

Nvidia показала cudf.pandas (GPU)

JetBrains запустил опрос Python-разработчиков

PyPI прошел первый аудит безопасности

Как много core-разработчиков Python использую аннотации типов Деприкейтится datetime.utcnow()

10 неприятных вещей в работе разработчиком Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Podlodka Python Crew — https://podlodka.io/pythoncrew

Промокод на конфу — MOS_PYTHON

Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Tel…

5 months, 3 weeks назад @ learnpython.podbean.com
За 5 лет до техлида и создателя IT-сообщества
За 5 лет до техлида и создателя IT-сообщества

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Николаем Свиридовым и обсудили следующие темы: как из инженеров биомедицинского оборудования стать разработчиком

переходить ли в IT без подушки безопасности?

ситуационную работу мозга

роль IT-сообществ в развитии разработчика

сколько времени нужно, чтобы сделать крутой канал об IT

как завалить несколько испытательных сроков и всё равно войти в разработку

выбор тем для канала

общение с аудиторией

перспективы Django Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python …

6 months, 1 week назад @ learnpython.podbean.com
бета Django 5.0 / PEP 703 / PEP 730 / отчет Security Developer in Residence
бета Django 5.0 / PEP 703 / PEP 730 / отчет Security Developer in Residence

Спонсор подкаста — https://learn.python.ru

Новый выпуск посвятили актуальным новостям за октябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Новости выпуска:

Первая бета Django 5.0 PEP 703 — опциональный GIL из коробки PEP 730 — добавить iOS в поддерживаемые платформы Отчет Security Developer-in-Residence за 3 квартал Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

6 months, 3 weeks назад @ learnpython.podbean.com
pathlib.Path.walk или как одна маленькая идея может превратиться в полгода работы
pathlib.Path.walk или как одна маленькая идея может превратиться в полгода работы

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили со Станиславом Змиевым и обсудили следующие темы: Станислав про себя

pathlib.Path.walk в Python имплементация и верификация контрибьюторов

про разработку Open Source

сложно ли контрибьютить в Python начинающим разработчиком

чем занимаются в Monite

как прийти в Open Source и что даёт

рассказывает ли о своих проектах

насколько Open Source выгоден для карьеры

способы монетизации Open Source

отличается ли разработка платформенной инфраструктуры в финтехе

почему разработчиком не нравятся Type hints

что Стас думает о других языках программирования

идеальная траектория развития разработчика С…

7 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 6 days, 8 hours назад
Podlodka #373 – Разработка LLM-приложений
Podlodka #373 – Разработка LLM-приложений Podlodka #373 – Разработка LLM-приложений

Мы уже привыкли к LLM – большим языковым моделям вроде ChatGPT. Никого уже не удивишь ситуациями, когда чатик помог сделать какую-то работу. А значит пора выходить на новый уровень и делать сервисы и приложения на базе LLM! Но тогда встает ряд принципиально новых вопросов: а что, если нужен не простой ответ, а цепочка рассуждений? А что, если есть четкие критерии качества, и рандомные галлюцинации чатика недопустимы? Что делать – разберемся в этом выпуске вместе с Максом Страховым из Apple! Новая недельная конференция от Podlodka Crew для React-разработчиков уже 27 мая. Разберем паттерны построения архитектуры в эентепрайзе и стартапе, выберем подходящие инструменты и стейт-менеджеры, и мно…

6 days, 8 hours назад @ soundcloud.com
Podlodka #372 – Силовые тренировки, часть 2
Podlodka #372 – Силовые тренировки, часть 2 Podlodka #372 – Силовые тренировки, часть 2

Мы не могли оставить вас без полного гайда по качалке, ведь как мы выяснили в первой части серии, силовые тренировки — это самый простой и эффективный способ продлить молодость и не сойти с ума в этом мире! Если в первой части мы навалили базы о том, как вообще составляются программы, то эта часть вышла максимально прикладная: разобрали насущные вопросы начиная от того, как правильно сочетать силовые с кардио заканчивая разработкой лучшей стратегии по накачке жопы, обсудили как выработать у себя привычку заниматься силовыми регулярно и с удовольствием, какие красные флаги есть при подборе тренера и какое оборудование закупить, чтобы заниматься силовыми дома. Кстати, третья часть тоже будет …

1 week, 5 days назад @ soundcloud.com
Podlodka #371 – Силовые тренировки, часть 1
Podlodka #371 – Силовые тренировки, часть 1 Podlodka #371 – Силовые тренировки, часть 1

Качалка не только делает вас сильным, красивым и уверенным в себе, но еще и улучшает менталочку, и даже помогает бороться с раком! В этом выпуске мы посмотрели на силовые тренировки с позиций доказательного фитнеса, и под чутким взглядом опытного тренера Станислава Цаллагова разобрались, как подойти к составлению оптимальной программы тренировок. Сразу предупреждаем — выпуск получился настолько длинным и насыщенным, что мы решили разбить его на две части! 13 мая стартует сезон Podlodka Go Crew, посвященный работе с базами данных. Максимум практических советов по взаимодействию с Postgres, Redis, SQLite. Забирай скорее билет со скидкой в 500 рублей по промокоду FITNESS: https://podlodka.io/g…

2 weeks, 6 days назад @ soundcloud.com
Podlodka #370 – SEO
Podlodka #370 – SEO Podlodka #370 – SEO

На первый взгляд кажется, что SEO — это набор техник, который позволяет вашему сайту выглядеть лучше в глазах поисковиков, но это представление ошибочно. Андрей Мещанкин из Туту.ру рассказал о современном SEO, и почему сейчас выгоднее вкладывать средства в развитие сайта, чем в попытки обмануть поисковый движок. Насколько хорошо вы демонстрируете свои гибкие навыки на собеседованиях? Умеете в самопрезентацию и переговоры? В новом сезоне Podlodka Soft Skills погрузимся в процесс прохождения собеседований и научимся «продавать» свой опыт и скиллы. Встречаемся уже 13 мая. Спеши забрать билет со скидкой 500 рублей по промокоду SOFT_INTERVIEW: https://podlodka.io/softcrew Также ждем вас, ваши ла…

3 weeks, 6 days назад @ soundcloud.com
Podlodka #369 – Нарративный дизайн
Podlodka #369 – Нарративный дизайн Podlodka #369 – Нарративный дизайн

Рассказать хорошую историю – сложно. Сделать увлекательный геймплей – тоже сложно. Ну а сделать так, чтобы повествование и игровые механики друг друга органично дополняли – это уже другой уровень и работа для специально обученных людей! Разбираемся в теме с Альфиной, приложившей руку к таким шедеврам как Мор (Утопия) и Disco Elysium. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Стас Цыганов

1 month назад @ soundcloud.com
Podlodka #368 – Инженерная культура в БигТехе
Podlodka #368 – Инженерная культура в БигТехе Podlodka #368 – Инженерная культура в БигТехе

Инженерная культура компании пронизывает нашу работу от и до. Какими критериями бизнес руководствуется при найме и почему собеседования устроены именно так а не иначе? Сколько времени у вас уйдет на реализацию конкретной фичи, а сколько на обсуждения острых вопросов на архитектурном и код-ревью и нужны ли эти ревью вообще? Как принимаются решения о расширении тех. стека проекта? Что нужно сделать, чтобы получить повышение, и что такого натворить, чтобы вас уволили? Не смотря на то, что мы привыкли воспринимать FAANG компании в одну цельную группу, инженерная культура в них сильно отличается. В этом выпуске Алексей Козятинский (ex. Google, а сейчас senior staff SWE в Netflix) откровенно поде…

1 month, 1 week назад @ soundcloud.com
Podlodka #367 – Zig
Podlodka #367 – Zig Podlodka #367 – Zig

В выпуске мы придумали идеальное описание языка программирования Zig – это DSL для машинного кода. И за этим определением кроется куча интересных концепций, начиная от брутальной простоты в синтаксисе и фичах, заканчивая метапрограммированием, основанном на comptime вычислениях. Погружаться в все еще редкий, но уже не эзотерический язык нам помогал Алекс Кладов, который использует Zig в разработке настоящего продакшн проекта – базы данных TigerBeetle. Партнёр эпизода — IT-компания Selectel. Ребята создают облачные решения и предлагают в аренду серверы, которые размещают в своих дата-центрах в России. Нетривиальные задачи, опытные коллеги, доверие и поддержка – то, что ждет тебя в Selectel.

1 month, 2 weeks назад @ soundcloud.com
Podlodka #366 – Релокация в UK
Podlodka #366 – Релокация в UK Podlodka #366 – Релокация в UK

С Сашей Зиминым поговорили про его опыт работы и жизни в Британии. В начале как наемного сотрудника, а теперь уже как исключительного таланта. В релокационном выпуске традиционно прошлись по климату, бытовым вопросам, сложностям с подготовкой документов, поиском жилья и работы. Радует, что в этом выпуске Женя с Егором также не остались в стороне и поделились своим опытом. Хочешь научиться хитрым фишкам UI под iOS?

Ждем тебя 15-го апреля на iOS Podlodka Crew. Разберем нестандартный лейаут, эффекты на Metal, сложные анимации в SwiftUI, а также поговорим про оптимизацию.

По промокоду UI_MAGIC будет приятная скидка в 500р. Не пропусти сезон! Забирай билет на https://podlodka.io/ioscrew Также жд…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #365 – Ада Лавлейс и программирование
Podlodka #365 – Ада Лавлейс и программирование Podlodka #365 – Ада Лавлейс и программирование

В некоторых выпусках мы уже обсуждали, как работы ученых и инженеров в 60-70-е годы повлияли на современное программирование. Сейчас мы пошли еще дальше! Вместе с Виталием Брагилевским обсуждаем выдающуюся личность Ады Лавлейс, и то, как в ее главном труде видны концепции современного программирования. Встречаем апрель с новым сезоном Podlodka Teamlead Crew, посвященным метрикам. Узнаем про базовый набор метрик тимлида, процессы внедрения и принятия решений на их основе, научимся избавляться от вредных метрик. Забирай билет со скидкой по промокоду TL_ADA: https://podlodka.io/tlcrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka …

2 months назад @ soundcloud.com
Podlodka #364 – Дата и время
Podlodka #364 – Дата и время Podlodka #364 – Дата и время

Дата и время – не самый простой домен. То зимнее-летнее время, то часовые пояса не кратны часу. А что, если не надо привязываться к часовому поясу? Еще в чате распределенной команды написали, что митинг в 5PM, так когда подключаться? Как синхронизировать время с колонией на Марсе? Одни вопросы. И во всех них мы подробнейше разобрались с Никитой Прокоповым. Так что давайте сверим часы и приятного прослушивания! Хочешь научиться оптимизировать производительность UI приложения на лету? Ждем тебя 25-го марта на Android Podlodka Crew. Разберем полезные инструменты, подберем метрики и убедим бизнес выделить ресурсы на оптимизацию. По промокоду HIGH_PERFORMANCE будет приятная скидка в 500р. Не про…

2 months, 1 week назад @ soundcloud.com
Podlodka #363 – Культурная интеграция экспатов
Podlodka #363 – Культурная интеграция экспатов Podlodka #363 – Культурная интеграция экспатов

Все ведущие подкаста недавно релоцировались в другие страны. А некоторые – даже несколько раз. Мы по себе знаем, насколько сложен процесс адаптации, и насколько просто вместо интеграции в новую культуру свалиться в одну из возможных крайностей. Юлия Белозерова, экспат с большим опытом и человек, изучающий вопрос культурной интеграции с научной стороны, рассказала про то, как к ней правильно подойти, чем интегрированные экспаты отличаются от неинтегрированных, как правильно проводить смоллтолки, заводить рабочие и личные отношения и преодолеть культурный шок. В новом сезоне Podlodka Product Crew без инфоцыганства и воды разбираемся в практическом применении ML и AI. Как внедрить AI-фичи в пр…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #362 – FemTech
Podlodka #362 – FemTech Podlodka #362 – FemTech

FemTech — технологии, которые улучшают жизнь и здоровье женщин. Если вы думаете, что дело заканчивается трекерами цикла… То, поверьте, этот выпуск вас удивит! Gender data gap — огромная и далеко не единственная проблема в сфере женского здравоохранения. Но наука, технологии, и общество не стоят на месте: создается все больше продуктов направленных на здоровье женщин и решение специфичных для них проблем. В этом выпуске вместе Ирой Евдокимовой, основательницей первого медиа о FemTech на русском языке, разбираемся, как технологии на любой вкус — от AI до блокчейна — помогают женщинам, а также что происходит на рынке FemTech продуктов. Яндекс Практикум поможет прокачать скилы и расти в IT-проф…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #361 – Профессия: CFO
Podlodka #361 – Профессия: CFO Podlodka #361 – Профессия: CFO

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз фокус на деньгах – говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, управление рисками – и все это на масштабах от стартапа до корпорации. А в гостях у нас Денис Дубовцев. Начните учиться бесплатно и попробуйте вводную часть курса «Фулстек разработчик с нуля» Яндекс Практикума: https://clck.ru/38ydkW Реклама. АНО ДПО «Образовательные технологии Яндекса». ОГРН 1147799006123. erid 2SDnjdFywhz для Твиттера

Продолжаем разбираться, за что отвечают разные C-level менеджеры, и в этот раз говорим про CFO. Готовьте кошельки!

Поговорили про финансирование, планирование, и управление рисками …

3 months назад @ soundcloud.com
Podlodka #360 – Тестовые окружения
Podlodka #360 – Тестовые окружения Podlodka #360 – Тестовые окружения

Мы уже несколько выпусков посвятили тому, как правильно “готовить” тесты — составлять тест-кейсы, реализовывать и оптимизировать автотесты, поддерживать тестовую документацию. Но один вопрос остается открытым — а же все это тестирование проводить? В этом выпуске эксперт в DevOps Александр Тарасов, погрузил нас в мир тестовых сред. Мы не только разобрались в классическом разделении dev / staging / production, но и рассмотрели альтернативный подход с “миксом” сред, в котором нет выделенной среды для тестирования. Обсудили не только туллинг, но и извечный вопрос коммуникации разработичков и тестировщиков — в общем, как всегда, разобрали тему со всех сторон! Ведущие в выпуске:

Катя Петрова, Евг…

3 months, 1 week назад @ soundcloud.com
Podlodka #359 – Тест-кейсы
Podlodka #359 – Тест-кейсы Podlodka #359 – Тест-кейсы

Результат работы программистов – код. Дизайнеров – макеты и красивые иконки. А вот с тестировщиками все намного интереснее! Вместе с Анастасией Заречневой, тестировщицей из JetBrains и создательницей сообщества QA Sisters, мы разбираемся, что такое тестовая документация, откуда вообще берутся тест-кейсы, какие хитрые практики тест-дизайна помогают оптимизировать их количество, и как эти тест-кейсы правильно хранить и использовать. Подкаст записан при поддержке Test IT — разработчика самой популярной в России TMS. Простая организация тестовой документации: ручные и автотесты в едином интерфейсе, удобное планирование, наглядная отчетность и широкие возможности интеграции. Бесплатный триальный…

3 months, 2 weeks назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 1 month, 4 weeks назад
Сергей Сухов: Стоицизм
Сергей Сухов: Стоицизм

Беседуем с Сереем Суховым, создателем самого крупного Telegram-канала о стоицизме и тренажера по стоицизму.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

1 month, 4 weeks назад @ buzzsprout.com
База про Стоицизм
База про Стоицизм

Перед разговором с Сергеем Суховым о философии стоиков я решил записать короткий эпизод про принципы философии стоицизма.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

2 months назад @ buzzsprout.com
Илья Параушкин: Выживание Жизни
Илья Параушкин: Выживание Жизни

Илья Параушкин — СЕО компании Biovolf. Биотех — необъятное поле для беседы. На этот раз продолжили разговор про экстремофилов, обсудили эволюцию, экосистемы, биологические катастрофы и перспективы человечества. Илью вы точно ещё у нас услышите.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

3 months, 2 weeks назад @ buzzsprout.com
Михаил Свердлов: образование, которое мы заслужили
Михаил Свердлов: образование, которое мы заслужили

Михаил Свердлов, ex-CBDO в Skypro, ex-Content Director в Skyeng, эксперт и консультант по образовательному продукту и аналитике, независимый CPO/директор по развитию и стратегии, автор телеграм-канала Образование, которое мы заслужили.У Миши очень богатый опыт в создании и развитии технологических продуктов на разных рынках, 5 лет из них в сфере образования. Последние 1,5 года Миша живёт в США.Ссылки:Канал «Образование, которое мы заслужили» https://t.me/ru_educationКанал «Камера хранения»https://t.me/schoolstorageИсследование с ВШЭ про аналитику в образовании и дата-центричный подход к построению образовательного контентаhttps://ioe.hse.ru/pubs/share/direct/547495575.pdfИсследование для Na…

4 months назад @ buzzsprout.com
Маша Грекова: Теплица, Нормальное Место, Огурцы и Простые Вещи
Маша Грекова: Теплица, Нормальное Место, Огурцы и Простые Вещи

Маша Грекова делает несколько проектов для взрослых людей с ментальными особенностями.Нормальное местоhttps://www.mestonorm.ruПростые вещиhttps://prostieveschi.ruОгурцыhttps://www.instagram.com/ogurtsinafontanke/Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

5 months назад @ buzzsprout.com
Илья Параушкин: еда и технологии
Илья Параушкин: еда и технологии

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 1 week назад @ buzzsprout.com
Анна Коган: компьютерное зрение
Анна Коган: компьютерное зрение

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 2 weeks назад @ buzzsprout.com
Арсений Веснин: из журналиста в капитаны
Арсений Веснин: из журналиста в капитаны

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

6 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост 5 months, 2 weeks назад
Что это было. Как нейросети изменили науку
Что это было. Как нейросети изменили науку

В заключительном эпизоде второго сезона мы пытаемся разобраться, как новое поколение нейросетей меняет науки и чем теперь заняться ученым, если больше не нужно даже писать рефераты. erid: 2SDnjdTbzaL Реклама. АО «Точка». ИНН 9705120864 Кольцо для бесконтактной оплаты от Точки: https://tchk.me/m4f2g4 Слушайте первые выпуски подкаста «Шум в ушах» на всех платформах https://cutt.ly/shu12vupc, а все восемь выпусков уже доступны в Apple Podcasts https://cutt.ly/shu1212vuap или в закрытом телеграм канале Либо/Либо https://cutt.ly/shu1212vutg

5 months, 2 weeks назад @ nowyouarehere.libsyn.com
Зырь-машина. Как проходит гонка компьютерного зрения
Зырь-машина. Как проходит гонка компьютерного зрения

Сколько датчиков нужно роботу, чтобы не путать человека с тенью от пакета, зачем ставить лазеры на такси и почему гонка беспилотных автомобилей происходит не на стадионах, а в датацентрах erid: 2SDnjepcB5i Реклама. АО «Точка». ИНН 9705120864 Откройте счёт в Точке: https://tochka.com/rko-landings/brand-f/

6 months назад @ nowyouarehere.libsyn.com
Фоторобот Воронежа. Как нейросети научились рисовать с наших слов
Фоторобот Воронежа. Как нейросети научились рисовать с наших слов

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

6 months, 2 weeks назад @ nowyouarehere.libsyn.com
Похоже на правду. Как нейросети научились имитировать речь
Похоже на правду. Как нейросети научились имитировать речь

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

6 months, 4 weeks назад @ nowyouarehere.libsyn.com
Как нейросети обходят законы прогресса
Как нейросети обходят законы прогресса

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

7 months, 1 week назад @ nowyouarehere.libsyn.com
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 5 days, 12 hours назад
#384 Force push lightly
#384 Force push lightly

Topics include Git: Force push safely with and, , Being friendly: Strategies for friendly fork management, and tach.

5 days, 12 hours назад @ pythonbytes.fm
#383 Why aren’t devs shipping faster?
#383 Why aren’t devs shipping faster?

Topics include I asked 100 devs why they aren’t shipping faster. Here’s what I learned, Python 3.13.0 beta 1 released, A theme editor for JupyterLab, and rich-argparse.

1 week, 5 days назад @ pythonbytes.fm
#382 A Simple Game
#382 A Simple Game

Topics include act: Run your GitHub Actions locally!, portr, Annotating args and kwargs in Python, and github badges.

2 weeks, 5 days назад @ pythonbytes.fm
#381 Python Packages in the Oven
#381 Python Packages in the Oven

Topics include Announcing py2wasm: A Python to Wasm compiler, Oven PyPI Browser, PyCharm Local LLM, and.

3 weeks, 5 days назад @ pythonbytes.fm
#380 Debugging with your eyes
#380 Debugging with your eyes

Topics include NumFOCUS concerns, leaping pytest debugger llm, , and PyPI has completed its first security audit.

1 month назад @ pythonbytes.fm
#379 Constable on the debugging case
#379 Constable on the debugging case

Topics include How to Set Up Pre-Commit Hooks A step-by-step guide to installing and configuring pre-commit hooks on your project, difftastic, Quarto, and constable.

1 month, 1 week назад @ pythonbytes.fm
#378 Python is on the edge
#378 Python is on the edge

Topics include pacemaker, PyPI suspends new user registration to block malware campaign, Python Project-Local Virtualenv Management Redux, and Python Edge Workers at Cloudflare.

1 month, 2 weeks назад @ pythonbytes.fm
#377 A Dramatic Episode
#377 A Dramatic Episode

Topics include justpath, , LPython, and dramatic.

1 month, 3 weeks назад @ pythonbytes.fm
#376 Every dunder method in a Python Lockbox
#376 Every dunder method in a Python Lockbox

Topics include 🤖 On Robots.txt, niquests, Every dunder method in Python, and Lockbox.

2 months назад @ pythonbytes.fm
#375 Pointing at Countries
#375 Pointing at Countries

Topics include pycountry, Does Python have pointers?, ingestr, and Make your terminal nice.

2 months, 1 week назад @ pythonbytes.fm
#374 Climbing the Python Web Mountain
#374 Climbing the Python Web Mountain

Topics include 6 ways to improve the architecture of your Python project (using import-linter), Mountaineer, Why Python's Integer Division Floors, and Hatchet.

2 months, 2 weeks назад @ pythonbytes.fm
#373 Changing Directories
#373 Changing Directories

Topics include zoxide, Smart CLIs with Typer, Python recommended officially by the US Government, and Textual tutorials at Mouse vs Python.

2 months, 3 weeks назад @ pythonbytes.fm
#372 uv - an impressive pip alternative
#372 uv - an impressive pip alternative

Topics include uv: Python packaging in Rust, jpterm, Everything You Can Do with Python's textwrap Module, and HTML First.

3 months назад @ pythonbytes.fm
#371 Python in a Crate
#371 Python in a Crate

Topics include AppleCrate, One way to package Python code right now, Flask8 but why?, and.

3 months, 1 week назад @ pythonbytes.fm
#370 Your Very Own Heroku
#370 Your Very Own Heroku

Topics include Dokku, Summary of Major Changes Between Python Versions, speedtest-cli, and.

3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 2 days, 11 hours назад
Bonus Episode: The N64 Decompilation Scene with Ethan Roseman and Mark Street
Bonus Episode: The N64 Decompilation Scene with Ethan Roseman and Mark Street

Decompilation is the process of translating a compiled program’s bytecode back into a higher-level programming language, like C. There’s a vibrant and growing scene of engineers working to decompile classic video games, and some of the most prominent projects have focused on the Nintendo 64. Recent successes include Super Mario 64, The Legend of Zelda:

The post Bonus Episode: The N64 Decompilation Scene with Ethan Roseman and Mark Street appeared first on Software Engineering Daily.

2 days, 11 hours назад @ softwareengineeringdaily.com
The State of CSS with Rachel Andrews
The State of CSS with Rachel Andrews

CSS, or Cascading Style Sheets, is a fundamental technology in web development that defines the presentation and layout of HTML documents. It serves as a styling language that allows developers to control the appearance of web pages. Rachel Andrew is a Staff Technical Writer on the Google Chrome Team. Before that she worked for Mozilla

The post The State of CSS with Rachel Andrews appeared first on Software Engineering Daily.

3 days, 11 hours назад @ softwareengineeringdaily.com
Modern SecOps with Maxime Lamothe-Brassard
Modern SecOps with Maxime Lamothe-Brassard

Security Operations, or SecOps, refers to the collaboration between security and operations teams to secure an organization’s systems, applications, and data. Maxime Lamothe-Brassard is a Co-Founder of LimaCharlie which is a cloud SecOps platform. He has a background in security and has previously worked at the Canadian Intelligence service, Crowdstrike, Google, and Google X. He

The post Modern SecOps with Maxime Lamothe-Brassard appeared first on Software Engineering Daily.

4 days, 11 hours назад @ softwareengineeringdaily.com
Microsoft Copilot with Justin Harris
Microsoft Copilot with Justin Harris

Microsoft Copilot is a chatbot developed by Microsoft that launched in 2023 and is based on a large language model. Justin Harris is a Principal Software Engineer at Microsoft and has an extensive background in classical machine learning and neural networks, including large language models. He joins the show to talk about Microsoft Copilot, natural

The post Microsoft Copilot with Justin Harris appeared first on Software Engineering Daily.

5 days, 11 hours назад @ softwareengineeringdaily.com
Pinata and the Interplanetary File System with Matt Ober
Pinata and the Interplanetary File System with Matt Ober

The interplanetary filesystem, or IPFS, is a peer-to-peer network that uses a distributed and decentralized model. Functionally, IPFS allows users to store and share files without having to rely on a single source of truth for those files. Matt Ober is the Co-Founder & CTO of Pinata. He joins the show to talk about IPFS

The post Pinata and the Interplanetary File System with Matt Ober appeared first on Software Engineering Daily.

1 week, 3 days назад @ softwareengineeringdaily.com
Animal Well with Billy Basso
Animal Well with Billy Basso

Animal Well is a Metroidvania game developed as a solo project by Billy Basso over the course of seven years. It’s the first game released by publisher Bigmode, which was founded by Jason “Dunkey” Gastrow. Billy joins the show to talk about creating Animal Well’s engine from scratch, how the game handles animation, fine-tuning character

The post Animal Well with Billy Basso appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
LLMs for Data Queries with Sarah Nagy
LLMs for Data Queries with Sarah Nagy

One of the most promising applications of large language models is giving non-experts the ability to easily query their own data. A potential positive side effect is reducing ad-hoc data analysis requests that often strain data teams. Sarah Nagy is the Co-founder and CEO at Seek which is using natural language processing to change how

The post LLMs for Data Queries with Sarah Nagy appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
Implementing KYC and User Verification with Alex Grinman
Implementing KYC and User Verification with Alex Grinman

Almost every application or system involves some sort of user onboarding. Increasingly, companies must implement know-your-customer and know-your-business compliance, or KYC and KYB, as part of that process. In addition, they often handle personal identifiable information, or PII. Footprint is a developer platform that was co-founded by Alex Grinman for handling identity, security, fraud, and

The post Implementing KYC and User Verification with Alex Grinman appeared first on Software Engineering Daily.

2 weeks, 3 days назад @ softwareengineeringdaily.com
Nuxt JS with Anthony Fu
Nuxt JS with Anthony Fu

Vue is a popular JavaScript frontend framework, and Nuxt is an open source meta-framework on top of Vue. Anthony Fu is a Framework Developer on the Nuxt team. He joins the show to talk about Vue, Nuxt, open source development, and more. Josh Goldberg is an independent full time open source developer in the TypeScript

The post Nuxt JS with Anthony Fu appeared first on Software Engineering Daily.

2 weeks, 4 days назад @ softwareengineeringdaily.com
Scaling Large ML Models to Small Devices with Atila Orhon
Scaling Large ML Models to Small Devices with Atila Orhon

The size of ML models is growing into the many billions of parameters. This poses a challenge for running inference on non-dedicated hardware like phones and laptops. Argmax is a startup focused on developing methods to run large models on commodity hardware. A key observation behind their strategy is that the largest models are getting

The post Scaling Large ML Models to Small Devices with Atila Orhon appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Anaconda and Accelerating AI Development with Rob Futrick
Anaconda and Accelerating AI Development with Rob Futrick

Anaconda is a popular platform for data science, machine learning, and AI. It provides trusted repositories of Python and R packages and has over 35 million users worldwide. Rob Futrick is the CTO at Anaconda, and he joins the show to talk about the platform, the concept of an OS for AI, and more. This

The post Anaconda and Accelerating AI Development with Rob Futrick appeared first on Software Engineering Daily.

3 weeks, 3 days назад @ softwareengineeringdaily.com
Engineering the Playdate Gaming Handheld with James Moore and Dave Hayden
Engineering the Playdate Gaming Handheld with James Moore and Dave Hayden

Panic has created games such as Firewatch and Untitled Goose Game. They recently ventured into gaming hardware with the Playdate. The console is unique for its inputs, which include a hand crank, and because Panic provides a free SDK, so anyone can develop games for it. James Moore is a DevOps Engineer and Dave Hayden

The post Engineering the Playdate Gaming Handheld with James Moore and Dave Hayden appeared first on Software Engineering Daily.

3 weeks, 4 days назад @ softwareengineeringdaily.com
Using LLMs for Training Data Preparation with Nihit Desai
Using LLMs for Training Data Preparation with Nihit Desai

Machine learning models learn patterns and relationships from data to make predictions or decisions. The quality of the data influences how well these models can represent and generalize from the data. Nihit Desai is the Co-founder and CTO at Refuel.ai. The company is using LLMs for tasks such as data labeling, cleaning, and enrichment. He

The post Using LLMs for Training Data Preparation with Nihit Desai appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
AI-Driven Observability at Kentik with Avi Freedman
AI-Driven Observability at Kentik with Avi Freedman

Kentik is a network observability platform that focuses on letting users easily ask questions and get answers about their network. Avi Freedman is the CEO of Kentik and he joins the podcast to talk about the platform, his observability philosophy, the role of AI in observability, and much more. Full Disclosure: This episode is sponsored

The post AI-Driven Observability at Kentik with Avi Freedman appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
SolidJS with Ryan Carniato
SolidJS with Ryan Carniato

Solid.js is a popular JavaScript framework known for its reactive and efficient rendering system. Instead of using a Virtual DOM, it compiles its templates to real DOM nodes and updates them with fine-grained reactions. Ryan Carniato is the creator of SolidJS, and he joins the show to talk about the framework. Taylor Nodell is a

The post SolidJS with Ryan Carniato appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост None
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 5 months, 1 week назад
Предновогоднее-2024: сумбурные прогнозы
Предновогоднее-2024: сумбурные прогнозы Предновогоднее-2024: сумбурные прогнозы

-=Выпуск 77=- Немного прогнозов про технологические интересности наступающего года; в основном те, которые касаются цифровой стороны нашего мира и её развития. В выпуске упомянуты мартовский (2023) и с его прогнозом на 2024

5 months, 1 week назад @ sebrant.chat
От LLM до LMM и LBM — и книги “Конец индивидуума”
От LLM до LMM и LBM — и книги “Конец индивидуума” От LLM до LMM и LBM — и книги “Конец индивидуума”

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

7 months, 3 weeks назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 3 days, 6 hours назад
Code Splitting in Single-Page Applications
Code Splitting in Single-Page Applications Code Splitting in Single-Page Applications

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

import React from 'react'; import Checkbox from './Checkbox'; import BookList from './BookList'; function App() { let showNewOnly = false; // This flag's value is typically set based on specific logic.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI compone…

3 days, 6 hours назад @ martinfowler.com
A short note on how I use and render footnotes
A short note on how I use and render footnotes A short note on how I use and render footnotes

In my early years of writing, I avoided using footnotes.

I found that moving a lot of details to footnotes allowed the main article to be more coherent, but still meant the details were in there for the curious reader.

I still keep the footnotes section at the end of the article, in case the reader prints the article out.

†Like thisAnother rendering I've seen for footnotes is the sidenote, where the footnote text is put to one side of the page†.

This then breaks the reader's flow of the main text, and thus defeats the purpose of using a footnote.

4 days, 2 hours назад @ martinfowler.com
Testing the contents of generated HTML
Testing the contents of generated HTML Testing the contents of generated HTML

When building a server-side rendered web application, it is valuable to test the HTML that's generated through templates.

Unit tests, written in the server-side environment, can check for valid HTML, and extract elements with CSS selectors to test the details of generated HTML.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML …

4 days, 6 hours назад @ martinfowler.com
Using markup for fallbacks when fetching data
Using markup for fallbacks when fetching data Using markup for fallbacks when fetching data

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetch…

5 days, 5 hours назад @ martinfowler.com
Test-Driving HTML Templates
Test-Driving HTML Templates Test-Driving HTML Templates

When building a server-side rendered web application, it is valuable to test the HTML that's generated through templates.

Unit tests, written in the server-side environment, can check for valid HTML, and extract elements with CSS selectors to test the details of generated HTML.

When writing a web application in Go or Java, HTML is commonly generated through templates, which contain small fragments of logic.

It turns out that test-driving HTML templates is easy; let's see how to do it in Go and Java.

case nil: // do nothing default: t.Fatalf("Error parsing html: %s", err) } } } source This code configures the HTML parser to have the right level of leniency for HTML, and then parses the HTML …

5 days, 5 hours назад @ martinfowler.com
Parallel Data Fetching
Parallel Data Fetching Parallel Data Fetching

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practical and also recommended to maintain data fetching within the UI components.

The main reason to not use parallel data fetch…

1 week, 4 days назад @ martinfowler.com
Data Fetching Patterns in Single-Page Applications
Data Fetching Patterns in Single-Page Applications Data Fetching Patterns in Single-Page Applications

In this article, I would like to discuss some common problems and patterns you should consider when it comes to fetching data in your frontend applications.

To accelerate the initial data loading process, we'll explore strategies for avoiding Request Waterfall and implementing Parallel Data Fetching.

With this foundation, you should now be equipped to join me as we delve into the data fetching patterns discussed herein.

When to use it Separating data fetching logic from UI components can sometimes introduce unnecessary complexity, particularly in smaller applications.

For applications that are limited in scope — with just a few pages and several data fetching operations — it's often practic…

1 week, 5 days назад @ martinfowler.com
photostream 131
photostream 131 photostream 131 1 week, 6 days назад @ martinfowler.com
photostream 130
photostream 130 photostream 130

Big Sur, CA

1 month назад @ martinfowler.com
Using data replication in legacy displacement
Using data replication in legacy displacement Using data replication in legacy displacement

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

1 month, 2 weeks назад @ martinfowler.com
Creating Seams in a Mainframe's Batch Pipelines
Creating Seams in a Mainframe's Batch Pipelines Creating Seams in a Mainframe's Batch Pipelines

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

The cost factor plays an important role, as it involves building upon your legacy system, potentially straining your existing infrastructure further.

Coarse Seam: Data interactions as a Seam One of the primary areas of focus was the pervasive database accesses across programs.

This module fed data from multiple data pipelines, and applied Simple and Complex rules to DB2.

1 month, 3 weeks назад @ martinfowler.com
Uncovering Seams in a Mainframe's external interfaces
Uncovering Seams in a Mainframe's external interfaces Uncovering Seams in a Mainframe's external interfaces

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

1 month, 3 weeks назад @ martinfowler.com
Joining LinkedIn
Joining LinkedIn Joining LinkedIn

Martin Fowler: 28 Mar 2024As the enmuskification of Twitter continues, I’ve increasingly heard that more people are using LinkedIn to keep up with new professional material.

So, a couple of weeks ago, I set up my LinkedIn account, so people can follow me on that platform.

I’ve always avoided LinkedIn - I’ve found the whole vibe of connections rather off-putting.

But LinkedIn has added a “creator mode”, which encourages people to follow someone for posts rather than the bi-directional connection.

Sadly, LinkedIn doesn’t have lists, and pushes everything someone likes into the single connection feed.

1 month, 4 weeks назад @ martinfowler.com
Farewell, John Kordyback
Farewell, John Kordyback Farewell, John Kordyback

I'd first met John Kordyback ten years prior to this.

Of more professional importance, he found much that appealed in our embrace of agile software development.

The world of agile software was very different in the early 2000s.

But the most important core principle of agile that John understood was that agile habits were founded upon humans working together.

When John went into the mainframe world, he listened to those already there.

2 months назад @ martinfowler.com
Uncovering Seams in a Mainframe's external interfaces
Uncovering Seams in a Mainframe's external interfaces Uncovering Seams in a Mainframe's external interfaces

This strategy requires us to introduce seams into the mainframe system: points in which we could divert logic flow into newer services.

In a recent project we investigated several approaches to introduce these seams into a long-lived mainframe system.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

In the client’s Legacy system, various attributes were generated for each consumer, and given the strict industry regulations, maintaining continuity was essential to ensure contractual compliance.

The cost factor plays an important role, as it invo…

2 months назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 3 weeks, 1 day назад
Современный SQLite: STRICT-таблицы
Современный SQLite: STRICT-таблицы Современный SQLite: STRICT-таблицы

Я начинаю серию коротких заметок о полезных функциях современного SQLite, про которые вы (возможно) не слышали.

Как вы наверняка знаете, SQLite обладает гибкой системой типов (за что некоторые даже называют его «джаваскриптом в мире СУБД»).

Вы можете хранить любые значения в столбцах любых типов: например, строки в INTEGER-столбце или бинарные данные в REAL-столбце.

Кто-то любит SQLite за эту гибкость, другие ненавидят за нее же.

Поэтому в какой-то момент авторы SQLite добавили «строгие» (STRICT) таблицы:Они проверяют типы так же, как традиционные СУБД вроде PostgreSQL или MySQL:Даже в строгой таблице можно объявить столбец как ANY — тогда в нем можно хранить значения любых типов.

3 weeks, 1 day назад @ antonz.ru
Интерактивная API-документация
Интерактивная API-документация Интерактивная API-документация

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

8 months, 3 weeks назад @ antonz.ru
Пишем менеджер пакетов
Пишем менеджер пакетов Пишем менеджер пакетов

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

9 months, 2 weeks назад @ antonz.ru
Язык Odin
Язык Odin Язык Odin

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.

9 months, 4 weeks назад @ antonz.ru